¿Cómo encuentro y reemplazo en un CSV que estoy importando usando mysql?

Primero asigne el valor que lee a una variable, luego trabaje en esa variable. Para esto especificas las columnas de tu tabla de destino, pero una variable en lugar de la columna donde quieres reemplazar.

load data local infile 'C:/filepath.../All_Data.csv'
replace into table all_data
fields terminated by ','
    enclosed by '"'
    escaped by '"'
lines terminated by "\r\n"
ignore 1 rows
(column_1, column_2, @variable1, @variable2, column_5)
set
    Avg_Daily_Visitors = replace(@variable1,"\N",0),
    pageviews = replace(@variable2,"\N", 0)
;