No puede filtrar filas con LOAD DATA INFILE, así que filtre estas filas preprocesando el archivo CSV o cargue los datos en una tabla temporal e inserte las filas relevantes en su tabla principal, algo como;
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)
