Aumente el límite de memoria de su php y el tiempo del script, eso se debe a que está ejecutando la instrucción mysql a través del servidor php.
Verifique su archivo php.ini para estos vars:
memory_limit
max_execution_time
Pero de todos modos lo haría a través del cliente mysql (terminal), verifique mysql doc
LOAD DATA LOCAL INFILE '/path/to/your/csv/file/csv_file.csv' INTO TABLE database_name.table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';
Documentación de Mysql - Sintaxis de carga de archivos de datos Documentación de PHP:configuración del núcleo de Ini
