La forma más fácil sería usar un cliente MySQL como SQLyog . Tiene un asistente que permite una fácil migración de Excel a MySQL.
También puede usar el comando LOAD DATA LOCAL INFILE para importarlo directamente. Eche un vistazo a esto para los pasos detallados