Si no tiene un índice en el campo por el que está ordenando, agregue uno:
"En algunos casos, MySQL puede usar un índice para satisfacer una cláusula ORDER BY sin realizar ninguna clasificación adicional".
Editar:(De la sección ORDER BY optimización en la documentación de MySQL.)
