Hay al menos algunas cosas conocidas que provocan este mensaje:
- Espacio de disco insuficiente en tmpdir impidió que se creara tmpfile.
- Memoria insuficiente para asignar sort_buffer_size.
- Alguien ejecutó KILL en medio de una ordenación de archivos.
- El servidor se apagó mientras se ordenaban algunas consultas.
- Una transacción se revirtió o canceló debido al tiempo de espera de bloqueo o interbloqueo.
- Errores inesperados, como que la tabla fuente o incluso la tabla tmp estuviera dañada.
- Falló el procesamiento de una subconsulta que también estaba ordenando.
Míralos y apuesto a que tu problema se resolverá.