Un plan de explicación suele ser el mejor lugar para comenzar cuando tiene una consulta lenta. Para conseguir uno, corre
DESCRIBE SELECT source_id FROM directions WHERE (destination_id = 10);
Esto le mostrará una tabla que enumera los pasos necesarios para ejecutar su consulta. Si ve un valor grande en la columna 'filas' y NULL en la columna 'clave', eso indica que su consulta tiene que escanear una gran cantidad de filas para determinar cuáles devolver.
En ese caso, agregar un índice en destination_id debería acelerar drásticamente su consulta, con algún costo para insertar y eliminar la velocidad (ya que el índice también deberá actualizarse).
