ELIMINAR todo donde la restricción de clave externa de MySQL no falla

Tienes que LEFT JOIN la tabla de referencia y agregue una condición que indique que falta la fila en esa tabla.

Por ejemplo:

DELETE a FROM a
LEFT JOIN b ON b.a_id = a.id
WHERE b.a_id IS NULL;