Puede utilizar una expresión en ORDER BY. Prueba esto:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Esto ordenará primero por Id, si ParentId =0, o por ParentId en caso contrario. El segundo criterio de clasificación es el Id, para garantizar que las respuestas se devuelvan en orden.
