Ordenar filas de base de datos con valor 0 después de filas distintas de cero

  SELECT *
    FROM mytable
ORDER BY IF(rank > 0, 0, 42),
         rank

Donde 42 es algo positivo número. Elegí 42 solo porque es http://en.wikipedia.org/ wiki/Respuesta_a_la_última_pregunta_sobre_la_vida,_el_universo_y_todo