¿Cómo ordenar o elegir filas en la cláusula GROUP BY de MySQL?

No, no es posible en MySQL. Tienes que usar una unión.

SELECT id, number, otherfields FROM table 
  WHERE id in (SELECT min(id) FROM table GROUP BY number)