MySQL usa HAVING declaración para esta tarea.
Su consulta se vería así:
SELECT g.group_id, COUNT(m.member_id) AS members
FROM groups AS g
LEFT JOIN group_members AS m USING(group_id)
GROUP BY g.group_id
HAVING members > 4
ejemplo cuando las referencias tienen nombres diferentes
SELECT g.id, COUNT(m.member_id) AS members
FROM groups AS g
LEFT JOIN group_members AS m ON g.id = m.group_id
GROUP BY g.id
HAVING members > 4
Además, asegúrese de establecer índices dentro del esquema de su base de datos para las claves que está utilizando en JOINS, ya que puede afectar el rendimiento de su sitio.