Debe aprovechar el grupo por consulta. Un antiguo blog que escribí es Comprensión de bys grupales
Pero básicamente esto debería funcionar:
select distinct ip, count(id) from users group by IP having count(id) > 1
Esto devolverá todas las direcciones IP con un recuento de> 1