SELECT *
FROM foo first
JOIN foo second
ON ( first.a = second.a
AND first.b = second.b )
AND (first.id <> second.id )
Debería encontrar todas las filas en las que más de una fila tenga la misma combinación de a y b.
Solo espero que tenga un índice en las columnas a y b.