El uso de su consulta no funcionará desde el where cláusula filtra los user_ids. Usar
SELECT * FROM participants
GROUP BY conversation_id
HAVING sum(user_id not in (1,2)) = 0
user_id not in (1,2) devuelve 1 si un user_id diferente a 1,2 están en una conversación y 0 de lo contrario. Entonces usando SUM puedes sumar todos esos casos. Si no se encuentra ninguno, la suma es 0 .
