Creo que solo necesitas COUNT(DISTINCT post_id) FROM votes .
Consulte la sección "4.2.7. Expresiones agregadas" en https://www.postgresql.org/docs/current/static/sql-expressions.html.
EDITAR:Corregí mi error por descuido según el comentario de Erwin.
