¿Por qué no guardas los votos totales de cada comentario? Incremente/disminuya esto cuando haya ocurrido una nueva votación.
Luego, debe verificar si el usuario ha votado específicamente por este comentario para permitir solo un voto por comentario por usuario.
