SQLAlchemy no puede descubrir la ruta de la relación.
user_id = Column(ForeignKey('user.id'))
user = relationship(User, backref=backref('votes_user'))
responder_id = Column(ForeignKey('user.id'))
responder = relationship(User, backref=backref('votes_responder'))
Haz el responder la relación debe unirse usando responder_id o user_id ? Sé que es obvio para nosotros, pero SQLAlchemy no considera los nombres de las columnas aquí. Puede cambiar el nombre de responder_id como foobar y no hará ninguna diferencia.
Defina las claves foráneas que desea utilizar para cada relación.
user = relationship(User, foreign_keys=[user_id], backref=backref('votes_user'))
responder = relationship(User, foreign_keys=[responder_id], backref=backref('votes_responder'))