sql >> Base de Datos >  >> NoSQL >> MongoDB

Distribuido Official Mongodb Kafka Source Connector con múltiples tareas No funciona

Parece que este es el comportamiento del Official MongoDB Kafka Source Connector. Esta es la respuesta que obtuve en otro foro de Ross Lawley (desarrollador de MongoDB):

Antes de la versión 1.2.0, el conector receptor solo admitía una tarea. El conector de origen todavía solo admite una tarea, esto se debe a que utiliza un único cursor de secuencia de cambios. Esto es suficiente para ver y publicar cambios en todo el clúster, en toda la base de datos o en una sola colección.

Subí este ticket:https://jira.mongodb.org/browse/KAFKA-121 Obtuve la siguiente respuesta:El conector de origen solo producirá una sola tarea. Esto es por diseño, ya que el conector de origen está respaldado por un flujo de cambios. Los flujos de cambios utilizan internamente los mismos datos que utiliza el motor de replicación y, como tales, deberían poder escalar como lo hace la base de datos. No hay planes para permitir varios cursores; configure varios conectores y cada uno tendrá su propio cursor de secuencia de cambios.