sql >> Base de Datos >  >> NoSQL >> MongoDB

Conector Spark Mongo, MongoShardedPartitioner no funciona

Lo sentimos, José, porque tienes un problema con el conector.

Puede encontrar información sobre particiones en el sitio de documentación del conector Spark . Presente un ticket en el Docs jira project si siente que falta algo o que no está claro, ¡realmente podría ayudar a futuros usuarios!

El particionador predeterminado es un envoltorio delgado alrededor del MongoSamplePartitioner . Divide una colección en particiones de tamaño según el muestreo estadístico de la colección.

El MongoShardedPartitioner usa la shardKey para generar las particiones. Por defecto usará _id como la clave. Es posible que deba configurar ese valor.

Nota: Las claves fragmentadas con hash no compatible con MongoShardedPartitioner ya que actualmente no hay forma de consultar una colección contra el valor hash, por lo que al recuperar particiones no podrá devolver resultados. He agregado DOCS-12345 para actualizar la documentación.

Parece que hay un problema en su configuración donde MongoShardedPartitioner no puede particionar la colección como se esperaba y devuelve 0 resultados. La inferencia de esquema seguirá funcionando debido a cómo consulta la colección. Si no se trata de un problema de configuración/clave fragmentada con hash, envíe un error en el proyecto Spark jira y puedo ayudar a identificar la causa y publicar una solución para usted.