sql >> Base de Datos >  >> NoSQL >> MongoDB

¿Cómo usar la configuración de envío de Spark:frascos, paquetes:en modo clúster?

Su uso de los --packages el argumento es incorrecto:

--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0

Debe tener la forma de groupId:artifactId:version como sugiere la salida. No puede usar una URL con él.

Un ejemplo de usando mongoDB con spark con el soporte de repositorio integrado:

$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0

Si insiste en usar su propio jar, puede proporcionarlo a través de --repositories . El valor del argumento es

Por ejemplo, en tu caso, podría ser

--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0