Su uso de los --packages
el argumento es incorrecto:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Debe tener la forma de groupId:artifactId:version
como sugiere la salida. No puede usar una URL con él.
Un ejemplo de usando mongoDB con spark con el soporte de repositorio integrado:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Si insiste en usar su propio jar, puede proporcionarlo a través de --repositories
. El valor del argumento es
Por ejemplo, en tu caso, podría ser
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0