Spark no puede encontrar el com.mongodb.spark.sql.DefaultSource paquete, de ahí el mensaje de error.
Todo lo demás se ve bien solo necesita incluir el paquete Mongo Spark:
> $SPARK_HOME/bin/pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
O asegúrese de que el archivo jar esté en la ruta correcta.
Asegúrese de verificar la versión del paquete Mongo-Spark requerida para su versión de Spark: https://spark-packages.org/package/mongodb/mongo-spark
