Descubrí la respuesta a mi pregunta. Este fue un problema de compatibilidad con el conector Mongo-Spark y la versión de Spark a la que actualicé. Específicamente, se cambió el nombre del valor findTightestCommonTypeOfTwo en PR:
https://github.com/apache/spark/pull/16786/files
Para Spark 2.2.0, el conector Mongo-Spark compatible también es 2.2.0, por lo tanto, en mi ejemplo, el paquete se cargaría así:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Esto podría cambiar en el futuro, por lo que al usar el conector, debe verificar la compatibilidad con la versión de Spark que se usa.
