Una opción es no usar spark-redis, sino buscar en Redis directamente. Esto se puede lograr con df.mapPartitions función. Puede encontrar algunos ejemplos de Spark DStreams aquí https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. La idea de Structural Streaming es similar. Tenga cuidado de manejar la conexión de Redis correctamente.
