sql >> Base de Datos >  >> RDS >> Mysql

Una forma de leer datos de tablas de Mysql a Pig

Como dices, DBStorage solo admite guardar resultados en una base de datos.

Para cargar datos de MySQL, puede buscar un proyecto llamado sqoop (que copia datos de una base de datos a HDFS), o puede realizar un volcado de mysql y luego copiar el archivo en HDFS. Ambas formas requerían cierta interacción y no se pueden usar directamente desde dentro de Pig.

Una tercera opción sería buscar escribir un Pig LoadFunc (dices que intentaste escribir un UDF). No debería ser demasiado difícil, deberá pasar las mismas opciones que DBStorage (controlador, credenciales de conexión y una consulta SQL para ejecutar), y probablemente pueda usar alguna inspección de metadatos del conjunto de resultados para generar automáticamente un esquema también.