sql >> Base de Datos >  >> RDS >> PostgreSQL

Sqoop en Dataproc no puede exportar datos al formato Avro

El problema podría estar en diferentes versiones de Avro en Hadoop de Dataproc (Avro 1.7.7) y Sqoop 1.4.7 (Avro 1.8.1).

Es posible que desee intentar degradar Sqoop a 1.4.6 que depende de Avro 1.7 y usar avro-tools-1.7.7.jar durante el envío del trabajo.

Editado:

Para resolver el problema de carga de clases, debe configurar mapreduce.job.classloader=true al enviar un trabajo de Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .