- Absolutamente no puede mezclar versiones de las versiones de Hadoop-common, hadoop-aws, aws-s3-sdk y jackson de lo que todo espera, o verá rastros de pila.
- Y todo es de código abierto, por lo que si D/L todos los JAR de origen localmente, su IDE lo ayudará a encontrar qué está causando el seguimiento de la pila. Esto es lo que todos hacemos . No es magia, los IDE modernos (intellij IDEA) incluso tienen una depuración de pila especial.
Este viene porque el valor de fs.s3a.multipart.size establecido en /core-default.xml de hadoop-common el recurso es 100M, que llegó con HADOOP-13680
y el rango analiza números de manejo como "100M" en lugar de 104857600 . Este seguimiento de pila dice "Configuración de Hadoop 2.8+"
Podría intentar establecer la propiedad en sus configuraciones en ese valor numérico, pero es una señal de advertencia de que las versiones de los archivos JAR no están sincronizadas y probablemente solo obtendrá unas pocas líneas más antes de que se rompa algo más.
Solución:asegúrese de que hadoop-common.jar y hadoop-aws.jar están sincronizados. Parece que tienes los jackson y los aws alineados, aunque jackson es lo suficientemente complejo como para no darlo por sentado.
