Puede anular las configuraciones predeterminadas para las aplicaciones proporcionando un objeto de configuración para las aplicaciones cuando crea un clúster. Se hace referencia al objeto de configuración como un archivo JSON. Los objetos de configuración constan de una clasificación, propiedades y configuraciones anidadas opcionales. Las propiedades son las configuraciones que desea cambiar en ese archivo. Puede especificar varias clasificaciones para varias aplicaciones en un único objeto JSON.
Para anular hive-site.xml con su información externa de mysql metastore, cree un archivo de configuración llamado hiveConfiguration.json que contenga ediciones en hive-site.xml:
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
Utilice hiveConfiguration.json con el siguiente comando de la CLI de AWS para crear el clúster:
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Referencia:
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html
