Cloudera Data Platform (CDP) es la última oferta de Big Data de Cloudera. Incluye Apache HBase y Phoenix como parte de la plataforma. Estos dos componentes se proporcionan en 3 factores de forma:
- Para implementaciones locales, están disponibles de manera similar a CDH y HDP (dentro de la oferta de nube privada de CDP)
- Para los clientes que deseen administrar la base de datos por su cuenta en AWS y Azure, está disponible como parte de la oferta CDP Public Cloud DataHub (con la plantilla de base de datos operativa o en Custom implementaciones de DataHub)
- Estará disponible como parte de Cloudera Operational Database (COD) próximamente, que es una oferta completamente administrada que elimina la sobrecarga de administración de operar una implementación de HBase
Los clientes de Apache HBase de Cloudera suelen ejecutar aplicaciones de misión crítica que no pueden permitirse ningún tiempo de inactividad. Necesitan una forma de migrar a una nueva implementación sin una interrupción de la producción o, como mínimo, una pequeña interrupción. Con estas consideraciones de actualización en mente, especialmente con el próximo final del soporte para CDH5 y HDP 2, hemos desarrollado el Complemento de replicación Cloudera OpDB .
Muchas empresas también implementan clústeres HBase basados en CDH 6, HDP 3 y EMR, pero buscan reducir o eliminar la sobrecarga operativa del mantenimiento de los clústeres HBase. Para ellos, el complemento de replicación Cloudera OpDB puede permitirles migrar a DataHub o COD sin incurrir en ningún tiempo de inactividad o interrupción de la producción.
El complemento de replicación admite la replicación desde los siguientes clústeres de HBase de origen:
- CDH 5.14
- CDH 6.3
- HDP 2.6.5
- HDP 3.1.5
- EMR 5,28
Replicación HBase
HBase ha brindado una capacidad de replicación madura y rica en funciones durante casi una década. La replicación es una de las capacidades más populares de HBase, ya que proporciona una solución automática de recuperación ante desastres (DR), admite la migración de datos, admite la partición de cargas de trabajo y/o admite un índice secundario basado en búsqueda a través de la integración con Apache Solr. En la Guía de referencia de HBase se explica en detalle cómo funciona la replicación de HBase y cómo configurar la replicación y se ha tratado en muchos artículos del Blog de Cloudera. Actualmente, admite muchas topologías, incluidas:
- Fan-in
- Fan-out
- Cíclico
- Bidireccional
La replicación de HBase se puede configurar en el espacio de nombres (es decir, la base de datos) o en el nivel de la tabla. Si bien es de naturaleza casi en tiempo real, se puede configurar para que sea eventualmente consistente o consistente en la línea de tiempo.
El complemento de replicación Cloudera OpDB solo admite un clúster de destino proporcionado por un clúster de CDP DataHub o por una base de datos COD, implementada en AWS o Azure.
Estableciendo confianza
La replicación de HBase hasta la fecha ha requerido que todos los clústeres participantes tengan las mismas definiciones de seguridad, en otras palabras, todos los clústeres no deben tener la seguridad habilitada (configuración de autenticación establecida en simple) o todos los clústeres deben tener la seguridad habilitada con kerberos (configuración de autenticación establecida en kerberos) .
Cuando se utiliza Kerberos, todos los principales de Kerberos de los clústeres deben pertenecer al mismo reino, o si están en diferentes ámbitos, deben ser confiables entre sí (comúnmente conocido como cross-realm autenticación).
Configuración de confianza entre reinos con Kerberos es problemático en la mayoría de las organizaciones, ya que las políticas de seguridad corporativas normalmente lo prohíben. Para solucionar este problema, el complemento de replicación Cloudera OpDB amplía la replicación de HBase para usar un método de autenticación alternativo, lo que permite la replicación en todos los dominios de seguridad. El complemento de replicación permite la replicación
- En múltiples dominios de Kerberos sin necesidad de confianza entre dominios
- Replicación de clústeres seguros a no seguros, y
- Replicación de clústeres inseguros a clústeres seguros.
Para establecer la confianza de los clústeres de CDP para los clústeres que no tienen configuraciones de seguridad o están protegidos mediante Kerberos, el complemento de replicación implementa un nuevo mecanismo de autenticación mediante un secreto compartido que se crea mediante una herramienta proporcionada y se almacena tanto en el clúster de origen como en el de destino.
Conclusión
La replicación es una herramienta valiosa para implementar DR y soluciones de migración de centros de datos (DC) para HBase. Tiene algunas advertencias, como se muestra aquí al tratar con las configuraciones de seguridad de los clústeres. Con el fin inminente de la vida útil de CDH 5 y HDP 2, la capacidad de migrar datos de estas plataformas heredadas a CDP es imprescindible.
Para los clientes con implementaciones de HBase basadas en HDP3, CDH6 y EMR 5.28, este complemento les permite adoptar sin problemas una solución HBase completamente administrada y reducir drásticamente la sobrecarga operativa de la administración de HBase.
Comuníquese con su equipo de cuenta de Cloudera si está interesado en implementar el complemento de replicación Cloudera OpDB en su entorno.
