En este tutorial de Hadoop , vamos a discutir el concepto de conmutación por error automática de NameNode en Hadoop. En primer lugar, veremos qué es la conmutación por error y los tipos de conmutación por error. Luego cubriremos HDFS conmutación por error automática en Hadoop.
Componentes de Hadoop Automatic Failover en HDFS como ZooKeeper quórum, ZKFailoverController Process (ZKFC). Por último, también discutiremos los roles de estos dos componentes en Hadoop .
¿Qué es la conmutación por error?
El proceso en el que el sistema transfiere su control al sistema secundario cuando detecta una falla se conoce como failover .
La conmutación por error es de dos tipos:
- Conmutación por error elegante: El administrador inicia Graceful Failover manualmente, por ejemplo, en el caso de mantenimiento de rutina. El sistema no activará una conmutación por error automáticamente desde el nodo de nombre activo al en espera, incluso si el nodo activo ha fallado en la conmutación por error elegante.
- Conmutación por error automática: La conmutación por error automática es el proceso en el que el sistema transfiere automáticamente su control al NameNode en espera cuando el NameNode falla. En Hadoop, la conmutación por error automática ocurre en caso de fallas de NameNode. Pero en caso de falla de NameNode, Failover se iniciará automáticamente. Esta conmutación por error es una conmutación por error automática.
Failover automático de NameNode en Hadoop
La conmutación por error automática en Hadoop agrega los siguientes componentes a una implementación de Hadoop HDFS:
- Cuórum de ZooKeeper.
- Proceso ZKFailoverController (ZKFC).
1. Quórum ZooKeeper
Zookeeper en Hadoop es un servicio centralizado. Mantiene información de configuración, nombres y proporciona sincronización distribuida. También ofrece servicios para grupos. Zookeeper también administra y coordina un gran grupo de máquinas.
Por las siguientes razones, la implementación de la conmutación por error automática de HDFS se basa en Zookeeper:
- Detección de fallas- Zookeeper en Hadoop mantiene una sesión con los nodos de nombres. Durante una falla, la sesión caducará. Por lo tanto, Zookeeper informará a otros nodos de nombre para iniciar el proceso de conmutación por error.
- Elección de nodo de nombre activo- Un mecanismo simple provisto por Zookeeper para elegir solo un nodo como activo. En el momento de la falla del nodo de nombre activo, otro nodo de nombre puede tomar un bloqueo exclusivo en Zookeeper indicando que quiere convertirse en el próximo nodo de nombre activo.
2. Controlador de conmutación por error ZK (ZKFC)
ZKFC es un cliente de Zookeeper en Hadoop que monitorea y administra el estado del nodo de nombre. Cada una de las máquinas que ejecutan el servicio de nodo de nombre también ejecuta un ZKFS. Puede manejar:
- Supervisión de la salud: Con un comando de verificación de estado, ZKFS hace ping a su nodo de nombre local. El ZKFS considera que el nodo de nombre está en buen estado, siempre y cuando el nodo de nombre responda a la vez. El monitor de estado marcará un nodo como en mal estado, si el nodo se bloqueó o entró en un estado de mal estado.
- Gestión de sesiones de Zookeeper: ZKFC mantiene una sesión abierta en Zookeeper cuando el nodo de nombre local está en buen estado. También contiene un znode de "bloqueo" especial, si el namenode local está activo. Si la sesión caduca, el bloqueo se eliminará automáticamente.
- Elección basada en el cuidador del zoológico: En HDFS, si el namenode local está en buen estado y el ZKFC ve que ningún otro nodo tiene actualmente el znode de bloqueo, intentará obtener el bloqueo. Y, si tiene éxito, entonces ha ganado la elección”, y maneja la ejecución de una conmutación por error para que su nodo de nombre local esté activo.
Conclusión
Por lo tanto, la conmutación por error automática en Hadoop se inicia automáticamente en caso de falla de NameNode. La conmutación por error automática agrega componentes de quórum ZooKeeper y ZKFailoverController Process (ZKFC) a una implementación de HDFS.
Zookeeper en Hadoop es un servicio que proporciona la capacidad de conmutación por error automática en HDFS .
