Este blog le proporciona una descripción del Hadoop Función HDFS de alta disponibilidad. En este blog, en primer lugar, discutiremos qué es exactamente la alta disponibilidad, cómo Hadoop logra la alta disponibilidad, cuál es la necesidad de la característica de alta disponibilidad de HDFS.
También cubriremos el ejemplo de la característica de alta disponibilidad de Hadoop en este tutorial de Big data Hadoop.
¿Qué es la alta disponibilidad de Hadoop HDFS?
HDFS de Hadoop es un sistema de archivos distribuido. HDFS distribuye datos entre los nodos del clúster de Hadoop mediante la creación de una réplica del archivo. El marco Hadoop almacena estas réplicas de archivos en las otras máquinas presentes en el clúster.
Entonces, cuando un cliente HDFS quiere acceder a sus datos, puede acceder fácilmente a esos datos desde varias máquinas presentes en el clúster. Los datos están fácilmente disponibles en el nodo más cercano del clúster.
En algunas condiciones desfavorables, como la falla de un nodo, el cliente puede acceder fácilmente a sus datos desde los otros nodos. Esta función de Hadoop se denomina Alta disponibilidad. .
¿Cómo se logra la alta disponibilidad en Hadoop?
En el clúster de HDFS, hay varios Nodos de datos . Después del intervalo de tiempo definido, todos estos DataNodes envían mensajes de latido al NameNode . Si NameNode deja de recibir mensajes de latidos de cualquiera de estos DataNodes, asume que está muerto.
Después de eso, verifica los datos presentes en esos nodos y luego da comandos al otro nodo de datos para crear una réplica de esos datos en otros nodos de datos. Por lo tanto, los datos siempre están disponibles.
Cuando un cliente solicita acceso a datos en HDFS, en primer lugar, NameNode busca los datos en esos nodos de datos, en los que los datos están disponibles rápidamente. Y luego proporciona acceso a esos datos al cliente.
Los clientes no tienen que buscar los datos en todos los nodos de datos. HDFS Namenode en sí facilita la disponibilidad de datos para los clientes al proporcionar la dirección del nodo de datos desde donde un usuario puede leer directamente.
Ejemplo de alta disponibilidad de Hadoop
Hadoop HDFS proporciona alta disponibilidad de datos. Cuando el cliente solicita NameNode para acceder a los datos, NameNode busca todos los nodos en los que esos datos están disponibles.
Después de eso, proporciona acceso a esos datos al usuario desde el nodo en el que los datos estaban disponibles rápidamente. Mientras busca datos en todos los nodos del clúster, si NameNode encuentra algún nodo muerto, entonces, sin el conocimiento del usuario, NameNode redirige el usuario al otro nodo en el que están disponibles los mismos datos.
Sin ninguna interrupción, los datos se ponen a disposición del usuario. Entonces, en condiciones de falla del nodo, los datos también están altamente disponibles para los usuarios.
¿Cuáles eran los problemas en los sistemas heredados?
- Los datos no estaban disponibles debido a fallas en la máquina.
- El cliente HDFS tiene que esperar un largo período de tiempo para acceder a sus datos. La mayoría de las veces, los usuarios tienen que esperar un período de tiempo determinado hasta que el sitio web esté activo.
- Funcionalidades y características limitadas.
- Debido a la falta de disponibilidad de datos, la finalización de muchos proyectos importantes en las organizaciones se prolonga durante un largo período de tiempo y, por lo tanto, las empresas tienen que atravesar situaciones críticas.
Conclusión
Por lo tanto, los datos de Hadoop están altamente disponibles y accesibles a pesar de fallas de hardware debido a múltiples copias de datos. Por lo tanto, si algún nodo o máquina falla o deja de funcionar, podemos acceder a los datos desde otra ruta. Obtenga más información sobre las características de HDFS.
Si encuentra útil este blog sobre la alta disponibilidad de Hadoop, comparta sus opiniones en la sección de comentarios.
