Hadoop 2 añade soporte para ejecutar aplicaciones non-batch a través de la introducción de YARN, un administrador de recursos de cluster rediseñado que elimina la dependencia exclusiva de Hadoop en el modelo de programación de MapReduce. Con las Siglas de Yet Another Resource Negotiator, YARN propone una gestión de recursos y programación de funciones en una capa independiente bajo el procesamiento de datos, permitiendo que Hadoop 2 ejecute una variedad de aplicaciones. En general, los cambios realizados en Hadoop 2 permiten un framework para un uso más amplio de análisis de Big Data y otras aplicaciones empresariales. Por ejemplo, ahora es posible ejecutar eventos de procesamiento así como streaming, aplicaciones en tiempo real y operativas. La capacidad de programación de framework distintos de MapReduce de apoyo también significa que Hadoop puede servir como una plataforma para una amplia variedad de aplicaciones analíticas.

¿Qué otras características nos trae?

Hadoop 2 también incluye nuevas características diseñadas para mejorar la escalabilidad y la disponibilidad del sistema. Por ejemplo, introdujeron un Hadoop Distributed File System (HDFS) de alta disponibilidad (HA), rasgo que aporta una nueva arquitectura NameNode a Hadoop. Anteriormente, Hadoop clusters tenían un NameNode que mantenía un árbol de directorios de archivos HDFS y seguimiento donde se almacenan los datos en un cluster. El esquema de alta disponibilidad de Hadoop 2 permite a los usuarios configurar los cluster con NameNodes redundante, quitando la posibilidad de que un solitario NameNode se convierta en un punto único de fallo (SPoF) dentro de un cluster. Mientras tanto, una nueva capacidad de Federación HDFS permite construir clusters horizontalmente con múltiples NameNodes que trabajan de forma independiente, pero comparten una base común de almacenamiento de datos, ofreciendo mejor escala de cálculos en comparación con Apache Hadoop 1.x.

¿Qué novedades tenemos frente a la seguridad Big Data?

Hadoop 2 también añadió soporte para Microsoft Windows y una capacidad de copia instantánea que hace copias de sólo lectura point-in-time de un sistema de archivos disponibles para datos backup y recuperación ante desastres (DR). Además, la revisión ofrece gran compatibilidad binaria con las aplicaciones existentes de MapReduce construido para las versiones 1.x Hadoop.

¿Desde dónde puedo descargar Hadoop 2?

Para descargar Hadoop 2 debe ingresar al siguiente sitio: http://www.apache.org/dyn/closer.cgi/hadoop/common/

Si recién comienzan en el mundo de Hadoop, les recomiendo leer ¿Qué es hadoop? y ¿Cuándo utilizar hadoop?

Si esta entrada fue de tu interés compártela con tus conocidos