Nouvelles et évènements
Quoi de neuf dans la version 2 de Hadoop
- 21 juillet 2016
- Publié par : OpenTuto
- Catégorie : Hadoop
Les principaux apports de la version 2 de Hadoop sont au nombre de quatre :
- High Availability permet de faire en sorte que le NameNode ne soit plus un Single Point Of Failure.
- Federation permet de gérer de manière plus efficace les clusters de grande taille.
- YARN, une évolution de l’architecture d’Hadoop permettant de décharger le JobTracker(le service en charge du lancement et du suivi des tâches sur le cluster Hadoop) qui avait tendance à cumuler trop de rôles et devenait donc complexe à maintenir et à faire scaler.
- La possibilité d’installer Hadoop directement sous Microsoft Windows.
Pour une liste à jour des dernières versions de Hadoop et de leurs fonctionnalités, se reporter à l’adresse suivante : http://hadoop.apache.org/releases.html.
Nous avons deja installé la distribution Cloudera de Hadoop, exactement la version 4 de cloudera (CDH4). Cette dernière est basée sur la version 1 de Hadoop, mais comprend déjà certains éléments de la version 2.
Aujourd’hui, le 21/07/2016, la distribution Cloudera de Hadoop est en evrsion 5 repose entièrement sur la version 2 de Hadoop. CDH5 ne supporte plus JDK 1.6 : il faut impérativement utiliser JDK 1.7.
Autres apports de la version 2 de Hadoop :
La disparition du JobTracker de l’architecture
Ou plus précisément, ses rôles ont été répartis différemment.
L’architecture est maintenant organisée autour d’un ResourceManager dont le périmètre d’action est global au cluster et à des ApplicationMaster locaux dont le périmètre est celui d’un job ou d’un groupe de jobs. JobTracker = ResourceManager + ApplicationMaster.
Le ResourceManager
Le ResourceManager est le remplaçant du JobTracker du point de vue du client qui soumet des jobs (ou plutôt des applications en Hadoop 2) à un cluster Hadoop.
Il n’a maintenant plus que deux tâches bien distinctes à accomplir :
- Scheduler est responsable de l’allocation des ressources des applications tournant sur le cluster.
- ApplicationsManager accepte les soumissions d’applications.
Laisser un commentaire Annuler la réponse
Vous devez vous connecter pour publier un commentaire.