Hadoop 2 – High Availability

Dans la version 1 de Hadoop, le NameNode (NN) est un SPOF (Single Point Of Failure) et la seule façon de parer à une défaillance du NN était :

  • De lui affecter une machine à haute tolérance aux pannes.
  • D’avoir une machine “miroir”, prête à démarrer en cas de défaillance du NN.

Depuis Hadoop 2.0.0, cette notion de machine “miroir” a été remplacée par le mode HA (High Availability = haute disponibilité). Dans ce mode, il existe deux NN, l’un actif (Active NN), l’autre en veille (Standby NN). Le Standby NN est prêt à remplacer automatiquement l’Active NN en cas de défaillance de ce dernier, en quelques secondes en mode automatique.

Le basculement de l’Active NN vers le Standby NN peut se faire de manière automatique ou manuelle.

Les daemons de HDFS en mode High Availability (HA)

Les daemons de HDFS en mode High Availability (HA)

Un daemon nommé ZooKeeper Failover Controller (ZKFC) s’exécute sur chaque NameNode (Active NN et Standby NN). Si ZooKeeper ne reçoit pas d’information de l’Active NN pendant un temps prédéfini, il considérera ce dernier comme défaillant, et basculera sur le Standby NN.

Laisser un commentaire