Mise en place de Spark avec Maven sur Eclipse et IntelliJ IDEA

Qu’est ce que Apache Spark?

Apache Spark est un framework open source de calcul distribué, initialement développé à Berkeley par AMPLab et maintenant un projet de la fondation Apache. Contrairement à Hadoop qui utilise le patron d’architecture MapReduce sur des disques, Spark travaille en mémoire vive ce qui est potentiellement cent fois plus rapide.

Spark nécessite :

  • un gestionnaire de cluster : Spark lui-même (native Spark cluster), Hadoop YARN ou encore Apache Mesos (en). Spark peut même fonctionner sur un seul serveur, notamment pour le développement.
  • un système de stockage distribué : Hadoop Distributed File System (HDFS), Informix, Cassandra, OpenStack Swift ou Amazon S3.

Qu’est ce que Maven?

Apache Maven est un outil pour la gestion et l’automatisation de production des projets logiciels Java en général et Java EE en particulier.

Pour installer Apache Maven :

Mise en place de Spark avec Maven sur Eclipse et IntelliJ IDEA

Instructions pour Eclipse :

Dans le menu “File” selectionnez “New”, puis “Other”:

nouveau-projet-java-maven-1

Développez le dossier “Maven” et choisissez “Maven Project”, puis cliquez sur “Next”:

nouveau-projet-java-maven-2

Cochez la case “Create a simple project” et cliquez sur “Next”:

nom-et-localisation-du-projet-maven

Enterez GroupId, ArtifactId, Verison, et Name, et cliquez sur “Finish”:

configuration-projet-mave

Ouvrez le pom.xml et cliquez sur l’onglet “pom.xml”. Ajoutez les dépendances de Spark :

Enregistrez le pom.xml

Finalement, copier/coller le code de la classe “HelloWorld”:

Vous avez mis correctement en place Apache Spark 😉

 

Créer un premier package Java sur Eclipse

Sélectionnez votre projet dans l’explorateur de packages, puis choisissez Package dans le menu File – New. Nommez-le javaBasics en commençant le nom par une minuscule pour respecter les conventions d’écriture du langage Java puis cliquez sur le bouton Finish.

Nouveau package Java

Nouveau package Java

Votre package est ajouté au projet.

package-java-opentuto

Avant de poursuivre, allons voir les dossiers créés sur le disque dur. Vous devriez avoir une structure semblable à celle-ci :

dossiers-projet-java

Le dossier bin est généré automatiquement. Il a une structure identique au dossier src et comportera lors de l’exportation du projet les classes compilées (extension class) et les ressources nécessaires à son fonctionnement.

Installation d’Eclipse

Aller au site de téléchargement d’Eclipse, http://www.eclipse.org/downloads/

Téléchargez la version Eclipse IDE for Java Developers après avoir choisi la version correspondant à votre système d’exploitation. 

Eclipse IDE for Java Developers

Eclipse IDE for Java Developers

Décompressez le fichier puis lancez Eclipse en double cliquant sur le fichier eclipse.exe.

Nous allons vérifier qu’Eclipse est bien configuré pour travailler avec le JDK 1.7.

Cliquez sur Window – Preferences, choisissez Java – Compiler puis assurez-vous qu’il s’agit bien de la version 1.7 dans la liste déroulante.

Configuration Eclipse avec Java 1.7

Configuration Eclipse avec JDK 1.7

Consultez ensuite la rubrique Installed JREs. Vérifiez que la référence au jdk1.7 est bien présente.

JRE installés

JRE installés

Lors du premier lancement, Eclipse propose un dossier par défaut nommé workspace dans lequel les projets seront enregistrés. Vous pouvez créer et sélectionner un autre dossier plus personnel.

Cochez l’option Use this as the default and do not ask again pour ouvrir par défaut ce workspace.

 

Workspace d'Eclipse

Workspace d’Eclipse

Vous pouvez par la suite changer de workspace par le menu File – Switch Workspace.

Ajouter des plugins et librairies à Eclipse

Ajout des plugins à Eclipse

L’ajout des plugins à Eclipse peut se faire selon deux manières différentes, soit vous réalisez les opérations vous-même, soit vous communiquez à Eclipse l’URL du site disposant du plugin et vous le laissez faire le travail.

Dans le premier cas, vous téléchargez le plugin concerné, décompressez-le et mettre respectivement les fichiers /plugins dans le répertoire /eclipse/plugins et les fichiers /features dans /eclipse/features (s’il y a également des features) et redémarrez Eclipse.

Installation manuelle d'un plugin eclipse

Installation manuelle d’un plugin eclipse

Copiez les contenus et seulement les contenus des dossiers features et plugins dans les dossiers du même nom d’Eclipse. N’ecrasez pas features et plugins d’Eclipse!!

Dans le second cas, il suffit d’aller dans le menu Help – Install – New Software et de sélectionner ou de copier l’adresse du site dans la rubrique Work with.

 eclipse-install-new-software

Ajout de librairies à Eclipse

Pour l’ajout de librairies à un projet sur Eclipse, effectuez un clic droit sur le projet, sélectionnez Properties puis choisissez Java Build Path. Cliquez ensuite sur le bouton Add External JARs.

Ajout de librairies à Eclipse

Ajout de librairies à Eclipse

Sélectionnez ensuite les fichiers .jar à ajouter au projet.