Différences

Ci-dessous, les différences entre deux révisions de la page.

--- site:enseignement:master:bdle:tmes:spark [30/11/2018 11:17] – amine
+++ site:enseignement:master:bdle:tmes:spark [22/10/2019 18:05] (Version actuelle) – [Utilisation un notebook Zeppelin] amine
@@ Ligne 16: / Ligne 16: @@
 ===== Installation de Spark (à réaliser une seule fois) =====
-Vérifier si Spark (version **<fc #ff0000>2.3</fc>**) est installé sur votre machine, en salle de TME, en tapant
+Vérifier que spark (version **<fc #ff0000>2.4</fc>**) est installé sur votre machine, en salle de TME, en tapant
 <code bash>
-source /Infos/bd/spark-config
+source /Infos/bd/spark/config.sh
 which spark-shell
 </code>
 cela doit afficher
-/usr/local/spark-2.3.2-bin-hadoop2.7/bin/spark-shell
+/usr/local/spark-2.4.4-bin-hadoop2.7/bin/spark-shell
 Si c'est le cas ajouter à la fin de votre fichier ''.bashrc'' la ligne suivante :
 <code bash>
-source /Infos/bd/spark-config
+source /Infos/bd/spark/config.sh
 </code>
 Puis lancer le client Spark :
-<code bash>spark-shell  --driver-memory 8G</code>
+<code bash>spark-shell  --driver-memory 8G --executor-memory 8G</code>
 puis saisir
@@ Ligne 38: / Ligne 38: @@
 <code scala>:q</code>
-A faire **seulement** si spark n'est **pas** installé sur votre machine de TME : télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue
+A faire **seulement** si vous utilisez votre machine personelle et que spark n'est **pas** déjà installé: télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue
 et ajouter dans votre fichier .bashrc les lignes :
 <code bash>
@@ Ligne 46: / Ligne 47: @@
 puis appliquer les lignes ajoutées en exécutant
 <code bash>source ~/.bashrc</code>
 ==== Utilisation en mode local (plutôt conseillé) ====
 Pour utiliser Spark en mode local, il suffit d'exécuter la commande
-<code bash>spark-shell  --driver-memory 10G</code>
+<code bash>spark-shell  --driver-memory 8G --executor-memory 8G</code>
 Une fois que vous avez l'invite Scala, exécuter
@@ Ligne 59: / Ligne 58: @@
 pour restreindre l'affichage des logs aux erreurs seulement.
+==== Utilisation de jupyter-notebook depuis une machine personnelle  ====
+**Pré-requis** : disposer d'une installation locale de spark et de jupyter-notebook.
+  - créer une variable d’environnement <code bash>SPARK_HOME</code> qui devra pointer vers le répertoire d'installation de Spark
+  - installer le package spylon-kernel en tapant <code bash> pip install spylon-kernel</code>
+  - rajouter le kernel en tapant <code bash>python -m spylon_kernel install</code>
+  - lancer jupyter-notebook puis sélectionner le kernel //spylon_kernel//. L'instance Spark démarrera à l'évaluation de la première instruction
@@ Ligne 64: / Ligne 73: @@
 {{ :site:enseignement:master:bdle:tmes:tuto_idea.pdf |Tuto IDEA}}
-Voir le document tuto_idea sur la page [[projet2018]]
+Le Tuto est aussi disponible depuis la page [[projet2018]]
 ==== Utilisation d'un notebook   ====
-Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala.
+Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]]
-Pour ce faire, suivre les instructions ci-dessous.
+/*Autre possibilité, utiliser le kernel spylon dans jupyter notebook
+(seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install)
+*/
+/*     ----------------  ANCIEN Noteboook
 <code bash>
 unzip /Infos/bd/spark/spark-notebook-master-scala-2.11.8-spark-2.2.0-hadoop-2.7.2.zip
 </code>
 Démarrer le notebook:
 <code bash>
 cd spark-notebook-0.9.0-SNAPSHOT-scala-2.11.8-spark-2.2.0-hadoop-2.7.2
 bin/spark-notebook
 </code>
 puis lancer dans votre navigateur :
 http://localhost:9000
+ --------------------------------------- */