Différences

Ci-dessous, les différences entre deux révisions de la page.

--- site:enseignement:master:bdle:tmes:spark [23/09/2019 10:46] – [Utilisation d'un notebook] hubert
+++ site:enseignement:master:bdle:tmes:spark [22/10/2019 18:05] (Version actuelle) – [Utilisation un notebook Zeppelin] amine
@@ Ligne 16: / Ligne 16: @@
 ===== Installation de Spark (à réaliser une seule fois) =====
-Vérifier si Spark (version **<fc #ff0000>2.3</fc>**) est installé sur votre machine, en salle de TME, en tapant
+Vérifier que spark (version **<fc #ff0000>2.4</fc>**) est installé sur votre machine, en salle de TME, en tapant
 <code bash>
 source /Infos/bd/spark/config.sh
@@ Ligne 38: / Ligne 38: @@
 <code scala>:q</code>
-A faire **seulement** si spark n'est **pas** installé sur votre machine de TME : télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue
+A faire **seulement** si vous utilisez votre machine personelle et que spark n'est **pas** déjà installé: télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue
 et ajouter dans votre fichier .bashrc les lignes :
 <code bash>
@@ Ligne 46: / Ligne 47: @@
 puis appliquer les lignes ajoutées en exécutant
 <code bash>source ~/.bashrc</code>
 ==== Utilisation en mode local (plutôt conseillé) ====
@@ Ligne 59: / Ligne 58: @@
 pour restreindre l'affichage des logs aux erreurs seulement.
+==== Utilisation de jupyter-notebook depuis une machine personnelle  ====
+**Pré-requis** : disposer d'une installation locale de spark et de jupyter-notebook.
+  - créer une variable d’environnement <code bash>SPARK_HOME</code> qui devra pointer vers le répertoire d'installation de Spark
+  - installer le package spylon-kernel en tapant <code bash> pip install spylon-kernel</code>
+  - rajouter le kernel en tapant <code bash>python -m spylon_kernel install</code>
+  - lancer jupyter-notebook puis sélectionner le kernel //spylon_kernel//. L'instance Spark démarrera à l'évaluation de la première instruction
@@ Ligne 70: / Ligne 79: @@
 Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]]
-/* ANCIEN Noteboook
+/*Autre possibilité, utiliser le kernel spylon dans jupyter notebook
+(seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install)
+*/
+/*     ----------------  ANCIEN Noteboook
 <code bash>
 unzip /Infos/bd/spark/spark-notebook-master-scala-2.11.8-spark-2.2.0-hadoop-2.7.2.zip
 </code>
 Démarrer le notebook:
 <code bash>
 cd spark-notebook-0.9.0-SNAPSHOT-scala-2.11.8-spark-2.2.0-hadoop-2.7.2
 bin/spark-notebook
 </code>
 puis lancer dans votre navigateur :
 http://localhost:9000
-*/
+ --------------------------------------- */