Bases de Données / Databases

Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site

Outils pour utilisateurs

Outils du site


site:enseignement:master:bdle:tmes:spark

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
site:enseignement:master:bdle:tmes:spark [14/10/2019 12:55] – [Utilisation d'un notebook] hubertsite:enseignement:master:bdle:tmes:spark [22/10/2019 18:05] (Version actuelle) – [Utilisation un notebook Zeppelin] amine
Ligne 58: Ligne 58:
  
 pour restreindre l'affichage des logs aux erreurs seulement. pour restreindre l'affichage des logs aux erreurs seulement.
 +
 +
 +==== Utilisation de jupyter-notebook depuis une machine personnelle  ====
 +**Pré-requis** : disposer d'une installation locale de spark et de jupyter-notebook.
 +
 +  - créer une variable d’environnement <code bash>SPARK_HOME</code> qui devra pointer vers le répertoire d'installation de Spark
 +  - installer le package spylon-kernel en tapant <code bash> pip install spylon-kernel</code>  
 +  - rajouter le kernel en tapant <code bash>python -m spylon_kernel install</code>
 +  - lancer jupyter-notebook puis sélectionner le kernel //spylon_kernel//. L'instance Spark démarrera à l'évaluation de la première instruction
 +
  
  
Ligne 69: Ligne 79:
 Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]]  Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]] 
  
-Autre possibilité, utiliser le kernel spylon dans jupyter notebook+/*Autre possibilité, utiliser le kernel spylon dans jupyter notebook
 (seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install) (seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install)
 +*/
  
 /*     ----------------  ANCIEN Noteboook /*     ----------------  ANCIEN Noteboook
site/enseignement/master/bdle/tmes/spark.1571050546.txt.gz · Dernière modification : de hubert