Bases de Données / Databases

Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site

Outils pour utilisateurs

Outils du site


site:enseignement:master:bdle:tmes:tme3-prise-main-spark

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
site:enseignement:master:bdle:tmes:tme3-prise-main-spark [12/10/2018 11:05] – [Exercice 1] aminesite:enseignement:master:bdle:tmes:tme3-prise-main-spark [15/10/2018 09:09] (Version actuelle) – [Interrogation des données] amine
Ligne 13: Ligne 13:
 Lancer le spark-shell en mode local ([[spark|voir Doc]]) en suivant les instructions fournies  Lancer le spark-shell en mode local ([[spark|voir Doc]]) en suivant les instructions fournies 
 puis charger le fichier  puis charger le fichier 
-<code> data.txt </code>+<code> wordcount.txt </code>
 au moyen de la méthode textFile() invoquée à partir de la variable context comme suit : au moyen de la méthode textFile() invoquée à partir de la variable context comme suit :
  
-<code> val data = sc.textFile("<le_chemin_dans_votre_espace_perso>/data.txt")</code>+<code> val data = sc.textFile("<le_chemin_dans_votre_espace_perso>/wordcount.txt")</code>
  
  
Ligne 84: Ligne 84:
   * films (MovieID, Title, Genres)   * films (MovieID, Title, Genres)
  
-=== Structure de donnée : Dataset=== +
-Pour le TME sur les Dataset, récupérer le fichier suivant: +
-<code bash> +
-cp /Infos/bd/spark/tme-dataset-etudiant.scala <votre repertoire de travail> +
-emacs tme-dataset-etudiant.scala & +
-</code> +
  
  
Ligne 136: Ligne 131:
 </code> </code>
 </showif> </showif>
 +
 +
 +=== Exercice Subsidiaire :  reprendre les questions précédentes en utilisant l'API Dataset ===
 +Pour utiliser les Dataset, récupérer le fichier suivant:
 +<code bash>
 +cp /Infos/bd/spark/tme-dataset-etudiant.scala <votre repertoire de travail>
 +emacs tme-dataset-etudiant.scala &
 +</code> 
 +
 +
site/enseignement/master/bdle/tmes/tme3-prise-main-spark.1539335146.txt.gz · Dernière modification : de amine