Bases de Données / Databases

Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site

Outils pour utilisateurs

Outils du site

Piste :
site:enseignement:master:bdle:supports-cours:spark

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
site:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:01] – [Spark SQL] aminesite:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:12] (Version actuelle) – [Analyser du JSON en Spark SQL] amine
Ligne 93: Ligne 93:
  
 <code scala> <code scala>
 +import spark.implicits._
 +
 +
 val lineitem = spark.read.format("csv").option("header",true).option("inferSchema",true).load(lineitem_t).coalesce(6) val lineitem = spark.read.format("csv").option("header",true).option("inferSchema",true).load(lineitem_t).coalesce(6)
  
Ligne 115: Ligne 118:
 </code> </code>
 Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique. Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique.
 +===== Analyser du JSON en Spark SQL =====
 +Les extrait du cours sont dans <code bash>/Infos/bd/spark/dataset/json/json_samples.tar</code>
 +Chaque fichier de l'archive respecte le format [[http://jsonlines.org|Json lines]] et contient une collection d'objets JSON.
 +L'instruction suivant permet de charger une collection depuis //fichier.json// dans un dataset //coll//
  
 +<code scala>val coll = spark.read.json(fichier.json)</code>
site/enseignement/master/bdle/supports-cours/spark.1542301291.txt.gz · Dernière modification : de amine