Bases de Données / Databases

Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site

Outils pour utilisateurs

Outils du site

Piste :
site:enseignement:master:bdle:tmes:algebrespark

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
site:enseignement:master:bdle:tmes:algebrespark [25/10/2017 18:05] – [Exercice 1: Requêtes simples sur les données de Yago] hubertsite:enseignement:master:bdle:tmes:algebrespark [09/10/2018 14:12] (Version actuelle) – amine
Ligne 2: Ligne 2:
  
  
-====== [TME II-3] Algèbre Spark: Dataset ======+====== [TME II-2] Algèbre Spark: Dataset ======
 Ce TME aborde le traitement de requêtes Sparql dans la plateforme Spark. Ce TME aborde le traitement de requêtes Sparql dans la plateforme Spark.
   * Formulation des requêtes dans le langage Scala avec les API de Spark RDD et Dataset.   * Formulation des requêtes dans le langage Scala avec les API de Spark RDD et Dataset.
Ligne 17: Ligne 17:
 </code> </code>
  
 +<showif isloggedin>
 +**TODO (oct 2017): page MPI pour sparql endpoint sur Yago**
 +</showif>
  
 Aller dans votre répertoire de travail et lancer le spark-shell avec l'option <fc #ff0000>--driver-memory 10G</fc> Aller dans votre répertoire de travail et lancer le spark-shell avec l'option <fc #ff0000>--driver-memory 10G</fc>
Ligne 37: Ligne 40:
 Exemple, soient les trois triplets suivants : Exemple, soient les trois triplets suivants :
   (james joue guitare) (marie joue piano) (james ami_de marie) (marie  ami_de james)   (james joue guitare) (marie joue piano) (james ami_de marie) (marie  ami_de james)
-le motif ( ?x joue piano) retourne la liaison ?x->james+le motif ( ?x joue piano) retourne la liaison ?x->marie
 le motif ( ?x joue ?y) retourne les liaisons ?x->james, ?y-> guitare d’une part et  le motif ( ?x joue ?y) retourne les liaisons ?x->james, ?y-> guitare d’une part et 
 ?x->maire, ?y->piano d’autre part. ?x->maire, ?y->piano d’autre part.
Ligne 53: Ligne 56:
 Lire un exemple de données  Lire un exemple de données 
 <code> <code>
-more /Infos/bd/spark/dataset/yagoMiniSample.txt  +more /Infos/bd/spark/dataset/yago/yagoMiniSample.txt 
-more /Infos/bd/spark/dataset/yagoFacts5M_properties.txt+
 </code> </code>
 Lire la liste des propriétés Lire la liste des propriétés
 <code> <code>
-more /Infos/bd/spark/dataset/yagoFacts5M_properties.txt+more /Infos/bd/spark/dataset/yago/yagoFacts5M_properties.txt
 </code> </code>
  
Ligne 201: Ligne 203:
 </showif> </showif>
  
-Le résultat doit être:+Les 5 premiers éléments du résultat sont :
 <code> <code>
 |         y          |       x            | |         y          |       x            |
Ligne 260: Ligne 262:
 </showif> </showif>
  
-Le résultat doit être:+Le résultat, limité à 10 lignes, doit être:
 <code> <code>
 +--------------+----------+---------+-----------------+--------------------+----------------+ +--------------+----------+---------+-----------------+--------------------+----------------+
Ligne 294: Ligne 296:
  
  
-===== Exercice 2 : Requêtes sur Freebase=====+===== Exercice subsidiaire : Requêtes sur Freebase=====
 L’objectif de cet exercice est d’exprimer en Scala les différents types de motifs complexes. L’objectif de cet exercice est d’exprimer en Scala les différents types de motifs complexes.
  
Ligne 356: Ligne 358:
 </code> </code>
  
-===== Exercice 3=====+===== Exercice subsidiaire=====
  
 a) A partir de Q4 proposer une requête formant un chemin de longueur 4 puis 5 (avec des propriétés différentes de celles de Q4). a) A partir de Q4 proposer une requête formant un chemin de longueur 4 puis 5 (avec des propriétés différentes de celles de Q4).
site/enseignement/master/bdle/tmes/algebrespark.1508947508.txt.gz · Dernière modification : de hubert