site:enseignement:master:bdle:tmes:tmejointure
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
site:enseignement:master:bdle:tmes:tmejointure [30/11/2018 15:24] – [Classes et Fonctions auxiliaires] hubert | site:enseignement:master:bdle:tmes:tmejointure [14/12/2018 16:18] (Version actuelle) – [Exercice 6 : Chemin le plus long] hubert | ||
---|---|---|---|
Ligne 645: | Ligne 645: | ||
- | === Equi-jointure lorsque les attribut | + | === Equi-jointure lorsque les attributs |
Soit la requête R5 | Soit la requête R5 | ||
Ligne 697: | Ligne 697: | ||
===== Exercice 4 : Produit Cartésien | ===== Exercice 4 : Produit Cartésien | ||
- | Voir diapo 33: Calculer la similarité entre 2 utilisateurs de MovieLens | + | Voir diapo du cours : Calculer la similarité entre 2 utilisateurs de MovieLens ou 2 individus |
* Définir une fonction qui calcule la similarité de Jaccard entre 2 listes d' | * Définir une fonction qui calcule la similarité de Jaccard entre 2 listes d' | ||
Ligne 717: | Ligne 717: | ||
- | ===== Exercice 5 : Questions diverses | + | ===== Exercice 5 : Traitement itératif par partition et par groupe d' |
- | La methode zipWithIndex (numérotant les éléments d'une collection) existe pour un RDD mais pas pour un DataSet. | + | La methode zipWithIndex (numérotant les éléments d'une collection) existe pour un RDD mais pas pour un Dataset. |
Ecrire la fonction '' | Ecrire la fonction '' | ||
+ | Rmq: une solution consiste à utiliser mapPartitionsWithIndex pour connaitre la taille des partitions et parcourir une partition pour affecter les numéros consécutifs à chaque élément. | ||
+ | |||
+ | |||
+ | |||
+ | ===== Exercice 6 : Chemin le plus long ===== | ||
+ | Pour les données de yago utilisées précédemment, | ||
+ | Un chemin doit être sans circuit (ou sans cycle : ne jamais repasser sur le même sujet). | ||
+ | Combien y a -t-il de chemin de longueur 2, 3 ,4 ? | ||
+ | Quelle est la longueur maximale ? | ||
+ | Montrer que votre solution est efficace. Expliquer ce que vous avez mis en oeuvre pour apporter plus d' | ||
site/enseignement/master/bdle/tmes/tmejointure.1543587894.txt.gz · Dernière modification : de hubert