site:enseignement:master:bdle:tmes:tmejointure
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| site:enseignement:master:bdle:tmes:tmejointure [30/11/2018 15:24] – [Classes et Fonctions auxiliaires] hubert | site:enseignement:master:bdle:tmes:tmejointure [14/12/2018 16:18] (Version actuelle) – [Exercice 6 : Chemin le plus long] hubert | ||
|---|---|---|---|
| Ligne 645: | Ligne 645: | ||
| - | === Equi-jointure lorsque les attribut | + | === Equi-jointure lorsque les attributs |
| Soit la requête R5 | Soit la requête R5 | ||
| Ligne 697: | Ligne 697: | ||
| ===== Exercice 4 : Produit Cartésien | ===== Exercice 4 : Produit Cartésien | ||
| - | Voir diapo 33: Calculer la similarité entre 2 utilisateurs de MovieLens | + | Voir diapo du cours : Calculer la similarité entre 2 utilisateurs de MovieLens ou 2 individus |
| * Définir une fonction qui calcule la similarité de Jaccard entre 2 listes d' | * Définir une fonction qui calcule la similarité de Jaccard entre 2 listes d' | ||
| Ligne 717: | Ligne 717: | ||
| - | ===== Exercice 5 : Questions diverses | + | ===== Exercice 5 : Traitement itératif par partition et par groupe d' |
| - | La methode zipWithIndex (numérotant les éléments d'une collection) existe pour un RDD mais pas pour un DataSet. | + | La methode zipWithIndex (numérotant les éléments d'une collection) existe pour un RDD mais pas pour un Dataset. |
| Ecrire la fonction '' | Ecrire la fonction '' | ||
| + | Rmq: une solution consiste à utiliser mapPartitionsWithIndex pour connaitre la taille des partitions et parcourir une partition pour affecter les numéros consécutifs à chaque élément. | ||
| + | |||
| + | |||
| + | |||
| + | ===== Exercice 6 : Chemin le plus long ===== | ||
| + | Pour les données de yago utilisées précédemment, | ||
| + | Un chemin doit être sans circuit (ou sans cycle : ne jamais repasser sur le même sujet). | ||
| + | Combien y a -t-il de chemin de longueur 2, 3 ,4 ? | ||
| + | Quelle est la longueur maximale ? | ||
| + | Montrer que votre solution est efficace. Expliquer ce que vous avez mis en oeuvre pour apporter plus d' | ||
site/enseignement/master/bdle/tmes/tmejointure.1543587894.txt.gz · Dernière modification : de hubert
