Différences

Ci-dessous, les différences entre deux révisions de la page.

--- site:enseignement:master:bdle:tmes:projet2018 [18/01/2019 10:40] – hubert
+++ site:enseignement:master:bdle:tmes:projet2018 [31/01/2019 21:25] (Version actuelle) – [Mini-projet 2018] hubert
@@ Ligne 1: / Ligne 1: @@
 ====== Mini-projet 2018 ======
-Consulter le [[https://nuage.lip6.fr/s/wNwjFKqAw9aGXHp| Dossier pour le projet]] contenant :
+Commencer par consulter le [[https://nuage.lip6.fr/s/wNwjFKqAw9aGXHp| Dossier pour le projet]] contenant
-le sujet et le document tuto_idea pour utiliser l'outil IDEA
+le //sujet// et le document //tuto_idea// pour utiliser l'outil IDEA
-Complément pour manipuler des graphes :
-Voir le dossier /Infos/bd/spark/dataset/arxiv/graphe_similarite
+====Facultatif : Complément du mini projet : Calcul de composantes connexes====
+Date: janvier 2019
+Utiliser GraphX pour manipuler le graphe se trouvant dans
+le dossier /Infos/bd/spark/dataset/arxiv/graphe_similarite
 <code bash>
-cd /Infos/bd/spark/dataset/arxiv/graphe_similarite
+cd /Infos/bd/spark/dataset/arxiv/graphe_similarite/40_topics_par_annee
+more similarite.json
+more topicDetail.json
 </code>
+Etant donnée un seuil de similarité //s//, calculer le sous-graphe Gs dont les liens ont une similarité supérieure ou égale à //s//.
+Faire le calcul pour les 10 valeurs de s dans {0, 0.1, 0.2, ..., 0.9}
+Pour chaque Gs obtenu, calculer les **composantes connexes**.
+Quelles sont les 10 composantes les plus grandes en nombre de noeuds et contenant au moins 4 années?
+Proposer un critère d'importance pour une composante et calculer les 10 composantes les plus importantes.
@@ Ligne 16: / Ligne 34: @@
-===Divers===
+====Divers====
 [[https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package| Spark API]], les [[https://spark.apache.org/docs/latest/api/sql/index.html|fonctions]] pour transformer un élément d'un Dataframe.
 Retour vers l'UE [[site:enseignement:master:bdle:start]]