Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site https://bd.team.lip6.fr/ 2026-10-07T06:49:00+00:00 https://bd.team.lip6.fr/ https://bd.team.lip6.fr/_media/wiki/logo.png text/html 2018-10-01T10:47:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/algebrespark-dfds?rev=1538390841&do=diff [TME II-4] Miniprojet 2017 Dépôt projets Dossier Projets 2018 Année 2017 Modalités **Date de remise : ** jeudi 09-11-2017, 14h00, par envoi de mail à <baazizi@ia.lip6.fr> et à <Hubert.Naacke@lip6.fr>, mettre en sujet [BDLE-MINIPROJ] Documents à remettre : fichier texte (word, pdf, etc) contenant les résultats de chaque question + annexe contenant le code Scala utilisé dans chaque question. text/html 2018-10-09T12:12:17+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/algebrespark?rev=1539087137&do=diff [TME II-2] Algèbre Spark: Dataset Ce TME aborde le traitement de requêtes Sparql dans la plateforme Spark. * Formulation des requêtes dans le langage Scala avec les API de Spark RDD et Dataset. * Exécution des requêtes. Préparation Récupérer les jeux de données de Freebase et Yago text/html 2021-09-27T11:02:33+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/databricks?rev=1632740553&do=diff Utilisation de Spark sous Databricks Il est possible d'utiliser un notebook Spark sur le cloud en utilisant le service community to databricks. Pour ce faire, commencer par créer un compte gratuit sur Databricks Community L'environnement Databricks vous fournit un espace pour sauvegarder vos notebooks. Il fournit aussi un espace (dbfs) pour stocker les datasets que vous manipulez en TME. text/html 2019-10-12T16:39:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/dataset?rev=1570898347&do=diff Jeux de données Cette page liste les jeux de données utilisables pour les TME de BDLE. Ils sont disponibles en ligne dans PUBLIC_DATASET ou localement dans /Infos/bd/spark/dataset Préparation : créer un répertoire /tmp/BDLE/dataset pour disposer temporairement des données. text/html 2020-01-24T10:17:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/graphes-neo4j-exemple-cours?rev=1579861025&do=diff 1. CREATE (jim:Person {name: 'Jim', age: 47}) 2. MATCH (n:Person) WHERE n.name='Jim' RETURN n 3. MATCH (n:Person {name: 'Jim'}) DETACH DELETE n 4. MATCH (n:Person) WHERE n.name='Jim' RETURN n 5. MATCH (n) WHERE NOT (EXISTS(n.emploi)) SET n.emploi=n.job REMOVE n.job RETURN properties(n) 6. MATCH(n) REMOVE n.emploi RETURN properties(n) 7. MATCH(n) RETURN n 8. MATCH (jim:Person {name: 'Jim'}) CREATE (sally:Person:Employee {name: 'Sally', age: 28}), (john:Person:Employee {name: 'Joh… text/html 2020-01-24T11:12:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/graphes-neo4j?rev=1579864359&do=diff Calculs sur les graphes en Neo4J * Télécharger Neo4J à cette adresse <https://neo4j.com/download/> * Installer et lancer Neo4J: instructions (Unix console application) * Créer une base de données graphe (“New Graph” puis “Create a local graph” ensuite “Start”) * Une fois la BD lancée cliquer sur text/html 2019-01-30T08:53:40+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/kvstore?rev=1548838420&do=diff TME KVStore (facultatif) Ce TME est facultatif pour 2018-2019 L'objectif de ce TME est de prendre en main un système scalable clé-valeur. Notions abordées: clé, répartition des données en fonction d'un préfixe de la clé, localité d'une opération, lectures/écritures non isolées, transaction pour isoler une séquence d'écritures, écriture conditionnelle. text/html 2019-01-31T20:25:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/projet2018?rev=1548966353&do=diff Mini-projet 2018 Commencer par consulter le Dossier pour le projet contenant le sujet et le document tuto_idea pour utiliser l'outil IDEA Facultatif : Complément du mini projet : Calcul de composantes connexes Date: janvier 2019 Utiliser GraphX pour manipuler le graphe se trouvant dans le dossier /Infos/bd/spark/dataset/arxiv/graphe_similarite text/html 2019-10-12T16:37:22+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/projet2019?rev=1570898242&do=diff Mini-projet 2019-2020 Les datasets utilisés pendant les TP et les projets sont en ligne: PUBLIC_DATASET Les fichiers utiles pour le mini projet seront déposés dans BDLE_ETUDIANT text/html 2020-12-14T08:47:41+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/projet2020?rev=1607935661&do=diff Mini-projets 2020-2021 Deux mini projets sont prévus Projet 1 Lire le sujet du Projet 1 Rappels : notebook databricks du TP1, PUBLIC_DATASET, channel BDLE Date de remise : déposer dans moodle une première version non définitive de votre projet le vendredi 23/10/2020 avant 8:30. Vous pourrez ensuite déposer une version finale jusqu’au text/html 2017-12-18T15:04:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/spark-execution?rev=1513609464&do=diff Ancien TME 2016 : Exécution dans Spark Exercice 3: Plan d'exécution Visualiser le plan d'exécution de chaque requête à l'aide de l'interface graphique dans votre navigateur: localhost:4040 * Dans l'onglet Jobs, cliquer sur le job le plus récent. Puis cliquer sur text/html 2019-10-22T16:05:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/spark?rev=1571760328&do=diff Utilisation de Spark Cette page contient des instructions pour vous permettre d'utiliser Spark et HDFS dans les salles TME de la PPTI. API de Spark Les API de Spark pour le langage scala décrivent les méthodes de manipulation des données * text/html 2017-10-19T09:06:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/sqlrecursif?rev=1508403971&do=diff SQL et récursion Connexion Oracle <http://www-bd.lip6.fr/ens/bdmd2013/index.php/ConnexionOracle> Connexion au serveur Oracle 11 Quelques liens intéressants: * Requetes hiérarchiques Chargement de Données Conectez vous à Oracle et Premiers pas Créez la table myedges: drop table myedges; create table myedges ( source integer, target integer); insert into myedges values (1,2); insert into myedges values (2,3); insert into myedges values (2,4); insert into myedges values (4,5);… text/html 2018-10-02T10:45:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/start?rev=1538477114&do=diff TMEs Préparation des TME * lire la page Utilisation de Spark pour vous préparer à utiliser Spark. * Voir les Jeux de données utilisés pendant les TME Sommaire des TME * TPCH * AP * Cube * [Pré-requis] Introduction à Scala * [TME II-1] Introduction à Spark (Algèbre RDD) * [TME II-2] Algèbre Spark: Dataset * TME Données réparties et jointure parallèle * TME KVStore (facultatif) * SQL et récursion * graphes-spark * graphes-graphx * Calculs sur les graphes en Neo4J… text/html 2018-10-01T10:34:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/tme3-execution-spark?rev=1538390052&do=diff [TME II-2] Exécution Spark text/html 2018-10-15T07:09:04+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/tme3-prise-main-spark?rev=1539587344&do=diff [TME II-1] Introduction à Spark (Algèbre RDD) Remarque générale : Le cours ne peut être self-contained --> consulter la documentation en ligne de Spark. Pour l'aide sur l'utilisation de Spark voir ici Exercice 1 Copier le fichier /Infos/bd/spark/bdle/2015/data/wordcount.txt.bz2 text/html 2018-10-01T10:39:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/tme3-scala?rev=1538390389&do=diff [Pré-requis] Introduction à Scala Remarque générale : Le cours ne peut être self-contained --> consulter la documentation en ligne de Spark. Exercice 1 Cet exercice illustre les différentes structures de contrôle de Scala présentées en cours. Il permet de comprendre le paradigme fonctionnel : text/html 2018-12-14T15:18:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/tmejointure?rev=1544800707&do=diff TME Données réparties et jointure parallèle L'objectif de ce TME est de comprendre les différentes façons de traiter une jointure dans un environnement d'exécution parallèle et réparti. Préparation On manipule les données avec l'API Spark en Scala text/html 2017-12-18T15:02:54+00:00 Anonymous (anonymous@undisclosed.example.com) https://bd.team.lip6.fr/site/enseignement/master/bdle/tmes/tmejointure2016?rev=1513609374&do=diff Ancien TME 2016: Jointure parallèle L'objectif de ce TME est de comprendre les différentes façons de traiter une jointure dans un environnement d'exécution parallèle et réparti. Pour 2017: Aller vers le TME Données réparties et jointure parallèle Préparation Editer le fichier de TME