Projet académique visant à implémenter l'algorithme PageRank, utilisé par Google pour mesurer la popularité des pages web. Il analyse les liens entre les pages pour déterminer leur importance relative. Le projet inclut des scripts en Pig et Spark pour comparer leurs performances sur des clusters cloud. Les résultats expérimentaux permettent d'évaluer l'efficacité des deux approches en fonction du nombre de machines utilisées.

Ce projet académique vise à implémenter l'algorithme PageRank en utilisant les langages Pig et Spark pour traiter des données massives. L'objectif est de comparer les temps d'exécution de cet algorithme selon la taille des clusters distribués. Les données utilisées proviennent d'un crawl de pages web, permettant d'analyser les liens entre les pages et de calculer leur importance relative.

Hyphe est un outil de curation de corpus web et de crawl de liens développé par le Sciences Po médialab. Il permet de construire des cartographies du web en explorant et en analysant des réseaux de liens entre des entités web telles que des pages, des sites ou des sous-domaines.

Ce projet vise à comparer et optimiser des frameworks de gestion de données à grande échelle comme Pig et Spark. Il permet d'analyser des jeux de données massifs (liens entre pages web, entités DBpedia) pour évaluer leur efficacité en termes de temps d'exécution et de consommation mémoire. Les résultats aident à choisir les meilleures solutions pour des traitements distribués complexes.

Ce projet est une preuve de concept (PoC) d'un arbre prefixe sur disque pour Hyphe, un outil d'indexation et d'analyse de contenu web. Il permet la gestion et la recherche de liens entre pages web, ainsi que la définition et l'application de règles de création d'entités web.