Hyphe est un outil de curation de corpus web et de crawl de liens développé par le Sciences Po médialab. Il permet de construire des cartographies du web en explorant et en analysant des réseaux de liens entre des entités web telles que des pages, des sites ou des sous-domaines.

Ce projet permet d'analyser des réseaux complexes en filtrant les liens faibles pour renforcer la structure communautaire. Il facilite la détection de groupes cohérents dans des graphes, comme des réseaux sociaux ou des collaborations scientifiques. L'outil est utilisé pour étudier les interactions entre entités et améliorer la compréhension des dynamiques de groupe. Il s'appuie sur des algorithmes de partitionnement de graphes pour optimiser l'analyse des données relationnelles.

Ce projet vise à comparer et optimiser des frameworks de gestion de données à grande échelle comme Pig et Spark. Il permet d'analyser des jeux de données massifs (liens entre pages web, entités DBpedia) pour évaluer leur efficacité en termes de temps d'exécution et de consommation mémoire. Les résultats aident à choisir les meilleures solutions pour des traitements distribués complexes.

Ce projet est une preuve de concept (PoC) d'un arbre prefixe sur disque pour Hyphe, un outil d'indexation et d'analyse de contenu web. Il permet la gestion et la recherche de liens entre pages web, ainsi que la définition et l'application de règles de création d'entités web.