Datawarehouse & dashboard

Afin de répondre aux attentes de Col&Mon, L:EDigitalab a mobilisé les ressources de la Fabrique pour analyser le besoin de l’équipe de recherche. Le système d’informations (des bases de données relationnelles de productions indépendantes et non modifiables) et leurs besoins (analyses ad hoc, tableaux de bords, data mining, etc.) étaient très proches des problématiques d’informatique décisionnelles (BI). C’est pourquoi la Fabrique a mis en place un entrepôt de données (datawarehouse) adapté :

• au contexte particulier des Digital Humanities
• à un public n’ayant aucune connaissance des bases de données
• à une faible possibilité de maintenance après la fin du projet
• à la volonté de n’utiliser que des logiciels libres, gratuits et activement maintenus

Étude de faisabilité

La phase de recueil des besoins a été très longue compte tenu du niveau d’accompagnement conceptuel requis par l’équipe projet. L’Hackadémie est donc intervenue pour aider l’équipe-projet à définir le périmètre et les fonctionnalités à l’aide de prototypes réalisés par la Fabrique. À l’issue de cette phase, il est apparu que le projet nécessitait la mise en place d’un système de traitement analytique spatial en ligne (S-OLAP).

En termes de données cette phase a conclu à la nécessité de mettre en place un modèle en constellation tout en mettant en lumière la possibilité de factoriser un grand nombre de tables de dimensions thématiques, ainsi qu’à la nécessité de s’adapter à des données temporelles qui sont des durées et non des points dans le temps.

En termes de requêtage et de visualisation des données, le projet nécessitait un dashboard particulièrement simple permettant d’explorer les données et d’émettre des hypothèses en mettant en regard, en temps réel, les résultats thématiques et spatiaux des requêtes successives.

Choix de la solution

Les systèmes S-OLAP sont bien définis conceptuellement, il était pourtant difficile, au moment où s’est déroulé le projet, de trouver une solution clef-en-main, libre, gratuite, facile à intégrer au SI existant et pérenne. Compte tenu de toutes les contraintes évoquées plus haut, le choix a longtemps oscillé, pour le traitement des données, entre une solution ad hoc et une solution basée sur GeoKettle et GeoMondrian, Pentaho s’avérant trop contraignent à utiliser après la phase de projet compte tenu des spécialités des membres du projet.

Pour la visualisation, deux solutions ad hoc, l’une basée sur R-Shiny et l’autre sur Leaflet et D3.js ont été envisagées, la seconde ayant été jugée plus facilement maintenable à long terme par l’équipe.

Implémentation

Le Studio et la Fabrique ont travaillé main dans la main pour créer rapidement un prototype fonctionnel de la solution. Ainsi, l’équipe-projet a pu commencer à travailler très en amont, sur des cas concrets ce qui lui a permis d’appréhender plus facilement les concepts de datawarehouse et les implications en termes de données. Une fois la question des données résolue, le recours à une solutions plutôt qu’à une autre était transparente pour l’équipe-projet pour lequel le dashboard était la priorité, la Fabrique a pu glisser en douceur du prototype vers le système définitif.

L:EDigitalab a fourni un système de traitement analytique spatial en ligne (S-OLAP), c’est-à-dire un entrepôt de données permettant de faire de requête temporelles et spatiales sur un jeu de données hétérogènes. Ce système facilitera les requêtes dans l’espace et le temps et le fait de tester de nouvelles hypothèses historiques.

L:EDigitalab met en place les techniques les plus novatrices pour mobiliser les données qui vous aideront à piloter vos projets. Contactez-nous !