Étude de cas 05 / 06
Bravo Sierra
Grande consommation · Hygiène et soin
Toutes les sources de données, un seul tableau de bord
- Ingénierie des données
- Ingénierie logicielle
- Cloud et infrastructure
Chiffres clés
- Entrepôt pour les données DTC, revendeurs et publicité
- 1
- Plateformes sources connectées par DataSync
- 19
En bref
L’enjeu
Des KPI compilés à la main à partir des tableaux de bord disparates de chaque plateforme, entre vente en direct (DTC), revendeurs et publicité.
Notre réalisation
Une couche de données centralisée : les données DTC, revendeurs et publicitaires réunies dans un seul entrepôt de données BigQuery, derrière des tableaux de bord Looker Studio pensés pour le fonctionnement réel de l’entreprise. Ses synchronisations planifiées tournent désormais sur DataSync, la plateforme d’ingestion de DataGem.
Le résultat
Un seul endroit pour les KPI que l’équipe compilait à la main, organisé selon le fonctionnement réel de l’entreprise.
Explorer un tableau de bord interactif
Services associés : Collecte et analyse de donnéesInfrastructure cloud
Savoir-faire
Ce qu’il a fallu.
Ingénierie des données
- Des connecteurs pour les plateformes DTC et publicitaires, qui chargent chaque source dans BigQuery pour les tableaux de bord ; les tables incrémentales peuvent passer par une table intermédiaire puis être fusionnées dans l’historique par clé.
- Orchestration des rapports asynchrones, renouvellement automatique des jetons OAuth (avec alerte d’expiration quand un jeton doit être renouvelé à la main) et temporisation (backoff) sur les API aux limites de débit les plus strictes.
- Reprises d’historique sur n’importe quelle période, une table à la fois, lancées depuis la console.
Ingénierie logicielle
- Les synchronisations de Bravo Sierra tournent désormais sur DataSync, la plateforme d’ingestion de DataGem : une API Flask avec JWT et OIDC, et un coffre-fort d’identifiants chiffré en AES.
- Une console d’exploitation React pour lancer des reprises d’historique et suivre en direct les journaux de chaque exécution.
Cloud et infrastructure
- Une fois la mise en route terminée, les synchronisations de chaque client s’exécutent en jobs Cloud Run dans son propre projet GCP : les ressources de calcul sont isolées et facturées sur son compte.
- Un cron Cloud Scheduler par connecteur, appelé en OIDC, et une même image de conteneur déployée dans chaque projet client.
Projet 01
Plateforme de données centralisée
Python · BigQuery · Looker Studio · DataSync
DataGem a réuni en un seul endroit les données DTC, revendeurs et publicitaires que l’équipe compilait à la main : un entrepôt BigQuery derrière des tableaux de bord Looker Studio pensés pour le fonctionnement réel de l’entreprise. Des connecteurs Python gèrent l’authentification, la pagination et les rapports publicitaires asynchrones, et tournent désormais sur DataSync, la plateforme d’ingestion de DataGem.
- Objectif
- Ne plus compiler les KPI à la main : un seul entrepôt de données, actualisé selon un planning.
- Points clés
- Données DTC, revendeurs et publicité réunies en un seul endroit
- Tableaux de bord Looker Studio pensés pour le fonctionnement réel de l’entreprise
- Actualisation planifiée, avec journaux d’exécution en direct et possibilité d’annuler
- Technologies
- Python
- BigQuery
- Looker Studio
- DataSync
- Cloud Run Jobs
Pierre and his team were a delight to work with. Before working with them, we were relying on a bunch of disparate analytics dashboard from different vendors and sources to compile our business KPIs and metrics. Pierre was able to create a simple interface, centralizing and aggregating all our data sources (DTC, wholesale, advertising, etc) in a way that makes sense for our specific business and needs. The project was seamless and efficient. Great people, great work!