Google Cloud Data Fusion

Google Cloud Data Fusion centralise la gestion de pipelines ETL pour les équipes data, en automatisant l’intégration data dans un contexte cloud natif. Les entreprises doivent traiter des volumes croissants de données issues de sources multiples et garantir leur traçabilité, leur confidentialité et leur conformité, tout en réduisant les délais de mise en production des flux. Google Cloud Data Fusion s’appuie sur un noyau open source pour faciliter la portabilité et accélérer la création de workflows visuels, même pour les profils non techniques. Les sources structurées et non structurées, le cloud storage et le modèle d’architecture cloud sont intégrés pour simplifier les processus d’alimentation de données.

Un acteur du retail souhaite alimenter son entrepôt BigQuery en quasi temps réel avec les flux transactionnels issus de points de vente, du CRM et d’applications partenaires. Il doit assurer l’agrégation, la transformation et la synchronisation continue de ces données tout en contrôlant la data lineage et en respectant les exigences data governance interne. La data integration doit rester flexible, prête à évoluer selon l'ajout de nouveaux connecteurs ou de réglementations. L’orchestration, la data preparation et la connexion à d’autres plateformes décisionnelles sont prises en compte lors de la définition des flux.

Google Cloud Data Fusion propose une interface visuelle code-free pour concevoir des pipelines ELT adaptés à chaque contexte. Plus de 150 connecteurs préconfigurés couvrent les sources majeures comme Salesforce, Oracle ou Kafka, avec un support natif du cloud storage et des traitements sur Spark. La sécurité repose sur IAM, le chiffrement CMEK et les contrôles VPC-SC. La traçabilité des flux s’étend au niveau champ. L’API REST, l’intégration aux dashboards et la possibilité de déclencher des traitements par événements sont également activés pour l’exploitation quotidienne, répondant aux besoins de real-time analytics.

Pour un besoin de réplication en continu vers BigQuery, les capacités de CDC (change data capture) synchronisent les transactions, tout en maintenant la visibilité sur la chaîne de transformation via le monitorage intégré. L’équipe data pilote l’ensemble de ses flux depuis un seul environnement, ce qui correspond à une gestion centralisée. L’architecture assure une adaptation au data lake ainsi qu’aux environnements multi-cloud, selon le cadre infrastructurel retenu par le client. La prise en charge de la conformité RGPD pour les jeux de données sensibles répond à des exigences réglementaires précises.