OpenSource Data Platform (ODP)

OpenSource Data Platform (ODP) fournit une distribution open source de l’écosystème Apache Hadoop, conçue pour les organisations qui gèrent des environnements cloud, on-premise ou hybrides dans la gestion de volumes croissants. Cette plateforme adresse les exigences de sécurité, conformité et gouvernance imposées dans les architectures lakehouse. Elle implique l’intégration de divers moteurs de traitement, le choix d’un mode de stockage et la gouvernance centralisée. L’absence de verrouillage fournisseur répond aux contraintes de réversibilité et de soutenabilité en production, exigées dans les flux analytiques et IA.

Dans des contextes métiers comme l’assurance ou la finance, ODP permet d’orchestrer des pipelines de data engineering traitant des historiques (HDFS), des flux temps réel (Apache Kafka), ainsi que des requêtes BI via Power BI. L’analyste crée, modifie, sécurise des jeux de données sur un stockage S3 compatible, et déclenche des traitements Spark ou Hive pour alimenter le reporting réglementaire ou les modèles de prédiction. Tous les accès, transformations et partages sont gérés avec la mise en œuvre des droits et l’auditabilité.

Les principales fonctionnalités concernent l’intégration de Apache Spark, MapReduce, Hive, Impala, la gestion du stockage entre HDFS, S3 compatible et Ozone, le contrôle d’accès via Ranger et Kerberos, la gouvernance de métadonnées avec Atlas, l’orchestration avec Airflow et Oozie, ainsi qu’un support natif du format Iceberg pour l’évolution des schémas et la gestion des versions. Les déploiements sont possibles sur AWS, Azure, GCP, Kubernetes, environnements on-premise ou hybrides, pilotés par Apache Ambari. Les équipes IT assurent le contrôle de la sécurité des clusters sur la plateforme cloud-native.

Au sein d’une DSI bancaire lors d’une mise en production, ODP trace toutes les opérations sur les tables sensibles avec Atlas, appliquant un chiffrement systématique et une gestion de la gouvernance. Les workflows critiques sont orchestrés par Airflow et soumis aux politiques d’accès gérées par Ranger, permettant une visibilité opérationnelle. L’intégration de Jupyter et MLflow permet la gestion d’environnements d’expérimentation IA avec une authentification Kerberos utilisée lors du lancement effectif des traitements analytiques.