dbt

dbt — data build tool — est un outil de transformation de données édité par dbt Labs. Il permet d'écrire les transformations sous forme de modèles SQL modulaires (des requêtes SELECT), versionnés avec Git comme du code applicatif classique plutôt que gérés dans des scripts isolés et dispersés entre plusieurs machines. Cette approche, que l'éditeur nomme « analytics engineering », applique au travail analytique des pratiques issues du génie logiciel : contrôle de version, revue de code, tests automatisés et intégration continue, plutôt que des scripts de transformation non documentés et dépendants d'une seule personne dans l'équipe data, souvent la seule à en comprendre la logique.

Sur le plan fonctionnel, dbt valide les modèles en temps réel dans son éditeur, avant même leur exécution dans l'entrepôt de données, ce qui permet de détecter une erreur de syntaxe ou de référence avant de lancer un traitement coûteux en ressources de calcul facturées à l'usage. Le testing natif de dbt capture les anomalies de données pendant la construction des modèles — valeurs nulles inattendues, doublons, ruptures de clé — plutôt qu'après leur mise en production, au moment où l'erreur a déjà atteint un tableau de bord consulté par la direction. dbt génère aussi automatiquement une documentation qui inclut le lignage au niveau de chaque colonne, donnant une vision graphique de l'impact d'une modification sur l'ensemble des modèles en aval, ce qui évite de casser un rapport sans le savoir avant qu'un utilisateur ne le signale. Une fonctionnalité de reconstruction sélective ne relance que les modèles réellement modifiés depuis le dernier passage, ce que l'éditeur chiffre jusqu'à 30 % d'économies sur les coûts de calcul dans l'entrepôt par rapport à une reconstruction complète systématique de tous les modèles à chaque exécution.

Architecturalement, dbt ne déplace jamais les données hors de l'entrepôt : le moteur exécute les transformations directement dans le warehouse via une architecture dite « push-down », ce qui limite les copies de données et les risques de sécurité associés au déplacement de données sensibles vers un serveur de traitement tiers. dbt existe en deux versions : dbt Core, une version open source installable localement et gratuite, et dbt Cloud, une plateforme SaaS qui ajoute la collaboration en équipe, l'ordonnancement des jobs et une interface de développement partagée entre plusieurs analystes. L'outil fonctionne avec les principaux entrepôts cloud — BigQuery, Databricks, Fabric, Redshift et Snowflake — et propose depuis peu un support natif de Python pour les modèles de data science et de machine learning, en complément du SQL historique. Une couche sémantique centralise la définition des indicateurs métiers pour que les différents outils de BI connectés en aval calculent chacun le même chiffre pour un même indicateur, sans divergence entre les tableaux de bord des différentes équipes.

dbt s'adresse aux équipes data qui veulent passer d'une gestion de la donnée artisanale — scripts ad hoc, transformations non documentées, connaissance concentrée sur une seule personne — à un processus industrialisé et testé comme n'importe quel autre composant logiciel de l'entreprise. L'éditeur revendique plus de 100 000 professionnels de la donnée dans sa communauté, avec des références client telles que Siemens, Affirm, Nasdaq, Canva ou GitLab, et des cas d'usage documentés dans le retail, les biens de consommation et le luxe, notamment chez Ami Paris. dbt occupe un terrain proche d'autres outils de transformation et d'intégration de données déjà présents sur Foxeet, comme Talend Data Fabric ou Informatica IDMC, avec lesquels il partage la fonction de préparation des données avant leur exploitation en reporting ou en business intelligence. Plusieurs outils d'ingestion et de BI, dont Fivetran et Omni, proposent une intégration directe avec dbt plutôt qu'avec un moteur de transformation propriétaire, ce qui en a fait une brique de référence entre la collecte des données brutes et leur restitution aux équipes métier.