Lire le lineage Unity Catalog et mesurer l'impact d'un changement
Unity Catalog enregistre les lectures et les écritures de chaque table quand il peut les déduire. Avant de modifier ou de supprimer une table, ce lineage dit ce qui en dépend. Voici où le lire, ce qu'il oublie, et ce que fait YALineo.
Où Databricks montre le lineage
Unity Catalog enregistre le lineage des requêtes exécutées sur Databricks, jusqu'à la colonne, pour tous les workspaces du même metastore. Databricks cite l'analyse d'impact parmi ses usages : repérer, avant de modifier ou de supprimer une table, les tables, les jobs et les tableaux de bord qui en dépendent.
Dans Catalog Explorer, l'onglet Lineage d'une table liste les tables liées. See Lineage Graph ouvre le graphe sur un niveau, que chaque nœud déplie. Jobs puis Downstream donne les jobs qui consomment la table, Dashboards ses tableaux de bord, et un clic sur une colonne montre les colonnes liées. La période affichée est d'un an par défaut ; rien d'antérieur au 1er septembre 2024 n'est disponible.
Les droits nécessaires
-
Voir le lineage d'une table demande au moins
BROWSEsur son catalogue. SansBROWSEniSELECTsur une table, son lineage ne s'explore pas. - Une table en aval que vous ne pouvez pas voir apparaît comme un nœud masqué, et le graphe ne se déplie pas au-delà.
- Les notebooks, jobs et tableaux de bord demandent les droits du workspace ; leur détail n'est visible que dans celui où ils ont été créés.
Un nœud masqué reste une dépendance : quelqu'un qui a les droits peut dire ce qu'il y a derrière.
Les tables système du lineage
Deux tables système en lecture seule donnent le lineage en SQL : system.access.table_lineage, une ligne par lecture ou écriture d'une table ou d'un chemin, et system.access.column_lineage, la même chose par colonne. Par défaut, seuls les admins à la fois du compte et du metastore les lisent ; pour les autres, un admin donne USE CATALOG, USE SCHEMA et SELECT.
Les colonnes utiles pour l'impact :
-
source_table_full_nameettarget_table_full_name, ousource_pathettarget_pathpour un chemin du stockage. -
target_typevide : une lecture seule. Rempli : une lecture qui écrit ailleurs. -
entity_metadata: l'objet qui a agi (job_info.job_id,notebook_id,dashboard_id,sql_query_id...). Tout à NULL : aucun objet Databricks, par exemple une requête JDBC. -
direct_access:falsequand la source n'a été vue qu'en développant une vue. Une requête sur une vue laisse une ligne pour la vue, et une ligne àfalsepour chaque table sous elle.
Ces tables gardent 395 jours glissants par défaut. Au-delà, il reste Catalog Explorer et l'API de lineage.
L'aval direct d'une table
Ce qui a lu main.silver.orders sur 90 jours, et ce que ces lectures ont écrit :
SELECT coalesce(target_table_full_name, target_path) AS aval,
target_type,
entity_metadata.job_info.job_id AS job_id,
entity_metadata.notebook_id AS notebook_id,
entity_metadata.dashboard_id AS dashboard_id,
entity_metadata.sql_query_id AS sql_query_id,
count(*) AS lignes,
max(event_date) AS dernier_jour
FROM system.access.table_lineage
WHERE source_table_full_name = 'main.silver.orders'
AND event_date >= date_sub(current_date(), 90)
AND coalesce(direct_access, true)
GROUP BY ALL
ORDER BY dernier_jour DESC
Une ligne avec un aval est une table, une vue ou un chemin alimenté par votre table. Une ligne sans aval est une lecture seule. La condition sur direct_access garde les lecteurs directs ; retirez-la pour voir aussi ceux qui passent par une vue. Pour les jobs, notebooks et tableaux de bord, le lineage ne donne que des identifiants. Les propriétaires des tables sont dans system.information_schema.tables (colonne table_owner), qui ne renvoie que les tables que vous pouvez voir.
Pourquoi un parcours récursif demande du soin
Un changement se propage de table en table jusqu'au tableau de bord. WITH RECURSIVE (Databricks SQL, Databricks Runtime 17.0 et suivants) suit cette chaîne, avec trois pièges :
- Les cycles. Deux tables peuvent s'alimenter l'une l'autre. L'exemple de la documentation garde le chemin parcouru dans un tableau et s'arrête quand l'étape suivante y figure déjà.
-
La profondeur.
MAX RECURSION LEVELvaut 100 par défaut, et le dépasser lève une erreur au lieu de couper le résultat. Bornez le niveau vous-même. - Les chemins multiples. Une table atteinte par trois chemins revient trois fois, et le résultat est limité à 1 000 000 de lignes. Partez de paires distinctes, puis gardez le niveau le plus proche de chaque table.
Ce que le lineage ne voit pas
Selon Databricks, ces tables sont un sous-ensemble des lectures et des écritures : une ligne n'est émise que lorsque le lineage peut être déduit. Parmi les limites documentées :
-
Les accès par chemin laissent le chemin sans le nom de la table : cherchez aussi par
source_pathettarget_path. - Les outils hors Databricks. Le lineage vient des pipelines Lakeflow, notebooks, jobs, requêtes SQL, tableaux de bord, Genie Agents et alertes. Un rapport Power BI n'y figure que s'il a été déclaré comme métadonnée externe.
- Les renommages : le lineage d'un objet renommé n'est pas conservé.
- Les cas non captés : RDD, vues temporaires globales, checkpointing de datasets Spark SQL ; le lineage des UDF manque aux tables système.
-
Les jobs lancés par
runs submit: le lien vers l'exécution manque.
Un aval vide ne prouve donc pas que personne ne dépend de la table.
Qu'est-ce qui casse si je modifie ou supprime cette table ?
- Les tables et vues en aval, directes puis sur toute la chaîne.
- Les lecteurs : tableaux de bord, requêtes, notebooks, jobs. Une suppression ou un renommage casse tout de suite les lecteurs directs.
-
Les colonnes, pour un renommage ou un changement de type, dans
column_lineage. - Les propriétaires, à prévenir avant.
- Ce que le lineage ne voit pas. Avant une suppression, gardez une copie et un délai d'observation.
Ce que fait YALineo
YALineo lit ces tables système dans votre navigateur, avec vos droits Databricks, en lecture seule, sans serveur YALineo.
Le plan fait de chaque domaine de données une ligne colorée et de chaque schéma une station (tutoriel). Le focus isole une station (tutoriel), et une table suivie montre son amont et son aval, du plus proche au plus loin (tutoriel).
Les dépendances d'un actif donnent d'abord les voisins directs, comptés comme l'onglet Lineage, puis toute la chaîne (tutoriel). Un lien vu seulement à travers une vue n'est pas direct. Une table que l'inventaire ne liste plus (supprimée, ou illisible avec vos droits) quitte le plan, et les liens qui la traversaient sont marqués « raccordé ». La fenêtre des liens est de 365 jours par défaut (la règle).
L'analyse d'impact part d'une table, d'une vue ou d'un job, et d'un scénario : modification, suppression ou renommage, retard du rafraîchissement, arrêt du job. Elle lit tout l'aval, sans les filtres de la carte, et compte chaque actif une seule fois, à sa distance la plus courte. La gravité suit une règle à points publiée, par exemple 3 points pour un tableau de bord, 2 pour la couche gold, 2 pour 100 lectures ou plus, et 2 de plus pour un lecteur direct d'une table supprimée. Un actif est critique à partir de 5 points, élevé à 3 ou 4, moyen à 1 ou 2, faible à 0 (toutes les raisons).
L'analyse donne aussi le rafraîchissement mensuel des tables touchées : leur coût de rafraîchissement sur la période FinOps, ramené à un mois moyen de 365/12 jours, chaque table comptée une fois. Ce montant dit ce que ces tables mobilisent chaque mois, à comparer au coût d'une panne. Viennent ensuite les propriétaires, chacun avec un message prêt à copier, et la liste « À faire, dans l'ordre » (tutoriel).
Pour une colonne, YALineo lit column_lineage à la demande. Chaque actif reçoit une seule réponse : « Relation observée », « Dépendance de table à vérifier » (aucun lien de colonne connu, comme pour un tableau de bord) ou « Couverture insuffisante » (des liens de colonne de la table arrivent à l'actif, aucun de celle-ci). Le détail est dans la méthode.
Questions fréquentes
Pourquoi YALineo et Catalog Explorer ne comptent-ils pas le même aval ?
Les voisins directs se comptent de la même façon. Les écarts viennent de la fenêtre des liens, des catalogues choisis, des liens raccordés et des lectures à travers une vue, comptées pour la vue (la méthode).
Le lineage voit-il un rapport Power BI ou Tableau ?
Pas de lui-même. Une ligne sans objet Databricks peut venir d'une requête JDBC, sans dire quel outil l'a lancée. Dans YALineo, la fiche d'une table compte ces lectures à part.
Faut-il un accès aux tables système ?
Pour les requêtes de ce guide, oui. Sans lui, Catalog Explorer montre le lineage avec BROWSE, et le mode analyste de YALineo dessine le plan avec l'API de lineage, sans les lectures ni les coûts (tutoriel).
Sources
Documentation lue le 6 novembre 2026.
- Databricks, Lineage in Unity Catalog (page mise à jour le 4 novembre 2026) : onglet Lineage, droits, conservation, limites.
-
Databricks, Lineage system tables reference (page mise à jour le 4 novembre 2026) : colonnes,
direct_access, 395 jours, sous-ensemble des événements. - Databricks, System tables reference (page mise à jour le 4 novembre 2026) : droits d'accès.
- Databricks, External lineage (page mise à jour le 7 octobre 2026) : métadonnées externes.
-
Databricks, Common table expression (CTE) (page mise à jour le 11 septembre 2026) :
WITH RECURSIVE, ses limites, l'arrêt des cycles. -
Databricks, TABLES (page mise à jour le 11 septembre 2026) :
table_owner.