YALineo
FR
Installer

Lire le lineage Unity Catalog et mesurer l'impact d'un changement

Unity Catalog enregistre les lectures et les écritures de chaque table quand il peut les déduire. Avant de modifier ou de supprimer une table, ce lineage dit ce qui en dépend. Voici où le lire, ce qu'il oublie, et ce que fait YALineo.

Mis à jour le 6 novembre 2026 · Abdouramane Youssouf

Où Databricks montre le lineage

Unity Catalog enregistre le lineage des requêtes exécutées sur Databricks, jusqu'à la colonne, pour tous les workspaces du même metastore. Databricks cite l'analyse d'impact parmi ses usages : repérer, avant de modifier ou de supprimer une table, les tables, les jobs et les tableaux de bord qui en dépendent.

Dans Catalog Explorer, l'onglet Lineage d'une table liste les tables liées. See Lineage Graph ouvre le graphe sur un niveau, que chaque nœud déplie. Jobs puis Downstream donne les jobs qui consomment la table, Dashboards ses tableaux de bord, et un clic sur une colonne montre les colonnes liées. La période affichée est d'un an par défaut ; rien d'antérieur au 1er septembre 2024 n'est disponible.

Les droits nécessaires

Un nœud masqué reste une dépendance : quelqu'un qui a les droits peut dire ce qu'il y a derrière.

Les tables système du lineage

Deux tables système en lecture seule donnent le lineage en SQL : system.access.table_lineage, une ligne par lecture ou écriture d'une table ou d'un chemin, et system.access.column_lineage, la même chose par colonne. Par défaut, seuls les admins à la fois du compte et du metastore les lisent ; pour les autres, un admin donne USE CATALOG, USE SCHEMA et SELECT.

Les colonnes utiles pour l'impact :

Ces tables gardent 395 jours glissants par défaut. Au-delà, il reste Catalog Explorer et l'API de lineage.

L'aval direct d'une table

Ce qui a lu main.silver.orders sur 90 jours, et ce que ces lectures ont écrit :

SELECT coalesce(target_table_full_name, target_path) AS aval,
       target_type,
       entity_metadata.job_info.job_id AS job_id,
       entity_metadata.notebook_id AS notebook_id,
       entity_metadata.dashboard_id AS dashboard_id,
       entity_metadata.sql_query_id AS sql_query_id,
       count(*) AS lignes,
       max(event_date) AS dernier_jour
FROM system.access.table_lineage
WHERE source_table_full_name = 'main.silver.orders'
  AND event_date >= date_sub(current_date(), 90)
  AND coalesce(direct_access, true)
GROUP BY ALL
ORDER BY dernier_jour DESC

Une ligne avec un aval est une table, une vue ou un chemin alimenté par votre table. Une ligne sans aval est une lecture seule. La condition sur direct_access garde les lecteurs directs ; retirez-la pour voir aussi ceux qui passent par une vue. Pour les jobs, notebooks et tableaux de bord, le lineage ne donne que des identifiants. Les propriétaires des tables sont dans system.information_schema.tables (colonne table_owner), qui ne renvoie que les tables que vous pouvez voir.

Pourquoi un parcours récursif demande du soin

Un changement se propage de table en table jusqu'au tableau de bord. WITH RECURSIVE (Databricks SQL, Databricks Runtime 17.0 et suivants) suit cette chaîne, avec trois pièges :

  1. Les cycles. Deux tables peuvent s'alimenter l'une l'autre. L'exemple de la documentation garde le chemin parcouru dans un tableau et s'arrête quand l'étape suivante y figure déjà.
  2. La profondeur. MAX RECURSION LEVEL vaut 100 par défaut, et le dépasser lève une erreur au lieu de couper le résultat. Bornez le niveau vous-même.
  3. Les chemins multiples. Une table atteinte par trois chemins revient trois fois, et le résultat est limité à 1 000 000 de lignes. Partez de paires distinctes, puis gardez le niveau le plus proche de chaque table.

Ce que le lineage ne voit pas

Selon Databricks, ces tables sont un sous-ensemble des lectures et des écritures : une ligne n'est émise que lorsque le lineage peut être déduit. Parmi les limites documentées :

Un aval vide ne prouve donc pas que personne ne dépend de la table.

Qu'est-ce qui casse si je modifie ou supprime cette table ?

  1. Les tables et vues en aval, directes puis sur toute la chaîne.
  2. Les lecteurs : tableaux de bord, requêtes, notebooks, jobs. Une suppression ou un renommage casse tout de suite les lecteurs directs.
  3. Les colonnes, pour un renommage ou un changement de type, dans column_lineage.
  4. Les propriétaires, à prévenir avant.
  5. Ce que le lineage ne voit pas. Avant une suppression, gardez une copie et un délai d'observation.

Ce que fait YALineo

YALineo lit ces tables système dans votre navigateur, avec vos droits Databricks, en lecture seule, sans serveur YALineo.

Le plan fait de chaque domaine de données une ligne colorée et de chaque schéma une station (tutoriel). Le focus isole une station (tutoriel), et une table suivie montre son amont et son aval, du plus proche au plus loin (tutoriel).

Les dépendances d'un actif donnent d'abord les voisins directs, comptés comme l'onglet Lineage, puis toute la chaîne (tutoriel). Un lien vu seulement à travers une vue n'est pas direct. Une table que l'inventaire ne liste plus (supprimée, ou illisible avec vos droits) quitte le plan, et les liens qui la traversaient sont marqués « raccordé ». La fenêtre des liens est de 365 jours par défaut (la règle).

L'analyse d'impact part d'une table, d'une vue ou d'un job, et d'un scénario : modification, suppression ou renommage, retard du rafraîchissement, arrêt du job. Elle lit tout l'aval, sans les filtres de la carte, et compte chaque actif une seule fois, à sa distance la plus courte. La gravité suit une règle à points publiée, par exemple 3 points pour un tableau de bord, 2 pour la couche gold, 2 pour 100 lectures ou plus, et 2 de plus pour un lecteur direct d'une table supprimée. Un actif est critique à partir de 5 points, élevé à 3 ou 4, moyen à 1 ou 2, faible à 0 (toutes les raisons).

L'analyse donne aussi le rafraîchissement mensuel des tables touchées : leur coût de rafraîchissement sur la période FinOps, ramené à un mois moyen de 365/12 jours, chaque table comptée une fois. Ce montant dit ce que ces tables mobilisent chaque mois, à comparer au coût d'une panne. Viennent ensuite les propriétaires, chacun avec un message prêt à copier, et la liste « À faire, dans l'ordre » (tutoriel).

Pour une colonne, YALineo lit column_lineage à la demande. Chaque actif reçoit une seule réponse : « Relation observée », « Dépendance de table à vérifier » (aucun lien de colonne connu, comme pour un tableau de bord) ou « Couverture insuffisante » (des liens de colonne de la table arrivent à l'actif, aucun de celle-ci). Le détail est dans la méthode.

Questions fréquentes

Pourquoi YALineo et Catalog Explorer ne comptent-ils pas le même aval ?

Les voisins directs se comptent de la même façon. Les écarts viennent de la fenêtre des liens, des catalogues choisis, des liens raccordés et des lectures à travers une vue, comptées pour la vue (la méthode).

Le lineage voit-il un rapport Power BI ou Tableau ?

Pas de lui-même. Une ligne sans objet Databricks peut venir d'une requête JDBC, sans dire quel outil l'a lancée. Dans YALineo, la fiche d'une table compte ces lectures à part.

Faut-il un accès aux tables système ?

Pour les requêtes de ce guide, oui. Sans lui, Catalog Explorer montre le lineage avec BROWSE, et le mode analyste de YALineo dessine le plan avec l'API de lineage, sans les lectures ni les coûts (tutoriel).

Sources

Documentation lue le 6 novembre 2026.