Unificazione del modello di dati e del glossario aziendale

La crescente adozione della democratizzazione dei dati sta creando nuovi framework e tecnologie per la condivisione dei dati tra silos di dati. Queste strategie stanno riducendo l'attrito della condivisione dei dati tra domini aziendali e l'accesso ai dati sta diventando semplice. Una delle sfide principali nell'integrazione dei dati è lavorare con modelli di dati disparati che descrivono database e set di dati diversi in modi unici.

L'approccio tradizionale all'unione di set di dati consisteva nell'estrarre un set di dati dal suo database, trasformarlo e caricarlo in un altro database per adattarlo alla struttura dati di quel database. Per eseguire il processo ETL, i data engineer devono comprendere gli aspetti tecnici dello spostamento e della trasformazione dei dati, oltre all'organizzazione e all'etichettatura di ogni set di dati. La loro comprensione di come vengono modellati i due set di dati è molto importante per garantire che possano essere mappati insieme in uno.

La moderna tecnologia di virtualizzazione dei dati fornisce un accesso maggiore a fonti di dati disparate, astraendo i dati dalla loro struttura dati sottostante, semplificando il processo ed eliminando la necessità di ETL. Sebbene questa tecnologia sia potente, non fornisce un modo uniforme per accedere ai dati.

La virtualizzazione dei dati fornisce un'unica interfaccia o livello di connettività che consente l'accesso ai dati distribuiti da un unico posto. Ma per comprendere il significato dei dati, gli analisti devono comunque fare affidamento su ogni modello di dati separato per ogni database per ottenere contesto. Per un'analisi efficace, dobbiamo comprendere cosa rappresentano i dati in ogni sistema e come si relazionano tra loro. Queste informazioni richiedono un'efficace strategia di federazione dei dati che standardizzi il modo in cui accediamo a diversi archivi dati. Un modello di dati unificato che mappa i dati e le relazioni tra i silos di dati è una componente cruciale. Per un accesso ancora più semplice, un glossario aziendale che mappa queste relazioni in termini aziendali può rendere questo modello di dati ancora più prezioso aumentando la sua accessibilità per i leader aziendali e i decisori.

Il modello di dati federato

Un modello di dati federato si basa su metadati estratti dai sistemi sorgente connessi e uniti in una struttura dati logica uniforme. Quando i dati sono organizzati attorno a un singolo modello di dati, le piattaforme dati possono interagire con tutti i database eterogenei come se fossero uno. Utilizzando questo approccio, è possibile estrarre dati da più sistemi con una query federata. Questa capacità consente di risparmiare una notevole quantità di tempo per gli ingegneri dei dati e gli analisti qualificati quando integrano i dati e creano asset e prodotti dati.

L'astrazione della logica dal livello fisico semplifica anche l'analisi self-service dei dati, poiché gli strumenti sono meno complessi e non devono interagire con più strutture di database sottostanti.

Catalogo dati federato

In una strategia di dati federati, i metadati vengono utilizzati per creare un catalogo dati globale o federato per accedere ai dati. Questo catalogo dati sfrutta il repository centrale dei metadati per creare un inventario ricercabile di asset di dati per gli analisti per creare le query di dati federati.

Un catalogo dati federato consente ricerche in tutti i tuoi asset di dati. Può anche consolidare la discendenza in modo che utenti e data steward possano capire come i dati sono stati modificati in passato.

Una strategia di dati federati può anche gestire chi ha accesso a quali dati. Invece di gestire l'accesso a ogni database individualmente o di applicare regole uniformi a tutti i database, un catalogo di dati federati può fungere da gateway di sicurezza per gestire l'identità in un unico posto. Inoltre, supporta l'accesso autorizzato a tutte le risorse di dati.

Con un catalogo dati standardizzato, creare capacità self-service è molto meno complesso. Le piattaforme self-service possono automatizzare il processo di accesso ai dati ma con una terminologia più uniforme. Poiché gli utenti aziendali sanno quali dati stanno cercando, diventano molto più autosufficienti. Un modello più semplice aiuta anche l'IA a comprendere meglio come accedere ai dati. Un set consolidato e standardizzato di semantica dei dati che definisce in modo uniforme gli elementi dei dati semplifica la traduzione delle richieste di dati in una query SQL da parte di un modello LLM, utilizzando la terminologia aziendale.

Glossario aziendale unificato

Sebbene un modello di dati federato sia ottimo per creare query di dati singole tra fonti di dati, questi modelli non sono in genere orientati agli utenti aziendali. I glossari aziendali sono particolarmente importanti quando si federano dati tra domini e regioni, poiché i termini aziendali sono talvolta definiti in modo diverso in ogni dominio aziendale. Anche la terminologia differisce tra regioni.

Ad esempio, "Turnover" nel Regno Unito vs. "revenues" negli Stati Uniti. Entrambi i termini hanno lo stesso significato nel modello di dati, ma ogni regione utilizza un lessico diverso. Un glossario aziendale dettagliato che definisce con precisione i termini aziendali e i loro sinonimi semplifica la ricerca dei dati e la comprensione del loro significato, in particolare per i decisori orientati al business.

In passato, i glossari aziendali esistevano in documenti autonomi che definivano ogni termine. Oggi, i glossari aziendali sono collegati a dizionari di dati e cataloghi di dati, rendendoli automaticamente accessibili agli utenti per ottenere i dati semplicemente utilizzando termini aziendali. Questo miglioramento consente agli utenti aziendali di accedere liberamente ai dati nell'organizzazione con una semplice comprensione dei termini aziendali che descrivono i dati che cercano.

I glossari aziendali moderni includono:

Deposito centralizzato

Questa funzionalità crea un'unica fonte di verità per termini aziendali, definizioni e metadati associati.

Tassonomia strutturata

Questa funzionalità organizza i termini aziendali in tassonomie o gerarchie strutturate. La categorizzazione gerarchica consente agli utenti di esplorare termini e concetti correlati, promuovendo una comprensione più approfondita del dominio dell'organizzazione.

Assegnazione automatica

A volte, i termini aziendali dei glossari possono essere assegnati automaticamente alle risorse di dati, collegando i metadati tecnici al contesto aziendale pertinente. Questo processo di assegnazione automatica aiuta a normalizzare i metadati tecnici aggiungendo l'essenza aziendale a ciascuna risorsa di dati, migliorandone la pertinenza e l'usabilità.

Normalizzazione dei metadati tecnici

Questa capacità collega i termini aziendali con i metadati tecnici. Il glossario aziendale aiuta a standardizzare la terminologia nei set di dati. La normalizzazione dei metadati tecnici assicura coerenza nelle descrizioni dei dati, rendendo più facile per gli utenti interpretare e analizzare le informazioni.

Standardizzazione di un glossario aziendale

Il glossario aziendale dovrebbe essere costruito dall'alto verso il basso, allineandosi ai requisiti aziendali. Un modo eccellente per creare il tuo glossario aziendale è utilizzare la terminologia standard del settore esistente. Questo approccio ti fornirà una solida base e faciliterà una migliore condivisione dei dati con terze parti. Puoi anche utilizzare una struttura tassonomica gerarchica per costruire il tuo glossario aziendale che ti aiuterà a organizzare e classificare i dati in modo più efficace.

Gestione dei conflitti nell'interpretazione dei dati

Poiché ogni dominio ha i propri glossari aziendali e modelli logici, possono sorgere conflitti su come i diversi gruppi aziendali interpretano termini e dati, quando vengono uniti. Avere una risorsa per gestire questi disaccordi è parte integrante di un glossario di dati universale ben funzionante.

I data steward possono anche essere utili nel tagging delle risorse di dati per designarne il valore o segnalare problemi di qualità dei dati. Mentre i data steward possono assumere la guida nella classificazione dei dati, classificare correttamente i dati per renderli più accessibili e individuabili è responsabilità di tutti quando si interagisce con le risorse di dati. L'intelligenza artificiale può aiutare a supportare questo processo in tutta l'organizzazione. L'intelligenza artificiale può imparare dai modelli di dati esistenti e suggerire designazioni di classificazione se si verificano conflitti o incertezze.

Un modello di dati unificato e un glossario aziendale possono essere una risorsa enorme per allineare i dati aziendali e l'azienda stessa. Poiché diversi domini pensano ai dati in modo più uniforme e comunicano in modo più coerente, il processo decisionale può essere più collaborativo ed efficiente poiché la terminologia aziendale e le metriche sono standardizzate.

Applicazione dell'intelligenza artificiale per il catalogo dati intelligente

L'intelligenza artificiale sarà sempre più importante nel facilitare cataloghi di dati efficienti e glossari aziendali. Man mano che i modelli di intelligenza artificiale diventano più efficaci, acquisiranno una migliore comprensione delle risorse di dati in tutta l'organizzazione. Con l'assistenza dell'intelligenza artificiale, gli analisti avranno un copilota che li aiuterà a trovare il set di dati esatto che consente loro di ottenere le risposte di cui hanno bisogno.

L'unificazione dell'accesso ai dati e l'astrazione dei metadati dai dati effettivi consente una maggiore agilità nell'utilizzo dei dati. Un catalogo dati unificato rende la ricerca e l'accesso ai dati molto più rapidi ed efficienti. Le domande aziendali possono ricevere risposte più rapide ed efficaci con questa capacità. Più rapidamente le organizzazioni possono prendere decisioni di qualità, più saranno competitive sul mercato.

La crescente domanda di dati crea un ambiente in cui replicare i dati ovunque siano necessari tramite pipeline ETL non è sostenibile. Un modello che consolida le informazioni su dove sono archiviati i dati e come accedervi è molto più scalabile. Le strategie di dati federati che gestiscono i metadati e il contesto attorno ai dati forniscono la flessibilità e l'agilità necessarie per il futuro.