Data Mesh Unleashed: arricchire i dati con gli esperti

I dati archiviati in qualsiasi organizzazione hanno un valore immenso e la conoscenza che ne deriva può differenziare un'azienda dai suoi concorrenti. Non avere una strategia solida per rompere i silos di dati è un errore strategico.

Mentre metodi tradizionali come pipeline ETL e data lake sono comuni, approcci più innovativi e distribuiti come data mesh e data fabric stanno guadagnando terreno. L'obiettivo finale di queste strategie è democratizzare l'accesso ai dati, promuovendo un modello self-service e una cultura più collaborativa e basata sui dati. Le organizzazioni devono rimanere agili, adattandosi a questi concetti e tecnologie in evoluzione per mantenere un vantaggio competitivo.

Svelare l'evoluzione di data mesh e data fabric

Un Data Mesh è un'architettura dati progettata per facilitare la condivisione dei dati in un'organizzazione. Un data mesh è indipendente dalla tecnologia ed è definito da quattro principi.

Proprietà del dominio

La funzione aziendale che raccoglie i dati detiene l'autorità su di essi.

Prodotto dati

I dati vengono confezionati in prodotti dati, semplificando la condivisione all'interno dell'organizzazione.

Self service

I dati e i prodotti dati devono essere accessibili a persone non tecniche per analisi indipendenti, senza richiedere l'assistenza del reparto IT o del dominio che li condivide.

Governance federata

La responsabilità di gestire e proteggere i dati è condivisa tra il dominio e le autorità IT centrali.

Per saperne di più sul data mesh, leggi il nostro blog su cosa è un data mesh e perché ne hai bisogno.

Gartner definisce il data fabric come un concetto di progettazione che funge da livello di integrazione di dati e processi di collegamento. Utilizza analisi continue su risorse di metadati esistenti, rilevabili e inferite, per supportare la progettazione, l'implementazione e l'utilizzo di dati integrati e riutilizzabili in tutti gli ambienti. In effetti, sia il concetto di Data Mesh che di Data Fabric condividono un obiettivo comune: affrontare la sfida dei silos di dati e migliorare l'accesso ai dati all'interno delle organizzazioni.

Cambiare le strategie di dati distribuiti

Sin dall'inizio del concetto di Data Mesh, la strategia si è evoluta. Nei primi tempi, c'era una tendenza a concedere ai domini il potere di utilizzare qualsiasi strumento per creare prodotti di dati da condividere. Questo concetto è maturato man mano che sono emerse preoccupazioni sulla standardizzazione e l'interoperabilità. Rafforzare il concetto di silos di dati e non definire come i prodotti di dati interagiscono potrebbe non essere l'approccio migliore, anche se i leader del dominio hanno la migliore comprensione dei dati. Le implementazioni di data mesh odierne enfatizzano processi e piattaforme standardizzati, garantendo una facile creazione, condivisione e integrazione di prodotti di dati.

Contemporaneamente, sono emerse anche architetture di Data fabric, focalizzate su tecnologia, automazione e controllo di governance centrale. Sebbene Data mesh e Data fabric possano non competere, si influenzano a vicenda, sollecitando adattamenti per soddisfare le esigenze del mercato. I moderni professionisti dei dati esplorano come l'architettura di Data fabric possa supportare concetti di Data mesh quali governance federata, prodotti dati e proprietà di dominio. Questa intersezione riflette un'evoluzione continua nelle strategie di gestione dei dati.

Mesh dati contro tessuto dati

L'integrazione dei dati è fondamentale per entrambi gli approcci, Data mesh e Data fabric, con la democratizzazione dei dati tramite virtualizzazione che emerge come l'architettura di scelta. La virtualizzazione consente ai dati di rimanere nei loro domini di origine e virtualizza i set di dati per abilitare la democratizzazione dei dati. Tuttavia, i concetti di Data fabric e Data mesh divergono in termini di governance, automazione e consumo/scoperta.

Automazione

Il data fabric sfrutta l'automazione per abilitare il self-service, mentre il data mesh si affida agli esperti del settore per integrare la loro competenza nei prodotti dati.

Governo

Il data fabric si basa sul controllo di governance centrale, mentre il data mesh adotta un approccio federato con domini responsabili della gestione dei propri dati.

Consumo

Il data fabric consolida le risorse di dati in cataloghi di dati o distribuisce grafici di conoscenza per mappare le risorse di dati nell'intera organizzazione. Un approccio data mesh espone i dati tramite prodotti di dati creati dal dominio, in genere pubblicati tramite un marketplace di prodotti di dati.

Con l'evoluzione di questi concetti di data mesh e della tecnologia dei data fabric, hanno iniziato a convergere. I professionisti stanno sperimentando vari livelli di controllo, consolidamento dei dati e automazione. L'intelligenza artificiale sta svolgendo un ruolo importante nel consentire questa convergenza.

Con l'evoluzione del mercato, diventa meno una questione di automazione rispetto a persone federate rispetto a governance centrale o asset di dati rispetto a prodotti di dati e piuttosto di strategie che incorporano tutte le migliori funzionalità e sfruttano lo strumento giusto per il lavoro giusto. Le piattaforme di gestione dei dati e i gateway di analisi supportano questi approcci integrati.

Automazione – persone e macchine

Negli approcci moderni di data mesh e data fabric, entrambe le strategie raggiungono un equilibrio tra esperti di dominio e automazione, incorporando queste risorse in modi distinti. I data fabric utilizzano l'automazione per integrare i dati in tempo reale. Gli esseri umani svolgono un ruolo più passivo nell'affrontare i problemi identificati dagli avvisi AI.

Data mesh si concentra sui prodotti di dati creati dai produttori di dati. L'intelligenza artificiale aiuta i produttori ad automatizzare le attività ripetitive, eliminando la necessità di competenze di codifica; tuttavia, l'essere umano che comprende le sfumature dei dati rimane centrale nel processo. I processi automatizzati di data wrangling e la classificazione dei dati assistita dall'intelligenza artificiale sono esempi di questa relazione simbiotica.

Gli approcci possono coesistere nella stessa strategia con diversi partecipanti al processo che si affidano all'automazione in modi diversi. La chiave è trovare il giusto equilibrio tra competenza umana e automazione per ottimizzare efficacemente i processi dei dati.

Consumo e scoperta: prodotti dati vs asset dati

Nella gestione dei dati, le architetture Data fabric producono asset di dati, mentre un data mesh produce prodotti di dati. Entrambi gli approcci di scoperta e consumo possono esistere in una strategia combinata con un data mesh, aggiungendo più controlli per impacchettare gli asset di dati in prodotti di dati.

L'approccio data mesh si concentra sul prodotto dati come veicolo principale per la condivisione dei dati. I prodotti dati pubblicati su un marketplace di prodotti dati sono più ricchi e presumibilmente più preziosi. In genere sono costituiti da asset dati che sono stati uniti e normalizzati sotto la guida di un esperto di dominio competente. I prodotti dati sono riutilizzabili, più permanenti e migliori per l'uso esterno oltre specifici domini dati.

Gli approcci combinati possono esporre cataloghi di dati consolidati a consumatori di dati meno tecnici, consentendo loro di creare prodotti di dati da condividere. Sfruttare l'intelligenza artificiale per esporre queste risorse di dati ai consumatori di dati, in modo simile a un data fabric, riduce le competenze tecniche richieste per accedere ai dati. LLM consente ai consumatori di dati con competenze SQL limitate di esplorare e interrogare efficacemente le risorse di dati.

Che si tratti di un data fabric o mesh, il catalogo dati diventa un elemento molto importante della strategia. Le piattaforme gateway stanno creando cataloghi dati unificati che abbracciano l'intera organizzazione e organizzano in modo efficiente le risorse dati. Queste piattaforme sfruttano anche gli strumenti GenAI per ridurre il lavoro manuale, aiutando nella classificazione e normalizzazione dei dati per supportare modelli dati robusti e glossari aziendali.

I continui progressi nell'AI continueranno a migliorare l'efficienza dei produttori di dati per creare prodotti di dati sfruttando l'automazione. Inoltre, gli esperti hanno l'opportunità di addestrare l'AI per aiutare i consumatori di dati a ottenere il massimo dai propri dati. Questa sinergia tra esseri umani qualificati e macchine potenti rappresenta un approccio "il meglio di entrambi i mondi" nel panorama in evoluzione della gestione dei dati.

Data Governance – federata vs. centralizzata

Le piattaforme e gli strumenti emergenti stanno consentendo una maggiore federazione della governance. Gli strumenti di governance semplificano la rinuncia da parte dell'IT centrale di un maggiore controllo, mantenendo al contempo una supervisione efficace.

L'integrazione dei controlli di governance dei dati nelle piattaforme di gestione dei dati consente a tutti i membri del team di dati di partecipare attivamente e di assumersi la responsabilità della governance.

L'integrazione dell'automazione nella governance dei dati si sta evolvendo con l'emergere della governance attiva dei dati, una tecnologia che monitora le risorse di dati e invia avvisi a produttori e consumatori quando si verificano problemi.

Nel contesto del data mesh, la governance si estende oltre gli asset di dati per coprire il ciclo di vita dei dati end-to-end, dalla fonte al prodotto di dati. La gestione della governance e della qualità dei dati non termina con l'asset di dati in un data mesh. I prodotti di dati pubblici vengono costantemente migliorati e monitorati tramite cicli di feedback umani. Questo processo iterativo garantisce che i prodotti di dati rimangano pertinenti e preziosi per i consumatori.

Con le capacità di data fabric e data mesh convergenti, c'è una crescente flessibilità nell'accesso ai dati. Gli utenti possono accedere e scoprire i dati attraverso un approccio che si allinea alle loro competenze tecniche e alla comprensione dei dati. Il futuro vedrà probabilmente una fusione di elementi data mesh e data fabric, con conseguenti combinazioni uniche che sfruttano i punti di forza di persone, macchine, governance e tattiche di consumo. La distinzione tra data mesh e data fabric potrebbe svanire, dando origine a strategie di gestione dei dati più personalizzate e adattabili.