Osservabilità nei prodotti dati

Non puoi gestire e ottimizzare ciò che non puoi vedere. Hai bisogno di osservabilità per capire come funziona un sistema e se sta operando in modo efficace. I prodotti dati stanno fornendo un nuovo modello per l'accesso ai dati e coloro che creano prodotti dati devono tracciarne la qualità e l'utilità.

Per realizzare prodotti eccellenti sono necessarie materie prime eccellenti. La qualità dei dati che vanno nei prodotti dati è fondamentale per una strategia di successo per i prodotti dati. Risultati superiori richiedono il monitoraggio della qualità dei dati dalla fonte al consumo e l'osservazione dei sistemi dati che gestiscono il processo.

Osservabilità del prodotto dati

Molte organizzazioni stanno adottando una strategia di prodotto dati che crea prodotti dati riutilizzabili anziché creare una pipeline dati una tantum per ogni caso d'uso. I prodotti dati sono set di dati di facile accesso creati una volta e adattati a più casi d'uso.

Un approccio basato sui prodotti dati richiede che gli ingegneri dei dati pensino in modo più proattivo e considerino i dati consegnati come prodotti. Questa strategia si basa sul fatto che i creatori considerino le esigenze e i punti critici dei loro utenti. Per informare le decisioni sulle funzionalità del prodotto, i produttori hanno bisogno di informazioni su come vengono utilizzati i loro prodotti dati. Questo feedback consente ai creatori di migliorare il loro portafoglio esistente e di creare prodotti dati migliori per il futuro.

L'osservabilità dei prodotti dati tiene traccia di chi utilizza diversi prodotti dati e di come li utilizza. Comprendere i ruoli degli utenti può aiutare i produttori a comprendere meglio quali gruppi stanno ottenendo il massimo valore dai loro prodotti dati e quali sono sottoserviti. Conoscere come i prodotti dati vengono utilizzati per supportare modelli, dashboard e analisi può anche aiutare a far nascere idee innovative per nuovi prodotti dati. Comprendendo queste tendenze, i creatori di prodotti dati saranno in grado di essere più proattivi, in modo che i dati siano pronti per gli utenti quando ne hanno bisogno.

I produttori di prodotti dati possono anche migliorare i loro prodotti raccogliendo feedback diretto sui prodotti dati. Creare una cultura di lavoro di squadra e implementare canali di feedback formali degli utenti è un'ottima tattica per aumentare il valore. L'implementazione di forum in cui utenti e produttori possono interagire, fornire feedback, identificare problemi e suggerire nuovi prodotti dati aumenta il valore dell'ecosistema dei prodotti dati.

Il monitoraggio dei costi e FinOps sono un altro componente essenziale dell'osservabilità dei prodotti dati. I prodotti dati utilizzano le risorse cloud in modo efficiente? Potrebbero essere ottimizzati per ridurre le risorse? Questo tipo di monitoraggio dei dati è fondamentale per una strategia di prodotti dati redditizia. Identificare quali prodotti dati consumano più memoria è un esempio di osservabilità dei costi.

I meccanismi che forniscono visibilità sui prodotti dati devono anche estendersi a tutti i domini aziendali. In genere, produttori e utenti potrebbero non interagire regolarmente con manager e analisti in diverse unità aziendali. Questa separazione limita il valore e l'ampiezza che un prodotto dati può fornire. Un forum centrale in cui tutti possano riunirsi virtualmente è fondamentale per un maggiore coinvolgimento e visibilità del prodotto dati.

I produttori di dati sono componenti essenziali delle strategie di prodotti di dati e anche la loro produttività dovrebbe essere monitorata. Chi sta creando la maggior parte dei prodotti di dati e in quale dominio fornisce maggiore visibilità sull'efficacia del tuo personale?

Mentre il monitoraggio dell'utilizzo dei prodotti dati è importante per il successo, lo è anche garantire che i prodotti dati siano affidabili. Affinché i prodotti dati siano affidabili, analisti e utenti devono essere in grado di osservarne la qualità. Ciò potrebbe includere il monitoraggio delle metriche su corrispondenza fuzzy, sensibilità dei dati e identità referenziale.

Corrispondenza fuzzy

questo test misura le somiglianze di diverse righe nei prodotti dati. Questo test traccia la probabilità che esistano righe duplicate in un prodotto dati. Il test non identifica corrispondenze esatte ma segnala somiglianze che richiedono ulteriori indagini per evitare duplicazioni. Questo test è utile quando si uniscono più set di dati in un prodotto dati che potrebbe avere dati duplicati simili.

Sensibilità dei dati

questo test misura la completezza dei dati nel prodotto dati. Questo test conta il numero di righe in una tabella nel prodotto dati e lo confronta con uno standard di riferimento. Un test di completezza determinerà se questo numero rientra nell'intervallo specificato. Se il numero è sbagliato, potrebbero mancare dei dati oppure potrebbero essere stati inseriti o duplicati dati errati.

Identità referenziale

questo test verifica se la chiave di una tabella figlia corrisponde alla chiave primaria della tabella padre. Se le chiavi cambiano nelle tabelle padre, questo test assicurerà anche che la modifica venga riflessa nelle tabelle figlia.

I dati di lignaggio forniscono anche maggiori informazioni sull'affidabilità dei prodotti dati. Gli utenti possono visualizzare la fonte dei dati in un prodotto dati e giudicarne la qualità. Se i dati provengono da fonti affidabili, i decisori possono essere certi di accedere a dati di qualità all'interno dei prodotti dati.

Osservare e testare i prodotti dati in questo modo aiuta a garantire che si stiano offrendo solo prodotti dati di alta qualità ai propri utenti. I punteggi di attendibilità che riassumono le metriche di qualità e il feedback degli utenti sono un ottimo modo per gli utenti di prodotti dati di avere una certa visibilità sulla qualità dei prodotti dati.

Osservabilità dei dati

Osservare il funzionamento dei tuoi prodotti dati è importante, ma è anche fondamentale avere visibilità sui sistemi che producono dati per i tuoi prodotti dati. Le organizzazioni devono avere strategie in atto per monitorare, comprendere e risolvere i problemi dei dati e dei sistemi che producono e archiviano i dati. Le organizzazioni devono essere in grado di osservare diversi fattori importanti che supportano l'integrità dei dati. Questi fattori includono freschezza, qualità, volume, schema e lignaggio.

Freschezza

Freshness indica da quanto tempo sono stati aggiornati i tuoi dati. I dati obsoleti sono dati di bassa qualità e non sono affidabili.

Qualità

La qualità tiene traccia del valore e della correttezza. I test sui dati di qualità possono aiutarti a ottenere una migliore osservabilità dei tuoi dati. Metriche come,

• Completezza: questa metrica tiene traccia di quanti valori nulli o valori "0" sono presenti in un set di dati
• Unicità: questa metrica traccia la percentuale di valori univoci in una particolare colonna. Se l'unicità è alta, hai duplicati minimi.
• Validità: questo test assicura che i dati siano validi confrontando i pattern di dati nel set di dati con i pattern di dati previsti. Ad esempio, se non sono possibili numeri negativi, i test di validità misurerebbero il numero di numeri non negativi.

Volume

I test di volume contano il numero di righe nel tuo set di dati. Troppo poche o troppe possono indicare un problema. I test che misurano il volume includono,

• Sensibilità dei dati: confronta il numero di righe in una tabella con un riferimento e misura se rientra nell'intervallo.
• Lunghezza valida della colonna: questo test garantisce che la lunghezza della colonna sia corretta o che rientri in un intervallo specificato.

Schema

Lo schema definisce l'organizzazione dei tuoi dati. Se questa organizzazione viene modificata, può portare a errori. Tracciare chi ha apportato modifiche allo schema dei dati e quando è fondamentale per tracciare la salute dei dati.

Lignaggio

Lineage descrive in dettaglio come sono connessi gli asset di dati e come sono correlate le tabelle di dati. Tiene inoltre traccia del flusso dalla fonte dati al consumo. Quando ci sono problemi, devi essere in grado di osservare il lignaggio dei dati per rintracciare le cause principali.

Perché è importante?

Osservare i dati in tutto lo stack di dati è essenziale per mantenere puliti i dati. Identificare tempestivamente gli errori riduce il potenziale danno che possono causare. Se i dati errati raggiungono i decisori, i manager perdono fiducia nell'integrità dei dati aziendali. Questa perdita di fiducia riduce la capacità delle organizzazioni di prendere decisioni. Una volta persa la fiducia, è difficile riguadagnarla.

Le buone soluzioni di osservabilità dei dati non solo identificheranno gli errori, ma ti aiuteranno anche a identificare la fonte di questi errori. Questi strumenti possono aiutare a ridurre il tempo medio di risoluzione degli errori e a identificare i colli di bottiglia per ottimizzare la funzionalità del sistema.

Sfide

Ottenere l'osservabilità end-to-end in tutto il tuo stack di dati può essere una sfida. Pipeline di dati complesse e silos di dati distribuiti rendono difficile osservare i dati mentre si spostano nei tuoi sistemi di dati. Diversi reparti e team di dati potrebbero utilizzare vari strumenti per osservare i dati nel loro dominio, rendendo l'osservabilità coerente in tutti questi silos molto più impegnativa. Questa frammentazione rende anche difficile tracciare le cause principali degli errori in diversi sistemi e pipeline.

Federazione dei dati e gestione dei metadati

L'emergere della federazione dei dati e di solidi strumenti di gestione dei metadati consolidati sta aiutando a collegare la visibilità dei dati tra questi silos di dati. La federazione dei dati collega ogni silos di dati a un database di gestione dei metadati centralizzato. I metadati tracciano le informazioni sui set di dati come schema, freschezza e volume, componenti chiave dell'osservabilità dei dati. La centralizzazione di questi dati consente l'osservabilità tra i silos di dati, il che è molto più difficile in una pipeline ETL in cui i dati possono effettuare più fermate e i metadati di origine potrebbero non essere caricati nei database di destinazione.

Le innovazioni nella gestione dei metadati incorporano anche l'automazione per registrare automaticamente le modifiche dei metadati quando cambiano nei dati sorgente. Questi dati vengono tracciati in una piattaforma centrale, che può supportare una migliore reportistica e risoluzione degli errori.

L'osservabilità è fondamentale per prodotti di dati di qualità e di valore. In un'epoca in cui i dati guidano sempre di più il nostro processo decisionale e alimentano l'intelligenza artificiale, monitorare lo stato di salute dei nostri dati e sistemi è fondamentale per ottenere il massimo da questa risorsa.