Come creare fiducia con i prodotti dati

Per far sì che le organizzazioni operino in modo efficiente, i decisori devono essere in grado di prendere buone decisioni basate sui dati. È giusto dire che la fiducia nei dati è fondamentale nelle organizzazioni basate sui dati odierne. Man mano che l'applicazione dell'intelligenza artificiale diventa mainstream, la qualità dei dati diventa più critica. Se addestriamo erroneamente modelli di intelligenza artificiale con dati errati, inevitabilmente si otterranno risultati scadenti. Se i modelli di intelligenza artificiale che interagiscono con i clienti hanno prestazioni scadenti, ciò può avere un impatto significativo sul business e sul valore del marchio a lungo termine. Devi essere in grado di fidarti dei tuoi dati tanto quanto ti fidi dei tuoi dipendenti.

Sebbene la fiducia nei dati sia fondamentale, sorprendentemente è bassa. Nel 2020, KPMG ha scoperto che solo il 35% dei decisori si fidava dei propri dati aziendali. Un altro studio del 2023 condotto da Precisely e dalla LeBow School of Business ha evidenziato un certo miglioramento; tuttavia, solo il 46% degli intervistati aveva un'elevata o molto elevata fiducia nei propri dati.

Le organizzazioni commettono diversi errori che portano a una scarsa qualità dei dati e alla rottura della fiducia:

• Pubblicazione di dati obsoleti
• Pubblicazione di dati non accurati
• Pubblicazione di dati incompleti
• Non fornire il contesto per garantire che i dati siano ben compresi

Questi errori portano a cattive decisioni e scarse performance aziendali. Ad esempio, se un dipendente si impegna con un cliente basandosi su dati imperfetti e non è in grado di mantenere quella promessa, l'azienda rischia di perdere non solo il cliente, ma anche la sua reputazione.

Perdere la fiducia è facile, ma una volta persa, riguadagnarla è molto difficile. Una volta che i dirigenti consumano dati errati o esaminano report con errori, la loro fiducia nei dati futuri viene scossa.

Perché i prodotti dati sono più affidabili delle pipeline dati

Il miglioramento della fiducia nei dati richiede un cambiamento fondamentale nel modo in cui accediamo e utilizziamo i dati. Il processo tradizionale di accesso ai dati è stato abilitato tramite il lancio di progetti individuali e la creazione di pipeline ETL. Il successo di questi progetti si misura in base alla quantità di codice sviluppato e alla quantità di dati forniti. La qualità dei dati, sebbene importante, è solo una parte dell'equazione. In una mentalità basata sui progetti, la quantità di output è la misura del successo.

Tuttavia, quando spostiamo l'obiettivo sui risultati aziendali, la qualità dei dati diventa la misura fondamentale del successo. La fiducia si costruisce quando gli obiettivi e le motivazioni dei professionisti dei dati si allineano con quelli degli utenti dei dati. Un prodotto dati di successo non si misura in base alla quantità di dati che fornisce, ma in base a quanto soddisfa le esigenze dei suoi utenti. La genesi di qualsiasi prodotto dati deriva da un risultato aziendale desiderato. Anche se i prodotti dati forniscono accesso a grandi quantità di dati molto rapidamente, non verranno utilizzati se non soddisfano le esigenze degli utenti, limitando così la loro capacità di fornire risultati aziendali positivi. Affinché un prodotto dati abbia successo, gli utenti devono fidarsi abbastanza da basare le proprie decisioni sul suo output.

Maggiore visibilità e collaborazione riducono gli errori e creano fiducia

Il successo dei prodotti dati è guidato da un team eterogeneo con diverse funzioni che lavorano insieme per fornire risultati aziendali superiori. Questo processo deve essere basato su fiducia, trasparenza, visibilità e collaborazione tra colleghi. La fiducia tra i team dei prodotti dati si traduce in dati di cui gli utenti possono fidarsi.

Con i processi ETL basati su progetti, collaborazione, visibilità e trasparenza sono una sfida. In genere, questi progetti hanno origine da una richiesta di dati da parte di un utente, tuttavia una volta che la pipeline è stata creata e i dati sono stati consegnati, l'utente potrebbe non avere alcuna visibilità su come o quando i dati sono stati raccolti.

Allo stesso modo, gli ingegneri dei dati non sempre sanno come i dati che forniscono vengono utilizzati a valle. Potrebbero non essere consapevoli di come le loro azioni influenzeranno l'analisi a valle dei modelli di IA. Ad esempio, se un ingegnere dei dati modifica lo schema di un set di dati, potrebbe interrompere alcune analisi o dashboard che si basano su quel set di dati.

Inoltre, manca un processo per fornire feedback. Poiché questi processi sono codificati in modo rigido, è difficile modificare e incorporare feedback, anche se c'è maggiore visibilità sul loro utilizzo.

Creare fiducia con i prodotti dati

Le strategie di successo per i prodotti dati si basano su uno stack o una piattaforma di dati standard che consente maggiore collaborazione, visibilità e trasparenza.

Collaborazione

Una migliore comunicazione e collaborazione creano sempre più fiducia e dovrebbero pertanto essere un aspetto integrante di una strategia di prodotti basati sui dati.

La collaborazione in merito all'accesso ai dati e alla condivisione della responsabilità per la salvaguardia dei dati crea una comprensione comune tra i team di dati. Le strategie di governance federate, in cui i team IT centrali e i gestori di dominio condividono la responsabilità per la governance dei dati, sono una caratteristica fondamentale delle strategie di dati basate sui prodotti. Il vantaggio di questo approccio è che le persone più familiari con i dati, i gestori di dominio, sono maggiormente coinvolte nella governance dei dati. Ciò supporta un approccio più sfumato e pratico alla governance dei dati. La condivisione della responsabilità della governance dei dati consente una maggiore scalabilità e agilità, poiché non tutte le policy di governance devono essere eseguite tramite il reparto IT.

Affinché questa strategia funzioni, i domini e le autorità IT devono collaborare e fidarsi l'uno dell'altro. Diversi domini e il reparto IT devono collaborare per definire chi è responsabile della governance di quali set di dati, dove finisce il controllo IT e dove iniziano i domini. Una chiara comprensione e comunicazione evitano confusione. Ciò si traduce in prodotti di dati flessibili e adattabili con elevata qualità dei dati di cui gli utenti possono fidarsi.

I produttori e i consumatori di dati possono anche creare fiducia attraverso la collaborazione. Invece di un approccio basato sui progetti in cui i dati vengono lanciati oltre il proverbiale "recinto", i prodotti di dati sono in continua evoluzione. I creatori di prodotti di dati possono regolarmente incorporare il feedback degli utenti. Questo scambio di feedback crea fiducia tra creatori e utenti, assicurando che i creatori abbiano il risultato aziendale degli utenti al centro del processo di sviluppo.

Gli utenti collaborano anche con altri utenti per creare validità. In genere, i marketplace di prodotti dati consentiranno agli utenti di valutare i prodotti dati per fornire una convalida della qualità e dell'utilità dei prodotti dati.

Fornire una piattaforma per allineare i partecipanti e consentire la collaborazione e il feedback durante tutto il processo rafforza la fiducia nel team e negli utenti nei loro risultati.

Visibilità e trasparenza

Visibilità e trasparenza sono essenziali per fornire prodotti di dati affidabili. La mancanza di visibilità porta a errori in genere negli approcci lineari di tipo waterfall che sono spesso utilizzati per sviluppare pipeline ETL, offrendo pochissima visibilità tra gli utenti dei dati e l'ingegnere che sviluppa il processo. Se si verifica un errore nel processo di trasformazione, l'utente dei dati potrebbe non sapere che c'è un problema e continuerà a utilizzare dati obsoleti o errati nella propria analisi. D'altro canto, gli ingegneri dei dati in genere non hanno visibilità su come le modifiche che incorporano nel backend influenzano i modelli degli analisti.

I prodotti dati, la federazione dati e la gestione centralizzata dei metadati fungono da ponte tra i data engineer e gli utenti dati. I responsabili e i produttori di prodotti dati facilitano una migliore comprensione di requisiti, esigenze e preoccupazioni tra i data engineer e i consumatori dati.

Una piattaforma di produzione di prodotti dati funge da luogo centrale per la collaborazione, ottenendo informazioni sullo stato di salute dei prodotti dati e sulla loro applicazione a casi d'uso o vari modelli. La chiave di questa trasparenza è una piattaforma di governance federata che traccia e gestisce le policy di governance tra i domini. Tutti i partecipanti possono fornire input e raccogliere dati sui prodotti dati e sui dati che li costituiscono, come:

• Completezza: conteggio del numero di record con valori di dati incompleti o nulli.
• Validità: se i dati riflettono la realtà o ciò che ci si aspetterebbe di vedere.
• Tempestività: quanto sono aggiornati i dati.
• Lineage: fonte dei dati e sua attendibilità.
• Precisione: misure di accuratezza dei dati.
• Unicità: frequenza di ripetizione di un valore.

Il piano di controllo dei metadati è al centro di questa piattaforma che fornisce trasparenza nei metadati aziendali. Una piattaforma dati federata consolida i dati da tutta l'organizzazione per fornire maggiore visibilità sulla qualità e la discendenza dei dati. Questo repository centrale tiene traccia anche delle modifiche dei metadati alla fonte per garantire che gli analisti dei dati possano adattare i loro modelli e le loro analisi di conseguenza. Gli avvisi automatici vengono recapitati agli utenti abbonati informandoli delle modifiche e dello stato dei dati con questo sistema di tracciamento centralizzato.

Contesto

Dati di alta qualità sono fondamentali per creare fiducia nei dati, così come lo è fornire il contesto corretto attorno a questi dati. La terminologia aziendale non è sempre uniforme nei vari domini. Se gli utenti dei dati sono confusi su cosa significhi un termine o su come vengono calcolati i KPI, si verificheranno degli errori e gli utenti perderanno fiducia. I glossari dei dati sono estremamente utili per garantire che gli utenti comprendano il significato dei dati con cui stanno lavorando per evitare confusione ed errori.

Scopribilità

La capacità di trovare il set di dati giusto per un progetto di analisi aiuta anche a creare fiducia nei tuoi asset di dati. Valutare le metriche di salute e qualità su tutti i set di dati da un unico pannello di controllo consente agli analisti di considerare più variabili prima di aggiungere un set di dati alla loro analisi. Inoltre, un marketplace di prodotti di dati che sfrutta l'intelligenza artificiale può consigliare i migliori prodotti di dati per gli utenti. Questa capacità crea fiducia nel fatto che queste piattaforme siano progettate per fornire non solo dati migliori, ma anche risultati aziendali migliori.

Nell'era dei dati e dell'intelligenza artificiale, faremo sempre più affidamento sui dati che raccogliamo e su cui basiamo le nostre decisioni. La capacità di fidarci della qualità di questi dati avrà effetti profondi sui risultati aziendali. Coloro che avranno successo faranno della qualità e dell'integrità dei dati una priorità assoluta.

Per saperne di più su come creare prodotti dati affidabili con la piattaforma Avrio, programma una demo.