Observabilidade em produtos de dados

Você não pode gerenciar e otimizar o que não pode ver. Você precisa de observabilidade para entender como um sistema funciona e se ele está operando efetivamente. Os produtos de dados estão entregando um novo modelo para acesso a dados, e aqueles que criam produtos de dados precisam rastrear sua qualidade e utilidade.

Ótimas matérias-primas são necessárias para constituir ótimos produtos. A qualidade dos dados que entram nos produtos de dados é crítica para uma estratégia de produto de dados bem-sucedida. Resultados superiores exigem o rastreamento da qualidade dos dados da fonte ao consumo e a observação dos sistemas de dados que gerenciam o processo.

Observabilidade do produto de dados

Muitas organizações estão adotando uma estratégia de produto de dados que cria produtos de dados reutilizáveis em vez de criar um pipeline de dados único para cada caso de uso. Produtos de dados são conjuntos de dados de fácil acesso criados uma vez e adaptados a vários casos de uso.

Uma abordagem de produto de dados exige que os engenheiros de dados pensem de forma mais proativa e considerem os entregáveis de dados como produtos. Essa estratégia depende de criadores considerarem as necessidades e os pontos problemáticos de seus usuários. Para informar as decisões sobre recursos de produtos, os produtores precisam de informações sobre como seus produtos de dados são usados. Esse feedback permite que os criadores melhorem seu portfólio existente e criem melhores produtos de dados para o futuro.

A observabilidade do produto de dados rastreia quem está usando diferentes produtos de dados e como eles os usam. Entender as funções dos usuários pode ajudar os produtores a entender melhor quais coortes estão obtendo mais valor de seus produtos de dados e quais são mal atendidos. Insights sobre como os produtos de dados são usados para dar suporte a modelos, painéis e análises também podem ajudar a gerar ideias inovadoras para novos produtos de dados. Ao entender essas tendências, os criadores de produtos de dados poderão ser mais proativos, para que os dados estejam prontos para os usuários quando eles precisarem.

Os produtores de produtos de dados também podem melhorar seus produtos reunindo feedback direto sobre os produtos de dados. Criar uma cultura de trabalho em equipe e implementar canais formais de feedback do usuário é uma ótima tática para aumentar o valor. Implementar fóruns onde usuários e produtores podem interagir, fornecer feedback, identificar problemas e sugerir novos produtos de dados aumenta o valor do ecossistema de produtos de dados.

O rastreamento de custos e FinOps é outro componente vital da observabilidade do produto de dados. Os produtos de dados estão usando recursos de nuvem de forma eficiente? Eles poderiam ser otimizados para reduzir recursos? Esse tipo de rastreamento de dados é essencial para uma estratégia lucrativa de produto de dados. Identificar quais produtos de dados consomem mais memória é um exemplo de observabilidade de custos.

Mecanismos que fornecem visibilidade em produtos de dados também devem se estender por domínios de negócios. Normalmente, produtores e usuários podem não interagir regularmente com gerentes e analistas em diferentes unidades de negócios. Essa separação limita o valor e a amplitude que um produto de dados pode entregar. Um fórum central para todos se reunirem virtualmente é essencial para maior engajamento e visibilidade do produto de dados.

Os produtores de dados são componentes críticos das estratégias de produtos de dados, e sua produtividade também deve ser rastreada. Quem está criando a maioria dos produtos de dados e em qual domínio fornece maior visibilidade da eficácia do seu pessoal?

Embora rastrear o uso de produtos de dados seja importante para o sucesso, também é importante garantir que os produtos de dados sejam confiáveis. Para que os produtos de dados sejam confiáveis, analistas e usuários precisam ser capazes de observar sua qualidade. Isso pode incluir métricas de rastreamento em correspondência fuzzy, sensibilidade de dados e identidade referencial.

Correspondência difusa

este teste mede as similaridades de diferentes linhas em produtos de dados. Este teste rastreia a probabilidade de que linhas duplicadas existam em um produto de dados. O teste não identifica correspondências exatas, mas sinaliza similaridades que exigem investigação adicional para evitar duplicação. Este teste é útil ao unir vários conjuntos de dados em um produto de dados que podem ter dados duplicados semelhantes.

Sensibilidade dos dados

este teste mede a completude dos dados no produto de dados. Este teste conta o número de linhas em uma tabela no produto de dados e compara isso a um padrão de referência. Um teste de completude determinará se esse número está dentro do intervalo especificado. Se o número estiver errado, você pode estar perdendo dados, ou dados errôneos podem ter sido inseridos ou duplicados.

Identidade referencial

este teste verifica se a chave de uma tabela filha corresponde à chave primária da tabela pai. Se as chaves mudarem nas tabelas pai, este teste também garantirá que a mudança seja refletida nas tabelas filhas.

Os dados de linhagem também fornecem maiores insights sobre a confiabilidade dos produtos de dados. Os usuários podem visualizar a fonte dos dados em um produto de dados e julgar a qualidade. Se os dados se originam de fontes confiáveis, os tomadores de decisão podem ter certeza de que estão acessando dados de qualidade dentro dos produtos de dados.

Observar e testar produtos de dados dessa forma ajuda a garantir que você esteja trazendo apenas produtos de dados de alta qualidade para seus usuários. Pontuações de confiança que resumem métricas de qualidade e feedback do usuário são uma ótima maneira para os usuários de produtos de dados terem alguma visibilidade sobre a qualidade dos produtos de dados.

Observabilidade de dados

Observar o funcionamento dos seus produtos de dados é importante, mas a visibilidade dos sistemas que produzem dados para seus produtos de dados também é imperativa. As organizações precisam ter estratégias em vigor para monitorar, entender e solucionar problemas de dados e sistemas que produzem e armazenam dados. As organizações precisam ser capazes de observar vários fatores importantes que dão suporte à integridade dos dados. Esses fatores incluem frescor, qualidade, volume, esquema e linhagem.

Frescor

Frescor representa há quanto tempo seus dados foram atualizados. Dados obsoletos são dados de baixa qualidade e não são confiáveis.

Qualidade

A qualidade rastreia valor e correção. Testes de dados de qualidade podem ajudar você a obter melhor observabilidade de seus dados. Métricas como,

• Completude – esta métrica rastreia quantos valores nulos ou valores "0" existem em um conjunto de dados
• Uniqueness – esta métrica rastreia a porcentagem de valores exclusivos em uma coluna específica. Se a uniqueness for alta, você terá duplicatas mínimas.
• Validade – este teste garante que os dados são válidos comparando padrões de dados no conjunto de dados com padrões de dados esperados. Por exemplo, se números negativos não forem possíveis, os testes de validade mediriam o número de números não negativos.

Volume

Testes de volume contam o número de linhas no seu conjunto de dados. Poucas ou muitas podem indicar um problema. Testes que medem volume incluem,

• Sensibilidade de dados - compara o número de linhas em uma tabela com uma referência e mede se está no intervalo.
• Comprimento de coluna válido – este teste garante que você tenha o comprimento de coluna correto ou esteja dentro de um intervalo especificado.

Esquema

O esquema define a organização dos seus dados. Se essa organização for alterada, isso pode levar a erros. Rastrear quem fez alterações no esquema de dados e quando é vital para rastrear a saúde dos dados.

Linhagem

A linhagem detalha como os ativos de dados são conectados e como as tabelas de dados são relacionadas. Ela também rastreia o fluxo da fonte de dados para o consumo. Quando há problemas, você precisa ser capaz de observar a linhagem de dados para rastrear as causas raiz.

Por que isso é importante?

Observar dados em toda a sua pilha de dados é essencial para manter seus dados limpos. Identificar erros prontamente reduz o potencial que eles podem causar danos. Se dados ruins chegam aos tomadores de decisão, os gerentes perdem a confiança na integridade dos dados da empresa. Essa perda de confiança reduz a capacidade das organizações de tomar decisões. Uma vez que a confiança é perdida, é difícil recuperá-la.

Boas soluções de observabilidade de dados não só identificarão erros, mas ajudarão você a identificar a fonte desses erros. Essas ferramentas podem ajudar a reduzir o tempo médio para resolução de erros e identificar gargalos para otimizar a funcionalidade do sistema.

Desafios

Obter observabilidade de ponta a ponta em toda a sua pilha de dados pode ser um desafio. Pipelines de dados complexos e silos de dados distribuídos dificultam a observação de dados conforme eles se movem em seus sistemas de dados. Diferentes departamentos e equipes de dados podem estar usando várias ferramentas para observar dados em seu domínio, tornando a observabilidade consistente em todos esses silos muito mais desafiadora. Essa fragmentação também dificulta o rastreamento das causas raiz de erros em diferentes sistemas e pipelines.

Federação de Dados e Gestão de Metadados

O surgimento da federação de dados e ferramentas robustas de gerenciamento de metadados consolidados está ajudando a conectar a visibilidade de dados entre esses silos de dados. A federação de dados vincula cada silo de dados a um banco de dados centralizado de gerenciamento de metadados. Os metadados rastreiam informações sobre conjuntos de dados, como esquema, frescor e volume, componentes-chave da observabilidade de dados. A centralização desses dados permite a observabilidade entre silos de dados, o que é muito mais difícil em um pipeline ETL, onde os dados podem fazer várias paradas e os metadados de origem originais podem não ser carregados em bancos de dados de destino.

Inovações em gerenciamento de metadados também incorporam automação para registrar automaticamente alterações de metadados quando elas mudam nos dados de origem. Esses dados são rastreados em uma plataforma central, que pode suportar melhores relatórios e resolução de erros.

A observabilidade é essencial para produtos de dados valiosos e de qualidade. Em uma era em que os dados estão direcionando mais nossa tomada de decisão e alimentando a IA, rastrear a saúde de nossos dados e sistemas é vital para obter o máximo desse ativo.