Projetando produtos de dados elegantes

O que é um produto de dados?

A maneira como as organizações pensam sobre dados e como acessam informações confiáveis está mudando rapidamente. A demanda por insights está crescendo exponencialmente e estratégias para gerenciar dados de forma mais eficiente estão surgindo. No centro dessa mudança está uma mudança gradual na mentalidade. As organizações estão começando a pensar sobre dados como um produto, uma oferta em pacote que é reutilizável e refinada. Essa abordagem se afasta da mentalidade baseada em projetos, onde cada solicitação de dados é atendida com um novo pipeline de dados único.

Os principais benefícios dos produtos de dados são:

Reutilização

Fácil acesso

Compartilhamento

Assim como qualquer produto, a maneira como os produtos de dados são projetados e apresentados aos usuários faz uma diferença significativa. Agora, vamos ver como projetar produtos de dados elegantes.

Quando falamos sobre produtos de dados, estamos nos referindo a eles no contexto de uma estratégia de TI maior ou malha de dados. Isso não deve ser confundido com um produto de dados como parte de uma estratégia de negócios principal, onde um produto de dados direcionado a clientes é o principal gerador de receita de uma organização. Não estamos falando sobre produtos de dados como Google Analytics ou Bloomberg.

A Gartner define um produto de dados como:

Esta definição muito detalhada e complexa pode ser precisa; no entanto, uma definição mais elegante pode vir de J. Majchrzak, que define um produto de dados como "uma unidade de dados autônoma, otimizada para leitura e padronizada, contendo pelo menos um conjunto de dados (Conjunto de Dados de Domínio), criado para satisfazer as necessidades do usuário".

Embora ambas as definições sejam precisas, uma é mais simples e fácil de consumir. Da mesma forma, produtos de dados elegantes são mais fáceis de consumir e, portanto, valiosos.

O que é um design elegante?

Como sabemos se um design é elegante? Albert Einstein é creditado por dizer: "Tudo deve ser feito o mais simples possível, mas não mais simples". Um produto de dados elegante, portanto, deve ser o mais simples possível para obter o melhor resultado.

Vejamos outros itens essenciais de uma solução elegante:

• Focado e eficiente o suficiente para afetar um resultado definido com recursos limitados
• Coerente o suficiente para lidar com casos extremos na lógica central, não pensado nem aparafusado em recursos
• Poderoso o suficiente para ser aplicado em múltiplas aplicações

Por que o design elegante é importante? Menos complexidade torna as coisas muito mais fáceis e agradáveis de consumir, gerando maior valor. Uma solução simples, mas eficaz, superará a complexidade.

Mentalidade de produto de dados

O primeiro passo para projetar e criar produtos de dados elegantes é adotar uma mentalidade de produto de dados. Muitas vezes, esse pode ser o maior obstáculo.

Para adotar uma mentalidade de produto de dados, você precisa se livrar da mentalidade de projeto. Essa é a ideia de que cada vez que uma solicitação de dados é recebida pelo grupo de engenharia de dados, um novo projeto é criado e executado. Essa mentalidade de projeto é muito mais reativa, com engenheiros de dados constantemente lutando para construir pipelines de dados de acordo com os requisitos das partes interessadas. Uma vez que um projeto é concluído, é hora de esquecê-lo e passar para o próximo.

A mentalidade do produto evoluiu. Engenheiros de dados, analistas e administradores de dados pensam mais proativamente sobre os dados. Em vez de esperar por solicitações de dados ad-hoc, analistas, engenheiros e gerentes trabalham juntos para criar produtos de dados antes que eles sejam necessários. Essa abordagem requer pesquisa e insights completos para criar produtos de dados que serão mais úteis para um conjunto maior de usuários, gerando maior valor por saída.

Os produtos de dados também são reutilizáveis, então eles permanecem relevantes durante todo o seu ciclo de vida, esse ciclo de vida inclui manutenção e melhoria contínuas. À medida que os produtos de dados ganham vida própria, o feedback pode ser facilmente incorporado em novas versões.

O maior desafio na implementação e construção de produtos de dados eficazes e elegantes é criar a mentalidade certa. Quando você muda para uma estratégia de produto de dados versus um projeto de dados, o sucesso é medido por resultados, não por saídas. Embora os produtos de dados evoluam, o planejamento e o design eficazes antecipadamente ajudarão a definir a base para produtos de dados elegantes.

Principais características de bons produtos de dados

Produtos de dados eficazes e poderosos geralmente exibem certas características. Designers devem manter essas características em mente ao criar os produtos de dados:

Descobrível

Para que os produtos de dados sejam impactantes, eles precisam ser descobertos. Mesmo um produto fantástico não atingirá seu potencial se ninguém souber que ele existe. Os mercados de produtos de dados são ótimas maneiras de colocar produtos de dados nas mãos dos usuários. Alguns mercados de produtos de dados usarão IA e análise preditiva para sugerir produtos de dados aos usuários, de forma semelhante a como a Netflix sugere novos filmes ou programas aos espectadores. A elegância nem sempre é sobre como você projeta o produto, mas também sobre como você o traz ao mercado e o torna acessível aos usuários.

Qualidade

Dados limpos e precisos são um atributo essencial para qualquer produto de dados. Se os analistas de dados não puderem confiar, seu produto de dados não será valorizado pelos tomadores de decisão. Projetar e construir produtos de dados deve incluir um processo confiável para limpar e normalizar os dados à medida que são mesclados e integrados.

Uma vez que o processo esteja definido, você precisa garantir e provar ao seu público que ele funciona. Isso envolve rastrear e compartilhar métricas de qualidade de dados para medir variabilidade e completude, entre várias outras qualidades.

Seguro

Manter os dados seguros é um requisito de qualquer estratégia de TI, mas a construção de segurança em seu produto de dados pode ser matizada. Produtos de dados projetados com elegância podem fornecer acesso granular a ativos de dados. Projetar regras de acesso que considerem as funções dos usuários e atributos de dados equilibra o acesso e a segurança. Esses controles de acesso e mascaramento de dados também fornecem uso eficiente de tabelas de dados.

Outra característica importante é a inclusão de criptografia sofisticada, garantindo que os dados sejam protegidos à medida que são transferidos do banco de dados para análise.

Observável

Para garantir qualidade contínua, ótimos produtos de dados têm capacidades de observabilidade incorporadas. Produtos de dados são tão bons quanto a qualidade dos dados que eles entregam. Se os tomadores de decisão não confiarem nos dados produzidos pelos produtos de dados, eles perdem seu valor. Produtos de dados devem ser projetados com recursos de monitoramento integrados que detectem anomalias e erros. Isso reduz a probabilidade de dados ruins chegarem à análise de um executivo ou serem usados para treinar modelos de IA.

Escalável

Um dos outros benefícios de adotar uma abordagem baseada em produto é que quanto mais um produto de dados é usado, mais valor ele agrega à organização. Produtos de dados são muito flexíveis e podem ser aplicados a vários casos de uso, aumentando assim sua utilidade. Consequentemente, produtos de dados devem ser projetados para escalar e atender à crescente demanda do usuário.

Colaborativo

É essencial obter informações de várias fontes para que os produtos de dados sejam poderosos o suficiente para resolver vários problemas.

Construir uma equipe diversa para construir produtos de dados e as estruturas de suporte é vital. Múltiplos stakeholders desempenham um papel na criação de produtos de dados bem-sucedidos, incluindo produtores de produtos de dados, proprietários de domínios e consumidores.

Os produtores de produtos de dados são os mais investidos no sucesso de um produto de dados e, portanto, assumem a liderança. Eles podem ter habilidades de engenharia de dados ou habilidades de analistas de dados, mas o foco principal é entender as necessidades dos consumidores. Aqueles com experiência em gerenciamento de produtos ou propriedade de produtos entendem a mentalidade do produto.

Os proprietários de domínio também desempenham um papel vital e são tipicamente responsáveis por garantir a governança adequada. A governança ajuda a definir os controles e políticas corretos que levam ao sucesso ou fracasso de um produto de dados, tornando o papel de um proprietário de domínio importante.

Os consumidores de produtos de dados também são uma peça-chave do ciclo de vida contínuo dos produtos de dados. Seu engajamento e feedback fornecem a entrada para melhorar a utilidade dos produtos de dados. Eles podem avaliar sua satisfação com produtos de dados individuais e quão bem eles atendem às suas necessidades. Rastrear o comportamento dos consumidores de produtos de dados também é uma grande parte da incorporação dos consumidores ao processo.

Acessível

Assim como a capacidade de descoberta, a acessibilidade efetiva é uma característica importante de produtos de dados de qualidade. A acessibilidade fácil melhora o processo de obtenção de produtos de dados e seu uso para análise da forma mais simples possível, levando a um tempo de insight mais rápido. Uma das barreiras ao acesso rápido é importar produtos de dados para sua ferramenta de BI ou ferramenta de construção de modelos de IA. Designs elegantes de produtos de dados permitem que os produtos de dados sejam acessados de qualquer pacote de análise preferencial.

A segunda e talvez mais difícil barreira é ganhar autoridade para acessar dados. Configurar os protocolos certos para habilitar o acesso torna o processo mais seguro e eficiente. Definir claramente quem é responsável por habilitar o acesso é uma parte importante da definição de protocolos elegantes. Em uma estrutura mais distribuída, os gerentes de domínio que supervisionam a coleta de dados em seu grupo têm autoridade para fornecer acesso.

Assinaturas e contratos de dados definem a duração do acesso e como os dados podem e não podem ser usados. Ao padronizar esses acordos antecipadamente, os usuários não precisam passar pelo processo toda vez que desejam acessar um produto de dados, simplificando o processo.

Personalizável e interoperável

Para atender às necessidades dos usuários, os produtos de dados devem ser adaptáveis aos requisitos comerciais específicos e às preferências do usuário.

Em vez de adicionar recursos de dados estranhos, produtos de dados elegantes também devem ser projetados para interoperar com outros produtos de dados. Com a interoperabilidade incorporada ao design, os produtos de dados podem ser facilmente combinados para criar superprodutos de dados mais ricos e valiosos.

Auditável

À medida que os produtos de dados evoluem, algumas mudanças serão melhorias, mas não todas. Alterar produtos de dados também pode expor vulnerabilidades, como riscos de segurança e conformidade. Para garantir que os produtos de dados sejam da mais alta qualidade, eles devem incluir testes de auditoria e dados de controle de versão. Identificar erros rapidamente e apontar a fonte ajudará a manter seu produto de dados funcionando de forma segura e eficiente.

Orientado por caso de uso

Para serem abrangentes e consistentes, os produtos de dados devem ser capazes de resolver os problemas dos usuários de forma eficaz todas as vezes. Para conseguir isso, eles devem ser projetados como qualquer outro produto, mantendo o usuário final no centro do processo. Seja o usuário um engenheiro de dados, analista de dados, analista de negócios, executivo de negócios, cliente ou parceiro, ter uma compreensão abrangente de suas necessidades é a chave para o sucesso.

Produtos de dados abrangentes incorporam uma ampla gama de fontes de dados para garantir a extensão e a cobertura consistente dos casos de uso. Enriquecer dados com fontes de parceiros ou terceiros pode adicionar profundidade adicional ao produto de dados. Por exemplo, usar bancos de dados de código postal para preencher dados de endereço ausentes e padronizá-los pode tornar os produtos de dados mais abrangentes e consistentes.

Os usuários devem ser capazes de entender claramente o que os dados dentro do seu produto de dados representam para serem aplicáveis ao seu caso de uso. Isso pode ser um desafio, pois os dados se originam de toda a organização. O gerenciamento adequado de metadados é importante para criar produtos de dados poderosos e garantir que o contexto seja preservado. Certificar-se de que os usuários entendam a terminologia usada para descrever os dados no produto de dados também é importante. Incorporar glossários de negócios é uma maneira de ajudar a padronizar a terminologia.

Gestão do ciclo de vida

Um dos principais diferenciais entre produtos de dados e projetos de dados é o desempenho dos produtos de dados e sua capacidade de serem constantemente melhorados e aprimorados. Mesmo que façamos o nosso melhor para projetar um produto de dados para atender às necessidades do nosso público, ele nem sempre atingirá o alvo ou simplesmente exigirá mudanças. Construir um mecanismo para capturar feedback dos usuários é essencial para entregar continuamente ótimos produtos de dados.

Rastrear produtos de dados e entender como eles repercutem com os usuários é crucial para conectar produtos com usuários. Um mercado de produtos de dados repleto de produtos de dados antigos e irrelevantes não se presta a um processo elegante. Os produtos de dados devem ser arquivados e aposentados quando chegarem ao fim do ciclo de vida, reduzindo o ruído. Certifique-se de selecionar seu mercado de produtos de dados para otimizar a experiência do usuário.

Processo

Produtos de dados elegantes não acontecem por si só, eles exigem um processo certo para dar suporte à sua criação. Sem ele, há uma tendência de adicionar mais dados que adicionam complexidade. Um processo garante que os dados sejam adicionados deliberadamente. Designs elegantes são produzidos por processos iterativos e colaborativos.

Os processos de design iterativos dão suporte ao design elegante porque cada etapa ou ciclo o aproxima de uma solução mais simples e poderosa. As primeiras versões de produtos de dados podem não ser a solução ideal, então elas precisam evoluir. Recursos que não são usados ou interrompem o caminho para o melhor resultado podem ser eliminados por meio da iteração. Novos usuários podem encontrar aplicativos inovadores para produtos de dados que geram novos recursos ou uma divisão do produto de dados original em algo novo e mais impactante. Seu processo deve abraçar e institucionalizar o feedback para entender melhor como seu produto de dados atende ao seu objetivo. À medida que os produtos de dados evoluem e o feedback é coletado, surgem ideias para novos produtos de dados.

Construir excelentes produtos de dados não é tarefa fácil. Criá-los do zero sem uma base tecnológica sólida pode ser ainda mais difícil. Plataformas de produtos de dados podem tornar o processo muito mais fácil. Avrio é uma plataforma moderna de análise de dados que é projetada de baixo para cima para agilizar a criação de produtos de dados. Para saber mais sobre os recursos do Avrio e como a plataforma pode ajudar você a criar produtos de dados elegantes , agende uma demonstração .