Diseño de productos de datos elegantes

¿Qué es un producto de datos?

La forma en que las organizaciones piensan sobre los datos y cómo acceden a información confiable está cambiando rápidamente. La demanda de información está creciendo exponencialmente y están surgiendo estrategias para gestionar los datos de manera más eficiente. En el centro de este cambio se encuentra un cambio gradual de mentalidad. Las organizaciones están comenzando a pensar en los datos como un producto, una oferta empaquetada que se puede reutilizar y refinar. Este enfoque se aleja de la mentalidad basada en proyectos donde cada solicitud de datos se satisface con un nuevo flujo de datos único.

Los principales beneficios de los productos de datos son:

Reutilización

Fácil acceso

Compartibilidad

Como sucede con cualquier producto, la forma en que se diseñan y se presentan los productos de datos a los usuarios marca una diferencia significativa. Ahora veamos cómo diseñar productos de datos elegantes.

Cuando hablamos de productos de datos, nos referimos a ellos en el contexto de una estrategia de TI más amplia o de una red de datos. Esto no debe confundirse con un producto de datos como parte de una estrategia empresarial central, en la que un producto de datos dirigido a los clientes es el principal generador de ingresos de una organización. No estamos hablando de productos de datos como Google Analytics o Bloomberg.

Gartner define un producto de datos como:

Esta definición muy detallada y compleja puede ser precisa; sin embargo, una definición más elegante podría provenir de J. Majchrzak, quien define un producto de datos como "una unidad de datos autónoma, estandarizada y optimizada para la lectura que contiene al menos un conjunto de datos (conjunto de datos de dominio), creado para satisfacer las necesidades del usuario".

Si bien ambas definiciones son precisas, una es más simple y más fácil de consumir. De manera similar, los productos de datos elegantes son más fáciles de consumir y, por lo tanto, valiosos.

¿Qué es un diseño elegante?

¿Cómo sabemos si un diseño es elegante? A Albert Einstein se le atribuye la frase “Todo debe hacerse lo más simple posible, pero no más simple”. Por lo tanto, un producto de datos elegante debe ser lo más simple posible para obtener el mejor resultado.

Veamos otros elementos imprescindibles de una solución elegante:

• Centrado y lo suficientemente eficiente como para lograr un resultado definido con recursos limitados
• Suficientemente coherente para manejar casos extremos en la lógica central, sin pensar en capacidades adicionales
• Lo suficientemente potente como para ser aplicado a múltiples aplicaciones.

¿Por qué es importante un diseño elegante? Una menor complejidad hace que las cosas sean mucho más fáciles y agradables de consumir, lo que genera un mayor valor. Una solución simple pero eficaz superará a la complejidad.

Mentalidad de producto de datos

El primer paso para diseñar y crear productos de datos elegantes es adoptar una mentalidad de producto de datos. A menudo, este puede ser el mayor obstáculo.

Para adoptar una mentalidad de producto de datos, es necesario deshacerse de la mentalidad de proyecto. Esta es la idea de que cada vez que el grupo de ingeniería de datos recibe una solicitud de datos, se crea y ejecuta un nuevo proyecto. Esta mentalidad de proyecto es mucho más reactiva, ya que los ingenieros de datos se esfuerzan constantemente por crear canales de datos según los requisitos de las partes interesadas. Una vez que se termina un proyecto, es hora de olvidarlo y pasar al siguiente.

La mentalidad de producto ha evolucionado. Los ingenieros, analistas y administradores de datos piensan de manera más proactiva sobre los datos. En lugar de esperar solicitudes de datos ad hoc, los analistas, ingenieros y gerentes trabajan juntos para crear productos de datos antes de que sean necesarios. Este enfoque requiere una investigación y un conocimiento exhaustivos para crear productos de datos que sean más útiles para un conjunto más amplio de usuarios y generen un mayor valor por resultado.

Los productos de datos también son reutilizables, por lo que siguen siendo relevantes durante todo su ciclo de vida, que incluye un mantenimiento y una mejora constantes. A medida que los productos de datos adquieren vida propia, los comentarios se pueden incorporar fácilmente en nuevas versiones.

El mayor desafío a la hora de implementar y crear productos de datos eficaces y elegantes es crear la mentalidad adecuada. Cuando se pasa de una estrategia de productos de datos a una de proyectos de datos, el éxito se mide por los resultados, no por los productos. Si bien los productos de datos evolucionan, una planificación y un diseño eficaces por adelantado ayudarán a sentar las bases para productos de datos elegantes.

Características clave de los buenos productos de datos

Los productos de datos eficaces y potentes suelen presentar ciertas características. Los diseñadores deben tenerlas en cuenta al crear los productos de datos:

Descubrible

Para que los productos de datos tengan impacto, deben ser fáciles de descubrir. Incluso un producto fantástico no alcanzará su potencial si nadie sabe que existe. Los mercados de productos de datos son excelentes formas de poner los productos de datos en manos de los usuarios. Algunos mercados de productos de datos utilizan inteligencia artificial y análisis predictivos para sugerir productos de datos a los usuarios, de manera similar a cómo Netflix sugiere nuevas películas o programas a los espectadores. La elegancia no siempre tiene que ver con cómo se diseña el producto, sino también con cómo se lo lleva al mercado y se lo hace accesible a los usuarios.

Calidad

Los datos limpios y precisos son un atributo indispensable para cualquier producto de datos. Si los analistas de datos no pueden confiar en ellos, los tomadores de decisiones no valorarán su producto de datos. El diseño y la creación de productos de datos deben incluir un proceso confiable para limpiar y normalizar los datos a medida que se fusionan e integran.

Una vez que el proceso está establecido, es necesario garantizar y demostrar a la audiencia que funciona. Esto implica realizar un seguimiento y compartir métricas de calidad de los datos para medir la variabilidad y la integridad, entre otras cualidades.

Seguro

Mantener la seguridad de los datos es un requisito de cualquier estrategia de TI, pero la incorporación de la seguridad en su producto de datos puede tener matices. Los productos de datos con un diseño elegante pueden proporcionar acceso granular a los activos de datos. El diseño de reglas de acceso que tengan en cuenta los roles de los usuarios y los atributos de los datos equilibra el acceso y la seguridad. Estos controles de acceso y el enmascaramiento de datos también proporcionan un uso eficiente de las tablas de datos.

Otra característica importante es la inclusión de un cifrado sofisticado que garantiza que los datos estén protegidos mientras pasan de la base de datos para su análisis.

Observable

Para garantizar una calidad continua, los productos de datos de calidad tienen capacidades de observación integradas. Los productos de datos son tan buenos como la calidad de los datos que entregan. Si los tomadores de decisiones no confían en los datos producidos por los productos de datos, pierden su valor. Los productos de datos deben diseñarse con funciones de monitoreo integradas que detecten anomalías y errores. Esto reduce la probabilidad de que los datos incorrectos se introduzcan en el análisis de un ejecutivo o se utilicen para entrenar modelos de IA.

Escalable

Otro de los beneficios de adoptar un enfoque basado en productos es que cuanto más se utiliza un producto de datos, más valor aporta a la organización. Los productos de datos son muy flexibles y se pueden aplicar a varios casos de uso, lo que aumenta su utilidad. En consecuencia, los productos de datos deben diseñarse para escalar y satisfacer la creciente demanda de los usuarios.

Colaborativo

Es esencial obtener información de diversas fuentes para que los productos de datos sean lo suficientemente potentes como para resolver múltiples problemas.

Es fundamental formar un equipo diverso para crear productos de datos y los marcos de apoyo necesarios. En la creación de productos de datos exitosos participan múltiples partes interesadas, entre ellas, productores de productos de datos, propietarios de dominios y consumidores.

Los productores de productos de datos son los que más se preocupan por el éxito de un producto de datos y, por lo tanto, toman la iniciativa. Pueden tener habilidades de ingeniería de datos o de análisis de datos, pero el enfoque principal es comprender las necesidades de los consumidores. Aquellos con experiencia en gestión de productos o en propiedad de productos entienden la mentalidad del producto.

Los propietarios de dominios también desempeñan un papel fundamental y suelen ser responsables de garantizar una gobernanza adecuada. La gobernanza ayuda a establecer los controles y las políticas adecuados que conducen al éxito o al fracaso de un producto de datos, por lo que el papel del propietario de un dominio es importante.

Los consumidores de productos de datos también son una parte clave del ciclo de vida continuo de los productos de datos. Su participación y sus comentarios brindan información para mejorar la utilidad de los productos de datos. Pueden evaluar su satisfacción con productos de datos individuales y qué tan bien se adaptan a sus necesidades. El seguimiento del comportamiento de los consumidores de productos de datos también es una parte importante de la incorporación de los consumidores al proceso.

Accesible

Al igual que la capacidad de descubrimiento, la accesibilidad efectiva es una característica importante de los productos de datos de calidad. La accesibilidad fácil mejora el proceso de obtención de productos de datos y su uso para el análisis de la forma más sencilla posible, lo que conduce a un tiempo de obtención de información más rápido. Una de las barreras para el acceso rápido es la importación de productos de datos a su herramienta de inteligencia empresarial o herramienta de creación de modelos de inteligencia artificial. Los diseños elegantes de productos de datos permiten acceder a ellos desde cualquier paquete de análisis preferido.

La segunda barrera, y quizás la más difícil, es obtener la autoridad para acceder a los datos. Establecer los protocolos adecuados para permitir el acceso hace que el proceso sea más seguro y eficiente. Definir claramente quién es responsable de permitir el acceso es una parte importante de la definición de protocolos elegantes. En un marco más distribuido, los administradores de dominio que supervisan la recopilación de datos en su grupo tienen la autoridad para proporcionar acceso.

Las suscripciones y los contratos de datos definen la duración del acceso y cómo se pueden utilizar o no los datos. Al estandarizar estos acuerdos desde el principio, los usuarios no tienen que pasar por el proceso cada vez que desean acceder a un producto de datos, lo que simplifica el proceso.

Personalizable e interoperable

Para satisfacer las necesidades de los usuarios, los productos de datos deben ser adaptables a los requisitos comerciales específicos y a las preferencias de los usuarios.

En lugar de añadir características de datos poco prácticas, los productos de datos elegantes también deberían diseñarse para que interoperaran con otros productos de datos. Con la interoperabilidad incorporada en el diseño, los productos de datos se pueden combinar fácilmente para crear superproductos de datos más completos y valiosos.

Auditable

A medida que los productos de datos evolucionan, algunos cambios serán mejoras, pero no todos. Los cambios en los productos de datos también pueden exponer vulnerabilidades, como riesgos de seguridad y cumplimiento. Para garantizar que los productos de datos sean de la más alta calidad, deben incluir pruebas de auditoría y datos de versiones. Identificar rápidamente los errores y señalar la fuente ayudará a mantener su producto de datos funcionando de manera segura y eficiente.

Impulsado por casos de uso

Para ser integrales y consistentes, los productos de datos deben poder resolver los problemas de los usuarios de manera eficaz en todo momento. Para lograrlo, deben diseñarse como cualquier otro producto, manteniendo al usuario final en el centro del proceso. Ya sea un ingeniero de datos, un analista de datos, un analista de negocios, un ejecutivo de negocios, un cliente o un socio, tener una comprensión integral de sus necesidades es clave para el éxito.

Los productos de datos integrales incorporan una amplia variedad de fuentes de datos para garantizar la amplitud y la cobertura consistente de los casos de uso. Enriquecer los datos con fuentes de socios o de terceros puede agregar más profundidad al producto de datos. Por ejemplo, usar bases de datos de códigos postales para completar los datos de direcciones faltantes y estandarizarlos puede hacer que los productos de datos sean más integrales y consistentes.

Los usuarios deben poder comprender claramente qué representan los datos dentro de su producto de datos para que sean aplicables a su caso de uso. Esto puede ser un desafío ya que los datos se originan en toda la organización. La gestión adecuada de metadatos es importante para crear productos de datos potentes y garantizar que se preserve el contexto. También es importante asegurarse de que los usuarios comprendan la terminología utilizada para describir los datos en el producto de datos. Incorporar glosarios comerciales es una forma de ayudar a estandarizar la terminología.

Gestión del ciclo de vida

Uno de los factores clave que diferencian a los productos de datos de los proyectos de datos es el rendimiento de los primeros y su capacidad de mejorarse y optimizarse constantemente. Incluso si hacemos todo lo posible para diseñar un producto de datos que satisfaga las necesidades de nuestro público, no siempre dará en el blanco o simplemente requerirá cambios. Desarrollar un mecanismo para captar la opinión de los usuarios es esencial para ofrecer continuamente excelentes productos de datos.

Realizar un seguimiento de los productos de datos y comprender cómo resuenan con los usuarios es fundamental para conectar los productos con los usuarios. Un mercado de productos de datos plagado de productos de datos obsoletos e irrelevantes no se presta a un proceso elegante. Los productos de datos deben archivarse y retirarse cuando llegan al final de su ciclo de vida, lo que reduce el ruido. Asegúrese de organizar su mercado de productos de datos para optimizar la experiencia del usuario.

Proceso

Los productos de datos elegantes no surgen por sí solos, sino que requieren un proceso adecuado que respalde su creación. Sin él, existe una tendencia a agregar más datos, lo que agrega complejidad. Un proceso garantiza que los datos se agreguen deliberadamente. Los diseños elegantes se producen mediante procesos iterativos y colaborativos.

Los procesos de diseño iterativo favorecen un diseño elegante, ya que cada paso o ciclo lo acerca a una solución más simple y más poderosa. Las primeras versiones de los productos de datos pueden no ser la solución óptima, por lo que deben evolucionar. Las características que no se utilizan o que interrumpen el camino hacia el mejor resultado se pueden eliminar mediante la iteración. Los nuevos usuarios pueden encontrar aplicaciones innovadoras para los productos de datos que generen nuevas características o una división del producto de datos original en algo nuevo y más impactante. Su proceso debe adoptar e institucionalizar la retroalimentación para comprender mejor cómo su producto de datos cumple con su objetivo. A medida que los productos de datos evolucionan y se recopilan comentarios, surgen ideas para nuevos productos de datos.

Crear excelentes productos de datos no es tarea fácil. Crearlos desde cero sin una base tecnológica sólida puede ser aún más difícil. Las plataformas de productos de datos pueden facilitar mucho el proceso. Avrio es una plataforma de análisis de datos moderna diseñada de abajo hacia arriba para agilizar la creación de productos de datos. Para obtener más información sobre las capacidades de Avrio y cómo la plataforma puede ayudarlo a crear productos de datos elegantes , programe una demostración .