La semántica universal es la clave para el autoservicio de datos

Los datos necesitan contexto; sin él, los datos son solo palabras y números. Para que los datos tengan valor, las personas deben comprender lo que representan. Las personas necesitan contexto. Para comprender mejor los datos, los analistas también necesitan conocer detalles sobre cuándo, dónde y cómo se recopilaron. En muchos casos, esto puede ser matizado y contradictorio. ¿Los datos se recopilaron en Massachusetts o en los Estados Unidos? ¿Se recopilaron en el primer trimestre del año calendario o en el primer trimestre fiscal?

La semántica de datos proporciona este contexto y es un componente esencial de su pila de datos. La capa semántica proporciona una vista lógica de los datos, lo que facilita el trabajo con ellos por parte de los empresarios. Traduce la estructura técnica de los datos a una terminología que los usuarios empresariales pueden comprender.

Los componentes clave de la capa semántica son:

Catálogo de datos

El catálogo de datos es un inventario de los activos de datos de una organización, que los describe para que los profesionales de datos puedan encontrar fácilmente lo que necesitan.

Diccionario de datos

El diccionario de datos define la estructura de datos de la organización, el significado y el uso de los elementos de datos.

Glosario de negocios

El glosario empresarial define términos, conceptos y reglas comerciales comúnmente utilizados.

Semántica fragmentada

Debido a que la semántica es tan importante, está presente en toda la organización. Las capas semánticas han evolucionado a lo largo de los años y se han implementado en varios lugares, cada uno con estándares únicos. Esta falta de definiciones y contexto uniformes dificulta que los consumidores de datos accedan a los datos que necesitan de manera estandarizada, lo que crea muros y silos de datos.

La capa semántica se crea normalmente para el entorno en el que se implementará. Si bien puede ser excelente para cumplir con el propósito para el que fue creada, la fragmentación semántica es un abismo creciente que dificulta el intercambio de datos.

Por ejemplo, las herramientas de BI tienen capas semánticas únicas, cada una con sus propias definiciones de datos. La organización típica utiliza casi cuatro herramientas de BI diferentes, lo que hace que la colaboración entre departamentos sea todo un desafío.

Las capas semánticas también se programan en canales de datos muy rígidos, lo que requiere que un desarrollador ejecute cualquier cambio. A medida que cambian los requisitos del canal, los programadores, que normalmente no comprenden por completo el contexto de los datos, necesitan implementar actualizaciones. El contexto de los datos a menudo se distorsiona en este proceso, lo que hace que sea cada vez más incoherente con otros canales y herramientas.

Los almacenes de datos también tienen sus propias capas semánticas integradas con los datamarts que se encuentran sobre ellos. Por lo general, estas son exclusivas de cada almacén de datos o del grupo que mantiene el datamart. Esta fragmentación dificulta compartir datos con colegas de otros departamentos que pueden no comprender los matices del modelo de datos.

Las organizaciones han utilizado lagos de datos para reunir los datos en un solo lugar, lo que facilita el acceso a ellos. Sin embargo, la disparidad entre los modelos de datos sigue siendo una barrera para la integración y el uso compartido de los datos. Aunque los datos pueden estar en el mismo lugar en un lago de datos, sin las mismas definiciones de datos, no es fácil comparar peras con peras. Por ejemplo, algunos conjuntos de datos pueden considerar a un cliente como un individuo en comparación con otros que pueden categorizar a un cliente como una empresa. Realmente depende del contexto de cómo y por qué se recopilaron los datos. La semántica de cada conjunto de datos debe normalizarse para analizar los datos compartidos correctamente.

Este desafío de gestionar un ecosistema semántico fragmentado solo crecerá a medida que los datos se vuelvan más críticos y el mundo continúe recopilando la mayor cantidad posible.

Controle la fragmentación con virtualización de datos y una capa semántica universal

La virtualización de datos y una capa semántica universal pueden controlar la fragmentación semántica y permitir un mayor intercambio de datos y autoservicio.

Una capa de semántica universal es una única fuente de verdad que traduce los datos a términos comerciales de manera uniforme. Es independiente de la plataforma y no está vinculada a una canalización, herramienta o almacén, sino que está diseñada para ubicarse entre los activos de datos sin procesar y las herramientas de análisis. Para que la semántica universal funcione, las herramientas de virtualización de datos deben separar los metadatos y la semántica del plano de datos. Este enfoque permite a los analistas trabajar con una representación de los datos mientras que los datos originales permanecen en el sistema de origen y los analistas interactúan con ellos a través de un modelo de datos uniforme. Mientras los datos permanecen en su lugar, los metadatos se consolidan en una única fuente y se organizan en un único conjunto de semántica. Cuando una capa de semántica universal se habilita mediante la virtualización de datos, los analistas de repente tienen una vista única de datos comerciales fáciles de entender que pueden consultar sin importar dónde se encuentren. Esta uniformidad permite que una única consulta de datos acceda a múltiples almacenes de datos simultáneamente, lo que eleva el descubrimiento de datos al siguiente nivel. Al eliminar la complejidad del almacenamiento de datos y la inconsistencia de la sintaxis de los mismos, los usuarios menos técnicos pueden acceder a los datos que necesitan sin tener que recurrir a expertos para encontrarlos y explicar su significado.

La virtualización de datos también elimina muchas de las tecnologías que impulsan la fragmentación semántica. Los datos se pueden consultar directamente desde la fuente, por lo que hay menos dependencia de los canales de datos con semántica incorporada. Al aprovechar la virtualización y un modelo de datos uniforme, las plataformas de BI pueden acceder a los datos desde la fuente, sin pasar por la semántica nativa. Los datamarts ya no son necesarios.

Cuando los catálogos de datos, los diccionarios de datos y los glosarios empresariales se consolidan en una única plataforma, los consumidores de datos pueden descubrir y acceder a conjuntos de datos de toda la organización. Esta capacidad crea muchas nuevas oportunidades para mejorar la toma de decisiones basada en datos.

La semántica y el futuro de la gestión de datos

La semántica unificada y los datos virtualizados son componentes fundamentales de las estrategias de gestión de datos modernas emergentes, como las mallas y los tejidos de datos. Estas estrategias y tecnologías están conectando la última milla al hacer que los datos sean mucho más accesibles para los consumidores de datos. Permiten nuevos canales de consumo y descubrimiento, como productos de datos o gráficos de conocimiento.

Con una capa semántica consolidada, no solo los humanos pueden comprender mejor todos los datos dentro y fuera de su organización, sino que también les resulta más fácil a las máquinas. Las capacidades de búsqueda semántica le permiten buscar productos de datos en función del lenguaje y los términos comerciales. Cuando Gen AI puede analizar un único repositorio de metadatos accesible, puede aprender a recuperar datos con comandos de lenguaje simples. Al combinar esto con una IA que puede crear visualizaciones automáticamente, la oportunidad de reducir el tedioso trabajo analítico es revolucionaria.