如何利用数据产品建立信任

为了使组织高效运作，决策者应该能够做出正确的数据驱动决策。可以说，在当今数据驱动的组织中，对数据的信任至关重要。随着人工智能应用成为主流，数据质量变得更加关键。如果我们错误地用坏数据训练人工智能模型，必然会导致糟糕的结果。如果与客户互动的人工智能模型表现不佳，可能会对业务和长期品牌资产产生重大影响。你必须能够像信任员工一样信任你的数据。

虽然对数据的信任至关重要，但令人惊讶的是，信任度却很低。2020 年，毕马威发现，只有 35% 的决策者信任他们的企业数据。Precisely 和 LeBow 商学院在 2023 年进行的另一项研究反映了一些改善；尽管如此，只有 46% 的受访者对他们的数据高度或非常信任。

组织会犯一些错误，导致数据质量差和信任破裂：

• 发布过时的数据
• 发布不准确的数据
• 发布不完整的数据
• 未提供背景信息以确保数据得到充分理解

这些错误会导致决策失误和业务表现不佳。例如，如果员工基于有缺陷的数据向客户做出承诺，但无法兑现承诺，那么公司不仅会失去客户，还会失去声誉。

失去信任很容易，但一旦失去，重新获得信任就非常困难。一旦高管使用不良数据或查看有错误的报告，他们对未来数据的信心就会动摇。

为什么数据产品比数据管道更值得信赖

提高数据信任度需要从根本上改变我们访问和使用数据的方式。传统的数据访问过程是通过启动单个项目和构建 ETL 管道来实现的。这些项目的成功取决于开发了多少代码和交付了多少数据。数据质量虽然很重要，但只是其中的一部分。在基于项目的思维模式中，产出量是衡量成功的标准。

然而，当我们将目标转向业务成果时，数据质量就成为成功的核心衡量标准。当数据从业者的目标和动机与数据用户的目标和动机一致时，信任就建立起来了。一个成功的数据产品不是通过它提供的数据量来衡量的，而是通过它如何满足用户的需求来衡量的。任何数据产品的起源都来自于期望的业务成果。即使数据产品能够非常快速地提供对大量数据的访问，但如果它们不能满足用户的需求，它们就不会被使用，从而限制了它们提供积极业务成果的能力。要想让数据产品取得成功，用户必须足够信任它，并根据它的输出做出决策。

更高的可视性和协作性可减少错误并建立信任

数据产品的成功取决于多元化团队，他们拥有不同的职能部门，共同努力提供卓越的业务成果。这一过程需要建立在同事之间的信任、透明度、可见性和协作的基础上。数据产品团队之间的信任意味着用户可以信任数据。

对于基于项目的 ETL 流程，协作、可见性和透明度是一项挑战。通常，这些项目源自用户的数据请求，但是一旦管道建立并交付数据，用户可能就无法了解数据是如何或何时收集的。

同样，数据工程师并不总是知道他们提供的数据在下游会如何使用。他们可能不知道自己的行为会如何影响 AI 模型的下游分析。例如，如果数据工程师更改了数据集的架构，则可能会破坏依赖该数据集的一些分析或仪表板。

此外，缺乏提供反馈的流程。由于这些流程是硬编码的，即使对其使用有更高的可见性，也很难改变和纳入反馈。

利用数据产品建立信任

成功的数据产品策略建立在标准数据堆栈或平台之上，从而实现更强的协作、可视性和透明度。

合作

加强沟通和协作总是能建立更多的信任，因此应该成为数据产品战略的一个组成部分。

围绕数据访问进行协作并分担保护数据的责任，可以让数据团队达成共识。联合治理策略是基于产品构建的数据策略的核心功能，即中央 IT 团队和域管理员共同承担数据治理的责任。这种方法的好处是，最熟悉数据的人（域管理员）会更多地参与数据治理。这支持更细致入微、更实用的数据治理方法。分担数据治理责任可以提高可扩展性和灵活性，因为并非每项治理政策都需要通过 IT 部门来执行。

为了使这一策略发挥作用，领域和 IT 主管部门必须相互合作和信任。不同的领域和 IT 部门需要合作来定义谁负责管理哪些数据集、IT 控制在哪里结束以及领域在哪里开始。清晰的理解和沟通可以避免混淆。这样可以产生灵活、适应性强、数据质量高、用户可以信赖的数据产品。

数据生产者和消费者还可以通过合作建立信任。数据产品不断发展，而不是采用基于项目的方法，即数据被抛到所谓的“围栏”上。数据产品创建者可以定期采纳用户的反馈。这种反馈交流建立了创建者和用户之间的信任，确保创建者将用户的业务成果置于开发过程的中心。

用户还与其他用户合作建立有效性。通常，数据产品市场将允许用户对数据产品进行评级，以验证数据产品的质量和实用性。

提供一个平台来协调参与者并在整个过程中实现协作和反馈，可以增强团队之间的信心和用户对其输出的信任。

可见性和透明度

可见性和透明度对于提供可靠的数据产品至关重要。缺乏可见性通常会导致线性瀑布式方法出现错误，这种方法通常用于开发 ETL 管道，数据用户和开发流程的工程师之间的可见性非常低。如果转换过程中出现错误，数据用户可能不知道存在问题，并将继续在分析中使用过时或错误的数据。另一方面，数据工程师通常无法了解他们在后端整合的更改如何影响分析师的模型。

数据产品、数据联合和集中元数据管理是数据工程师和数据用户之间的桥梁。数据产品经理和生产者有助于更好地理解数据工程师和数据消费者之间的需求、需要和关注点。

数据产品生产平台充当协作的中心位置，获取有关数据产品健康状况及其在用例或各种模型中的应用的信息。这种透明度的关键是联合治理平台，该平台可跟踪和管理跨域的治理政策。所有参与者都可以提供输入并收集有关数据产品及其构成数据的数据，例如：

• 完整性：具有不完整或空数据值的记录数计数。
• 有效性：数据是否反映现实或您期望看到的内容。
• 及时性：数据的最新程度。
• 谱系：数据来源及其可信度。
• 准确性：衡量数据准确性的指标。
• 唯一性：值重复的频率。

元数据控制平面是该平台的核心，它为整个企业的元数据提供了透明度。联合数据平台整合了整个组织的数据，从而提高了数据质量和沿袭的可视性。这个中央存储库还跟踪源头的元数据变化，以确保数据分析师能够相应地调整他们的模型和分析。通过这个集中式跟踪系统，自动向订阅用户发送警报，告知他们数据的变化和健康状况。

语境

高质量的数据是建立数据信任的基础，提供正确的数据上下文也是如此。业务术语在各个领域并不总是统一的。如果数据用户对术语的含义或 KPI 的计算方式感到困惑，就会出现错误，用户就会失去信任。数据词汇表对于确保用户了解他们正在处理的数据的含义以避免混淆和错误非常有用。

可发现性

能够为分析项目找到正确的数据集也有助于建立对数据资产的信任。通过从单一平台评估所有数据集的健康和质量指标，分析师可以在将数据集添加到分析之前考虑多个变量。此外，利用人工智能的数据产品市场可以为用户推荐最佳数据产品。这种能力建立了信任，这些平台不仅旨在提供更好的数据，而且还提供更好的业务成果。

在数据和人工智能时代，我们将越来越依赖我们收集的数据并以此作为决策依据。信任这些数据质量的能力将对业务成果产生深远影响。成功的人会将数据质量和完整性放在首位。

要了解如何使用 Avrio 平台构建可信数据产品，请安排演示。