智能数据转换：Avrio 的 dbt 集成为何能为数据团队带来飞跃

在数据世界中，速度和信任至关重要。企业无法承受等待数小时甚至数天才能让数据可用。他们需要能够跟上业务发展、提供一致结果并保持透明度的转换流程。多年来，dbt（数据构建工具）帮助团队为基于 SQL 的转换带来了结构化、测试和清晰度。但即使使用 dbt，转换过程也常常依赖于一个有限的假设：您的数据已经整齐地存储在数据仓库中。而实际上，情况几乎从来都不是这样的。

在大多数企业中，数据分布在云平台、遗留系统、关系数据库以及无法实时同步的应用程序之间。为了在这些环境中使用 dbt，团队不得不依赖传统的 ETL 管道来整合所有内容。这会导致复杂性增加、迭代速度变慢，以及源系统与依赖它们的模型之间日益脱节。

这就是Avrio 和 dbt 集成要解决的问题。

Avrio 为“提取-转换-加载”模型提供了一种强大的替代方案。Avrio 无需强制您将数据迁移到集中位置，而是允许您跨系统虚拟查询数据，无需复制。这意味着数据将保留在其原有位置（无论是在 Snowflake、PostgreSQL 还是 SQL Server 中），但仍然可以实时建模、探索和分析。要了解更多关于跨现代数据产品集成和同步的不同数据处理方法，请阅读我们的博客。

现在，通过dbt 集成，同样的概念扩展到了转换。您现在可以通过 Avrio 平台直接在源数据库上运行 dbt 模型，而不必仅转换数据仓库中已有的数据。这些模型不仅可以创建只读视图或抽象，还可以对底层数据执行DML 操作（插入、更新、删除） 。这使得构建在源头运行的可重用、可测试的转换逻辑成为可能，无需重复、延迟或绕行。

数据转换的复杂性成本

让我们来看看数据团队在尝试扩大数据转换工作时面临的常见挑战。

首先，存在管道开销的问题。团队通常花费在构建和维护 ETL 作业上的时间比实际分析数据的时间更多。如果需要使用 DBT 转换来自五个来源的数据，则必须首先将其复制到中央仓库——这会带来延迟、风险和运营成本。

其次，即使数据最终集中化，可见性方面仍然存在差距。如何追踪指标的来源？如何知道是哪个转换导致了不一致？大多数团队要么依赖未记录的知识，要么在工具之外维护笨重的文档。

这就是 Avrio-dbt 集成真正闪耀的地方。由于您现在可以就地转换数据，因此您无需依赖昂贵且脆弱的 ETL 流程。而且，由于Avrio 会自动捕获每次转换的元数据，因此这些更改在 Avrio 的沿袭功能中完全可见——从而提供数据流中每个步骤的实时、可审计视图。

内置数据沿袭：了解变化的内容和原因

这种集成最强大的方面之一是将转换逻辑和治理整合到一处。每次在 Avrio 上执行 dbt 模型时，无论是在生产表上执行更新还是丰富用于分析的视图，Avrio 都会捕获该操作的完整上下文。

其中包括如下细节：

• 涉及的源表
• 应用的转换逻辑
• 创建或更新的输出模型或表
• 触发更改的用户或服务

这些信息随后会在 Avrio 的交互式沿袭界面中可视化，使整个企业的利益相关者能够清晰、准确地了解数据的流动和演变方式。对于许多组织，尤其是受监管行业的组织而言，这是合规性、数据质量和信任的基本要求。

您的数据团队真正想要的工作流程

此次集成还为分析和工程团队带来了更快的迭代周期。由于您无需在使用数据之前移动数据，因此您可以实时地根据真实数据开发和测试 dbt 模型。

例如，如果您要基于存储在多个数据库中的用户行为构建客户细分模型，通常该流程首先将数据导入数据仓库，然后构建并部署 dbt 模型进行转换。验证完成后，精炼后的数据将被写回目标系统。此过程通常需要数天时间。借助 Avrio 和 dbt 的协同工作，您只需编写一次模型，即可将其直接应用于相关的源表（无论它们存储在何处），并立即查看结果。由于 Avrio 会在其沿袭引擎中跟踪每一次转换，因此您的整个团队都可以了解这些细分是如何衍生出来的。

这种实时建模，加上强大的治理和可观察性，使您的数据操作更加灵活、更加可靠、更易于扩展。

更少的工具，更强的控制力

当今数据领域许多激动人心的创新都致力于减少摩擦——消除阻碍洞察并增加风险的复杂层层障碍。Avrio-dbt 集成就是这一原则的一个很好的例子。

您仍在使用团队熟悉的工具——SQL、DBT、版本控制模型——但这一切都在一个消除传统障碍的平台中进行。无需 ETL，无需往返同步，也无需清晰的沿袭。数据在归属地进行可信转换。

实际应用

Avrio-dbt 集成在敏捷性、精确度和治理至关重要的各种用例中发挥价值。

收入确认和财务调整

在财务团队中，速度和准确性至关重要。通过 Avrio-dbt 集成，公司可以使用 dbt 模型直接在事务数据库上实现收入确认逻辑。这些转换可以根据更新的付款状态、合同条款或使用阈值调整财务数据，而无需依赖夜间批处理作业。每项调整均可在 Avrio 的沿袭视图中查看，从而使审计和对账更简单、更快捷且完全可追溯。

跨分布式系统的客户行为建模

营销和产品分析团队可以跨系统建模用户行为模式（例如，使用 BigQuery 进行网络分析，使用 PostgreSQL 进行事务日志分析），而无需将所有内容都集中到数据仓库中。通过 Avrio 使用 dbt，他们可以创建统一的客户细分逻辑，该逻辑在每个系统上原生运行，并反馈到实时个性化引擎。此外，得益于内置的沿袭功能，业务利益相关者可以了解细分的派生方式，即使是跨系统的细分。

您的数据、您的逻辑、一个统一的平台

在数据量呈爆炸式增长且预期空前高涨的当今世界，数据团队不仅需要强大的工具，还需要能够与之共同成长的互联、连贯的工作流程。Avrio 与 dbt 的集成实现了这一承诺，让团队能够更高效地工作，而不是更辛苦。通过使用 Avrio 平台直接在数据库上启用基于 DML 的转换，并在沿袭系统内呈现这些更改，此集成提供了一项罕见的功能：将灵活性、透明度和治理功能融为一体的统一转换体验。

它不仅使转型更快，还使转型更智能。

要了解其工作原理——立即预订演示