データ製品で信頼を築く方法

組織が効率的に運営されるためには、意思決定者がデータに基づいて適切な意思決定を行える必要があります。今日のデータ主導型組織では、データへの信頼が最も重要であると言っても過言ではありません。AI アプリケーションが主流になるにつれ、データの品質がさらに重要になります。AI モデルを誤って不良データでトレーニングすると、必然的に悪い結果になります。クライアントとやり取りする AI モデルのパフォーマンスが悪いと、ビジネスと長期的なブランド エクイティに大きな影響を与える可能性があります。従業員を信頼するのと同じくらい、データを信頼できなければなりません。

データへの信頼は重要ですが、驚くべきことにその信頼度は低いです。2020 年に KPMG は、意思決定者の 35% だけが自社の企業データを信頼していることを発見しました。2023 年に Precisely と LeBow School of Business が実施した別の調査では、いくらかの改善が見られましたが、それでも回答者の 46% だけが自社のデータに高い、または非常に高い信頼を寄せていました。

組織は、データ品質の低下や信頼の崩壊につながるいくつかのミスを犯します。

• 古いデータを公開する
• 不正確なデータの公開
• 不完全なデータの公開
• データが十分に理解されるようにコンテキストを提供しない

このようなミスは、誤った判断や業績の低下につながります。たとえば、従業員が不完全なデータに基づいて顧客との約束を交わし、その約束を果たせなかった場合、会社は顧客を失うだけでなく、評判も失うリスクがあります。

信頼を失うのは簡単ですが、一度失うと、それを取り戻すのは非常に困難です。経営陣が不良データを使用したり、エラーのあるレポートを確認したりすると、将来のデータに対する信頼が揺らぎます。

データ製品がデータパイプラインよりも信頼できる理由

データの信頼性を向上させるには、データへのアクセス方法と使用方法を根本的に変える必要があります。従来のデータ アクセス プロセスは、個別のプロジェクトを立ち上げ、ETL パイプラインを構築することで実現してきました。これらのプロジェクトの成功は、開発されたコードの量と配信されたデータの量で測定されます。データの品質は重要ですが、方程式の一部にすぎません。プロジェクトベースの考え方では、出力量が成功の尺度となります。

しかし、目標をビジネス成果に移すと、データ品質が成功の核となる尺度になります。信頼は、データ実践者の目標と動機がデータユーザーの目標と動機と一致したときに構築されます。データプロダクトの成功は、提供されるデータの量ではなく、ユーザーのニーズをどれだけ満たしているかによって測られます。データプロダクトの起源は、望ましいビジネス成果にあります。データ プロダクトが大量のデータに非常に迅速にアクセスできる場合でも、ユーザーのニーズを満たさなければ使用されず、肯定的なビジネス成果をもたらす能力が制限されます。データ プロダクトが成功するには、ユーザーがその出力に基づいて決定を下すほどに信頼する必要があります。

可視性とコラボレーションの向上により、エラーが減り、信頼が構築されます

データ プロダクトの成功は、さまざまな機能を持つ多様なチームが協力して優れたビジネス成果を生み出すことによって推進されます。このプロセスは、同僚間の信頼、透明性、可視性、コラボレーションに基づいて構築される必要があります。データ プロダクト チーム間の信頼は、ユーザーが信頼できるデータにつながります。

プロジェクト ベースの ETL プロセスでは、コラボレーション、可視性、透明性が課題となります。通常、これらのプロジェクトはユーザーからのデータ要求から始まりますが、パイプラインが構築され、データが配信されると、ユーザーはデータがどのように、いつ収集されたかを把握できない場合があります。

同様に、データ エンジニアは、自分が提供したデータが下流でどのように使用されているかを常に把握しているわけではありません。自分の行動が AI モデルの下流分析にどのような影響を与えるかを認識していない可能性があります。たとえば、データ エンジニアがデータ セットのスキーマを変更すると、そのデータ セットに依存する一部の分析やダッシュボードが機能しなくなる可能性があります。

さらに、フィードバックを提供するためのプロセスが不足しています。これらのプロセスはハードコードされているため、使用状況の可視性が向上したとしても、変更してフィードバックを取り入れることは困難です。

データ製品による信頼の構築

成功するデータ製品戦略は、より優れたコラボレーション、可視性、透明性を実現する標準のデータ スタックまたはプラットフォーム上に構築されます。

コラボレーション

コミュニケーションとコラボレーションの強化は常に信頼を高めるため、データ製品戦略の不可欠な側面となる必要があります。

データ アクセスに関するコラボレーションと、データ保護の責任の共有により、データ チーム間で共通の理解が生まれます。中央 IT チームとドメイン マネージャーがデータ ガバナンスの責任を共有するフェデレーション ガバナンス戦略は、製品に基づくデータ戦略の中核機能です。このアプローチの利点は、データに最も精通しているドメイン マネージャーがデータ ガバナンスに積極的に関与することです。これにより、データ ガバナンスに対するより繊細で実用的なアプローチがサポートされます。データ ガバナンスの責任を共有することで、すべてのガバナンス ポリシーを IT 部門で実行する必要がなくなるため、スケーラビリティと俊敏性が向上します。

この戦略が機能するには、ドメインと IT 部門が協力し、相互に信頼する必要があります。さまざまなドメインと IT 部門が協力して、どのデータ セットのガバナンスの責任者が誰なのか、IT 制御はどこで終了し、ドメインはどこから始まるのかを定義する必要があります。明確な理解とコミュニケーションにより混乱を回避できます。その結果、ユーザーが信頼できる高品質で柔軟性と適応性に優れたデータ製品が生まれます。

データのプロデューサーとコンシューマーは、コラボレーションを通じて信頼を築くこともできます。データがいわゆる「フェンス」を越えて投げ出されるプロジェクトベースのアプローチではなく、データ製品は常に進化しています。データ製品の作成者は、ユーザーからのフィードバックを定期的に取り入れることができます。このフィードバックの交換により、作成者とユーザーの間に信頼が築かれ、作成者はユーザーのビジネス成果を開発プロセスの中心に置くことができます。

ユーザーは他のユーザーと協力して妥当性を構築することもできます。通常、データ製品マーケットプレイスでは、ユーザーがデータ製品を評価して、データ製品の品質と有用性を検証できます。

参加者を調整し、プロセス全体を通じてコラボレーションとフィードバックを可能にするプラットフォームを提供することで、チーム間の信頼が高まり、ユーザーの成果に対する信頼が高まります。

可視性と透明性

信頼性の高いデータ製品を提供するには、可視性と透明性が不可欠です。可視性の欠如は、ETLパイプラインの開発によく使用される線形ウォーターフォール型のアプローチでエラーを引き起こし、データユーザーとプロセスを開発するエンジニア間の可視性がほとんどありません。変換プロセスでエラーが発生した場合、データユーザーは問題があることに気付かず、分析で古いデータやエラーのあるデータを使用し続ける可能性があります。一方、データエンジニアは通常、バックエンドに組み込んだ変更がアナリストのモデルにどのような影響を与えるかを把握していません。

データ製品、データ フェデレーション、および集中メタデータ管理は、データ エンジニアとデータユーザーの間の橋渡しとして機能します。データ製品マネージャーとプロデューサーは、データエンジニアとデータコンシューマー間の要件、ニーズ、および懸念事項の理解を促進します。

データ製品生成プラットフォームは、コラボレーションの中心地として機能し、データ製品の健全性やユースケースやさまざまなモデルへの適用に関する情報を取得します。この透明性の鍵となるのは、ドメイン間でガバナンスポリシーを追跡および管理するフェデレーション ガバナンス プラットフォームです。すべての参加者は、データ製品とそれを構成するデータに関する入力を提供し、次のようなデータを収集できます。

• 完全性:不完全または null データ値を持つレコードの数。
• 妥当性:データが現実を反映しているか、または期待どおりであるか。
• 適時性:データがどれだけ最新であるか。
• 系統:データのソースとその信頼性。
• 精度:データの精度の尺度。
• 一意性:値の繰り返し頻度。

メタデータ コントロール プレーンは、このプラットフォームの中核であり、企業全体のメタデータの透明性を実現します。フェデレーション データ プラットフォームは、組織全体のデータを統合して、データの品質と系統の可視性を高めます。この中央リポジトリは、ソースでのメタデータの変更も追跡し、データ アナリストがモデルと分析を適切に適応できるようにします。この集中追跡システムにより、登録したユーザーには、データの変更と健全性を通知する自動アラートが配信されます。

コンテクスト

データの信頼性を築くには、高品質のデータが必要不可欠ですが、このデータに関する正しいコンテキストを提供することも重要です。ビジネス用語は、ドメイン間で必ずしも統一されているわけではありません。データ ユーザーが用語の意味や KPI の計算方法について混乱すると、エラーが発生し、ユーザーの信頼を失ってしまいます。データ用語集は、ユーザーが作業しているデータの意味を理解し、混乱や間違いを回避するのに非常に役立ちます。

発見可能性

分析プロジェクトに適したデータ セットを見つける機能は、データ資産への信頼の構築にも役立ちます。単一の画面からすべてのデータ セットの健全性と品質の指標を評価すると、アナリストはデータ セットを分析に追加する前に複数の変数を検討できます。また、AI を活用したデータ製品マーケットプレイスは、ユーザーに最適なデータ製品を推奨できます。この機能により、これらのプラットフォームはより優れたデータだけでなく、より優れたビジネス成果も提供するように設計されているという信頼が構築されます。

データと AI の時代では、収集して意思決定の根拠とするデータへの依存度がますます高まります。このデータの品質を信頼できるかどうかは、ビジネスの成果に大きな影響を与えます。成功する人は、データの品質と整合性を最優先にします。

Avrio プラットフォームを使用して信頼できるデータ製品を構築する方法については、デモをスケジュールしてください。