エレガントなデータ製品の設計

データ製品とは何ですか?

組織がデータについて考える方法や、信頼できる情報にアクセスする方法は急速に変化しています。洞察に対する需要は飛躍的に高まり、データをより効率的に管理する戦略が生まれています。この変化の中心にあるのは、考え方の緩やかな変化です。組織は、データを製品、つまり再利用可能で洗練されたパッケージ化されたサービスとして考え始めています。このアプローチは、データに対するすべてのリクエストが新しい 1 回限りのデータ パイプラインで満たされるプロジェクトベースの考え方から脱却します。

データ製品の主な利点は次のとおりです。

再利用性

簡単にアクセス

共有可能性

どの製品でもそうですが、データ製品がどのように設計され、ユーザーに提示されるかによって、大きな違いが生まれます。それでは、優れたデータ製品を設計する方法を見てみましょう。

データ製品について話すとき、私たちはそれをより大規模な IT 戦略またはデータ メッシュの文脈で言及しています。これは、顧客をターゲットにしたデータ製品が組織の主な収益源である、コア ビジネス戦略の一部としてのデータ製品と混同しないでください。Google Analytics や Bloomberg などのデータ製品について話しているわけではありません。

Gartner はデータ製品を次のように定義しています。

この非常に詳細で複雑な定義は正確かもしれませんが、より洗練された定義は、データ製品を「ユーザーのニーズを満たすために作成された、少なくとも 1 つのデータセット (ドメイン データセット) を含む、自律的で読み取りに最適化された標準化されたデータ ユニット」と定義する J. Majchrzak によるものです。

どちらの定義も正確ですが、一方はよりシンプルで、利用しやすいものです。同様に、洗練されたデータ製品は利用しやすく、したがって価値があります。

エレガントなデザインとは何でしょうか?

デザインがエレガントかどうかはどうすればわかるのでしょうか? アルバート アインシュタインは「すべては可能な限りシンプルにすべきだが、シンプルすぎるべきではない」と言ったと言われています。したがって、エレガントなデータ製品は、最良の結果を得るために、可能な限りシンプルにする必要があります。

エレガントなソリューションに必須のその他の要素を見てみましょう。

• 限られたリソースで明確な成果を達成できるほど集中的かつ効率的である
• コアロジックのエッジケースを処理できるほど一貫性があり、考え抜かれた機能ではない
• 複数のアプリケーションに適用できるほど強力

エレガントなデザインが重要なのはなぜでしょうか? 複雑さが減ると、物事がはるかに簡単になり、楽しく使えるようになり、より大きな価値が生まれます。シンプルでありながら効果的なソリューションは、複雑さを上回ります。

データ製品の考え方

優れたデータ プロダクトを設計および作成するための最初のステップは、データ プロダクトの考え方を採用することです。多くの場合、これが最大のハードルとなります。

データ プロダクトの考え方を採用するには、プロジェクト マインドセットを捨てる必要があります。これは、データ エンジニアリング グループがデータ リクエストを受け取るたびに、新しいプロジェクトが作成され、実行されるという考え方です。このプロジェクト マインドセットははるかにリアクティブであり、データ エンジニアは利害関係者の要件に従ってデータ パイプラインを構築するために常に奮闘します。1 つのプロジェクトが完了したら、それを忘れて次のプロジェクトに移ります。

製品に対する考え方が進化しました。データ エンジニア、アナリスト、データ スチュワードは、データについてより積極的に考えるようになりました。アナリスト、エンジニア、マネージャーは、アドホックなデータ要求を待つのではなく、必要になる前に協力してデータ製品を作成します。このアプローチでは、徹底した調査と洞察力が必要となり、より多くのユーザーにとって最も役立つデータ製品を作成し、出力あたりの価値を高めます。

データ製品は再利用可能であるため、ライフサイクル全体にわたって関連性が維持されます。このライフサイクルには、継続的なメンテナンスと改善が含まれます。データ製品が独自の進化を遂げるにつれて、フィードバックを新しいバージョンに簡単に組み込むことができます。

効果的で洗練されたデータ プロダクトを実装および構築する上での最大の課題は、適切な考え方を身に付けることです。データ プロダクトからデータ プロジェクト戦略に移行する場合、成功は出力ではなく成果によって測定されます。データ プロダクトは進化しますが、事前に効果的な計画と設計を行うことで、洗練されたデータ プロダクトの基盤を構築できます。

優れたデータ製品の主な特徴

効果的で強力なデータ製品には、通常、特定の特性があります。設計者は、データ製品を作成するときに、次の特性を念頭に置く必要があります。

発見可能

データ プロダクトが影響力を持つためには、見つけやすくなければなりません。素晴らしいプロダクトであっても、存在を誰も知らないと、その潜在能力を発揮することはできません。データ プロダクト マーケットプレイスは、データ プロダクトをユーザーに届ける優れた方法です。一部のデータ プロダクト マーケットプレイスは、Netflix が視聴者に新しい映画や番組を提案するのと同様に、AI と予測分析を使用してデータ プロダクトをユーザーに提案します。エレガントさは、常にプロダクトの設計方法だけでなく、それを市場に投入してユーザーがアクセスできるようにする方法にも関係します。

品質

クリーンかつ正確なデータは、あらゆるデータ製品に必須の属性です。データ アナリストが信頼できない場合、データ製品は意思決定者から評価されません。データ製品の設計と構築には、マージおよび統合されるデータをクリーンアップして正規化する信頼性の高いプロセスを含める必要があります。

プロセスが設定されたら、それが機能することを視聴者に保証し、証明する必要があります。これには、変動性や完全性など、さまざまな品質を測定するためのデータ品質メトリックの追跡と共有が含まれます。

安全な

データを安全に保つことは、あらゆる IT 戦略の要件ですが、データ製品にセキュリティを組み込むことは微妙な場合があります。洗練されたデザインのデータ製品は、データ資産へのきめ細かなアクセスを提供できます。ユーザーの役割とデータ属性を考慮したアクセス ルールを設計することで、アクセスとセキュリティのバランスが取れます。これらのアクセス制御とデータ マスキングにより、データ テーブルを効率的に使用することもできます。

もう 1 つの重要な特徴は、高度な暗号化が組み込まれており、分析のためにデータベースから移動されるときにデータが保護されることです。

観察可能

優れたデータ製品には、継続的な品質を確保するために、観測機能が組み込まれています。データ製品の質は、提供するデータの品質によって決まります。意思決定者がデータ製品によって生成されたデータを信頼しない場合、その価値は失われます。データ製品は、異常やエラーを検出する統合監視機能を使用して設計する必要があります。これにより、不良データが経営陣の分析に取り込まれたり、AI モデルのトレーニングに使用されたりする可能性が減ります。

スケーラブル

製品ベースのアプローチを採用するもう 1 つの利点は、データ製品が使用されるほど、組織に提供する価値が大きくなることです。データ製品は非常に柔軟性が高く、さまざまなユースケースに適用できるため、実用性が向上します。したがって、データ製品は、拡大して増大するユーザーの需要に対応できるように設計する必要があります。

コラボレーション

データ製品が複数の問題を解決できるほど強力になるためには、さまざまなソースから入力を取得することが不可欠です。

データ製品とそれをサポートするフレームワークを構築するには、多様性のあるチームを構築することが不可欠です。データ製品のプロデューサー、ドメイン所有者、消費者など、複数の関係者が、成功するデータ製品の作成に役割を果たします。

データ プロダクトのプロデューサーは、データ プロダクトの成功に最も力を入れており、主導権を握っています。データ エンジニアリングのスキルやデータ アナリストのスキルを持っている場合もありますが、主な焦点は消費者のニーズを理解することにあります。プロダクト管理やプロダクト所有権の経験がある人は、プロダクトの考え方を理解しています。

ドメイン所有者も重要な役割を果たし、通常は適切なガバナンスを確保する責任があります。ガバナンスは、データ製品の成功または失敗につながる適切な制御とポリシーの設定に役立ち、ドメイン所有者の役割が重要になります。

データ製品の消費者も、データ製品の継続的なライフサイクルの重要な部分です。彼らの関与とフィードバックは、データ製品の有用性を向上させるためのインプットとなります。彼らは、個々のデータ製品に対する満足度と、それが自分のニーズにどの程度適合しているかを評価できます。データ製品の消費者の行動を追跡することも、消費者をプロセスに組み込む上で大きな役割を果たします。

アクセス可能

発見可能性と同様に、効果的なアクセス性は、高品質のデータ製品の重要な特性です。アクセスが容易であれば、データ製品を取得して分析に使用するプロセスが可能な限り簡単になり、洞察を得るまでの時間が短縮されます。迅速なアクセスを妨げる要因の 1 つは、データ製品を BI ツールまたは AI モデル ビルダー ツールにインポートすることです。データ製品の優れた設計により、任意の分析パッケージ内からデータ製品にアクセスできるようになります。

2 番目でおそらくより困難な障壁は、データにアクセスする権限を取得することです。アクセスを可能にするための適切なプロトコルを設定すると、プロセスがより安全で効率的になります。アクセスを有効にする責任者を明確に定義することは、優れたプロトコルを定義する上で重要な部分です。より分散化されたフレームワークでは、グループ内のデータ収集を監視するドメイン マネージャーがアクセスを提供する権限を持ちます。

サブスクリプションとデータ契約は、アクセス期間と、データの使用方法と使用不可方法を定義します。これらの契約を事前に標準化することで、ユーザーはデータ製品にアクセスするたびにプロセスを経る必要がなくなり、プロセスが簡素化されます。

カスタマイズ可能で相互運用可能

ユーザーのデータのニーズを満たすには、製品は特定のビジネス要件とユーザーの好みに適応できる必要があります。

扱いにくいデータ機能を追加するのではなく、エレガントなデータ製品は他のデータ製品と相互運用できるように設計する必要があります。相互運用性が設計に組み込まれているため、データ製品を簡単に組み合わせて、より豊富で価値の高いスーパーデータ製品を作成できます。

監査可能

データ プロダクトが進化するにつれ、一部の変更は改善されますが、すべてが改善されるわけではありません。データ プロダクトを変更すると、セキュリティやコンプライアンスのリスクなどの脆弱性が明らかになることもあります。データ プロダクトの品質を最高に保つには、監査証跡とバージョン管理データを含める必要があります。エラーを迅速に特定し、その原因を正確に特定することで、データ プロダクトを安全かつ効率的に実行し続けることができます。

ユースケース主導

データ製品は、包括的で一貫性があるため、ユーザーの問題を常に効果的に解決できる必要があります。これを実現するには、他の製品と同様に、エンドユーザーをプロセスの中心に置いて設計する必要があります。ユーザーがデータ エンジニア、データ アナリスト、ビジネス アナリスト、ビジネス エグゼクティブ、顧客、パートナーのいずれであっても、そのニーズを包括的に理解することが成功の鍵となります。

包括的なデータ製品には、幅広いデータ ソースが組み込まれており、ユース ケースの広範さと一貫性が確保されます。パートナーまたはサードパーティのソースでデータを充実させることで、データ製品の深みが増します。たとえば、郵便番号データベースを使用して不足している住所データを入力し、標準化することで、データ製品をより包括的かつ一貫したものにすることができます。

ユーザーがデータ製品内のデータが自分のユースケースに適用できるようにするには、そのデータが何を表しているかを明確に理解できなければなりません。データは組織全体から発生するため、これは難しい場合があります。強力なデータ製品を作成し、コンテキストが確実に保持されるようにするには、適切なメタデータ管理が重要です。データ製品内のデータの説明に使用される用語をユーザーが理解できるようにすることも重要です。ビジネス用語集を組み込むことは、用語の標準化に役立つ 1 つの方法です。

ライフサイクル管理

データ製品とデータ プロジェクトの主な違いの 1 つは、データ製品のパフォーマンスと、継続的に改善および強化できる能力です。ユーザーのニーズを満たすデータ製品を設計するために最善を尽くしても、必ずしも目的を達成できるとは限りません。また、変更が必要になることもあります。ユーザーからのフィードバックを収集するメカニズムを構築することは、優れたデータ製品を継続的に提供する上で不可欠です。

データ製品を追跡し、それがユーザーにどのように響くかを理解することは、製品とユーザーを結び付けるために不可欠です。古くなった無関係なデータ製品が散らばっているデータ製品マーケットプレイスでは、洗練されたプロセスは実現できません。データ製品は、ライフサイクルの終わりに達したらアーカイブして廃止し、ノイズを減らす必要があります。データ製品マーケットプレイスをキュレートして、ユーザー エクスペリエンスを最適化するようにしてください。

プロセス

エレガントなデータ製品は、自然に生まれるものではなく、その作成をサポートする適切なプロセスが必要です。適切なプロセスがなければ、複雑さを増すデータが追加される傾向があります。プロセスにより、データが意図的に追加されます。エレガントなデザインは、反復的で共同的なプロセスによって作成されます。

反復的な設計プロセスは、各ステップまたはサイクルでよりシンプルで強力なソリューションに近づくため、洗練された設計をサポートします。データ製品の最初のバージョンは最適なソリューションではない可能性があるため、進化させる必要があります。使用されていない機能や、最良の結果への道を妨げる機能は、反復によって排除できます。新しいユーザーは、データ製品の革新的な用途を見つけて、新しい機能を生み出したり、元のデータ製品から新しい、より影響力のある製品に分割したりできます。プロセスでは、データ製品が目的をどのように達成しているかをよりよく理解するために、フィードバックを取り入れて制度化する必要があります。データ製品が進化し、フィードバックが収集されると、新しいデータ製品のアイデアが生まれます。

優れたデータ製品を構築するのは簡単なことではありません。しっかりとした技術基盤なしにゼロから作成するのは、さらに困難です。データ製品プラットフォームを使用すると、プロセスがはるかに簡単になります。Avrio は、データ製品の作成を効率化するためにゼロから設計された最新のデータ分析プラットフォームです。Avrio の機能と、このプラットフォームが優れたデータ製品の作成にどのように役立つかについて詳しくは、デモをスケジュールしてください。