データ メッシュの解放 - 専門家によるデータの強化

あらゆる組織に保存されているデータには計り知れない価値があり、そこから得られる知識は企業を競合他社と差別化することができます。データ サイロを解消するための確固たる戦略がないことは、戦略上の間違いです。

ETL パイプラインやデータ レイクなどの従来の方法は一般的ですが、データ メッシュやデータ ファブリックなどのより革新的な分散型アプローチが普及しつつあります。これらの戦略の最終目標は、データ アクセスを民主化し、セルフサービス モデルを促進し、より協力的でデータ主導の文化を促進することです。組織は、競争力を維持するために、これらの進化する概念やテクノロジーに適応しながら、俊敏性を維持する必要があります。

データメッシュとデータファブリックの進化を明らかにする

データ メッシュは、組織全体でのデータ共有を容易にするために設計されたデータ アーキテクチャです。データ メッシュはテクノロジに依存せず、4 つの原則によって定義されます。

ドメイン所有権

データを収集するビジネス機能が、そのデータに対する権限を保持します。

データ製品

データはデータ製品にパッケージ化され、組織全体での共有が簡素化されます。

セルフサービス

データとデータ製品は、IT 部門やデータを共有するドメインからの支援を必要とせずに、技術者以外の人が独立して分析できるようにアクセス可能である必要があります。

フェデレーテッドガバナンス

データの管理とセキュリティの責任は、ドメインと中央の IT 機関の間で共有されます。

データ メッシュについて詳しくは、 データ メッシュとは何か、なぜ必要なのかを説明したブログをお読みください。

ガートナーは、データ ファブリックを、データと接続プロセスの統合レイヤーとして機能する設計コンセプトと定義しています。データ ファブリックは、既存の検出可能および推論可能なメタデータ アセットに対して継続的な分析を行い、すべての環境にわたる統合された再利用可能なデータの設計、展開、および利用をサポートします。実際、データ メッシュとデータ ファブリックの両方の概念には、データ サイロの課題に対処し、組織内でのデータへのアクセスを強化するという共通の目標があります。

分散データ戦略の変更

データ メッシュの概念が始まって以来、戦略は進化してきました。初期の頃は、ドメインに任意のツールを使用してデータ製品を作成し、共有する権限を与える傾向がありました。標準化と相互運用性に関する懸念が高まるにつれて、この概念は成熟してきました。データ サイロの概念を強化し、データ製品の相互運用方法を定義しないことは、ドメイン リーダーがデータを最もよく理解しているとしても、最善のアプローチではない可能性があります。今日のデータ メッシュ実装では、標準化されたプロセスとプラットフォームを重視し、データ製品の簡単な作成、共有、統合を実現しています。

同時に、テクノロジー、自動化、中央ガバナンス制御に重点を置いたデータ ファブリック アーキテクチャも登場しました。データ メッシュとデータ ファブリックは競合しないかもしれませんが、互いに影響し合い、市場のニーズを満たすための適応を促します。現代のデータ実践者は、データ ファブリック アーキテクチャがフェデレーション ガバナンス、データ製品、ドメイン所有権などのデータ メッシュの概念をどのようにサポートできるかを模索しています。この交差点は、データ管理戦略の継続的な進化を反映しています。

データ メッシュとデータ ファブリック

データ統合は、データ メッシュとデータ ファブリックの両方のアプローチの鍵であり、仮想化によるデータ民主化がアーキテクチャの選択肢として浮上しています。仮想化により、データはソース ドメインに留まり、データ セットを仮想化してデータ民主化が可能になります。ただし、データ ファブリックとデータ メッシュの概念は、ガバナンス、自動化、および消費/検出の点で異なります。

オートメーション

データ ファブリックは自動化を活用してセルフサービスを実現しますが、データ メッシュはドメイン エキスパートに依存して専門知識をデータ製品に組み込みます。

ガバナンス

データ ファブリックは中央ガバナンス制御に依存しますが、データ メッシュは、独自のデータの管理を担当するドメインとのフェデレーション アプローチを採用します。

消費

データ ファブリックは、データ カタログ内のデータ資産を統合するか、ナレッジ グラフを展開して組織全体のデータ資産をマッピングします。データ メッシュ アプローチでは、通常、データ製品マーケットプレイスを通じて公開される、ドメインで作成されたデータ製品を通じてデータを公開します。

データ メッシュの概念とデータ ファブリックのテクノロジーが進化するにつれて、それらは融合し始めています。実践者は、さまざまなレベルの制御、データ統合、自動化を実験しています。AI は、この融合を実現する上で重要な役割を果たしています。

市場が進化するにつれ、自動化と人、フェデレーションと中央管理、データ資産とデータ製品といった区別がなくなり、むしろ、すべての最適な機能を組み込み、適切なツールを適切な仕事に活用する戦略が重要になってきます。データ管理プラットフォームと分析ゲートウェイは、こうした統合アプローチをサポートしています。

自動化 – 人と機械

最新のデータ メッシュとデータ ファブリックのアプローチでは、どちらの戦略もドメイン エキスパートと自動化のバランスを取り、これらのリソースを異なる方法で組み込んでいます。データ ファブリックは自動化を使用してデータをリアルタイムで統合します。人間は、AI アラートによって特定された問題に対処する際に、より受動的な役割を果たします。

データ メッシュは、データ プロデューサーによって作成されたデータ製品に重点を置いています。AI はプロデューサーが反復的なタスクを自動化するのを支援し、コーディング スキルの必要性を排除します。ただし、データのニュアンスを理解する人間がプロセスの中心となります。自動化されたデータ ラングリング プロセスと AI 支援によるデータ分類は、この共生関係の例です。

これらのアプローチは、プロセスのさまざまな参加者がさまざまな方法で自動化に依存している同じ戦略で共存できます。重要なのは、データ プロセスを効果的に最適化するために、人間の専門知識と自動化の適切なバランスを見つけることです。

消費と発見 - データ製品とデータ資産

データ管理では、データ ファブリック アーキテクチャがデータ資産を生成し、データ メッシュがデータ製品を生成します。検出と消費の両方のアプローチをデータ メッシュと組み合わせた戦略で実現でき、データ資産をデータ製品にパッケージ化するための制御をさらに追加できます。

データ メッシュ アプローチは、データを共有するための主な手段としてデータ製品に重点を置いています。データ製品マーケットプレイスで公開されるデータ製品は、より豊富で、おそらくより価値があります。通常、それらは知識豊富なドメイン エキスパートの指導の下で統合および正規化されたデータ資産で構成されています。データ製品は再利用可能で、より永続的であり、特定のデータ ドメインを超えて外部で使用するのに適しています。

組み合わせたアプローチにより、統合されたデータ カタログを技術に詳しくないデータ コンシューマーに公開し、共有用のデータ製品を作成できるようになります。データ ファブリックと同様に、AI を活用してこれらのデータ資産をデータ コンシューマーに公開すると、データへのアクセスに必要な技術スキルが軽減されます。LLM により、SQL の専門知識が限られているデータ コンシューマーでも、データ資産を効果的に探索およびクエリできるようになります。

データ ファブリックでもメッシュでも、データ カタログは戦略の非常に重要な要素になります。ゲートウェイ プラットフォームは、組織全体にまたがり、データ資産を効率的に整理する統合データ カタログを作成します。これらのプラットフォームは GenAI ツールも活用して手作業を減らし、データ分類とデータ正規化を支援して、堅牢なデータ モデルとビジネス用語集をサポートします。

AI の継続的な進歩により、データ プロデューサーは自動化を活用してデータ製品を作成する効率を継続的に高めることができます。また、専門家は AI をトレーニングして、データ コンシューマーがデータを最大限に活用できるように支援する機会を得られます。熟練した人間と強力なマシンのこの相乗効果は、進化するデータ管理環境において、両方の長所を活かすアプローチを表しています。

データガバナンス – 連合型と集中型

新しいプラットフォームとツールにより、ガバナンスの連携が強化されています。ガバナンス ツールにより、中央 IT 部門は効果的な監視を維持しながら、より多くの制御権を手放すことが容易になります。

データ ガバナンス制御をデータ管理プラットフォームに統合すると、すべてのデータ チーム メンバーがガバナンスに積極的に参加し、責任を負うことができます。

データ ガバナンスへの自動化の統合は、アクティブ データ ガバナンス (データ資産を監視し、問題が発生したときにプロデューサーとコンシューマーにアラートを配信するテクノロジー) の出現とともに進化しています。

データ メッシュのコンテキストでは、ガバナンスはデータ資産を超えて、ソースからデータ製品までのエンドツーエンドのデータ ライフサイクルをカバーします。データ ガバナンスと品質の管理は、データ メッシュ内のデータ資産で終わるわけではありません。公開データ製品は、人間のフィードバック ループを通じて継続的に改善および監視されます。この反復的なプロセスにより、データ製品が消費者にとって関連性と価値を保ちます。

データ ファブリックとデータ メッシュの機能が統合されることにより、データへのアクセスの柔軟性が高まります。ユーザーは、自分の技術スキルとデータ理解度に合ったアプローチでデータにアクセスし、データを発見できます。将来的には、データ メッシュとデータ ファブリックの要素が融合し、人、マシン、ガバナンス、消費戦略の長所を活用する独自の組み合わせが生まれる可能性があります。データ メッシュとデータ ファブリックの区別がなくなり、よりパーソナライズされ、適応性の高いデータ管理戦略が生まれる可能性があります。