데이터 메시가 풀려나 전문가와 함께 데이터 강화

모든 조직에 저장된 데이터는 엄청난 가치가 있으며, 여기에서 얻은 지식은 한 회사를 경쟁사와 차별화할 수 있습니다. 데이터 사일로를 깨기 위한 견고한 전략이 없는 것은 전략적 실수입니다.

ETL 파이프라인 및 데이터 레이크와 같은 기존 방식이 일반적이지만, 데이터 메시 및 데이터 패브릭과 같은 보다 혁신적이고 분산된 접근 방식이 인기를 얻고 있습니다. 이러한 전략의 최종 목표는 데이터 액세스를 민주화하고 셀프 서비스 모델을 육성하며 보다 협력적이고 데이터 중심적인 문화를 촉진하는 것입니다. 조직은 민첩하게 유지해야 하며, 경쟁 우위를 유지하기 위해 이러한 진화하는 개념과 기술에 적응해야 합니다.

데이터 메시 및 데이터 패브릭의 진화 공개

데이터 메시는 조직 전체에서 데이터 공유를 용이하게 하도록 설계된 데이터 아키텍처입니다. 데이터 메시는 기술에 구애받지 않으며 4가지 원칙으로 정의됩니다.

도메인 소유권

데이터를 수집하는 비즈니스 기능이 해당 데이터에 대한 권한을 갖습니다.

데이터 제품

데이터는 데이터 제품으로 패키징되어 조직 전체에서 공유하기가 간소화됩니다.

셀프 서비스

데이터와 데이터 제품은 IT 또는 이를 공유하는 도메인의 지원 없이도 기술에 익숙하지 않은 사람도 독립적으로 분석할 수 있어야 합니다.

연방 거버넌스

데이터를 관리하고 보호하는 책임은 도메인과 중앙 IT 기관 간에 공유됩니다.

데이터 메시에 대해 자세히 알아보려면 데이터 메시가 무엇이고 왜 필요한지에 대한 내용을 다루는 블로그를 읽어보세요.

Gartner는 데이터 패브릭을 데이터와 연결 프로세스의 통합 계층 역할을 하는 설계 개념으로 정의합니다. 이는 기존의 검색 가능하고 추론된 메타데이터 자산에 대한 지속적인 분석을 사용하여 모든 환경에서 통합되고 재사용 가능한 데이터의 설계, 배포 및 활용을 지원합니다. 실제로 Data Mesh와 Data Fabrics의 개념은 모두 공통된 목표를 공유합니다. 즉, 데이터 사일로의 과제를 해결하고 조직 내에서 데이터에 대한 액세스를 향상시키는 것입니다.

분산 데이터 전략 변경

Data Mesh 개념이 시작된 이래로 이 전략은 진화했습니다. 초기에는 도메인에 모든 도구를 사용하여 공유할 데이터 제품을 만들 수 있는 권한을 부여하는 경향이 있었습니다. 이 개념은 표준화와 상호 운용성에 대한 우려가 제기되면서 성숙해졌습니다. 데이터 사일로 개념을 강화하고 데이터 제품의 상호 운용 방식을 정의하지 않는 것은 도메인 리더가 데이터를 가장 잘 이해하고 있더라도 최선의 접근 방식이 아닐 수 있습니다. 오늘날의 데이터 메시 구현은 표준화된 프로세스와 플랫폼을 강조하여 데이터 제품의 쉬운 생성, 공유 및 통합을 보장합니다.

동시에, 기술, 자동화, 중앙 거버넌스 제어에 초점을 맞춘 데이터 패브릭 아키텍처도 등장했습니다. 데이터 메시와 데이터 패브릭은 경쟁하지 않지만 서로 영향을 미쳐 시장 요구에 맞게 적응하도록 촉발합니다. 현대 데이터 실무자는 데이터 패브릭 아키텍처가 페더레이션 거버넌스, 데이터 제품, 도메인 소유권과 같은 데이터 메시 개념을 어떻게 지원할 수 있는지 탐구합니다. 이 교차점은 데이터 관리 전략의 지속적인 진화를 반영합니다.

데이터 메시 대 데이터 패브릭

데이터 통합은 데이터 메시와 데이터 패브릭이라는 두 가지 접근 방식 모두에 핵심이며, 가상화를 통한 데이터 민주화가 선택 아키텍처로 부상하고 있습니다. 가상화는 데이터가 소스 도메인에 머물 수 있도록 하고 데이터 세트를 가상화하여 데이터 민주화를 가능하게 합니다. 그러나 데이터 패브릭과 데이터 메시의 개념은 거버넌스, 자동화, 소비/발견 측면에서 다릅니다.

오토메이션

데이터 패브릭은 자동화를 활용하여 셀프 서비스를 가능하게 하는 반면, 데이터 메시는 도메인 전문가가 데이터 제품에 대한 전문 지식을 내장하는 데 의존합니다.

통치

데이터 패브릭은 중앙 거버넌스 제어에 의존하는 반면, 데이터 메시는 각 도메인이 자체 데이터를 관리해야 하는 연방 방식을 채택합니다.

소비

데이터 패브릭은 데이터 카탈로그에서 데이터 자산을 통합하거나 지식 그래프를 배포하여 조직 전체에서 데이터 자산을 매핑합니다. 데이터 메시 접근 방식은 일반적으로 데이터 제품 마켓플레이스를 통해 게시되는 도메인에서 생성된 데이터 제품을 통해 데이터를 노출합니다.

데이터 메시와 데이터 패브릭 기술의 개념이 진화함에 따라, 이들은 융합되기 시작했습니다. 실무자들은 다양한 수준의 제어, 데이터 통합 및 자동화를 실험하고 있습니다. AI는 이러한 융합을 가능하게 하는 데 중요한 역할을 하고 있습니다.

시장이 진화함에 따라 자동화 대 사람 연합 대 중앙 거버넌스 또는 데이터 자산 대 데이터 제품이 아니라 모든 최고의 기능을 통합하고 적절한 작업에 적합한 도구를 활용하는 전략이 중요해집니다. 데이터 관리 플랫폼과 분석 게이트웨이는 이러한 통합된 접근 방식을 지원하고 있습니다.

자동화 – 사람과 기계

최신 데이터 메시 및 데이터 패브릭 접근 방식에서 두 전략 모두 도메인 전문가와 자동화 간의 균형을 맞추고 이러한 리소스를 서로 다른 방식으로 통합합니다. 데이터 패브릭은 자동화를 사용하여 실시간으로 데이터를 통합합니다. 인간은 AI 알림에서 식별된 문제를 해결하는 데 더 수동적인 역할을 합니다.

데이터 메시는 데이터 생산자가 만든 데이터 제품에 초점을 맞춥니다. AI는 생산자가 반복적인 작업을 자동화하여 코딩 기술이 필요 없도록 돕습니다. 그러나 데이터의 뉘앙스를 이해하는 인간은 프로세스의 핵심으로 남아 있습니다. 자동화된 데이터 랭글링 프로세스와 AI 지원 데이터 분류는 이러한 공생 관계의 예입니다.

이러한 접근 방식은 프로세스의 다양한 참여자가 서로 다른 방식으로 자동화에 의존하는 동일한 전략으로 공존할 수 있습니다. 핵심은 데이터 프로세스를 효과적으로 최적화하기 위해 인간의 전문성과 자동화 간의 적절한 균형을 찾는 것입니다.

소비 및 발견 - 데이터 제품 대 데이터 자산

데이터 관리에서 데이터 패브릭 아키텍처는 데이터 자산을 생성하는 반면, 데이터 메시는 데이터 제품을 생성합니다. 발견 및 소비 접근 방식은 모두 데이터 메시와 결합된 전략에 존재할 수 있으며, 데이터 자산을 데이터 제품으로 패키징하기 위해 더 많은 제어를 추가합니다.

데이터 메시 접근 방식은 데이터 공유를 위한 주요 수단으로 데이터 제품에 초점을 맞춥니다. 데이터 제품 마켓플레이스에 게시된 데이터 제품은 더 풍부하고 더 가치가 있다고 할 수 있습니다. 일반적으로 지식이 풍부한 도메인 전문가의 안내에 따라 병합되고 정규화된 데이터 자산으로 구성됩니다. 데이터 제품은 재사용 가능하고 더 영구적이며 특정 데이터 도메인을 넘어 외부에서 사용하기에 더 좋습니다.

결합된 접근 방식은 통합된 데이터 카탈로그를 덜 기술적인 데이터 소비자에게 노출시켜 공유할 데이터 제품을 만들 수 있습니다. AI를 활용하여 이러한 데이터 자산을 데이터 소비자에게 노출하면 데이터 패브릭과 유사하게 데이터에 액세스하는 데 필요한 기술적 기술이 줄어듭니다. LLM은 SQL 전문 지식이 부족한 데이터 소비자가 데이터 자산을 효과적으로 탐색하고 쿼리할 수 있도록 지원합니다.

데이터 패브릭이든 메시이든, 데이터 카탈로그는 전략의 매우 중요한 부분이 됩니다. 게이트웨이 플랫폼은 전체 조직을 아우르고 데이터 자산을 효율적으로 구성하는 통합 데이터 카탈로그를 만들고 있습니다. 이러한 플랫폼은 또한 GenAI 도구를 활용하여 수동 작업을 줄이고 데이터 분류 및 데이터 정규화를 지원하여 강력한 데이터 모델과 비즈니스 용어집을 지원합니다.

AI의 지속적인 발전은 자동화를 활용하여 데이터 제품을 만드는 데이터 생산자의 효율성을 계속 향상시킬 것입니다. 또한 전문가는 데이터 소비자가 데이터에서 최대한 많은 것을 얻을 수 있도록 AI를 훈련할 수 있는 기회를 얻습니다. 숙련된 인간과 강력한 기계 간의 이러한 시너지는 진화하는 데이터 관리 환경에서 양쪽의 장점을 모두 갖춘 접근 방식을 나타냅니다.

데이터 거버넌스 – 연합형 대 중앙집중형

새로운 플랫폼과 도구는 거버넌스의 더 큰 연합을 가능하게 합니다. 거버넌스 도구를 사용하면 중앙 IT가 효과적인 감독을 유지하면서 더 많은 통제권을 포기하는 것이 더 쉬워집니다.

데이터 거버넌스 제어를 데이터 관리 플랫폼에 통합하면 모든 데이터 팀 구성원이 거버넌스에 적극적으로 참여하고 책임을 질 수 있습니다.

자동화를 데이터 거버넌스에 통합하는 방식은 능동적 데이터 거버넌스의 등장으로 발전하고 있습니다. 능동적 데이터 거버넌스는 데이터 자산을 모니터링하고 문제가 발생하면 생산자와 소비자에게 경고를 전달하는 기술입니다.

데이터 메시의 맥락에서 거버넌스는 데이터 자산을 넘어 소스에서 데이터 제품까지 엔드투엔드 데이터 라이프사이클을 포괄합니다. 데이터 거버넌스와 품질을 관리하는 것은 데이터 메시의 데이터 자산에서 끝나지 않습니다. 공개 데이터 제품은 인간의 피드백 루프를 통해 지속적으로 개선되고 모니터링됩니다. 이 반복적 프로세스는 데이터 제품이 소비자에게 관련성과 가치를 유지하도록 보장합니다.

데이터 패브릭과 데이터 메시의 기능이 융합되면서 데이터에 액세스하는 데 있어 유연성이 커지고 있습니다. 사용자는 기술적 기술과 데이터에 대한 이해에 맞는 접근 방식을 통해 데이터에 액세스하고 검색할 수 있습니다. 미래에는 데이터 메시와 데이터 패브릭 요소가 혼합되어 사람, 기계, 거버넌스, 소비 전략의 강점을 활용하는 고유한 조합이 생길 것입니다. 데이터 메시와 데이터 패브릭의 구분이 사라지고 보다 개인화되고 적응 가능한 데이터 관리 전략이 생겨날 수 있습니다.