우아한 데이터 제품을 설계하는 모범 사례

데이터 상품이란?

조직이 데이터에 대해 생각하는 방식과 신뢰할 수 있는 정보에 액세스하는 방식이 빠르게 변화하고 있습니다. 통찰력에 대한 수요가 기하급수적으로 증가하고 있으며 데이터를 보다 효율적으로 관리하기 위한 전략이 등장하고 있습니다. 이러한 변화의 중심에는 사고방식의 점진적인 변화가 있습니다. 조직은 데이터를 재사용 가능하고 정제된 패키지 제공 제품이라고 생각하기 시작했습니다. 이러한 접근 방식은 모든 데이터 요청이 새로운 일회성 데이터 파이프라인으로 충족되는 프로젝트 기반 사고방식에서 벗어납니다.

데이터 제품의 주요 이점은 다음과 같습니다.

재사용성

쉬운 접근

공유 가능성

모든 제품과 마찬가지로 데이터 제품을 디자인하고 사용자에게 제공하는 방식은 상당한 차이를 만듭니다. 이제 우아한 데이터 제품을 디자인하는 방법을 살펴보겠습니다.

데이터 제품에 대해 이야기할 때, 우리는 더 큰 IT 전략 또는 데이터 메시의 맥락에서 이를 언급하고 있습니다. 이는 고객을 타겟팅하는 데이터 제품이 조직의 주요 수익 창출원인 핵심 사업 전략의 일부로서의 데이터 제품과 혼동되어서는 안 됩니다. 우리는 Google Analytics나 Bloomberg와 같은 데이터 제품에 대해 이야기하는 것이 아닙니다.

Gartner는 데이터 제품을 다음과 같이 정의합니다.

"데이터, 메타데이터, 의미론 및 템플릿의 큐레이션되고 자체 포함된 조합입니다. 여기에는 특정 비즈니스 시나리오와 재사용을 해결하기 위해 인증된 액세스 및 구현 로직이 포함됩니다. 데이터 제품은 소비 준비가 되어 있어야 하고(소비자가 신뢰), 최신 상태로 유지되어야 하며(엔지니어링 팀에서) 사용 승인(관리)을 받아야 합니다. 데이터 제품은 데이터 공유, 데이터 수익화, 도메인 분석 및 애플리케이션 통합과 같은 다양한 데이터 및 분석(D&A) 사용 사례를 지원합니다."

이 매우 자세하고 복잡한 정의는 정확할 수 있지만, 데이터 제품을 "사용자 요구를 충족시키기 위해 생성된, 최소한 하나의 데이터 세트(도메인 데이터 세트)를 포함하는 자율적이고, 읽기 최적화된, 표준화된 데이터 단위"로 정의한 J. Majchrzak의 보다 우아한 정의가 나올 수 있습니다.

두 정의 모두 정확하지만, 하나는 더 간단하고 소비하기 쉽습니다. 마찬가지로 우아한 데이터 제품은 소비하기 쉽고 따라서 가치가 있습니다.

우아한 디자인이란?

디자인이 우아한지 어떻게 알 수 있을까요? 알베르트 아인슈타인은 "모든 것은 가능한 한 단순하게 만들어야 하지만, 더 단순하게 만들어서는 안 된다"고 말한 것으로 알려져 있습니다. 따라서 우아한 데이터 제품은 최상의 결과를 얻기 위해 가능한 한 단순해야 합니다.

우아한 솔루션에 꼭 필요한 다른 요소를 살펴보겠습니다.

• 제한된 리소스로 정의된 결과를 달성할 수 있을 만큼 집중적이고 효율적입니다.
• 핵심 논리의 엣지 케이스를 처리할 만큼 일관성이 있고, 생각한 대로 볼트로 고정된 기능이 아닙니다.
• 다양한 응용 프로그램에 적용할 수 있을 만큼 강력함

우아한 디자인이 중요한 이유는? 복잡성이 적으면 소비하기가 훨씬 쉽고 즐거워져 더 큰 가치를 창출합니다. 간단하지만 효과적인 솔루션은 복잡성보다 성능이 뛰어납니다.

데이터 제품 사고방식

우아한 데이터 제품을 설계하고 만드는 첫 번째 단계는 데이터 제품 사고방식을 채택하는 것입니다. 종종 이것이 가장 큰 장애물이 될 수 있습니다.

데이터 제품 사고방식을 채택하려면 프로젝트 사고방식을 없애야 합니다. 이는 데이터 엔지니어링 그룹에서 데이터 요청을 받을 때마다 새 프로젝트가 생성되어 실행된다는 생각입니다. 이 프로젝트 사고방식은 훨씬 더 반응적이며, 데이터 엔지니어는 이해관계자의 요구 사항에 따라 데이터 파이프라인을 구축하기 위해 끊임없이 노력합니다. 한 프로젝트가 완료되면 잊고 다음 프로젝트로 넘어갈 때입니다.

제품 사고방식이 진화했습니다. 데이터 엔지니어, 분석가 및 데이터 관리자는 데이터에 대해 보다 적극적으로 생각합니다. 임시 데이터 요청을 기다리는 대신 분석가, 엔지니어 및 관리자는 필요하기 전에 데이터 제품을 만들기 위해 협력합니다. 이 접근 방식은 더 많은 사용자에게 가장 유용한 데이터 제품을 만들기 위한 철저한 조사와 통찰력이 필요하여 출력당 더 큰 가치를 창출합니다.

데이터 제품도 재사용 가능하므로 수명 주기 동안 관련성을 유지합니다. 이 수명 주기에는 지속적인 유지 관리 및 개선이 포함됩니다. 데이터 제품이 자체적으로 수명을 다함에 따라 피드백을 새 버전에 쉽게 통합할 수 있습니다.

효과적이고 우아한 데이터 제품을 구현하고 구축하는 데 있어 가장 큰 과제는 올바른 사고방식을 만드는 것입니다. 데이터 제품 대 데이터 프로젝트 전략으로 전환할 때 성공은 산출물이 아닌 결과로 측정됩니다. 데이터 제품은 진화하지만, 효과적인 계획과 사전 설계는 우아한 데이터 제품의 기반을 마련하는 데 도움이 됩니다.

좋은 데이터 제품의 주요 특징

효과적이고 강력한 데이터 제품은 일반적으로 특정한 특성을 보입니다. 설계자는 데이터 제품을 만들 때 이러한 특성을 염두에 두어야 합니다.

발견 가능

데이터 제품이 영향력을 발휘하려면 발견 가능해야 합니다. 환상적인 제품이라도 아무도 그것이 존재한다는 것을 모른다면 잠재력을 발휘할 수 없습니다. 데이터 제품 마켓플레이스는 데이터 제품을 사용자에게 제공하는 좋은 방법입니다. 일부 데이터 제품 마켓플레이스는 AI와 예측 분석을 사용하여 사용자에게 데이터 제품을 제안합니다. Netflix가 시청자에게 새로운 영화나 쇼를 제안하는 방식과 유사합니다. 우아함은 항상 제품을 디자인하는 방법에 관한 것이 아니라 제품을 시장에 출시하고 사용자에게 접근 가능하게 만드는 방법에 관한 것입니다.

품질

깨끗하고 정확한 데이터는 모든 데이터 제품에 꼭 필요한 속성입니다. 데이터 분석가가 신뢰할 수 없다면, 의사 결정권자는 귀하의 데이터 제품을 가치 있게 여기지 않을 것입니다. 데이터 제품을 설계하고 구축하려면 데이터가 병합되고 통합될 때 데이터를 정리하고 정규화하는 신뢰할 수 있는 프로세스가 포함되어야 합니다.

프로세스가 설정되면 청중에게 프로세스가 작동한다는 것을 보장하고 증명해야 합니다. 여기에는 여러 다른 품질 중에서도 변동성과 완전성을 측정하기 위한 데이터 품질 지표를 추적하고 공유하는 것이 포함됩니다.

안전한

데이터를 안전하게 유지하는 것은 모든 IT 전략의 요구 사항이지만 데이터 제품에 보안을 구축하는 것은 미묘할 수 있습니다. 우아하게 디자인된 데이터 제품은 데이터 자산에 대한 세부적인 액세스를 제공할 수 있습니다. 사용자와 데이터 속성의 역할을 고려하는 액세스 규칙을 설계하면 액세스와 보안의 균형을 이룰 수 있습니다. 이러한 액세스 제어 및 데이터 마스킹도 데이터 테이블의 효율적인 사용을 제공합니다.

또 다른 중요한 특징은 분석을 위해 데이터베이스에서 데이터를 옮길 때 데이터가 보호되도록 하는 정교한 암호화를 포함한다는 것입니다.

주목할 만한

지속적인 품질을 보장하기 위해 훌륭한 데이터 제품에는 내장된 관찰 기능이 있습니다. 데이터 제품은 제공하는 데이터의 품질만큼만 좋습니다. 의사 결정권자가 데이터 제품에서 생성된 데이터를 신뢰하지 않으면 가치를 잃습니다. 데이터 제품은 이상 및 오류를 감지하는 통합 모니터링 기능으로 설계되어야 합니다. 이렇게 하면 잘못된 데이터가 임원의 분석에 들어가거나 AI 모델을 훈련하는 데 사용될 가능성이 줄어듭니다.

확장 가능

제품 기반 접근 방식을 채택하는 또 다른 이점 중 하나는 데이터 제품을 많이 사용할수록 조직에 더 많은 가치를 제공한다는 것입니다. 데이터 제품은 매우 유연하며 여러 사용 사례에 적용하여 유용성을 높일 수 있습니다. 결과적으로 데이터 제품은 확장 가능하고 증가하는 사용자 수요를 충족하도록 설계되어야 합니다.

협력적

여러 문제를 해결할 수 있을 만큼 강력한 데이터 제품을 만들려면 다양한 소스로부터 입력을 얻는 것이 필수적입니다.

데이터 제품과 지원 프레임워크를 구축하기 위해 다양한 팀을 구성하는 것이 중요합니다. 데이터 제품 생산자, 도메인 소유자 및 소비자를 포함한 여러 이해 관계자가 성공적인 데이터 제품을 만드는 데 역할을 합니다.

데이터 제품 생산자는 데이터 제품의 성공에 가장 많은 투자를 하며 따라서 선두를 차지합니다. 그들은 데이터 엔지니어링 기술이나 데이터 분석가의 기술을 가지고 있을 수 있지만, 주된 초점은 소비자의 요구를 이해하는 것입니다. 제품 관리 또는 제품 소유에 대한 배경을 가진 사람들은 제품 사고방식을 이해합니다.

도메인 소유자도 중요한 역할을 하며 일반적으로 적절한 거버넌스를 보장할 책임이 있습니다. 거버넌스는 데이터 제품의 성공 또는 실패로 이어지는 올바른 제어 및 정책을 설정하는 데 도움이 되므로 도메인 소유자의 역할이 중요합니다.

데이터 제품 소비자는 또한 데이터 제품의 지속적인 수명 주기의 핵심 부분입니다. 그들의 참여와 피드백은 데이터 제품의 유용성을 개선하기 위한 입력을 제공합니다. 그들은 개별 데이터 제품에 대한 만족도와 그것이 자신의 필요에 얼마나 잘 맞는지 평가할 수 있습니다. 데이터 제품 소비자 행동을 추적하는 것도 소비자를 프로세스에 통합하는 데 큰 부분입니다.

얻기 쉬운

발견 가능성과 마찬가지로 효과적인 접근성은 고품질 데이터 제품의 중요한 특성입니다. 쉬운 접근성은 데이터 제품을 얻고 분석에 사용하는 프로세스를 가능한 한 간단하게 개선하여 통찰력을 얻는 시간을 단축합니다. 빠른 액세스를 위한 장벽 중 하나는 데이터 제품을 BI 도구 또는 AI 모델 빌더 도구로 가져오는 것입니다. 우아한 데이터 제품 디자인을 통해 선호하는 모든 분석 패키지 내에서 데이터 제품에 액세스할 수 있습니다.

두 번째이자 아마도 더 어려운 장벽은 데이터에 액세스할 권한을 얻는 것입니다. 액세스를 가능하게 하는 올바른 프로토콜을 설정하면 프로세스가 더 안전하고 효율적이 됩니다. 액세스를 가능하게 하는 책임이 있는 사람을 명확하게 정의하는 것은 우아한 프로토콜을 정의하는 데 중요한 부분입니다. 보다 분산된 프레임워크에서 그룹에서 데이터 수집을 감독하는 도메인 관리자는 액세스를 제공할 권한이 있습니다.

구독 및 데이터 계약은 액세스 기간과 데이터를 사용할 수 있는 방법과 사용할 수 없는 방법을 정의합니다. 이러한 계약을 미리 표준화함으로써 사용자는 데이터 제품에 액세스할 때마다 프로세스를 거칠 필요가 없으므로 프로세스가 간소화됩니다.

사용자 정의 및 상호 운용 가능

사용자 데이터 요구를 충족하기 위해 제품은 특정 비즈니스 요구 사항 및 사용자 선호도에 맞게 조정 가능해야 합니다.

어색한 데이터 기능을 볼트로 고정하는 대신, 우아한 데이터 제품도 다른 데이터 제품과 상호 운용되도록 설계해야 합니다. 상호 운용성이 설계에 내장되어 있으므로 데이터 제품을 쉽게 결합하여 더 풍부하고 가치 있는 슈퍼 데이터 제품을 만들 수 있습니다.

감사 가능

데이터 제품이 진화함에 따라 일부 변경은 개선이 될 것이지만, 모든 변경은 아닙니다. 데이터 제품을 변경하면 보안 및 규정 준수 위험과 같은 취약성이 노출될 수도 있습니다. 데이터 제품이 최고 품질인지 확인하려면 감사 시험 및 버전 관리 데이터를 포함해야 합니다. 오류를 신속하게 식별하고 소스를 정확히 파악하면 데이터 제품을 안전하고 효율적으로 실행하는 데 도움이 됩니다.

사용 사례 중심

포괄적이고 일관적이기 위해 데이터 제품은 항상 사용자의 문제를 효과적으로 해결할 수 있어야 합니다. 이를 달성하려면 다른 제품과 마찬가지로 최종 사용자를 프로세스의 중심에 두고 설계해야 합니다. 사용자가 데이터 엔지니어, 데이터 분석가, 비즈니스 분석가, 비즈니스 임원, 고객 또는 파트너이든, 그들의 요구 사항을 포괄적으로 이해하는 것이 성공의 핵심입니다.

포괄적인 데이터 제품은 광범위한 데이터 소스를 통합하여 사용 사례의 광범위성과 일관된 적용 범위를 보장합니다. 파트너 또는 타사 소스로 데이터를 보강하면 데이터 제품에 추가적인 깊이를 더할 수 있습니다. 예를 들어, 우편번호 데이터베이스를 사용하여 누락된 주소 데이터를 채우고 표준화하면 데이터 제품을 보다 포괄적이고 일관되게 만들 수 있습니다.

사용자는 데이터 제품 내의 데이터가 자신의 사용 사례에 적용되기 위해 무엇을 나타내는지 명확하게 이해할 수 있어야 합니다. 이는 데이터가 조직 전체에서 발생하기 때문에 어려울 수 있습니다. 적절한 메타데이터 관리가 강력한 데이터 제품을 만들고 컨텍스트가 보존되도록 하는 데 중요합니다. 사용자가 데이터 제품에서 데이터를 설명하는 데 사용된 용어를 이해하도록 하는 것도 중요합니다. 비즈니스 용어집을 통합하는 것은 용어를 표준화하는 데 도움이 되는 한 가지 방법입니다.

수명 주기 관리

데이터 제품과 데이터 프로젝트의 주요 차이점 중 하나는 데이터 제품의 성능과 지속적으로 개선되고 향상될 수 있는 능력입니다. 청중의 요구를 충족하도록 데이터 제품을 설계하기 위해 최선을 다하더라도 항상 목표에 도달하거나 단순히 변경이 필요한 것은 아닙니다. 사용자로부터 피드백을 수집하는 메커니즘을 구축하는 것은 훌륭한 데이터 제품을 지속적으로 제공하는 데 필수적입니다.

데이터 제품을 추적하고 사용자에게 어떻게 공감을 얻는지 이해하는 것은 제품과 사용자를 연결하는 데 필수적입니다. 오래되고 관련성이 없는 데이터 제품으로 가득 찬 데이터 제품 마켓플레이스는 우아한 프로세스에 적합하지 않습니다. 데이터 제품은 수명 주기가 끝나면 보관하고 폐기해야 하며, 노이즈를 줄여야 합니다. 사용자 경험을 최적화하기 위해 데이터 제품 마켓플레이스를 큐레이션해야 합니다.

프로세스

우아한 데이터 제품은 저절로 생기는 것이 아니라, 이를 만들기 위한 적절한 프로세스가 필요합니다. 그렇지 않으면 복잡성을 더하는 더 많은 데이터를 추가하는 경향이 있습니다. 프로세스는 데이터가 의도적으로 추가되도록 보장합니다. 우아한 디자인은 반복적이고 협력적인 프로세스를 통해 생성됩니다.

반복적 설계 프로세스는 각 단계 또는 사이클이 더 단순하고 강력한 솔루션에 더 가까이 다가가기 때문에 우아한 디자인을 지원합니다. 데이터 제품의 첫 번째 버전은 최적의 솔루션이 아닐 수 있으므로 진화해야 합니다. 사용되지 않거나 최상의 결과로 가는 길을 방해하는 기능은 반복을 통해 제거할 수 있습니다. 새로운 사용자는 새로운 기능을 생성하거나 원래 데이터 제품에서 분리하여 새롭고 더 큰 영향을 미치는 데이터 제품에 대한 혁신적인 응용 프로그램을 찾을 수 있습니다. 프로세스는 데이터 제품이 목표를 어떻게 충족하는지 더 잘 이해하기 위해 피드백을 수용하고 제도화해야 합니다. 데이터 제품이 진화하고 피드백이 수집됨에 따라 새로운 데이터 제품에 대한 아이디어가 나타납니다.

훌륭한 데이터 제품을 만드는 것은 쉬운 일이 아닙니다. 탄탄한 기술 기반 없이 처음부터 만드는 것은 훨씬 더 어려울 수 있습니다. 데이터 제품 플랫폼은 이 과정을 훨씬 더 쉽게 만들 수 있습니다. Extrica는 데이터 제품 생성을 간소화하기 위해 하향식으로 설계된 최신 데이터 분석 플랫폼입니다. Extrica의 기능과 플랫폼이 우아한 데이터 제품을 만드는 데 어떻게 도움이 될 수 있는지 자세히 알아보려면 데모를 예약하세요 .