데이터 분석의 생성 AI - AI가 데이터 액세스를 더 쉽게 만드는 방법

10피트 깊이의 흙 아래에 묻힌 또 다른 바위 아래에 있는 바위 아래에서 살지 않는 한, 당신은 AI와 그것이 우리가 사는 세상을 바꿀 수 있는 잠재력을 알고 있을 것입니다. AI가 우리의 업무 방식에 어떤 영향을 미칠지에 대한 아이디어가 있을 수 있지만, 그것이 우리 세상에 영향을 미칠 모든 방식을 예측하려면 시간 여행자가 되어야 합니다. 하지만 우리는 어느 정도의 사람, 자동화, 거버넌스가 AI의 미래에 중요한 역할을 할 것이라고 가정할 수 있습니다.

AI는 이미 인간이 데이터를 관리하고 상호 작용하는 방식에 영향을 미치고 있습니다. 우리는 AI에게 데이터를 통찰력으로 전환하도록 도와달라고 요청할 수 있습니다. AI는 또한 이러한 통찰력을 뒷받침하는 기본 데이터를 관리하는 데 도움이 되는 조종사가 될 수 있습니다. 또한 중요한 의사 결정에 의존하는 데이터가 신뢰할 수 있도록 독립적으로 작동할 수도 있습니다.

AI가 데이터 접근 및 관리에서 더 큰 역할을 하려면 인간이 프로세스의 중심에 있어야 합니다. 이 접근 방식은 면밀한 모니터링과 경고, 적절한 교육 및 재교육을 의미합니다.

AI가 데이터 소비 및 분석에 어떻게 도움이 되는가

AI, 그리고 더 구체적으로 대규모 언어 모델(LLM)은 분석가와 의사결정자가 빠르고 철저한 의사결정을 지원하기 위해 소비 가능한 형식으로 필요한 데이터를 얻는 데 도움을 주는 데 중심이 되고 있습니다. 텍스트-SQL 기술은 분석가, 데이터 및 통찰력 간의 기술적 장벽을 줄입니다. 분석가와 의사결정자는 더 이상 데이터베이스를 쿼리하기 위해 SQL을 알 필요가 없습니다. 새로운 LLM 모델은 공통 언어를 기반으로 SQL 쿼리를 자동으로 생성할 수 있습니다. 영업 관리자가 지역 및 시장 세그먼트별 영업에 관심이 있는 경우 공통 비즈니스 용어로 매개변수를 정의하여 필요한 데이터를 가져올 수 있습니다.

AI는 또한 가장 소비하기 쉬운 방식으로 데이터를 표현하는 데 도움이 됩니다. AI 기반 데이터 시각화 조종사는 복잡한 차트와 그래프를 만드는 프로세스를 자동화하고 있습니다. 의사 결정권자는 더 이상 이해하기 쉬운 방식으로 정보를 표현하기 위해 데이터 분석가와 번갈아가며 작업할 필요가 없습니다. 그들은 AI 조수에게 즉시 차트를 만들어 달라고 요청할 수 있습니다. 정확하지 않은 경우 분석가는 챗봇에 시각적 요소를 조정하도록 지시할 수 있으며, 이는 몇 초 만에 완료할 수 있습니다. 이러한 발전으로 인해 데이터를 매우 빠르게 소비하기 쉬운 방식으로 포맷하고 여러 BI 도구와 플랫폼을 사용하는 방법을 배울 필요가 없습니다.

AI가 데이터 관리 및 거버넌스에 어떻게 도움이 되는가

AI는 의사결정권자를 위한 데이터를 가져오는 데 큰 잠재력을 가지고 있지만, 이러한 출력을 제공할 신뢰할 수 있는 데이터가 없다면 AI는 그저 나쁜 데이터를 더 빨리 옮기는 데 도움이 될 뿐입니다. 다행히도 데이터 관리, 거버넌스 및 데이터 품질에 AI를 적용할 수 있는 다양한 응용 프로그램도 있습니다.

AI는 데이터 거버넌스에서 조종사 또는 추천 엔진으로 적용되고 있으며, 미래에는 자율적으로 데이터를 관리하고 품질을 개선할 준비가 되어 있습니다.

데이터 태그 지정

AI 도구는 더 높은 품질의 데이터를 노출하고 더 많은 분석가와 의사 결정권자에게 제공하는 프로세스를 간소화하기 위해 데이터 거버넌스 플랫폼에 통합되고 있습니다. 구체적으로, 이 기술은 더 큰 데이터 발견 및 거버넌스를 위한 데이터 카탈로그 관리에 필수적인 도구가 되고 있습니다. 예를 들어, AI는 분석가가 개인 식별 정보(PII) 데이터와 같은 민감한 데이터에 태그를 지정하는 데 도움을 주어 데이터 거버넌스를 지원합니다. 과거에 민감한 것으로 지정된 데이터의 특성을 기반으로 AI는 어떤 데이터 열에 제한된 데이터가 포함될 수 있는지 예측할 수 있습니다.

데이터 문서화

데이터 분류 및 데이터 자산 문서화를 돕는 것은 AI가 데이터 관리자, 분석가 및 엔지니어와 협력하여 데이터 소비자가 데이터를 더 쉽게 발견할 수 있도록 하는 또 다른 방법입니다. 비즈니스 용어와 개념을 표준화하는 데 도움이 되도록 AI는 데이터 용어집에서 데이터를 설명하는 데 가장 적합한 용어를 제안할 수 있습니다. 마찬가지로 AI는 최상의 설명 방법을 제안하여 데이터 자산을 문서화하는 데 도움이 될 수 있습니다.

데이터 접근

조종사는 데이터 액세스 제어 규칙에서도 핵심적인 역할을 할 수 있습니다. AI는 개별 사용자의 특성과 프로필을 기반으로 어떤 사용자를 승인해야 하는지, 그리고 이미 승인된 사용자와 어떻게 일치하는지 제안할 수 있습니다. 반대로 AI는 액세스가 적절하지 않을 수 있는 개인을 표시할 수도 있습니다. 이 기능을 통해 적절한 권한이 있는 더 많은 사용자가 조직에서 수집하는 방대한 양의 엔터프라이즈 데이터를 활용하여 비즈니스 가치를 창출할 수 있습니다.

데이터 검증

데이터 입력이 유효한지 확인하는 것은 AI 기반 제안 엔진 또는 조종사가 더 나은 데이터 거버넌스를 지원할 수 있는 또 다른 방법입니다. 모델은 AI가 입력으로 볼 것으로 예상하는 것에 따라 오류일 수 있는 입력을 식별하는 법을 배울 수 있습니다. 예를 들어, 입력이 특정 범위를 벗어나는 경우 필드에 플래그를 지정하고 오류가 데이터베이스에 입력되기 전에 수정하도록 제안할 수 있습니다. 이 옵션을 제공함으로써 실시간으로 실수를 해결하여 다운스트림 문제를 방지할 수 있습니다.

더 나은 AI 훈련을 위한 전략

AI 모델은 학습에 사용된 데이터만큼만 좋습니다. AI를 학습하는 데 잘못된 데이터를 사용하면 노이즈가 모델을 혼란스럽게 만들어 성능이 떨어지고 출력이 잘못됩니다. 이는 특히 생성형 AI에 문제가 되는데, 생성형 AI는 훨씬 더 불투명하고 잘못된 데이터의 효과를 식별하기가 훨씬 더 어렵습니다.

이러한 사실을 감안할 때, AI 모델에 데이터를 공급하는 플랫폼이 최고 품질의 데이터로 작업하고 있는지 확인하는 것은 양질의 다운스트림 AI 모델을 생성하는 데 가장 중요합니다. 데이터 실무자가 AI 지원 프로세스와 긴밀히 협력하여 데이터를 올바르고 보다 자율적으로 모니터링하고 스크러빙하는 방법을 가르치는 것이 중요합니다.

문서화를 데이터에 더 가깝게 이동하세요

데이터 실무자가 데이터를 태그할 때, 이 정보는 향후 태그 지정에 대한 제안을 생성하는 데 사용됩니다. 적절한 사람이 데이터 태그 지정 및 자산 문서화 프로세스를 수행하도록 하면 나중에 효과가 복합적으로 나타납니다. 실무자는 PII 데이터에 효과적으로 태그를 지정하여 AI가 PII 데이터가 어떤 모습인지 정확하게 학습하고 향후에 플래그를 지정해야 합니다. AI가 문서화에 대한 제안을 적절하게 승인하거나 거부하여 AI에 지속적으로 가르치는 것도 시간이 지남에 따라 AI가 더 똑똑하고 효과적으로 성장하는 데 도움이 됩니다. 데이터가 수집되는 곳에 가까이 있고 그 뉘앙스를 이해하는 사업부 관리자와 전문가를 통합하는 것은 데이터가 수집되는 맥락을 반영하는 문서를 정확하게 만드는 데 중요합니다.

세부 태그 지정

더 세부적인 수준에서 데이터를 태그 지정하면 AI 모델이 더 나은 성능을 발휘하고 더 정확한 결과를 생성하는 데 도움이 될 수도 있습니다. 더 풍부한 세부적인 메타데이터를 통해 AI는 더 구체적인 규칙을 지원할 수 있는 더욱 차별화된 데이터를 보유하게 됩니다. 예를 들어, AI는 테이블 내의 단일 열에 해당하는 규칙을 제안하거나 특정 페르소나에 적용되는 규칙을 맞춤 설정할 수 있습니다. 이를 통해 데이터에 대한 액세스 권한을 부여하는 데 더 미묘한 접근 방식을 사용할 수 있어 더 많은 의사 결정권자에게 더 큰 통찰력을 제공할 수 있습니다.

메타데이터 관리 및 거버넌스를 왼쪽으로 전환

많은 데이터 품질 문제는 데이터 수집이나 데이터 자산이 생성될 때 발생합니다. 데이터 검증을 통해 사전 예방적 접근 방식을 취하면 나중에 문제를 제거할 수 있습니다. 데이터 품질 문제가 더 많이 악화될수록 조직 전체의 AI 성과에 영향을 미쳐 경쟁력 있는 성과가 낮아질 가능성이 커집니다. AI가 데이터 거버넌스 프로세스에 통합되는 시점도 결과에 영향을 미칠 수 있습니다.

시스템에 도달하는 순간 AI를 활용하여 데이터 품질 및 거버넌스 프로토콜을 지원하면 더러운 데이터가 모델을 저하시킬 위험을 제한할 수 있습니다. 데이터 거버넌스 및 데이터 품질 검사를 왼쪽으로 이동하고 프로세스 초기에 AI 기반 품질 검사를 통합하면 더 많은 사람이 AI 모델을 훈련하는 데 사용하는 데이터가 최고 품질인지 확인하는 데 참여하게 됩니다. 또한 AI를 데이터 관리 워크플로에 통합하면 사람들이 AI와 협업하여 실시간으로 품질과 거버넌스를 개선할 수 있습니다. 워크플로에서 벗어나거나 사후에 데이터 품질 문제를 다시 살펴볼 필요가 없습니다.

더욱 자율적인 AI로 나아가다

AI를 데이터 거버넌스 프로세스에 통합하기 위한 적절한 조치를 취하고 정리된 데이터로 AI를 훈련했다면, AI가 데이터 거버넌스 전략에서 보다 적극적인 역할을 수행할 수 있는 기회가 발생합니다.

우리가 모델을 잘 훈련시키면, 데이터 실무자가 수행할 수 있는 작업을 처리할 수 있다는 확신이 더 커질 것입니다. AI는 데이터 계보를 자동으로 생성하거나 적절한 데이터 거버넌스를 자동화하는 방법을 학습할 수 있는 잠재력이 있습니다.

오류를 발견하고 수정하세요

데이터의 이상을 자동으로 식별하고 오류를 수정하는 것은 AI가 데이터 품질을 보다 자율적으로 지원할 수 있는 한 가지 영역입니다. AI는 특히 대규모 데이터 세트의 패턴을 식별하는 데 뛰어나며 크고 작은 이상을 정확히 지적할 수 있습니다. 모델은 데이터 포인트가 무엇이어야 하는지 예측하고, 인간의 개입이 제한되어 기대에 맞지 않는 데이터 포인트를 조정할 수 있습니다. 적절한 교육을 통해 AI는 데이터 세트를 정리하고, 누락된 값을 찾아 채우거나, 부정확하거나 일관되지 않은 데이터를 수정할 수 있습니다. AI는 또한 데이터를 표준 형식으로 표준화할 수 있습니다. 예를 들어, 주 약어를 기존의 두 글자 형식으로 조정하거나 다른 주소 형식을 표준화할 수 있습니다.

더욱 정교한 훈련을 통해 AI는 자체 데이터 품질 규칙을 만들거나 메타데이터를 만들어 데이터를 더 잘 구성할 수 있습니다. AI 챗봇을 인간과 통합하여 작업함으로써 모델은 규칙 구조와 매개변수를 학습하고 자체 프로세스를 제어하는 프레임워크를 만들 수 있습니다. 마찬가지로 AI는 자체적으로 메타데이터와 문서를 만들어 데이터 주변에 더 풍부한 맥락을 구축하여 더 유용하게 만들 수 있습니다. 한 가지 예는 구조화되지 않은 데이터에서 사회 보장 번호와 같은 PII 데이터를 식별하고 민감한 데이터 포인트로 태그를 지정하는 것입니다.

이러한 프로세스를 통해 사람의 시간을 크게 절약할 수 있을 뿐만 아니라, 민감한 데이터가 잘못된 사람의 손에 전달될 위험을 줄이고 덜 민감한 데이터는 의사 결정권자가 더 쉽게 접근할 수 있도록 할 수 있습니다.

모델 모니터링

데이터 거버넌스 프로세스를 자동화하기 위해 AI 모델을 훈련하고 구현하는 데 많은 노력을 기울였다 하더라도 인간이 계속 참여해야 합니다.

모델이 지금 잘 작동하더라도 앞으로도 계속 잘 작동할 것이라는 보장은 없습니다. 상황은 변하고, 모델은 표류하며, 편향이 나타날 수 있습니다. 인간이 AI의 오류와 성능 저하를 모니터링할 수 있도록 메커니즘을 구현해야 합니다. 여기에는 AI 모델에 출력을 요청하고 실제 데이터와 비교하여 모델이 올바른 답을 생성했는지 또는 모델이 무엇을 생성할 것으로 예상하는지 확인하는 것이 포함될 수 있습니다.

최적의 AI 생산성을 위한 전략 구성

성공적인 전략에 더 높은 AI 건강을 위해 조직을 구조화하는 것이 필수적입니다. 데이터와 그 맥락에 가장 가까운 전문가를 중심 역할에서 데이터 거버넌스 모델을 훈련할 수 있는 최상의 위치에 두는 것이 중요합니다. AI를 훈련할 때 데이터가 더 세분화될수록 더 좋으므로 실무자가 모델에 피드백을 제공할 수 있는 방법을 더 많이 통합하면 성과가 향상됩니다.

효과적인 교육 과정에는 사업부 전문가를 IT와 일치시키는 것이 필수적입니다. IT와 사업부 직원은 성과를 개선하기 위해 협력할 수 있습니다. IT는 모델을 테스트하고 교육 과정을 구현하여 최적의 성과를 보장하는 한편, 사업부 리더는 피드백을 워크플로에 계속 통합할 수 있습니다. 이러한 지속적인 교육 및 재교육 주기는 데이터 접근성을 개선하는 동시에 위험을 줄일 것입니다.

모델이 개선됨에 따라, 모델은 더욱 정확해지고 데이터 세트 주변에 더 큰 맥락을 구축할 수 있게 됩니다. 더욱 정확하고 맥락이 풍부해짐에 따라, 이 데이터는 의사 결정과 사업 전략을 추진하는 데 훨씬 더 가치가 있게 됩니다. 최고의 전략과 의사 결정을 하는 사람들은 시장에서 경쟁 우위를 유지할 것입니다.