데이터 메시 이해하기

[힘힘]

데이터 메시 이해하기

2023년 6월 8일| 기사

공유하다

인쇄

다운로드

구하다

데이터 메시를 구현하는 데 기술적인 고려 사항 이상의 것이 필요하다는 점을 이해한다면 대규모 조직이 데이터를 성공적으로 관리하는 데 도움이 될 수 있습니다.

다운로드

기사(5페이지)

데이터 메시는 많은 대규모 조직을 괴롭히는 데이터 액세스 문제에 대한 가능한 솔루션으로 등장했습니다. 이 접근 방식은 난로통에서 데이터를 꺼내 비즈니스 사용자의 손에 직접 전달하지만 강력한 거버넌스를 유지하는 통제된 방식으로 이루어집니다.

사이드바

저자 소개

잘 수행되면 데이터 메시는 데이터 기반 애플리케이션의 출시 시간을 단축하고 더욱 강력하고 확장 가능한 데이터 제품을 탄생시킬 수 있습니다. 이러한 이점은 전략적 의미를 갖습니다. 하지만 올바른 방식으로 구축에 접근하는 것이 중요합니다. 그렇지 않으면 선의의 프로그램이 그 자체의 무게로 무너질 수 있습니다. 예를 들어, 한 선도적인 생명과학 회사는 기술적인 관점에서 데이터 메시에 필요한 노력을 준비했습니다. 그러나 준비가 되어 있지 않았고 훨씬 더 어려웠던 점은 데이터 관리 관행을 조화시키고 데이터 제품과 사용 사례를 중앙 집중화하는 다양한 비즈니스 그룹 간의 합의를 구축하는 것이었습니다. 이러한 문제를 예측하지 못해 프로젝트가 중간에 중단되었고 혼란이 야기되었으며 비즈니스 사용자는 이전의 덜 효율적인 데이터 관리 방식으로 되돌아가게 되었습니다.

도메인 기반 데이터 관리가 무엇인지 이해하고 몇 가지 핵심 원칙을 준수함으로써 기업은 다른 기업이 직면한 학습 함정을 피하고 데이터 메시의 보상을 더 빨리 얻을 수 있습니다.

데이터 메시란 정확히 무엇입니까?

"데이터 메시"라는 용어는 Zhamak Dehghani가 Thoughtworks의 교장으로 재직하던 2019년에 만들어졌습니다. 이는 분산 데이터 액세스에 대한 아이디어를 포착하는 방법으로 인기를 얻었습니다. 그러나 이것이 실제로 무엇을 의미하는지에 대한 해석은 풍부합니다. 새로운 기술입니까, 기존 데이터 저장소를 쓸모없게 만드는 것입니까, 아니면 이론적 구성입니까?

McKinsey는 데이터 메시를 도메인에서 데이터를 구성하고, 이를 제품으로 취급하고, 셀프 서비스 액세스를 활성화하고, 연합 거버넌스를 통해 이러한 활동을 지원하는 데이터 관리 패러다임으로 정의합니다(그림 1). 각 요소가 중요한 이유는 다음과 같습니다.

전시 1

우리는 장애가 있는 개인에게도 웹사이트에 대한 동등한 접근권을 제공하기 위해 노력하고 있습니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주세요.

도메인 기반 데이터 관리를 통해 데이터가 어디에나 위치할 수 있습니다. 비즈니스 팀은 데이터를 소유하고 데이터의 품질, 접근성 및 보안을 책임집니다. 도메인은 마케팅, 조달, 특정 고객 부문이나 지역 등 특정 비즈니스 목적을 중심으로 구성된 데이터 모음입니다. 여기에는 원시 데이터뿐만 아니라 데이터 제품 으로 알려진 자체 포함 요소도 포함됩니다 . 이러한 데이터 제품은 데이터를 번들로 묶어 다양한 비즈니스 애플리케이션을 지원하며, 관련 앱이나 시스템에 직접 연결하는 데 필요한 내부 배선으로 설계되었습니다. 셀프 서비스 데이터 인프라는 데이터 메시의 기반이 되며 중앙 플랫폼 역할을 하여 데이터가 호스팅되는 위치에 관계없이 비즈니스 사용자가 데이터를 찾고 액세스할 수 있는 공통 장소를 제공합니다.

거버넌스는 연합된 "허브 앤 스포크" 방식으로 관리됩니다. 이 접근 방식에서는 소규모 중앙 팀이 제어를 설정하고 지원 데이터 인프라가 이를 시행합니다. 코드에 정의된 표준을 통해 기업 내의 데이터 제품 팀은 메타데이터 문서화, 데이터 분류 및 데이터 품질 모니터링을 준수할 수 있습니다.

이러한 요소들은 함께 비즈니스 주변의 다양한 그룹이 함께 모여 데이터 요구 사항을 정의하고, 새로운 데이터를 공유하는 방법에 동의하고, 해당 데이터를 사용하는 최선의 방법을 조정할 수 있는 자체 구성 메시를 만듭니다.

McKinsey의 AI인 QuantumBlack 에 대해 더 자세히 알고 싶으십니까 ?

잘 실행되면 데이터 메시는 강력한 이점을 제공할 수 있습니다.

대부분의 제품 및 솔루션 혁신은 비즈니스 내에서 발생하며, 오늘날 데이터 없이는 그러한 혁신이 거의 일어날 수 없습니다. 데이터 메시를 통해 비즈니스 사용자는 중요한 정보를 더 빠르게 얻을 수 있으며 다음과 같은 이점을 얻을 수 있습니다.

• 데이터 분석 애플리케이션 출시 시간 단축: 데이터 제품은 데이터 수요에 보다 신속하게 대응할 수 있으며 데이터 생산자와 데이터 소비자 간의 직접적인 교환을 통해 비즈니스 사용자에게 고품질 데이터에 대한 확장 가능한 액세스를 제공할 수 있습니다.
• 비즈니스 사용자를 위한 셀프 서비스 데이터 액세스 잠금 해제: 도메인 기반 구조는 중앙에 위치한 팀에 대한 의존도를 줄여 비즈니스 사용자가 더욱 즉각적으로 통찰력을 얻을 수 있도록 하고 그들이 "게임에 참여"할 수 있도록 해줍니다. 또한 높은 수준의 셀프 서비스는 채택을 촉진하여 기술적 지식이 없는 사용자도 편안하게 데이터에 참여하고 데이터 제품을 사용하여 비즈니스 질문에 답하고 사실에 기반한 결정을 준비할 수 있도록 해줍니다.
• 데이터 IQ 향상: 데이터에 더 많이 참여하면 학습이 구축되어 비즈니스 사용자가 시간이 지남에 따라 점점 더 정교한 애플리케이션을 설계할 수 있습니다. 비즈니스 사용자는 자신이 사용하는 데이터와 자산을 형성함으로써 생성된 내용이 목적에 부합하는지 확인하고 더 큰 투자 수익을 창출할 수 있습니다. 예를 들어, 한 대규모 산업 회사에서는 직원이 기존 데이터 제품을 검색하고 개별 보고서를 작성할 수 있는 셀프 서비스 대시보드를 구축했습니다. 커뮤니케이션 캠페인과 함께 이러한 노력으로 300명의 새로운 데이터 사용자가 활성화되었습니다.

데이터 메시를 구현하기 전에는 대규모 광산 조직이 전 세계에 수백 개의 단절된 운영 데이터베이스를 갖고 있었고 분석 사용 사례를 개발하는 데 몇 달이 걸렸습니다. 데이터 메시로 전환한 후 회사는 데이터 엔지니어링 활동에 소요되는 시간을 획기적으로 단축하고 이전보다 7배 빠르게 사용 사례를 개발하는 동시에 데이터 안정성과 재사용성을 높였습니다.

데이터 메시는 전체 비즈니스를 포함합니다.

데이터 메시의 모든 이점을 얻으려면 세심한 안무가 필요합니다. 도메인 기반 아키텍처가 점점 더 많은 관심을 끌고 있지만 기술적인 논의가 다른 중요한 요소보다 우선시되는 경우가 많습니다.

예를 들어, 비즈니스 사용자는 현재 데이터 관리 시스템에 문제가 있다는 것을 인식할 수 있지만 데이터 도메인 및 제품에 대한 직접적인 소유권을 가정하는 혼란을 겪는 것보다 알려진 것을 고수하는 것이 더 낫다고 생각할 수 있습니다.

시작하고 싶어하는 사람들조차도 데이터 제품과 사용 사례의 꾸준한 흐름을 가능하게 하기 위해 조직 구조가 어떻게 적응해야 하는지 깨닫지 못할 수도 있습니다. 예를 들어, 데이터 메시를 설정하는 조직에서 필요한 문서가 누락되었거나 분류가 불완전하거나 데이터를 사용하기 전에 새로운 프로세스를 생성해야 한다는 사실을 발견하는 것은 드문 일이 아닙니다. 이러한 문제는 기업이 리소스를 확보하지 않는 한 완료를 지연시킬 수 있습니다. 특히 비기술 전문가의 경우, 학습 곡선이 가파르고 도메인 기반 데이터 소유권에 대한 추진력이 제대로 지원되지 않으면 흔들릴 수 있습니다.

다음 사례는 기업이 이러한 학습 곡선 문제를 완화하고 성공적인 데이터 메시 구현 가능성을 높이는 데 도움이 될 수 있습니다.

데이터의 전체 가치를 활용하는 방법은 무엇입니까? 제품처럼 관리하세요

기사를 읽다

사업을 선두에 두세요

데이터 메시 구현에 대한 관리는 비즈니스에서 이루어져야 하며 임원진의 지원과 공식 변경 관리 팀의 지원을 받아야 합니다. 변경 팀 내의 데이터 메시 전도사는 비즈니스 부서가 데이터 환경을 분석하고 조직과 공유할 가장 가치 있는 데이터 제품을 정의하는 데 도움을 줄 수 있습니다. 일부 조직에서는 디지털 전환과 같은 전략적 이니셔티브의 일부로 데이터 메시를 배치하는 것이 도움이 된다는 것을 알았습니다. 이는 변화의 맥락과 사례를 설정하는 데 도움이 될 수 있습니다. 또한 내부적으로 다른 비즈니스 사용자 및 애플리케이션 팀에게 데이터를 "판매"하는 과제를 기꺼이 맡을 헌신적인 데이터 제품 소유자가 비즈니스 내에 있어야 합니다. 또한 아직 완전히 성숙되지 않은 도구에서 "코드로서의 데이터 거버넌스"를 구현할 수 있는 중앙 데이터 인프라 팀이 있어야 합니다.

ROI가 데이터 프로비저닝을 안내하도록 하세요

조직은 때때로 데이터 관리에 대한 중앙 집중식 접근 방식과 분산형 접근 방식 중 어느 것이 가장 좋은지 결정하려고 애쓰는 데 어려움을 겪지만, 대답은 두 가지 방법 모두 효과적일 수 있다는 것입니다(그림 2). 현대적인 IT 환경과 잘 구축된 로컬 데이터 저장소를 갖춘 기업은 가상화된 링크를 통해 데이터를 노출함으로써 더 많은 가치를 얻을 수 있습니다(중앙 데이터 마켓플레이스 또는 카탈로그에 계속 등록하는 동시에). 이와 대조적으로 ERP(전사적 자원 관리) 혁신이나 기타 대규모 IT 변화를 진행 중인 기업에서는 먼저 중앙 데이터 플랫폼으로 이동하고 핵심 데이터 제품에 대한 단일 논리를 생성하는 것이 더 나을 수 있습니다.

전시 2

우리는 장애가 있는 개인에게도 웹사이트에 대한 동등한 접근권을 제공하기 위해 노력하고 있습니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주세요.

예를 들어 대부분의 데이터 사용 사례와 데이터 제품이 전 세계적으로 사용되는 경우 완전히 중앙 집중화된 접근 방식이 탁월한 ROI를 제공한다는 주장이 가끔 있을 수 있습니다. 완전히 분산된 접근 방식은 현재 대기업이 감당할 수 없는 수준의 데이터 관리 조정이 필요하기 때문에 거의 없습니다.

실제로 대부분의 조직은 특정 비즈니스, 기술, 기능 및 시장 진출 요구 사항을 반영하는 중앙 집중식 데이터 제품과 지역화된 데이터 제품을 혼합하여 시작합니다. 중앙 집중식 구조와 분산형 구조에 의존하기가 얼마나 어려운지는 정도의 문제인 경우가 많습니다.

예를 들어 재무, 운영 및 마케팅에는 틈새 데이터 및 분석 세트가 필요한 경우가 많으므로 회사는 이러한 기능의 데이터 관리를 현지화하도록 선택할 수 있습니다. 여러 기능에 필요한 교차 데이터 자산은 중앙 그룹에서 관리하고 그에 따라 관련 기능과 공유할 수 있습니다.

몇 가지 고부가가치 데이터 도메인 및 애플리케이션으로 시작

데이터 메시를 단번에 구축할 필요는 없습니다. 많은 기업이 일련의 조치를 취하여 긍정적인 결과를 얻습니다. 한 생명공학 회사는 생산 성과(생산 변수 모니터링)에 대한 운영 보고에 반영하기 위해 데이터 메시를 통해 운영 데이터 웨어하우스의 데이터를 제공하는 것으로 시작했습니다. 데이터 제품 팀은 비즈니스 사용자와 긴밀히 협력하여 요구 사항을 이해하고, 데이터 품질과 속도를 개선하고, 데이터를 조화로운 형식으로 표준화했습니다. 비즈니스 사용자는 개념 증명 단계에서 새로운 애플리케이션을 더 빠르게 탐색 및 개발한 다음 전체 프로덕션으로 확장할 수 있었습니다.

모든 데이터 제품 소유자는 데이터 품질, 데이터 아키텍처 및 데이터 주권에 대한 중앙 집중식 표준 도 확립하고 채택해야 합니다. 이미 중앙 집중식 표준을 마련한 일부 회사는 분산형 데이터 조직의 요구 사항을 반영하도록 표준을 조정할 수 있습니다. 다른 사람들은 데이터 도메인에 대한 표준을 정의하는 것부터 시작하여 실제 적용 가능성을 테스트하고 필요에 따라 개선합니다. 그런 다음 거버넌스가 조직 전체에 일관되게 적용되도록 교육 및 역량 구축과 함께 표준을 나머지 조직에 순차적으로 적용합니다.

역량 격차를 파악하고 메우세요.

임원 및 비기술 비즈니스 사용자 모두 데이터 메시 성공을 위해 기본 수준의 데이터 활용 능력이 필요합니다. 코칭, 해커톤, 온라인 프로그램, 분석 아카데미는 모두 잘 작동할 수 있습니다. 도메인 관리를 담당하는 비즈니스 팀은 보다 광범위한 교육이 필요하며, 사용자가 지속적으로 기술을 향상할 수 있도록 교육이 지속적으로 이루어져야 합니다. 그렇지 않으면 기업은 시작하기에 충분하지만 성장이나 규모를 유지하는 데 필요한 모멘텀을 생성하기에는 충분하지 않은 제한된 데이터 기능 세트를 갖게 될 수 있습니다.

대화를 계속 이어가세요

대부분의 경우 데이터 메시 구축은 연속체입니다. 리더들은 대규모 타운홀과 긴밀한 팀 회의를 통해 회사가 달성하려는 목표와 시기 및 역량 강화 측면에서 로드맵이 어떤 것인지 정기적으로 조직과 소통하는 데 중점을 둡니다. 그들은 내부 커뮤니케이션을 통해 성공 사례를 공유하고, 노력에 참여한 개인을 인정하고, 피할 수 없는 과제에 대해 열린 자세를 유지합니다. 정기적인 대화는 장기적인 변화 노력을 유지하는 데 도움이 되며, 전환이 사람들의 마음 속에 생생하게 유지되고 꾸준히 발생하는 혜택을 강화합니다.

---

데이터 메시는 통찰력 격차를 줄이고 혁신의 바퀴에 윤활유를 공급하여 기업이 변화의 방향을 더 잘 예측하고 이에 적극적으로 대응할 수 있도록 도와줍니다. 그러나 데이터 메시를 개념에서 현실로 구현하려면 이를 기술적인 변화가 아닌 비즈니스 혁신으로 관리해야 합니다.

저자 소개

Joe Caserta는 McKinsey 뉴욕 사무소의 파트너입니다. Jean-Baptiste Dubois는 파리 사무소의 선임 전문가입니다. Matthias Roggendorf는 베를린 사무소의 파트너이며 Nikhil Srinidhi는 어소시에이트 파트너입니다. Marcus Roth는 시카고사무실의 파트너입니다.

저자는 이 기사에 기여한 Marie Grünbein에게 감사의 말씀을 전하고 싶습니다.