|
공유하다
사이드바
맥킨지 테크놀로지 소개
많은 기업 리더들은 Gen AI를 배포해야 한다는 긴박감을 느낍니다. 이는 데이터 임원들이 조직의 중심에 데이터를 두는 Gen AI 운영 모델에 대한 승인을 받을 수 있는 기회를 만듭니다.
CDO와 임원 지원자들이 Gen AI 운영 모델을 정의할 준비가 되면, 시작하기 위한 첫 번째 단계는 무엇일까요? 그리고 이러한 운영 모델이 위험, 거버넌스, 보안 및 규정 준수 조치를 충족하도록 하기 위해 회사는 어떤 조치를 취해야 할까요? 우리는 데이터 리더가 Gen AI 운영 모델을 만드는 데 사용할 수 있는 실용적인 가이드를 제시합니다. 여기에는 인재 팀을 구성하고, 데이터 자산을 구성하고, 중앙 집중식 또는 도메인 중심 개발이 가장 좋은 접근 방식인지 판단하는 방법이 포함됩니다.
구성 요소를 중심으로 Gen AI 운영 모델을 설계합니다.
Gen AI 혁신은 매우 빠른 속도로 진행되고 있으므로 구성 요소를 활용하는 운영 모델을 설계하는 것이 합리적입니다. 이 접근 방식을 통해 회사는 정기적으로 새로운 Gen AI 구성 요소를 엔터프라이즈 아키텍처에 추가하기 위한 계획을 수립하고, 이는 비즈니스 목표에 부합하는 방식으로 이루어집니다. 운영 모델을 사용하면 기술 스택을 전면적으로 정비하지 않고도 Gen AI 구성 요소를 변경할 수 있습니다.
가장 인기 있는 통찰력
한편, 클라우드 호스팅 및 데이터 청킹과 같이 정기적인 업데이트가 덜 필요한 성숙한 요소에 Gen AI 기능을 추가하는 것은 더 높은 수준의 투자와 구현 복잡성을 보장합니다. 반면, 에이전트 및 대규모 언어 모델(LLM) 호스팅과 같이 수명 주기가 짧은 빠르게 움직이는 요소는 빠르게 구현하고 변경하기 쉬워야 합니다.
이 분야에서 조직은 유연하게 대처할 수 있으며, 먼저 중요한 Gen AI 사용 사례에 필요한 최소한의 구성 요소를 구현한 다음 필요에 따라 구성 요소를 추가하거나 제거할 수 있습니다. 예를 들어, 유럽의 한 선도적인 은행은 엔터프라이즈 아키텍처 전반에 걸쳐 14개의 주요 Gen AI 구성 요소를 구현했습니다. 이 접근 방식을 통해 이 은행은 단 3개월 만에 핵심 Gen AI 사용 사례의 80%를 구현할 수 있었습니다(표 1). 이 은행은 가장 큰 잠재적 영향을 미칠 Gen AI 구성 요소를 일찍 식별하여 개발자 리소스를 집중하여 명확한 중장기 목표에 맞춰 Gen AI 기능을 생성했습니다. 그러나 Gen AI 배포에 대한 구성 요소 기반 접근 방식이 Gen AI 확장에 중요한 성공 요인인 반면, Gen AI 고성과자의 31%와 다른 회사의 11%만이 이 모델을 채택했습니다.3
증거물 1
저희는 장애인이 저희 웹사이트에 동등하게 접근할 수 있도록 노력합니다. 이 콘텐츠에 대한 정보가 필요하시면 기꺼이 도와드리겠습니다. 다음 주소로 이메일을 보내주세요: McKinsey_Website_Accessibility@mckinsey.com
구성 요소 기반 Gen AI 개발 모델로 성공하려면 회사에서 로드맵을 검토, 업데이트 및 발전시키는 태스크포스를 만들 수 있습니다. 태스크포스는 또한 실행 계획을 할당하여 IT, 데이터, AI 및 비즈니스 팀이 특정 출시에 대한 적절한 책임을 지도록 합니다. 이를 위해서는 AI 엔지니어, 소프트웨어 개발자, 데이터 과학자, 제품 관리자 및 엔터프라이즈 아키텍트를 포함한 다양한 이해 관계자 간의 명확한 의사 소통과 비즈니스 리더에게 정기적으로 보고해야 합니다. 구성 요소 출시가 일련의 단절된 파일럿으로 제시되는 대신 체계화되고 조직 목표에 맞게 조정되도록 하려면 조정이 필수적입니다.
확장된 또는 별도의 Gen AI 팀을 선택하세요
Gen AI 운영 모델을 구축할 때 핵심 팀을 정의하는 것이 중요합니다. 두 가지 주요 옵션이 있습니다. 기존 데이터 또는 IT 팀을 확장하여 새로운 Gen AI 기술을 제공하거나 별개의 Gen AI 팀을 구축하는 것입니다. 후자는 기존 데이터 또는 IT 팀에서 사람을 선택하거나 새로운 인재를 고용하여 달성할 수 있습니다. 각각 고유한 장점과 제약이 있습니다.
기존 데이터 팀을 Gen AI의 책임자로 만드는 것이 더 쉬운 옵션처럼 보일 수 있지만 Gen AI가 성숙함에 따라 진자가 바뀔 수 있습니다. 예를 들어, 선도적인 물류 조직은 데이터 팀을 포함한 IT 조직을 확장하여 여러 Gen AI 이니셔티브를 시작했습니다. 이 회사는 Gen AI를 데이터 및 분석 로드맵에 포함시켜 기존 팀이 Gen AI 역량을 향상하도록 장려했습니다. 이 회사는 Gen AI 파일럿을 배포하는 데 성공했지만 범위가 제한되었습니다. 그리고 Gen AI 제품이 회사의 전체 기술 플랫폼에 통합되어 기존 시스템을 준수하는 데 시간과 리소스가 필요했기 때문에 향후 출시가 예상보다 느렸습니다.
Gen AI 팀을 IT 또는 데이터 조직에서 분리하는 데는 여러 가지 이점이 있습니다. 이 접근 방식을 통해 조직은 처음부터 새로운 고도로 숙련된 Gen AI 팀을 구축할 수 있습니다. 데이터 및 AI 아키텍처에 대한 견고한 기반을 갖춘 새로운 팀은 더 큰 IT 기능 외부에서 Gen AI 구성 요소를 빠르게 반복할 수 있습니다.
공유하다
사이드바
McKinsey의 AI인 QuantumBlack에 대하여
몇몇 주요 유럽 은행은 이러한 세대 AI 태스크포스를 출범시켰는데, 이는 잠재적으로 완전한 우수 센터(CoE)로 확장할 수 있다는 생각에서입니다. 의료 및 금융 서비스와 같이 규제가 엄격한 산업에서는 새로운 중앙 집중형 세대 AI 팀을 만드는 것도 모범 사례로 보입니다. 이러한 접근 방식을 사용하여 이러한 회사는 몇 달이 아닌 몇 주 만에 여러 세대 AI 프로젝트를 시작했습니다.
두 모델 모두 성공할 수 있지만, 두 모델 모두 기업이 피해야 할 함정이 있습니다. Gen AI 팀이 IT에서 분리된 경우에도 로드맵은 여전히 광범위한 IT 조직과 일치하여 노력을 중복하거나 여러 곳에 분리된 Gen AI 구성 요소를 구축하지 않도록 해야 합니다. 각 구성 요소의 기능 맵과 소유권은 조직 전체에서 명확하게 정의하고 공유해야 합니다. 예를 들어 Gen AI 태스크 포스는 신속한 엔지니어링 및 가드레일, LLM 운영 및 오케스트레이션, 모델 개선을 감독할 수 있지만 데이터 수집, 관리 및 저장은 감독할 수 없습니다.
그러나 Gen AI 팀이 기존 IT 및 데이터 기능의 파생으로 확장되는 경우 팀은 두 가지 완전히 다른 기술 수명 주기를 성공적으로 관리해야 합니다. LLM 호스팅 및 모델 허브와 같은 특정 Gen AI 구성 요소는 호스팅 및 컨테이너와 같은 기존 IT 및 데이터 구성 요소보다 더 빠르게 개발되어 프로덕션에 투입되어야 합니다.
회사가 확장형 또는 개별형 Gen AI 팀을 선택하든, 중앙 IT 팀이 모든 Gen AI 도구를 하나로 묶는 공통적인 기본 기술 인프라를 정의하는 것이 중요합니다. 이 단계를 피하면 규정 준수 문제나 기술 부채가 발생할 수 있습니다 . 이는 원래 품질보다는 속도를 위해 만들어진 버그가 있는 제품을 수정하는 데 필요한 추가 작업입니다.
전략적 비즈니스 도메인에서 데이터 관리를 우선시합니다.
모든 데이터 리더가 알다시피, 효과적인 데이터 관리가 Gen AI 구현의 핵심 요소입니다. 기능적 데이터 조직이 없다면 Gen AI 애플리케이션은 필요한 올바른 정보를 검색하고 처리할 수 없습니다. 그러나 대부분의 기업은 모델 재사용성, 접근성, 확장성 및 품질 문제를 포함하여 데이터 활용에 상당한 장애물이 있다고 보고합니다. 그렇기 때문에 Gen AI의 모든 운영 모델에는 데이터 관리 및 거버넌스 전략이 포함되어야 합니다. 거버넌스에는 구조화된 데이터와 구조화되지 않은 데이터 모두에 대한 문서 소싱, 준비, 큐레이션 및 태그 지정 관리와 데이터 품질 및 규정 준수가 포함됩니다.
전체 회사 데이터의 80% 이상을 차지하는 방대한 양의 비정형 데이터를 관리하는 것은 어려운 일처럼 보일 수도 있습니다.4실제로, AI 고성과 기업의 60%와 기타 기업의 80%는 구조화되지 않은 데이터를 정리하기 위한 포괄적인 전략을 정의하는 데 어려움을 겪고 있습니다.5이러한 과제를 해결하기 위해 조직은 비즈니스 우선순위에 따라 구조화되지 않은 데이터의 특정 도메인과 하위 도메인을 우선순위 지정할 수 있습니다. 예를 들어, 한 회사는 개발 중인 모든 Gen AI 제품을 하나의 사업부로 그룹화하는 데이터 도메인을 우선순위 지정할 수 있고, 다른 회사는 재무 또는 HR과 같은 특정 기능과 관련된 모든 데이터를 그룹화하는 도메인을 우선순위 지정할 수 있습니다. 이상적인 도메인과 하위 도메인은 실행 가능할 만큼 충분히 작으면서도 중요하고 측정 가능한 결과를 제공할 만큼 충분히 커야 합니다.
McKinsey Digital 에 대해 자세히 알고 싶으신가요 ?
McKinsey Technology 페이지를 방문하세요
비정형 데이터를 처리하는 것은 많은 데이터 팀에 익숙하지 않을 수 있으므로, 이 프로세스는 전문가가 중앙 집중 방식으로 시작해야 합니다. 이러한 전문가는 일반적으로 비정형 데이터를 처리하도록 훈련된 데이터 엔지니어와 자연어 처리 엔지니어로, CoE로 그룹화됩니다. 그들은 비정형 데이터를 관리하기 위한 프로세스를 수립하고 구현하여 Gen AI 시스템에서 액세스할 수 있도록 합니다. 그들은 회사의 Gen AI 운영 모델의 정책이 데이터가 언제 어디에서 소비되는지에 대한 보기를 제공하도록 합니다. 그들은 또한 데이터 품질, 위험 관리 및 규정 준수에 대한 일관된 표준을 보장합니다.
그러나 CoE가 배포 로드맵을 제공하면 비즈니스 감독을 담당하는 도메인 전문가가 데이터 관리 프로세스를 인계해야 합니다. 이들은 데이터 전문가만 있는 것보다 해당 분야의 특정 기록에서 지식을 추출하는 데 더 적합합니다. 비즈니스 부서가 더 다양한 사용 사례에 대해 더 고품질의 데이터를 제공하기 시작하면서 중앙 집중화된 데이터 팀은 수요에 압도당하고 도메인별 문서의 품질, 진실성 및 태그를 확인할 전문성이 부족해지는 경향이 있습니다.
Gen AI 개발을 위한 분산형 접근 방식 계획
도메인 팀이 데이터 관리에 더 능숙해짐에 따라, 회사는 이러한 팀의 Gen AI 개발 소유권을 점진적으로 늘리기로 선택할 수 있습니다. 즉, 중앙 집중형 모델에서 연합형 모델로, 마지막으로 분산형 모델로 전환하는 것입니다(표 2). 미래 지향적인 데이터 임원은 Gen AI 운영 로드맵에 분산형 개발의 미래 시나리오를 포함시키고자 할 수 있습니다. 고려해야 할 세 가지 접근 방식이 있습니다.
증거물 2
저희는 장애인이 저희 웹사이트에 동등하게 접근할 수 있도록 노력합니다. 이 콘텐츠에 대한 정보가 필요하시면 기꺼이 도와드리겠습니다. 다음 주소로 이메일을 보내주세요: McKinsey_Website_Accessibility@mckinsey.com
중앙화된 세대 AI
일부 회사는 Gen AI를 자체 도메인에 중앙 집중화하기로 선택합니다. 이를 통해 조직은 역량을 빠르게 구축하고 비용을 제어할 수 있습니다. 선도적인 글로벌 통신사는 이 모델을 사용하여 Gen AI를 사업부의 노드로 만들고 최고 데이터 및 AI 책임자의 리더십 하에 운영했습니다. 이 회사는 기존 직원을 중앙 부서로 끌어들여 지식이 풍부한 Gen AI 팀을 신속하게 구성할 수 있었습니다. 이러한 접근 방식은 개발 비용을 낮추고 여러 팀이 유사한 프로젝트를 만드는 위험을 줄였습니다.
연합 세대 AI
기업이 Gen AI 전문성을 구축함에 따라 종종 연합 모델을 선택합니다. 이 모델에서는 사업부가 도메인과 관련된 데이터를 소비할 뿐만 아니라 데이터 처리 및 저장소도 인수합니다. 이 모델을 사용하면 도메인이 Gen AI를 일상적인 워크플로에 더 깊이 통합하여 더 강력한 비즈니스 성과를 낼 수 있습니다.
북미의 주요 투자 은행은 사업부 내에서 새로운 세대 AI 사용 사례를 개발하기 위해 연합 모델을 선택했습니다. 세대 AI 사용 사례가 매우 성공적이어서 회사는 나중에 조직 전체에서 유사한 세대 AI 도구를 확장하기 위한 자금을 제공했습니다. 사업부 내에서 혁신적인 프로젝트를 개발한 다음 조직 전체로 확장하는 이 등대 프로젝트 모델은 프로젝트 중복 없이 세대 AI 배포를 촉진하는 성공적인 방법이 될 수 있습니다.
분산형 gen AI
일부 혁신적인 조직은 분산화를 한층 더 추진하여 모든 Gen AI 역량을 도메인으로 이전합니다. 이 모델에서 각 도메인은 공통된 목표에 맞춰 비즈니스, 데이터 및 기술 전문가로 구성된 자체 Gen AI 팀을 만들어 관련 Gen AI 애플리케이션을 개발합니다. 분산된 Gen AI 개발 모델을 통해 도메인은 필요에 맞게 특별히 맞춤화된 Gen AI 에이전트를 만들어 다른 도메인에 제공할 수 있습니다. 예를 들어, 소셜 미디어 콘텐츠 생성 및 게시물 관리를 위한 에이전트를 만드는 마케팅 도메인은 비즈니스 개발, 영업 및 고객 성공과 같은 다른 많은 도메인에서 이러한 에이전트를 채택하는 것을 볼 수 있습니다. 이러한 접근 방식을 사용하면 중앙 집중화된 IT 팀이 사각 지대를 피하고 두 팀이 유사한 Gen AI 도구를 개발하지 않도록 하기 위해 개발 중인 도구에 대한 가시성을 유지하는 것이 중요합니다.
공통 인프라를 통해 연합된 팀을 통합합니다.
사업부는 Gen AI로 해결해야 할 일상적인 문제를 알고 있으며, 따라서 자체 도메인 내에서 특정 사용 사례를 구축할 수 있는 좋은 위치에 있지만, 이러한 분산된 개발 프로세스는 회사의 전반적인 보안이나 회복성을 손상해서는 안 됩니다. 대신, 회사는 IT 팀이 모든 Gen AI 도구가 개발되고 배포되는 기본 공통 인프라를 구축하고 관리하도록 해야 합니다. IT 팀은 또한 프롬프트 라이브러리, Python 코드 저장소, 표준 에이전트, 체계화된 클라우드 스토리지와 같이 모든 사업부에서 사용할 수 있는 반복 가능한 플랫폼을 구축할 책임이 있습니다. 이러한 유형의 중앙 집중식 IT 관리를 통해 사업부는 새로운 Gen AI 도구를 만들 수 있으며, 개발하는 모든 사용 사례가 매우 안전하고 통합된 기술 프레임워크를 준수하도록 할 수 있습니다.
위험 및 규정 준수 거버넌스 강조
Gen AI는 환각, 잘못된 정보, 데이터 유출 등의 위험이 높아집니다. 그렇기 때문에 모든 Gen AI 운영 모델에는 위험 및 규정 준수 거버넌스 에 대한 명확한 규정이 포함되어야 합니다 . 기업은 Gen AI로 인해 허용할 수 있는 위험 수준과 더 많은 보호 조치가 필요한 비즈니스 영역을 구분하는 것으로 시작할 수 있습니다. 이 초기 위험 평가는 Gen AI 애플리케이션이 회사, 고객, 파트너에게 영향을 미칠 수 있는 다양한 방식을 평가합니다. 이 위험 평가가 완료되면 기업은 거버넌스 및 모니터링 계획을 수립할 수 있으며, 여기에는 수행해야 할 새로운 양적 및 질적 테스트도 정의해야 합니다. 위험을 완화함으로써 기업은 경쟁력을 저해할 수 있는 기다리고 보는 접근 방식을 취하는 대신 Gen AI 출시를 진행할 수 있습니다.
실제적으로, 차세대 AI 위험 계획을 수립하려면 데이터 리더가 새로운 잠재적 위험이 발생하고 새로운 도구가 배포됨에 따라 지속적으로 모니터링하고 업데이트해야 하는 6단계 프로세스가 필요합니다.
위의 가이드라인을 따르면 데이터 리더는 감독과 신속한 의사 결정 및 민첩한 Gen AI 배포를 지원하는 능력의 균형을 이루는 위험 구조를 확립할 수 있습니다. 강력한 AI 거버넌스 계획은 또한 기업이 끊임없이 변화하는 AI 규정에 발맞추는 데 도움이 됩니다. 예를 들어 EU 인공지능법은 투명성의 필요성을 강조하여 조직이 사용자에게 AI 위험에 대해 알리고, 모델 출력 품질을 보장하고, 정기적인 규정 준수 평가를 수행하도록 요구합니다. 많은 국가의 법률은 기업이 Gen AI 도구가 데이터를 소비하는 방식에 영향을 미칠 수 있는 개인 정보 보호 표준을 충족하도록 요구합니다. 모든 Gen AI 거버넌스 모델은 관련 규정과 업데이트를 고려할 수 있을 만큼 유연해야 합니다.
Gen AI가 실험에서 구현으로 옮겨감에 따라, 기업은 조직 전체에 배포를 성공적으로 안내하기 위해 운영 및 기술 모델을 모두 만들어야 합니다 . 데이터는 이러한 모델의 중심에 있습니다. 기업은 Gen AI 애플리케이션이 대규모로 안전하게 액세스할 수 있도록 모든 데이터를 구성해야 합니다. 운영 관점에서 데이터 리더는 Gen AI 출시를 진정한 디지털 변환으로 조정하고 모범 사례를 적용하여 명확한 거버넌스, 목표 및 주요 결과와 진행 상황 모니터링을 보장해야 합니다.
이러한 조정된 계획을 통해 회사는 중앙 집중형 CoE에서 Gen AI 사용 사례를 신속하게 시작할 수 있습니다. 또한 공통 기술 인프라로 지원되는 분산형 개발 방식으로의 장기적 진화에 대비할 수 있으며, 이를 통해 회사가 오늘날의 빠르게 움직이는 AI 경제에서 경쟁하는 데 필요한 민첩한 Gen AI 배포를 지원할 수 있습니다.
저자에 관하여
알렉스 싱라는 맥킨지 시카고 사무소의 수석 파트너입니다. 아신 타바콜리 는 뒤셀도르프 사무소의 파트너이고, 홀거 하리스 는 뒤셀도르프 사무소의 수석 파트너입니다. 카이반 로샹키시 는 뉴욕 사무소의 수석 파트너입니다. 클레멘스 하르타르는 코펜하겐 사무소의 수석 파트너입니다. 가스파르 푸이앙 과 올리비에 푸르니에는 파리 사무소의 컨설턴트입니다.
저자는 이 논문에 기여한 Jean-Baptiste Dubois, Jon Boorstein, Pedro J. Silva에게 감사드리고 싶습니다.
|