|
변경 관리가 가장 큰 비용입니다. 우리의 경험에 따르면 Gen AI 비용 관리에 대한 좋은 경험 법칙은 모델 개발에 1달러를 지출할 때마다 변경 관리에 약 3달러를 지출해야 한다는 것입니다. (비교하자면, 디지털 솔루션의 경우 개발 비율은 1달러, 변경 관리 비율은 1달러 에 더 가까운 경향이 있습니다 .6) 직원 교육부터 역할 모델링, 적극적인 성과 추적에 이르기까지 다양한 변화 조치를 관리하는 규율은 Gen AI에 매우 중요합니다. 우리의 분석에 따르면, 고성과 기업은 Gen AI의 가치를 측정하고 추적하기 위한 핵심 성과 지표(KPI)와 같은 강력한 성과 관리 인프라를 보유할 가능성이 다른 기업보다 거의 3배 더 높습니다. 또한 직장에서 Gen AI 사용과 관련된 잠재적 가치와 위험을 이해할 수 있을 만큼 충분히 훈련된 비기술적 인력을 보유하고 있을 가능성이 두 배 더 높습니다.7
기업은 두 가지 영역에 중점을 두어 변경 관리 비용을 처리하는 데 특히 성공했습니다. 첫 번째는 첫 번째 날부터 솔루션 개발에 최종 사용자를 참여시키는 것이고(기업에서는 기본적으로 단순히 Gen AI 애플리케이션용 채팅 인터페이스를 만드는 경우가 많습니다), 두 번째입니다. , 모델이 정확하고 빠르게 학습할 수 있도록 모델 교육에 최고의 직원을 참여시킵니다.
전시 3
우리는 장애가 있는 개인에게도 웹사이트에 대한 동등한 접근권을 제공하기 위해 노력하고 있습니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주세요.
생성적 AI 재설정: 2024년에 잠재력을 가치로 전환하기 위한 재배선
4. 도구와 기술의 확산을 길들이세요
많은 팀이 여전히 자체 사용 사례를 추진하고 있으며 자체 환경을 설정하는 경우가 많으므로 기업은 여러 인프라, LLM, 도구 및 확장 접근 방식을 지원해야 합니다. 실제로 최근 McKinsey 설문 조사에서 응답자들은 Gen AI를 대규모로 구현하는 데 가장 큰 기술적 장애물로 "너무 많은 플랫폼"을 꼽았습니다.8인프라와 도구가 많을수록 운영 복잡성과 비용이 높아져 확장된 출시가 불가능해집니다. 이러한 상황은 클라우드 및 SaaS(Software as a Service) 초기와 유사합니다. 기술에 액세스하는 것이 너무 쉬웠기 때문에(신용 카드만 있으면 되는 경우가 많음) 도구의 확산이 혼란을 야기하고 위험.
규모를 확장하려면 기업에는 관리 가능한 도구 및 인프라 세트가 필요합니다. 충분히 그럴듯합니다. 하지만 어떤 공급자, 호스트, 도구 및 모델을 선택할지 어떻게 알 수 있습니까? 중요한 것은 별로 중요하지 않은 결정(예를 들어, LLM이 점점 더 필수품이 되면서 선택의 중요성이 덜해짐)이나 비즈니스 환경에서 선택의 여지가 많지 않은 결정에 대해 끝없이 분석하는 데 시간을 낭비하지 않는 것입니다. 예를 들어, 대부분의 데이터를 보유하고 있는 기본 클라우드 서비스 공급자(CSP)가 있고 인재가 CSP 작업 방법을 알고 있는 경우 해당 CSP의 Gen AI 제품을 선택해야 할 것입니다. 실제로 주요 CSP는 기업이 일부 사용 사례의 경제성을 개선하고 새로운 사례에 대한 공개 액세스를 제공하는 데 도움이 되는 차세대 AI 서비스를 출시하고 있습니다. 기업이 이러한 서비스를 얼마나 잘 활용하는지는 기업의 클라우드 성숙도와 클라우드 기반의 강점을 비롯한 다양한 변수에 따라 달라집니다.
자세한 사고가 필요한 것은 공급자나 모델을 상대적으로 쉽게 전환할 수 있는 유연성을 제공하는 방식으로 인프라와 애플리케이션을 구축하는 방법입니다. 공급자가 널리 사용하는 표준(세대 AI 모델 배포를 위한 서버리스 솔루션인 KFServing 등), 코드형 인프라를 위한 Terraform 및 오픈 소스 LLM을 채택하는 것을 고려해 보세요.
유연성을 위한 과도한 엔지니어링은 결국 수익 감소로 이어진다는 점을 강조할 가치가 있습니다. 솔루션이 너무 많으면 유지 관리 비용이 많이 들고, 서비스 제공업체가 제공하는 기능을 최대한 활용하기가 어렵습니다.
5. 단순한 모델이 아닌 가치를 구축할 수 있는 팀을 만드세요
기업이 직면하고 있는 가장 큰 문제 중 하나는 여전히 Gen AI를 광범위한 비즈니스 우선순위가 아닌 기술 프로그램으로 취급하고 있다는 것입니다. 그러나 과거의 기술 노력은 가치 창출이 결코 “단순한 기술”의 문제가 아님을 보여줍니다. Gen AI가 실질적인 영향력을 가지려면 기업은 이를 IT 기능을 넘어 비즈니스에 포함시킬 수 있는 팀을 구성해야 합니다. 지난 수업도 여기에 적용 가능합니다. 예를 들어, 민첩한 관행은 기술 개발 속도를 높였습니다. 그러나 위험 및 비즈니스 전문가와 같은 조직의 다른 부분이 제품 관리 및 리더십과 함께 팀에 통합되었을 때만 더 큰 영향을 미쳤습니다.
이러한 광범위한 조직 통합을 보장하기 위한 여러 가지 유형이 있습니다. 일부 회사에서는 사용 사례의 우선 순위를 지정하고 리소스를 할당하며 성능을 모니터링하는 정보 교환소 역할을 하는 CoE(Center of Excellence)를 구축했습니다. 다른 회사에서는 팀 간에 전략 및 전술 업무를 분할합니다. 특정 비즈니스에 어떤 유형이 적합한지는 해당 기업의 인재와 지역 현실에 따라 달라집니다. 그러나 중요한 것은 이 중앙 집중식 기능을 통해 기술, 비즈니스 및 위험 리드 간의 긴밀한 협력이 가능하고 성공적인 프로그램을 추진하기 위해 입증된 프로토콜을 따르도록 규율이 적용된다는 것입니다. 예를 들어 특정 목표 및 주요 결과(OKR)에 대한 이니셔티브를 추적하기 위한 분기별 비즈니스 검토, 문제 해결, 리소스 재할당 또는 성과가 낮은 이니셔티브 종료를 위한 개입이 포함될 수 있습니다.
이 관리 구조의 중요한 역할은 효과적인 위험 프로토콜을 구현하고 준수하도록 하는 것입니다. 예를 들어, 빌드 팀은 각 사용 사례와 관련된 잠재적 위험을 매핑해야 합니다. 기술 및 "인간 참여형" 프로토콜은 사용 사례 수명 주기 전반에 걸쳐 구현되어야 합니다. 이 감독 기관에는 노출을 평가하고 완화 전략을 구현하여 Gen AI 위험을 관리하는 권한도 필요합니다.
주의해야 할 한 가지 문제는 특히 볼륨이 큰 경우 전술적 사용 사례의 흐름을 관리하는 것입니다. 이 중앙 조직에는 대규모 영향을 보장하고 대규모 아이디어를 추진하기 위해 관련 사용 사례를 클러스터링하는 권한이 필요합니다. 이 팀은 단순한 업무 관리자가 아닌 가치의 수호자 역할을 해야 합니다.
한 금융 서비스 회사는 고위 경영진을 위해 명확하게 정의된 거버넌스 프로토콜을 마련했습니다. CIO와 최고 전략 책임자가 후원하는 운영 그룹은 기업 거버넌스, 전략, 커뮤니케이션에 중점을 두고 사용 사례 식별 및 승인을 추진합니다. CTO가 후원하는 지원 그룹은 데이터 아키텍처, 데이터 과학, 데이터 엔지니어링 및 핵심 지원 기능 구축에 관한 의사 결정에 중점을 두었습니다. CTO는 또한 팀이 확립된 표준과 도구 세트를 사용하도록 보장하기 위해 경험이 풍부한 설계자 한 명 이상이 프로세스 초기에 사용 사례 팀에 합류하도록 지시했습니다. 이러한 감독과 거버넌스의 명확성은 비즈니스가 파이프라인에서 단 5개의 사용 사례를 관리하는 것에서 50개가 넘는 사용 사례로 전환하는 데 매우 중요했습니다.
6. 완벽한 데이터가 아닌 올바른 데이터를 찾으세요
공유하다
사이드바
McKinsey의 AI인 QuantumBlack 소개
Gen AI가 단순히 필요한 데이터를 간단히 정리하고 이를 이해할 수 있다는 오해는 여전히 널리 퍼져 있습니다. 그러나 고성능 세대 AI 솔루션은 실제 작업과 집중이 필요한 깨끗하고 정확한 데이터 없이는 불가능합니다. 좋은 데이터를 생성하기 위해 데이터 기반에 투자하는 기업은 신중하게 노력을 기울입니다.
모든 데이터에 대한 완벽함을 추구하는 것과 완전히 무시하는 것 사이를 오가는 라벨링 프로세스를 예로 들어 보겠습니다. 우리는 특히 검색 증강 생성(RAG)에 사용되는 데이터의 경우 표적 라벨링에 투자하면 AI 쿼리에 대한 답변 품질에 상당한 영향을 미칠 수 있다는 사실을 발견했습니다. 마찬가지로, 콘텐츠 소스의 중요성을 평가하는 데 시간을 투자하는 것("권한 가중치")은 모델이 다양한 소스의 상대적 가치를 이해하는 데 도움이 됩니다. 이를 올바르게 수행하려면 관련 전문 지식을 갖춘 사람들의 상당한 인적 감독이 필요합니다.
Gen AI 모델은 매우 불안정하기 때문에 기업은 새로운 데이터가 추가될 때 플랫폼을 유지 관리해야 하며, 이는 자주 발생하며 모델 성능에 영향을 미칠 수 있습니다. 관련 데이터가 매우 다양한 위치에 있기 때문에 대부분의 회사에서는 이것이 훨씬 더 어려워집니다. 데이터 제품 생성에 투자한 기업은 시간이 지남에 따라 모델 훈련에 사용할 수 있도록 잘 구성된 데이터 소스를 보유하고 있기 때문에 경쟁에서 앞서 있습니다.
예를 들어, 재료 과학 제품 회사에서는 다양한 팀이 제품 정보에 액세스했지만 각 팀의 버전은 달랐습니다. R&D에는 재료 안전 시트가 있었고, 응용 엔지니어링 팀(기술 판매/지원 팀)은 고유한 고객 요청에 대한 솔루션을 찾기 위해 자체 버전을 개발했으며, 상용화 팀에는 제품 설명이 있었고, 고객 지원 팀에는 쿼리에 답변하기 위한 일련의 특정 제품 세부 정보가 있었습니다. 각 팀이 제품 정보 버전을 업데이트하면서 충돌이 발생하여 Gen AI 모델이 데이터를 사용하기 어렵게 되었습니다. 이 문제를 해결하기 위해 회사는 모든 관련 제품 정보를 한 곳에 모아두고 있습니다.
7. 재사용하지 않으면 잃어버리게 된다
재사용 가능한 코드는 생성적 AI 사용 사례의 개발 속도를 30~50% 향상시킬 수 있습니다 .9그러나 의미 있는 혁신을 이루기 위해 서둘러서 팀은 종종 개별 사용 사례에 집중하므로 규모에 대한 희망이 사라집니다. CIO는 다양한 사용 사례를 지원할 수 있는 횡단적 솔루션을 구축하는 데 비즈니스의 에너지를 집중해야 합니다. 실제로 우리는 Gen AI의 높은 성과를 내는 기업이 솔루션 전체에서 재사용이 가능하도록 전략적으로 구축된 Gen AI 기반을 보유할 가능성이 동료 기업에 비해 거의 3배 더 높다는 사실을 발견했습니다.10
그러나 재사용성을 약속하면서 기술적으로는 사용하기 쉽지만 사용되지 않는 추상적인 AI 기능을 구축하는 데 걸리기 쉽습니다. 재사용 가능한 자산을 구축하는 보다 효과적인 방법은 일반적으로 3~5개의 사용 사례 집합을 체계적으로 검토하여 공통 요구 사항이나 기능을 확인하는 것입니다. 그런 다음 팀은 이러한 공통 요소를 쉽게 재사용하거나 결합하여 새로운 기능을 만들 수 있는 자산 또는 모듈로 구축할 수 있습니다. 예를 들어 데이터 전처리 및 수집에는 데이터 청크 메커니즘, 구조화된 데이터 및 메타데이터 로더, 데이터 변환기가 개별 모듈로 포함될 수 있습니다. 유럽의 한 은행은 어떤 기능이 다양한 사례에 사용될 수 있는지 검토하고 합성기 모듈, 번역기 모듈 및 감정 분석 모듈 개발에 투자했습니다.
CIO는 이것이 유기적으로 일어날 것이라고 기대할 수 없습니다. 승인된 도구, 코드 및 프레임워크를 포함할 수 있는 제품 팀을 위한 재사용 가능한 자산(그림 4)을 개발할 권한이 있는 플랫폼 소유자 및 다기능 팀과 같은 역할을 할당해야 합니다.
전시 4
우리는 장애가 있는 개인에게도 웹사이트에 대한 동등한 접근권을 제공하기 위해 노력하고 있습니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주세요.
AI 세대가 창출할 수 있는 가치는 혁신적입니다. 그러나 해당 가치의 전체 범위를 포착하는 것은 기업이 Gen AI를 대규모로 활용할 때만 가능합니다. 이를 위해서는 CIO가 엄연한 사실을 인정할 뿐만 아니라 비즈니스를 발전시키기 위해 그에 따라 조치를 취할 준비가 되어 있어야 합니다.
저자 소개
Aamer Baig 는 McKinsey 시카고 사무소의 수석 파트너, Douglas Merrill 은 남부 캘리포니아 사무소의 파트너, Megha Sinha 는 Bay Area 사무소의 파트너, Danesha Mead 는 덴버 사무소의 컨설턴트, Stephen Xu는 제품 이사입니다. 토론토 사무실 관리.
저자는 이 기사에 기여한 Mani Gopalakrishnan, Mark Gu, Ankur Jain, Rahil Jogani 및 Asin Tavakoli에게 감사의 말씀을 전하고 싶습니다.
|