CIO와 CTO는 제너레이티브 AI로 비즈니스와 기술을 재구상하기 위해 9가지 조치를 취할 수 있습니다.

[힘힘]

2023년 7월 11일| 기사

공유하다

인쇄

다운로드

구하다

CIO와 CTO는 제너레이티브 AI로 비즈니스와 기술을 재구상하기 위해 9가지 조치를 취할 수 있습니다.

다운로드

기사(12페이지)

생성형 AI와 관련된 새로운 비즈니스 파괴 개발이 미디어에 등장하지 않고는 하루도 지나지 않습니다 . McKinsey 연구에서는 제너레이티브 AI가 연간 2조 6,000억 달러에서 4조 4,000억 달러에 해당하는 가치를 추가할 수 있다고 추정합니다 .1

사이드바

저자 소개

CIO와 최고 기술 책임자(CTO)는 그 가치를 포착하는 데 중요한 역할을 하지만 이전에 이 영화를 본 적이 있음을 기억할 가치가 있습니다. 인터넷, 모바일, 소셜 미디어와 같은 새로운 기술이 등장하여 수많은 실험과 시험을 촉발시켰지만 중요한 비즈니스 가치를 얻기가 더 어려운 경우가 많았습니다. 이러한 개발에서 얻은 교훈 중 많은 부분이 여전히 적용되며, 특히 파일럿 단계를 넘어 규모에 도달하는 경우에는 더욱 그렇습니다. CIO와 CTO에게 제너레이티브 AI 붐은 제너레이티브 AI의 약속을 비즈니스를 위한 지속 가능한 가치로 전환하는 데 C-suite를 안내하기 위해 이러한 교훈을 적용할 수 있는 특별한 기회를 제공합니다.

공유하다

사이드바

주요 용어에 대한 빠른 입문서

수십 명의 기술 리더와의 대화와 50개 이상의 회사(당사 포함)의 제너레이티브 AI 이니셔티브 분석을 통해 우리는 모든 기술 리더가 가치 창출, 기술 및 데이터 조정, 솔루션 확장, 위험 관리를 위해 취할 수 있는 9가지 조치를 확인했습니다. 생성 AI의 경우(사이드바, "주요 용어에 대한 빠른 입문서" 참조):

1. 제너레이티브 AI 채택에 대한 회사의 자세를 결정하기 위해 신속하게 움직이고 직원에 대한 실용적인 커뮤니케이션과 적절한 액세스를 개발하십시오.
2. 비즈니스를 재구상하고 향상된 생산성, 성장 및 새로운 비즈니스 모델을 통해 가치를 구축하는 사용 사례를 식별합니다 . 생성 AI의 실제 비용과 수익을 추정할 수 있는 "금융 AI"(FinAI) 기능을 개발합니다.
3. 기술 기능을 재구상하고 소프트웨어 개발에서 생성적 AI 기능을 신속하게 구축하고 기술 부채 감소를 가속화하며 IT 운영에서 수작업을 크게 줄이는 데 집중하십시오.
4. 기존 서비스를 활용하거나 오픈 소스 생성 AI 모델을 채택하여 독점 기능을 개발하십시오(자체 생성 AI 모델을 구축하고 운영하는 데 적어도 단기적으로는 수천만 달러에서 수억 달러의 비용이 들 수 있음).
5. 엔터프라이즈 기술 아키텍처를 업그레이드하여 생성적 AI 모델을 통합 및 관리 하고 모델이 서로 작동하는 방식과 기존 AI 및 머신 러닝(ML) 모델, 애플리케이션 및 데이터 소스와 함께 작동하는 방식을 조율합니다.
6. 정형 및 비정형 데이터 소스를 모두 처리하여 양질의 데이터에 액세스할 수 있도록 데이터 아키텍처를 개발합니다 .
7. 필요에 따라 제품 및 애플리케이션 팀에 승인된 모델을 제공하기 위해 중앙 집중식 교차 기능 생성 AI 플랫폼 팀을 만듭니다 .
8. 소프트웨어 개발자, 데이터 엔지니어, MLOps 엔지니어 및 보안 전문가와 같은 주요 역할과 광범위한 비기술 인력의 기술 향상에 투자하십시오. 그러나 생성 AI의 다양한 영향으로 인해 역할 및 숙련도 수준에 따라 교육 프로그램을 맞춤화 해야 합니다 .
9. 새로운 위험 환경을 평가하고 모델, 데이터 및 정책을 해결하기 위한 지속적인 완화 방법을 수립합니다.

1. 제너레이티브 AI 도입을 위한 회사의 자세 결정

제너레이티브 AI의 사용이 점점 더 널리 보급됨에 따라 CIO와 CTO는 공개적으로 사용 가능한 애플리케이션에 대한 직원 액세스를 차단하여 위험을 제한하는 방식으로 대응하는 것을 보았습니다. 그렇게 함으로써 이러한 회사는 혁신의 기회를 놓칠 위험이 있으며 일부 직원은 이러한 움직임이 중요한 새로운 기술을 구축하는 능력을 제한하는 것으로 인식하기도 합니다.

대신 CIO와 CTO는 리스크 리더와 협력하여 비즈니스에서 생성적 AI 기술 구축의 중요성과 리스크 완화에 대한 실질적인 필요성 사이의 균형을 맞춰야 합니다. 이를 위해서는 비즈니스가 감당할 수 있는 위험 수준과 생성 AI가 비즈니스의 전체 전략에 어떻게 부합하는지에 대한 합의를 구축하여 생성 AI에 대한 회사의 입장을 확립해야 합니다. 이 단계를 통해 기업은 전사적 정책 및 지침을 신속하게 결정할 수 있습니다.

정책이 명확하게 정의되면 리더는 CIO와 CTO가 조직에 적절한 액세스와 사용자 친화적인 지침을 제공하면서 이를 비즈니스에 전달해야 합니다. 일부 회사는 제너레이티브 AI에 대한 전사적인 커뮤니케이션을 시작했고, 특정 사용자 그룹을 위한 제너레이티브 AI에 대한 광범위한 액세스를 제공했으며, 모델에 내부 데이터를 입력할 때마다 사용자에게 경고하는 팝업을 생성하고, 사용자가 액세스할 때마다 나타나는 가이드라인 페이지를 구축했습니다. 공개적으로 사용 가능한 생성 AI 서비스.

2. 향상된 생산성, 성장 및 새로운 비즈니스 모델을 통해 가치를 구축하는 사용 사례 식별

CIO와 CTO는 우리가 이미 많은 기업에서 목격하고 있는 "사용 사례별 사망" 열풍에 대한 해독제가 되어야 합니다. CEO, CFO 및 기타 비즈니스 리더와 협력하여 생성 AI가 기존 비즈니스 모델에 도전하고 새로운 비즈니스 모델에 대한 문을 열고 새로운 가치 소스를 생성하는 방법을 생각하면 가장 도움이 될 수 있습니다. 기술적 가능성에 대한 깊은 이해를 바탕으로 CIO와 CTO는 회사 전체에서 제너레이티브 AI의 이점을 얻을 수 있는 가장 가치 있는 기회와 문제를 식별해야 합니다. 어떤 경우에는 생성 AI가 최선의 선택이 아닙니다 .

예를 들어, McKinsey 연구에 따르면 제너레이티브 AI는 특정 마케팅 사용 사례(예: 고객 선호도에 대한 구조화되지 않은 추상 데이터 분석)의 생산성을 약 10%, 고객 지원(예: 지능형 봇을 통해)을 최대 40까지 높일 수 있음을 보여줍니다. 퍼센트.2CIO와 CTO는 도메인(예: 고객 여정 또는 비즈니스 프로세스) 또는 사용 사례 유형(예: 창의적인 콘텐츠 생성 또는 가상 에이전트)별로 사용 ​​사례를 클러스터링하는 가장 좋은 방법에 대한 관점을 개발하는 데 특히 도움이 될 수 있습니다. 가장 가치가 있습니다. 기회를 식별하는 것이 가장 전략적인 작업은 아닐 것입니다. 제너레이티브 AI 사용 사례가 많이 있습니다. 그러나 초기 재능과 기능의 한계를 감안할 때 CIO와 CTO는 비즈니스 시퀀스 제너레이티브 AI를 돕기 위해 실행 가능성과 리소스 추정치를 제공해야 합니다. 우선 순위.

이러한 수준의 조언을 제공하려면 기술 리더가 비즈니스와 협력하여 FinAI 기능을 개발하여 생성 AI 이니셔티브의 실제 비용과 수익을 추정해야 합니다. 비용 계산은 단위 경제학이 여러 모델 및 공급업체 비용, 모델 상호 작용(각각 고유한 요금이 있는 여러 모델의 입력이 쿼리에 필요할 수 있음), 지속적인 사용 요금 및 인적 감독 비용을 고려해야 하기 때문에 특히 복잡할 수 있습니다.

3. 기술 기능의 재구상

Generative AI는 기술 기능이 작동하는 방식을 완전히 재구성할 수 있는 잠재력을 가지고 있습니다. CIO와 CTO는 제너레이티브 AI가 모든 기술 영역에 미치는 잠재적 영향을 종합적으로 검토해야 하지만 경험과 전문성을 구축하기 위해 신속하게 조치를 취하는 것이 중요합니다. 초기 에너지를 집중할 수 있는 세 가지 영역이 있습니다.

• 소프트웨어 개발: McKinsey 연구 에 따르면 생성적 AI 코딩 지원은 소프트웨어 엔지니어가 코드를 35~45% 더 빠르게 개발하고, 코드를 20~30% 더 빠르게 리팩토링하며, 코드 문서화를 45~50% 더 빠르게 수행할 수 있도록 도와줍니다.삼Generative AI는 또한 테스트 프로세스를 자동화하고 엣지 케이스를 시뮬레이션하여 팀이 릴리스 전에 보다 탄력적인 소프트웨어를 개발하고 새로운 개발자의 온보딩을 가속화할 수 있습니다(예: 코드 기반에 대한 Generative AI 질문을 통해). 이러한 이점을 포착하려면 코드 볼륨의 급증을 관리하기 위해 DevSecOps 방식 을 통해 광범위한 교육(작업 8에서 자세한 내용 참조)과 통합 및 배포 파이프라인을 자동화해야 합니다 .
• 기술 부채: 기술 부채는 기술 예산의 20~40%를 차지할 수 있으며 개발 속도를 상당히 늦출 수 있습니다.4CIO와 CTO는 기술 부채 대차대조표를 검토하여 코드 리팩토링, 코드 번역, 자동화된 테스트 사례 생성과 같은 생성 AI 기능이 기술 부채 감소를 가속화할 수 있는 방법을 결정해야 합니다.
• IT 운영(ITOps): CIO와 CTO는 제너레이티브 AI가 프로세스를 가속화할 수 있는 방법을 결정하기 위해 ITOps 생산성 노력을 검토해야 합니다. Generative AI의 기능은 셀프 서비스 에이전트를 통한 암호 재설정, 상태 요청 또는 기본 진단과 같은 작업을 자동화하는 데 특히 유용합니다. 개선된 라우팅을 통한 심사 및 해결 가속화 주제 또는 우선 순위와 같은 유용한 컨텍스트를 표시하고 제안된 응답을 생성합니다. 진정으로 주의가 필요한 이벤트를 식별하기 위해 방대한 로그 스트림 분석을 통해 관찰 가능성을 개선합니다. 표준 운영 절차, 사건 사후 분석 또는 성능 보고서와 같은 문서 개발.

McKinsey Digital 에 대해 더 알고 싶으십니까 ?

QuantumBlack, AI by McKinsey 페이지를 방문하십시오.

4. 기존 서비스 활용 또는 오픈 소스 생성 AI 모델 채택

제너레이티브 AI 기능을 개발하기 위한 전략과 관련하여 고전적인 "임대, 구매 또는 구축" 결정의 변형이 존재합니다. 기본 규칙은 사실입니다. 기업은 비즈니스를 위한 독점적 이점을 창출하고 상품과 같은 기존 서비스에 액세스할 수 있는 생성 AI 기능에 투자해야 합니다.

CIO와 CTO는 이러한 옵션의 의미를 세 가지 원형으로 생각할 수 있습니다.

• 테이커 — 커스터마이징이 거의 또는 전혀 없이 채팅 인터페이스 또는 API를 통해 공개적으로 사용 가능한 모델을 사용합니다. 좋은 예로는 코드를 생성(예: GitHub Copilot)하거나 디자이너의 이미지 생성 및 편집 지원(예: Adobe Firefly)을 위한 기성 솔루션이 있습니다. 이는 엔지니어링 및 인프라 요구 사항 측면에서 가장 단순한 원형이며 일반적으로 시작 및 실행이 가장 빠릅니다. 이러한 모델은 기본적으로 공개 모델에 대한 프롬프트 형태의 데이터 공급에 의존하는 상품입니다.
• Shaper —모델을 내부 데이터 및 시스템과 통합하여 보다 맞춤화된 결과를 생성합니다. 한 가지 예는 생성 AI 도구를 고객 관계 관리(CRM) 및 재무 시스템에 연결하여 고객의 이전 판매 및 참여 내역을 통합하여 판매 거래를 지원하는 모델입니다. 다른 하나는 회사 내부 문서와 채팅 기록으로 모델을 미세 조정하여 고객 지원 에이전트의 조수 역할을 하는 것입니다. 생성 AI 기능을 확장하거나, 더 많은 독점 기능을 개발하거나, 더 높은 보안 또는 규정 준수 요구 사항을 충족하려는 회사의 경우 Shaper 원형이 적합합니다.
  
  이 원형에서 생성 AI 모델과 데이터를 통합하는 두 가지 일반적인 접근 방식이 있습니다. 하나는 온프레미스 또는 클라우드 환경의 조직 인프라에서 모델을 호스팅하는 "모델을 데이터로 가져오는 것"입니다. 예를 들어 Cohere는 고객의 클라우드 인프라에 기반 모델을 배포하여 데이터 전송의 필요성을 줄입니다. 다른 접근 방식은 조직이 데이터를 집계하고 클라우드 인프라에 대규모 모델의 복사본을 배포할 수 있는 "데이터를 모델로 가져오는 것"입니다. 두 접근 방식 모두 기본 모델에 대한 액세스를 제공한다는 목표를 달성하며 둘 중 하나를 선택하면 조직의 워크로드 공간이 결정됩니다.
• 제작자 — 개별 비즈니스 사례를 해결하기 위한 기반 모델을 구축합니다. 기초 모델을 구축하는 것은 비용이 많이 들고 복잡하며 엄청난 양의 데이터, 깊은 전문 지식 및 엄청난 컴퓨팅 성능이 필요합니다. 이 옵션을 사용하려면 모델을 구축하고 교육하는 데 상당한 일회성 투자(수천만 달러 또는 심지어 수억 달러)가 필요합니다. 비용은 교육 인프라, 모델 아키텍처 선택, 모델 매개변수 수, 데이터 크기 및 전문가 리소스와 같은 다양한 요소에 따라 다릅니다.

각 원형에는 기술 리더가 고려해야 할 고유한 비용이 있습니다(자료 1). 효율적인 모델 교육 접근 방식과 시간이 지남에 따라 GPU(그래픽 처리 장치) 컴퓨팅 비용이 낮아지는 등의 새로운 개발로 인해 비용이 절감되고 있지만 Maker 원형의 고유한 복잡성으로 인해 단기적으로 이를 채택하는 조직은 거의 없습니다. 대신 대부분은 상품 서비스에 빠르게 액세스하기 위한 Taker와 기본 모델 위에 독점 기능을 구축하기 위한 Shaper의 조합으로 전환할 것입니다.

전시회 1

우리는 장애가 있는 개인이 우리 웹사이트에 동등하게 접근할 수 있도록 노력합니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주십시오.

5. 엔터프라이즈 기술 아키텍처를 업그레이드하여 제너레이티브 AI 모델을 통합 및 관리

조직은 다양한 크기, 복잡성 및 기능을 가진 많은 생성 AI 모델을 사용할 것입니다. 가치를 창출하려면 이러한 모델이 비즈니스의 기존 시스템 또는 애플리케이션과 함께 작동할 수 있어야 합니다. 이러한 이유로 제너레이티브 AI를 위한 별도의 기술 스택을 구축하면 해결하는 것보다 더 많은 복잡성이 생성됩니다. 예를 들어, 예약 문제를 해결하기 위해 여행사에서 고객 서비스에 문의하는 소비자를 볼 수 있습니다(Exhibit 2). 고객과 상호 작용할 때 생성 AI 모델은 여러 애플리케이션과 데이터 소스에 액세스해야 합니다.

전시회 2

우리는 장애가 있는 개인이 우리 웹사이트에 동등하게 접근할 수 있도록 노력합니다. 이 콘텐츠에 대한 정보를 원하시면 기꺼이 도와드리겠습니다. McKinsey_Website_Accessibility@mckinsey.com 으로 이메일을 보내주십시오.

Taker 원형의 경우 이 수준의 조정이 필요하지 않습니다. 그러나 Shapers 또는 Makers로서 생성 AI의 이점을 확장하려는 회사의 경우 CIO 및 CTO는 기술 아키텍처를 업그레이드해야 합니다. 주요 목표는 생성 AI 모델을 내부 시스템 및 엔터프라이즈 애플리케이션에 통합하고 다양한 데이터 소스에 대한 파이프라인을 구축하는 것입니다. 궁극적으로 생성 AI 기능을 통합하고 확장할 수 있는 것은 기업의 엔터프라이즈 기술 아키텍처의 성숙도입니다.

LangChain 및 LlamaIndex와 같은 통합 및 오케스트레이션 프레임워크의 최근 발전으로 다양한 생성 AI 모델을 다른 애플리케이션 및 데이터 소스와 연결하는 데 필요한 노력이 크게 줄었습니다. 모델이 사용자 쿼리에 응답할 때 API를 호출할 수 있도록 하는 것(예: GPT-4는 함수를 호출할 수 있음)을 포함하여 몇 가지 통합 패턴도 등장하고 있습니다. 검색 증강 생성으로 알려진 기술. 기술 리더는 조직에 대한 참조 아키텍처 및 표준 통합 패턴(예: API를 호출하는 사용자 및 모델을 식별하는 표준 API 형식 및 매개변수)을 정의해야 합니다.

제너레이티브 AI를 효과적으로 통합하기 위해 기술 아키텍처에 통합해야 하는 5가지 핵심 요소가 있습니다(그림 3).

• 엔터프라이즈 데이터 소스의 관련 정보를 모델에 제공하기 위한 컨텍스트 관리 및 캐싱 . 적시에 관련 데이터에 액세스할 수 있어야 모델이 컨텍스트를 이해하고 매력적인 결과를 생성할 수 있습니다. 캐싱은 자주 묻는 질문에 결과를 저장하여 더 빠르고 저렴한 응답을 가능하게 합니다.
• 엔터프라이즈 데이터 자산에 대한 적절한 액세스를 보장하는 정책 관리 . 이 제어는 예를 들어 직원 보상 세부 정보를 포함하는 HR의 생성 AI 모델에 조직의 나머지 부분에서 액세스할 수 없도록 합니다.
• 주문형으로 프로비저닝할 수 있고 모델 체크포인트, 가중치 및 매개변수에 대한 리포지토리 역할을 할 수 있는 훈련되고 승인된 모델을 포함하는 모델 허브 .
• 모델이 업데이트될 때 프롬프트 버전 관리를 포함하여 생성 AI 모델에 대한 최적화된 지침이 포함된 프롬프트 라이브러리 .
• 업그레이드된 MLOps 기능을 포함한 MLOps 플랫폼은 생성 AI 모델의 복잡성을 설명합니다. 예를 들어 MLOps 파이프라인에는 올바른 지식을 검색하는 모델의 능력을 측정하는 것과 같은 작업별 성능을 측정하기 위한 계측이 포함되어야 합니다.

전시 3

We strive to provide individuals with disabilities equal access to our website. If you would like information about this content we will be happy to work with you. Please email us at: McKinsey_Website_Accessibility@mckinsey.com

아키텍처를 발전시키면서 CIO와 CTO는 빠르게 성장하는 제너레이티브 AI 공급자 및 도구의 생태계를 탐색해야 합니다. 클라우드 제공업체는 규모에 맞는 하드웨어 및 기반 모델은 물론 급증하는 서비스 세트에 대한 광범위한 액세스를 제공합니다. 한편 MLOps 및 모델 허브 공급자는 기반 모델을 조정하고 프로덕션에 배포하기 위한 도구, 기술 및 관행을 제공하는 반면, 다른 회사는 특정 작업을 수행하기 위해 기반 모델 위에 구축된 사용자가 직접 액세스하는 애플리케이션을 제공합니다. CIO와 CTO는 제너레이티브 AI 모델을 배포하고 운영하기 위해 이러한 다양한 기능이 어떻게 조합되고 통합되는지 평가해야 합니다.

6. 양질의 데이터에 액세스할 수 있도록 데이터 아키텍처를 개발합니다.

제너레이티브 AI 모델에서 비용 절감, 향상된 데이터 및 지식 보호 등 가치를 창출하고 확장하는 기업의 능력은 자체 데이터를 얼마나 잘 활용하느냐에 달려 있습니다. 이러한 이점을 창출하는 것은 생성 AI 모델을 내부 데이터 소스에 연결하는 데이터 아키텍처에 의존하며, 이는 컨텍스트를 제공하거나 모델을 미세 조정하여 보다 관련성 높은 출력을 생성하는 데 도움이 됩니다.

이러한 맥락에서 CIO, CTO 및 최고 데이터 책임자는 긴밀히 협력하여 다음을 수행해야 합니다.

• 생성 AI 모델에서 사용할 수 있도록 데이터를 분류하고 구성합니다. 기술 리더는 정형 및 비정형 데이터 소스를 모두 포함하는 포괄적인 데이터 아키텍처를 개발해야 합니다 . 이를 위해서는 생성적 AI 사용을 위해 데이터를 최적화하기 위한 표준 및 지침을 마련해야 합니다. 예를 들어, 다양성과 크기를 개선하기 위해 합성 샘플로 교육 데이터를 보강합니다. 미디어 유형을 표준화된 데이터 형식으로 변환 추적성과 데이터 품질을 개선하기 위해 메타데이터를 추가합니다. 데이터를 업데이트합니다.
• 기존 인프라 또는 클라우드 서비스가 생성 AI 애플리케이션에 필요한 방대한 양의 데이터 저장 및 처리를 지원할 수 있는지 확인합니다.
• 생성적 AI 모델을 "맥락 이해"를 제공하는 관련 데이터 소스에 연결하기 위해 데이터 파이프라인 개발의 우선 순위를 지정합니다. 새로운 접근 방식에는 벡터 데이터베이스를 사용하여 임베딩(특별히 형식화된 지식)을 생성적 AI 모델에 대한 입력으로 저장하고 검색하는 것과 모델에 좋은 답변의 예가 제공되는 "몇 번의 샷 프롬프트"와 같은 상황 내 학습 접근 방식이 포함됩니다. .

McKinsey, 고객의 AI 확장 지원을 위한 새로운 제품군 출시

블로그 게시물 읽기

7. 중앙집중식 다기능 생성 AI 플랫폼 팀 구성

대부분의 기술 조직은 제품 및 플랫폼 운영 모델을 향한 여정에 있습니다 . CIO와 CTO는 제너레이티브 AI 기능을 이 운영 모델에 통합하여 기존 인프라를 기반으로 하고 제너레이티브 AI 채택을 신속하게 확장할 수 있도록 지원해야 합니다. 첫 번째 단계는 제품 및 애플리케이션 팀에서 사용하기 위해 승인된 생성 AI 모델을 주문형으로 프로비저닝할 수 있는 플랫폼 서비스를 개발 및 유지 관리하는 데 핵심적인 초점을 맞추는 생성 AI 플랫폼 팀을 구성하는 것입니다. 플랫폼 팀은 또한 생성 AI 모델이 내부 시스템, 엔터프라이즈 애플리케이션 및 도구와 통합되는 방법에 대한 프로토콜을 정의하고 책임 있는 AI 프레임워크와 같은 위험 관리를 위한 표준화된 접근 방식을 개발 및 구현합니다.

CIO와 CTO는 플랫폼 팀이 적절한 기술을 가진 사람들로 구성되어 있는지 확인해야 합니다. 이 팀에는 총지배인 역할을 하는 선임 기술 리더가 필요합니다. 주요 역할에는 생성 AI 모델을 기존 시스템, 애플리케이션 및 도구에 통합하는 소프트웨어 엔지니어가 포함됩니다. 모델을 다양한 기록 시스템 및 데이터 소스에 연결하는 파이프라인을 구축하는 데이터 엔지니어 데이터 과학자가 모델을 선택하고 프롬프트를 엔지니어링합니다. 여러 모델 및 모델 버전의 배포 및 모니터링을 관리하는 MLOps 엔지니어 ML 엔지니어가 새로운 데이터 소스로 모델을 미세 조정합니다. 데이터 유출, 액세스 제어, 출력 정확도 및 바이어스와 같은 보안 문제를 관리하는 위험 전문가. 플랫폼 팀의 정확한 구성은 기업 전체에서 제공되는 사용 사례에 따라 달라집니다. 어떤 경우에,

현실적으로 플랫폼 팀은 처음에는 제한된 우선 순위 사용 사례에 대해 작업하고 재사용 가능한 기능을 구축하고 가장 효과적인 것을 배우면서 점차 작업 범위를 확장해야 합니다. 기술 리더는 비즈니스 리더와 긴밀히 협력하여 자금을 지원하고 지원할 비즈니스 사례를 평가해야 합니다.

8. 역할 및 숙련도 수준에 따라 기술 향상 프로그램 맞춤화

제너레이티브 AI는 직원의 생산성을 크게 높이고 역량을 강화할 수 있는 잠재력을 가지고 있습니다. 그러나 그 혜택은 역할과 기술 수준에 따라 고르지 않게 분배되므로 리더는 사람들이 필요로 하는 실제 기술을 구축하는 방법을 재고해야 합니다.

예를 들어 생성 AI 도구인 GitHub Copilot을 사용한 최신 실증 연구는 소프트웨어 엔지니어가 코드를 35~45% 더 빠르게 작성하는 데 도움이 되었습니다 .5그러나 혜택은 다양했습니다. 고도로 숙련된 개발자는 최대 50~80%의 속도 향상을 경험한 반면 주니어 개발자는 속도가 7~10% 감소 했습니다 . 제너레이티브 AI 도구의 결과물은 엔지니어가 코드를 비평, 검증 및 개선해야 하는데 경험이 없는 소프트웨어 엔지니어는 이를 수행하기 위해 고군분투하기 때문입니다. 반대로, 한 연구에 따르면 고객 서비스와 같이 덜 기술적인 역할에서 제너레이티브 AI는 생산성이 14% 증가하고 직원 이직률도 감소하여 저숙련 근로자를 크게 돕습니다.6

이러한 격차는 기술 리더가 CHRO(Chief Human Resources Officer)와 협력하여 미래 인력 구축을 위한 인재 관리 전략을 재고해야 할 필요성을 강조합니다. 최고의 제너레이티브 AI 인재의 핵심 집합을 고용하는 것이 중요할 것이며, 해당 인재의 희소성과 전략적 중요성이 증가함에 따라 기술 리더는 경쟁력 있는 급여 및 중요한 전략적 작업에 참여할 수 있는 기회와 같은 유지 메커니즘을 마련해야 합니다. 사업.

그러나 기술 리더는 채용에서 멈출 수 없습니다. 거의 모든 기존 역할이 제너레이티브 AI의 영향을 받을 것이기 때문에 중요한 초점은 역할, 숙련도 수준 및 비즈니스 목표에 필요한 기술에 대한 명확한 관점을 기반으로 사람의 기술을 향상시키는 데 있어야 합니다. 소프트웨어 개발자를 예로 들어 보겠습니다. 초보자를 위한 교육은 코드 생성기 외에도 최고의 코드 검토자가 되기 위한 경로를 가속화하는 데 중점을 두어야 합니다. 작성과 편집의 차이점과 유사하게 코드 검토에는 다른 기술이 필요합니다. 소프트웨어 엔지니어는 좋은 코드가 어떤 것인지 이해해야 합니다. 기능, 복잡성, 품질 및 가독성에 대해 생성 AI로 생성된 코드를 검토합니다. 코드에 품질 또는 보안 문제가 발생하지 않도록 하면서 취약점을 스캔합니다. 뿐만 아니라,사용자 의도를 더 잘 이해하여 프롬프트를 생성하고 생성 AI 도구가 더 나은 답변을 제공하는 데 도움이 되는 상황별 데이터를 정의할 수 있도록 코딩과 관련하여 다르게 생각 합니다 .

기술 인재를 교육하는 것 외에도 CIO와 CTO는 비기술 인재 사이에서 생성 AI 기술을 구축하는 데 중요한 역할을 할 수 있습니다. 이메일 생성 및 작업 관리와 같은 기본 작업에 생성 AI 도구를 사용하는 방법을 이해하는 것 외에도 비즈니스 전반의 사람들은 성능 및 결과를 개선하기 위해 다양한 기능을 사용하는 데 익숙해져야 합니다. CIO 및 CTO는 아카데미 모델을 조정하여 이 교육 및 해당 인증을 제공하도록 도울 수 있습니다.

경험이 부족한 엔지니어의 가치 감소는 가장 많은 사람들이 주니어 수준인 고전적인 인재 피라미드에서 기술 인력의 대부분이 경험이 풍부한 사람들로 구성된 다이아몬드와 같은 구조로의 이동을 가속화해야 합니다. . 실질적으로 말하자면, 이는 하위 직원의 기술을 가능한 한 빨리 구축하는 동시에 복잡성이 낮은 수동 작업(예: 단위 테스트 작성)에 할당된 역할을 줄이는 것을 의미합니다.

9. 새로운 위험 환경을 평가하고 지속적인 완화 방법을 수립합니다.

제너레이티브 AI는 “환각”을 포함하여 새로운 윤리적 질문과 위험을 제시합니다. 기밀 개인 식별 정보의 우발적 공개; 모델이 사용하는 대규모 데이터 세트의 내재적 편향 지적 재산(IP)과 관련된 높은 수준의 불확실성. CIO와 CTO는 법조문(국가마다 다름)뿐만 아니라 비즈니스 평판을 책임 있게 관리하는 정신을 준수하기 위해 윤리, 인도주의 및 규정 준수 문제에 능통해야 합니다.

이 새로운 환경을 해결하려면 사이버 관행에 대한 상당한 검토와 소프트웨어 개발 프로세스를 업데이트하여 위험을 평가하고 모델 개발이 시작되기 전에 완화 조치를 식별해야 합니다. 그러면 문제가 줄어들고 프로세스 속도가 느려지지 않습니다. 환각에 대한 입증된 위험 완화 조치에는 반응을 생성할 때 모델의 창의성 수준("온도"라고 함)을 조정하는 것이 포함될 수 있습니다. 더 많은 컨텍스트를 제공하기 위해 관련 내부 데이터로 모델을 보강합니다. 생성될 수 있는 것에 대한 보호막을 부과하는 라이브러리 사용; 결과를 확인하기 위해 "조정" 모델을 사용합니다. 명확한 면책 조항을 추가합니다. 초기 생성 AI 사용 사례는 조직이 불가피한 차질을 극복하고 학습을 통합할 수 있도록 오류 비용이 낮은 영역에 초점을 맞춰야 합니다.

데이터 프라이버시를 보호하려면 민감한 데이터 태깅 프로토콜을 설정 및 시행하고, 다른 도메인(예: HR 보상 데이터)에서 데이터 액세스 제어를 설정하고, 데이터가 외부에서 사용될 때 추가 보호 기능을 추가하고, 개인 정보 보호 장치를 포함하는 것이 중요합니다. 예를 들어 액세스 제어 위험을 완화하기 위해 일부 조직에서는 모델에 프롬프트가 제공되면 역할별로 액세스를 제한하는 정책 관리 계층을 설정했습니다. 지적 재산에 대한 위험을 완화하기 위해 CIO와 CTO는 기반 모델 제공자가 사용된 데이터 세트의 IP(데이터 소스, 라이센스 및 소유권)에 대한 투명성을 유지해야 한다고 주장해야 합니다.

---

제너레이티브 AI는 지금까지 본 기술 중 가장 빠르게 성장하는 기술 범주 중 하나가 될 것입니다. 기술 리더는 제너레이티브 AI 전략을 정의하고 형성하는 데 불필요한 지연을 허용할 수 없습니다. 이 공간은 계속해서 빠르게 발전하겠지만, 이 9가지 조치는 CIO와 CTO가 책임감 있고 효과적으로 제너레이티브 AI의 힘을 대규모로 활용하는 데 도움이 될 수 있습니다.