AI 가드레일이란?

[힘힘]

AI 가드레일이란?

2024년 11월 14일| 기사

공유하다

인쇄

다운로드

구하다

AI 가드레일은 조직의 AI 도구와 이를 비즈니스에 적용하는 방식이 조직의 표준, 정책, 가치를 반영하도록 보장하는 데 도움이 됩니다.

밝은 파란색 배경에 빨간색과 흰색 콘크리트 도로 차단기가 거리에 나란히 놓여 있습니다.

다운로드

기사(5페이지)

고속도로의 가드레일 에 대해 알고 계실 겁니다 . 도로 가장자리를 따라 차량이 진로를 이탈하여 위험에 빠지지 않도록 보호하는 장벽입니다. 생성적 AI(gen AI)의 출현으로 가드레일이라는 개념은 회사의 AI 도구, 특히 대규모 언어 모델  (LLM)이 조직 표준, 정책 및 가치와 일치하도록 작동하도록 설계된 시스템에도 적용됩니다.

AI 가드레일에 대한 McKinsey의 고위 전문가를 알아보고 직접 참여하세요.

라레나 예는 맥킨지 베이 지역 사무소의 수석 파트너이고, 로저 로버츠 는 파트너입니다. 마라 포메티 는 런던 사무소의 컨설턴트입니다. 그리고 스티븐 쉬는 토론토 사무소의 제품 관리 부문 수석 이사입니다.

저희는 장애인이 저희 웹사이트에 동등하게 접근할 수 있도록 노력합니다. 이 콘텐츠에 대한 정보가 필요하시면 기꺼이 도와드리겠습니다. 다음 주소로 이메일을 보내주세요: McKinsey_Website_Accessibility@mckinsey.com

Gen AI는  회사의 효율성, 혁신 및 경쟁 우위를 개선할 수 있지만, 과제와 위험을 초래할 수도 있습니다. 회사의 Gen AI 도입이 급속히 증가함에 따라 , AI 의 책임 있는 사용 에 가드레일이 중요합니다 . 가드레일은 LLM이 생성한 부정확한 콘텐츠를 식별하여 제거하고, 위험한 프롬프트를 모니터링하여 걸러낼 수 있습니다. 이러한 위험한 콘텐츠에는 보안 취약성, 환각, 유해하거나 부적절한 콘텐츠, 잘못된 정보가 포함될 수 있습니다.

가장 인기 있는 통찰력

1. 2025년 패션의 상태: 모든 면에서의 도전
2. 60년의 혁신: 비즈니스 기술의 핵심 순간
3. 리더가 취약성의 힘을 활용할 수 있는 방법
4. 다음 큰 경쟁의 경기장
5. 지정학을 탐색하는 데 있어 적극적인 접근 방식은 성공에 필수적입니다.

하지만 고속도로의 가드레일이 부상이나 사망 위험을 없애지 못하는 것처럼, AI 가드레일이 AI 시스템이 완전히 안전하고, 공정하고, 규정을 준수하고, 윤리적일 것이라고 보장하지는 않습니다. 최상의 결과를 위해 기업은 다른 절차적 통제(예: AI 신뢰 프레임워크, 모니터링 및 규정 준수 소프트웨어, 테스트 및 평가 관행)와 함께 AI 가드레일을 구현할 수 있으며, 조직 전체에서 AI 거버넌스를 확장하는 적절한 AI 운영 기술 스택도 구현할 수 있습니다.

AI 가드레일의 이점은 무엇입니까?

Gen AI 혁신과 전환을 위한 올바른 환경을 조성하기 위해 조직은 기술이 안전하고 책임감 있게 작동할 수 있도록 해야 하며, AI 가드레일이 중요한 역할을 해야 합니다 . 조직이 AI를 구현할 때 가드레일이 제공할 수 있는 몇 가지 이점은 다음과 같습니다.

• 개인정보 보호 및 보안. AI 시스템은 AI에서 생성된 결과를 조작하기 위해 취약점을 악용하는 악의적인 행위자의 공격에 취약합니다. 가드레일은 이러한 공격으로부터 AI 시스템을 강화하여 조직과 고객을 보호하는 데 도움이 될 수 있습니다.
• 규정 준수. AI에 대한 정부의 감시가 증가함에 따라  , 조직은 AI 시스템이 기존 및 새로운 법률과 표준을 준수하도록 해야 합니다. 회사가 gen AI 준수를 유지하도록 돕는 보호 장치는 이러한 도구 사용으로 인한 법적 처벌 및 책임의 위험을 완화할 수 있습니다.
• 신뢰. 고객과 더 광범위한 대중과의 신뢰를 유지하는 것은 조직에 가장 중요합니다. 가드레일은 AI에서 생성된 출력에 대한 지속적인 모니터링과 검토를 가능하게 하여 회사 외부에서 잘못된 콘텐츠가 공개될 위험을 줄일 수 있습니다.

AI 가드레일의 주요 유형은 무엇입니까?

가드레일은 목적과 다루는 위험 유형에 따라 그룹화됩니다. (가드레일을 만드는 방법론에 대한 자세한 내용은 사이드바 "HyPe란 무엇인가?"를 참조하세요.) McKinsey는 특정 위험에 따라 가드레일 분류법을 개발했습니다.

• 적절성 가드레일은 AI가 생성한 콘텐츠가 유해하거나, 편향적이거나, 고정관념에 기반을 두고 있는지 확인하고 그러한 부적절한 콘텐츠가 고객에게 도달하기 전에 걸러냅니다.
• 환각 보호 장치는 AI가 생성한 콘텐츠에 사실이 아니거나 오해의 소지가 있는 정보가 포함되지 않도록 보장합니다.
• 규정 준수 가드레일은 생성된 콘텐츠가 규제 요구 사항을 충족하는지 검증하는데, 해당 요구 사항이 업계나 사용 사례에 대한 일반적 요구 사항이든 구체적이든 상관없습니다.
• 정렬 가드레일은 생성된 콘텐츠가 사용자 기대치와 일치하고 주요 목적에서 벗어나지 않도록 보장합니다. 이러한 가드레일은 예를 들어 브랜드 일관성을 유지하는 데 도움이 될 수 있습니다.
• 검증 가드레일은 생성된 콘텐츠가 특정 기준을 충족하는지 확인합니다. 즉, 콘텐츠에 특정 정보가 포함되어 있거나 포함되어 있지 않은지 확인합니다. 생성된 콘텐츠가 검증 가드레일에 의해 플래그가 지정되면 해당 콘텐츠를 수정 루프로 보내 오류를 수정할 수 있습니다. 검증은 가드레일이 수행하는 일련의 작업 중 마지막이어야 합니다. 그 후, 인간 검증자는 인간의 추론이 필요한 플래그가 지정되거나 모호한 사례를 검토해야 합니다.

공유하다

사이드바

HyPe란 무엇인가?

다양한 오픈소스 라이브러리가 개발되어 조직이 AI 시스템에 가드레일을 쉽게 추가할 수 있습니다. 머신 러닝 플랫폼인 Hugging Face는 민감한 데이터의 유출을 방지하기 위해 LLM 및 개인 정보 보호 가드레일을 스트레스 테스트하는 Chatbot Guardrails Arena를 출시했습니다. Nvidia는 LLM 기반 애플리케이션에 프로그래밍 가능한 가드레일을 추가하기 위한 오픈소스 도구 키트인 NeMo Guardrails를 구축했습니다. Guardrails AI는 유사한 오픈소스 패키지입니다. LLM으로 구동되는 애플리케이션을 개발하기 위한 프레임워크인 LangChain도 조직이 가드레일을 작업 시퀀스에 빠르게 연결할 수 있도록 돕는 가드레일 라이브러리를 제공합니다. 또한 OpenAI의 Moderation과 같은 독점 도구가 있어 AI 모델에서 생성된 텍스트를 분석하여 사전 정의된 범주에 따라 유해하거나 부적절하거나 안전하지 않은 콘텐츠를 감지하고 필터링합니다. Microsoft는 AI 서비스 제품군인 Azure를 위해 챗봇에서 생성된 콘텐츠를 모니터링하기 위한 유사한 가드레일을 개발했습니다.

가드레일은 어떻게 작동하나요?

가드레일은 규칙 기반 시스템에서 LLM에 이르기까지 다양한 기술을 사용하여 구축됩니다. 그러나 궁극적으로 대부분의 가드레일은 완전히 결정적입니다. 즉, 시스템은 항상 무작위성이나 가변성 없이 동일한 입력에 대해 동일한 출력을 생성합니다. 일반적으로 가드레일은 분류, 의미 검증, 개인 식별 정보 누출 감지 및 유해 콘텐츠 식별과 같은 다양한 작업을 수행하여 AI 시스템의 출력을 모니터링합니다. 이러한 작업을 수행하기 위해 AI 가드레일은 각각 중요한 역할을 하는 네 가지 상호 연관된 구성 요소로 구성됩니다.

• 체커. 체커는 AI가 생성한 콘텐츠를 스캔하여 오류를 감지하고 공격적인 언어나 편향된 응답과 같은 문제를 표시합니다. 첫 번째 방어선 역할을 하여 해를 끼치거나 윤리적 지침을 위반하기 전에 잠재적인 문제를 식별합니다.
• 교정자. 검사자가 문제를 식별하면 교정자는 필요에 따라 AI의 출력을 정제, 교정 및/또는 개선합니다. 부정확한 내용을 교정하고, 부적절한 내용을 제거하고, 응답이 정확하고 의도한 메시지와 일치하는지 확인할 수 있습니다. 교정자는 반복적으로 작업하여 필요한 표준을 충족할 때까지 내용을 정제합니다.
• 레일. 레일은 검사자와 교정자 간의 상호 작용을 관리합니다. 콘텐츠에 대한 검사를 실행하고 콘텐츠가 표준을 충족하지 못하면 교정자가 조정하도록 트리거합니다. 이 프로세스는 콘텐츠가 모든 검사를 통과하거나 사전 정의된 교정 한도에 도달할 때까지 반복됩니다. 레일은 또한 검사자와 교정자의 프로세스를 기록하여 추가 분석을 위한 데이터를 제공합니다.
• 가드. 가드는 나머지 세 가지 구성 요소와 상호 작용하여 레일과 함께 체커와 교정기를 시작하고, 레일을 조정하고 관리하고, 레일에서 결과를 집계하고, 교정된 메시지를 전달합니다.

McKinsey Explainers 시리즈 전체를 살펴보세요

조직에서는 가드레일을 설계할 때 기존 기술 스택과 쉽게 통합할 수 있고 다양한 사용 사례의 요구 사항을 충족하도록 사용자 정의할 수 있는지 확인해야 합니다.

AI 에이전트는 또한 가드레일로 기능할 수 있는 도구로 부상하고 있습니다. 조직은 AI 에이전트를 사용하여 가드레일에 의해 플래그가 지정된 LLM에서 생성된 콘텐츠를 자동으로 확인하고 수정할 수 있습니다. 초기 AI 에이전트 모델은 다른 AI 가드레일이 할 수 있듯이 AI에서 생성된 출력을 자율적으로 모니터링, 조정 및 조절할 수 있습니다.

AI 가드레일은 어떻게 가치를 창출할 수 있는가?

AI 가드레일은 규정 준수 또는 윤리적 요구 사항을 충족하기 위한 도구일 뿐만 아니라 경쟁 우위를 창출하는 데 도움이 될 수도 있습니다. 우선, 가드레일은 조직이 고객과 신뢰를 구축하고 비용이 많이 드는 법적 문제를 피하는 데 도움이 될 수 있습니다. 또한 조직이 AI를 보다 책임감 있게 사용하고, 이를 통해 최고의 인재를 유치하고 유지하는 데 도움이 될 수 있습니다.

가치 창출의 잠재력을 극대화하기 위해 조직은 AI 가드레일을 엔터프라이즈 플랫폼에 내장하여 확장할 수 있습니다. McKinsey의 Iguazio  는 프로덕션 환경에서 AI 가드레일을 제공하여 대규모 AI 거버넌스를 보장하고 데이터 개인 정보 침해, 편견, 환각 및 지적 재산권 침해의 위험을 줄이는 데 도움이 됩니다.

금융 서비스 회사 ING는 조직이 AI 가드레일을 사용하여 어떻게 가치를 창출할 수 있는지에 대한 사례를 보여줍니다. ING는 정확하고 안전한 고객 상호작용을 보장하기 위해 가드레일이 있는 AI 챗봇을 개발했습니다  . 가드레일은 고객에게 민감한 정보와 잠재적으로 위험한 조언을 걸러내고 규정 준수를 보장하기 위해 적용되었습니다. 이는 고객 지원 도구였기 때문에 처음부터 가드레일이 있는 AI 챗봇을 설계하여 ING 고객에게 안전한 출력을 제공하는 동시에 규제 표준을 준수하는 것이 중요했습니다.

조직은 어떻게 대규모로 AI 가드레일을 구축할 수 있나요?

회사가 취할 수 있는 초기의 주요 단계는 다음과 같습니다.

• 다학제 팀과 함께 가드레일을 설계합니다. 법률 팀을 포함한 다양한 이해 관계자와 협력하여 AI에서 발생할 수 있는 실제 위험과 영향에 따라 가드레일을 구축합니다.
• 콘텐츠 품질 지표를 정의합니다. 이러한 지표는 원하는 콘텐츠 출력에 맞게 조정되어야 하며 특정 비즈니스 목표, 표준 및 규정을 기반으로 해야 합니다. 여기에는 공격성, 편향 및 브랜드 가이드라인과의 일치와 같은 요소가 포함될 수 있습니다.
• 모듈식 접근 방식을 취하십시오. 다양한 세대 AI 사용 사례에 맞게 재구성할 수 있고 회사의 기존 시스템에 쉽게 임베드할 수 있고 확장할 수 있는 가드레일 구성 요소를 구축하십시오.
• 동적 접근 방식을 채택합니다. Gen AI 도구는 사용자가 생성한 입력에 따라 동적으로 출력을 조정하는 확률적 시스템입니다. 즉, 동일한 입력이 항상 정확히 동일한 출력을 가져오지 않을 수 있으며, 이는 때때로 문제가 될 수 있습니다. 조직은 다양한 변수에 따라 변경될 수 있는 모델 출력에 대한 동적 기준선을 갖춘 규칙 기반 가드레일을 구축해야 합니다.
• 기존 규제 프레임워크를 따릅니다. 기존 및 새로운 규제, 법률 및 규정 준수 프레임워크와 업계 모범 사례를 사용하여 가드레일이 달성해야 할 "목표"를 만듭니다. 이러한 모든 것은 회사가 모델의 성과를 측정할 수 있는 지표로 사용할 수 있습니다.
• 새로운 역량과 역할을 개발합니다. 모델의 결과와 AI 투명성, 거버넌스, 공정성을 보장하는 새로운 세대의 실무자를 업스킬합니다. 예를 들어, 문서화, 책임, 규정 준수 프로세스를 조직의 AI 기반 도구 작업 방식에 포함시킵니다.

---

AI의 급속한 부상은 기술과 관련된 모든 계층의 기업에 대한 규정 준수 상황을 복잡하게 만들었습니다. 가드레일은 기업이 관련 위험을 미리 파악하고 Gen-AI 관련 혁신과 변화를 위한 안전한 공간을 만드는 데 도움이 될 수 있습니다. 예를 들어, 조직은 AI 가드레일을 제품 개발에 적용할 수 있으며, 여기서는 능동적 안전 테스트가 중요한 단계입니다. 일반적으로 제품 리더나 엔지니어가 소유하는 제품 개발 프로세스는 윤리학자와 규정 준수, 위험 및 운영 리더의 관점을 통합하기 위해 보다 다학제적이어야 합니다. 이러한 모든 단계와 변화가 회사의 속도를 늦출 수 있는 것처럼 보일 수 있지만, 실제로는 조직이 AI 관련 위기를 더 잘 관리하고, 바라건대 이를 완전히 피할 수 있도록 설계되었습니다. 앞으로 새로운 유형의 AI 시스템뿐만 아니라 이러한 시스템을 개발하고 운영하는 방법에 대한 새로운 표준도 기대할 수 있습니다.

참조된 기사:

• “ 2024년 초 AI의 상태: Gen AI 도입이 급증하고 가치 창출 시작 ”, 2024년 5월 30일, Alex Singla , Alexander Sukharevsky , Lareina Yee , Michael Chui , Bryce Hall 과 함께
• “ 속도와 안전성을 갖춘 생성 AI 구현 ”, McKinsey Quarterly, 2024년 3월 13일, Oliver Bevan, Michael Chui , Ida Kristensen , Brittany Presten, Lareina Yee

AI 가드레일에 대해 자세히 알고 싶으신가요?

우리와 이야기하세요