AI의 모든 잠재적 가치를 포착하려면 조직에서 신뢰를 구축해야 합니다. 사실 신뢰는 AI 기반 제품과 서비스를 도입하는 기반입니다. 결국 고객이나 직원이 AI 시스템의 출력에 대한 신뢰가 부족하면 사용하지 않을 것입니다. AI에 대한 신뢰는 AI 기반 소프트웨어의 출력과 적어도 높은 수준에서 이러한 출력이 어떻게 생성되는지 이해함으로써 제공됩니다. 조직에서는 이를 점점 더 인식하고 있습니다. 2024년 AI 상태에 대한 McKinsey 설문 조사 에서 응답자의 40%가 설명 가능성을 Gen AI 도입의 주요 위험으로 식별했습니다. 그러나 동시에 현재 이를 완화하기 위해 노력하고 있다고 답한 사람은 17%에 불과했습니다.2
이 난제로 인해 향상된 AI 설명성(XAI)에 대한 필요성이 제기되었습니다. 이는 조직이 해당 시스템의 내부 작동 방식을 이해하고 출력의 객관성과 정확성을 모니터링하도록 설계된 AI 시스템을 구축하는 새로운 접근 방식입니다. 소위 블랙박스 AI 알고리즘의 복잡성에 대한 조명을 비추어줌으로써 XAI는 AI 도구를 사용하는 사람들 사이에서 신뢰와 참여를 높일 수 있습니다. 이는 AI 이니셔티브가 초기 사용 사례 배포에서 확장된 전사적 채택으로 어려운 여정을 거치는 데 필수적인 단계입니다.
이 기능에 투자하는 이유: XAI에서 ROI 얻기
불확실한 환경에 대한 모든 투자와 마찬가지로 AI 설명 가능성을 향상시키려는 조직은 잠재적인 상승세와 관련 위험에 대한 완벽한 정보가 없는 상황에서 어떻게 그리고 언제 행동할지 결정하기 위해 혜택과 비용을 고려해야 합니다. 오늘날의 AI 환경은 불확실성으로 가득 차 있으며, 이러한 맥락에서 Anthropic과 같은 선도적인 AI 연구소는 XAI에 대한 투자가 기반 모델 빌더가 붐비는 분야에서 차별화를 위한 경로로 성과를 거둘 것이라고 내기를 하고 있습니다(사이드바 "XAI의 진화와 오늘날의 과제" 참조). 한편, 기업은 이해 관계자와 규제 기관의 기대에 부응하고자 노력하고 있습니다.
공유하다
사이드바
XAI의 진화와 오늘날의 과제
확실한 것은 XAI에 대한 수요가 증가하고 있다는 것입니다. 글로벌 AI 규정이 형성되기 시작하면서 설명 가능성과 해석에 대한 필요성이 증가하고 있으며, 더 많은 조직이 채택할 설명 가능성 수준과 모델에 대한 정보 공개량을 결정하는 방법에 대한 지침을 모색하고 있습니다. 예를 들어 EU AI법은 위험 기반 프레임워크에 따라 분류된 다양한 AI 사용 사례에 대한 특정 투명성 요구 사항을 부과합니다. 예를 들어, 채용에 사용되는 시스템, 이력서 순위 소프트웨어와 같은 고위험 AI 시스템의 경우 조직은 시스템의 기능, 제한 사항, 데이터 계보 및 의사 결정의 논리에 대한 정보를 제공해야 합니다.
자동차를 운전한다고 상상해 보세요. 차량에 표준에 비해 어디에 있는지 나타내는 속도계가 없다면 시속 45마일의 속도 제한을 설정하는 것은 쓸모가 없습니다. 마찬가지로, 조직은 AI 규정에 대응하기 위해 AI 모델이 어떻게 구축되고 출시 전에 어떻게 테스트할 수 있는지에 대한 가시성을 제공하는 방법이 필요합니다. 조직은 또한 규정과 자체 가치 및 표준을 준수하는지 확인하기 위해 AI 모델에 대한 충분한 통찰력을 제공하는 관찰 솔루션이 필요합니다. 이는 다음과 같은 중요한 질문을 제기합니다. 조직은 이 수준의 투명성을 제공할 준비가 되어 있습니까? 필요한 역량과 기술을 갖추고 있습니까? 플랫폼과 혁신가가 신뢰할 수 있는 측정 방법을 만들었습니까?
XAI는 AI 모델이 특정 예측을 하거나 특정 콘텐츠를 생성하는 이유를 인간이 이해하도록 돕기 위해 설계된 도구와 관행의 집합으로 생각하는 것이 가장 좋습니다. 궁극적인 목표는 이러한 출력이 편향, 부정확성 또는 환각에 오염되지 않은 고품질인지 확인하는 것입니다. 이를 위해서는 도구, 사람 및 프로세스에 대한 여러 가지 종류의 투자가 필요합니다. 설명 가능한 AI 및 머신 러닝 솔루션을 구축 하려면 모델이 훈련되고 테스트되거나 사전 훈련된 모델이 미세 조정되는 처음부터 소프트웨어 제공 수명 주기(SDLC)에 새로운 기술을 배포해야 하며, 코드가 프로덕션으로 이동하고 지속적인 모니터링 및 관찰이 필요한 시점까지 완료해야 합니다. XAI 기술에 대한 전문 지식은 채용 및/또는 교육을 통해 구축해야 하며, 전문가는 새로운 AI 기반 오퍼링의 개념화부터 SDLC에 통합되어야 합니다. 이러한 전문가는 XAI 우수성 센터(COE)를 구성하여 팀 전반에 전문 지식과 교육을 제공하고, 소프트웨어 개발 수명 주기를 재편하고 도구와 교육에 대한 조정된 전사적 투자를 보장할 수 있습니다. COE는 설명 가능성을 향상시키는 데 필수적인 추가 교육, 교육 후 교육 및 프로덕션 모니터링을 제공하기 위해 추가적인 컴퓨팅 성능과 클라우드 소비에 대한 요구도 해결할 수 있습니다.
종종 초기 단계에 있는 기술에 대한 이러한 투자에 대한 수익을 어떻게 보장할 수 있을까요? XAI는 아직 학계와 R&D 연구실에서 연구 중심의 노력에서 실제 응용 분야로 나아가고 있지만, 그 혜택은 일반적으로 생각하는 것보다 훨씬 더 구체적입니다. XAI가 긍정적인 ROI를 이끌어내는 수익을 제공할 수 있는 5가지 영역을 살펴보겠습니다.
운영 위험 완화. XAI는 AI 모델이 데이터를 처리하고 결과를 생성하는 방식을 밝혀내어 편향이나 부정확성과 같은 잠재적 문제를 조기에 식별하고 완화하여 운영 실패 및 평판 손상 위험을 줄입니다. 예를 들어, 많은 금융 서비스 회사는 사기 탐지에 AI를 사용하지만 종종 AI 시스템이 작동하는 방식을 제어하거나 이해하는 데 어려움을 겪습니다. 사기에 대한 거짓 양성 반응이 회사와 고객 모두에게 얼마나 큰 피해를 줄 수 있는지 고려할 때 잠재적인 문제입니다. 설명 가능성은 조직이 모델이 특정 거래를 플래그하는 이유를 더 잘 이해하여 시스템을 미세 조정하거나 더 많은 인적 감독을 도입할 수 있습니다.
규정 준수 및 안전. XAI는 AI 시스템이 산업, 윤리 및 규제 프레임워크 내에서 작동하여 비준수 페널티 위험을 최소화하고 브랜드 무결성을 보호하도록 보장합니다. 예를 들어 인사부에서 많은 채용 담당자는 AI 도구를 사용하여 후보자를 선별하고 선발합니다. 설명 가능성은 채용 결정이 공정하고 관련 기준에 따라 이루어지도록 보장하여 편견과 차별을 피합니다.
지속적인 개선. XAI는 시스템 작동 방식에 대한 통찰력을 제공하고, 개발자가 AI 시스템을 사용자 및 비즈니스 기대치에 맞게 유지할 수 있도록 돕는 타겟팅된 디버깅 및 반복적인 개선을 촉진하여 AI 시스템의 지속적인 개선을 지원합니다. 예를 들어 많은 온라인 리테일러는 설명 가능성을 사용하여 추천 엔진을 개선하여 추천을 고객 선호도와 더 잘 일치시킵니다.
AI에 대한 이해 관계자의 신뢰. XAI는 AI 시스템을 이해하기 쉽게 만들려고 시도함으로써 모델의 기술적 기능에서 해당 모델의 사용자에게 초점을 옮겨 AI 출력이 생성되는 방식에 대한 이해를 높여 사용자에게 권한을 부여하는 인간 중심적 접근 방식을 촉진합니다. 예를 들어, 의료 분야에서는 AI 시스템이 잠재적 질병을 식별하는 데 점점 더 많이 사용되고 있습니다. XAI는 의사가 이러한 모델이 작동하는 방식을 더 잘 이해하도록 돕고 신뢰와 채택을 촉진할 수 있습니다.
사용자 채택. XAI는 조직이 모델의 출력과 사용자의 기대 사이의 일치를 모니터링하는 데 도움이 됩니다. 더 큰 일치는 혁신과 변화 관리를 통해 채택, 만족도, 궁극적으로 최고 수준의 성장을 증가시킵니다.
XAI는 사후에 생각해 낼 수 있는 것이 아니며 사후에 생각해 낼 수도 없습니다. 오히려 설명 가능성을 AI 시스템의 설계, 개발 및 거버넌스에 통합함으로써 조직은 채택을 촉진하고, AI 모델 성능을 개선하고, 사용자의 신뢰를 높여 실질적인 가치를 창출할 수 있습니다. XAI는 단순한 규정 준수 문제나 요구 사항이 아닙니다. 채택, 신뢰, 궁극적으로 비즈니스 성공을 위한 전략적 지원 요소이며, 조직 전체에서 AI 기술의 가치를 극대화하는 데 중요한 도구입니다.
XAI는 AI에 대한 인간 중심적 접근 방식을 위한 촉매입니다.
조직이 XAI에서 수익을 얻기 위해 투자를 고려할 때, 먼저 관련된 다양한 구성원의 다양한 요구 사항을 이해하고 설명 가능성 노력을 해당 요구 사항에 맞춰야 합니다. 다양한 이해 관계자, 상황 및 결과에는 다양한 유형의 설명과 형식이 필요합니다. 예를 들어, AI 기반 대출 승인 시스템에 필요한 설명 가능성 수준은 자율 주행차가 교차로에서 정지하는 방식을 이해하는 데 필요한 수준과 다릅니다. 암 진단과 같은 고위험 시나리오는 신속하게 정확한 설명을 요구할 수 있지만, 레스토랑 추천에 대한 근거는 덜 시급하게 처리할 수 있습니다. 어떤 상황이든 필요한 XAI 기술에 필요한 설명 유형은 인간 중심적 접근 방식 으로 도출해야 합니다. 즉, AI의 출력에 대한 설명을 추구하는 사람들의 요구 사항에 근거해야 합니다(사이드바 "AI 설명 가능성에 대한 인간 중심적 접근 방식" 참조).
공유하다
사이드바
AI 설명 가능성에 대한 인간 중심적 접근 방식
AI 설명 가능성을 틈을 가로지르는 다리로 생각하면 도움이 됩니다. 한 쪽에는 학계와 연구실에서 설명 가능성 기술을 연구하고 설계하는 엔지니어와 연구자가 있고, 다른 쪽에는 기술적 능력이 부족하지만 여전히 AI에 대한 이해가 필요한 최종 사용자가 있습니다. 두 극단을 연결하는 중간에는 AI에 정통한 인문학자가 있는데, 이들은 연구자와 엔지니어가 개발한 AI 설명을 다양한 이해 관계자와 사용자의 요구와 질문에 대응하기 위해 번역하려고 합니다. 이 새로운 인재는 모든 사람에게 효과적인 XAI를 설계하는 데 핵심이 될 것입니다.
이해 관계자의 요구 사항은 6가지 페르소나로 구분할 수 있으며, 각 페르소나는 서로 다른 기술과 설명의 혜택을 받습니다.
임원진은 고객과 직원에 대한 자신의 행동에 책임을 지기 위해 모델에 대한 충분한 이해와 정보가 필요합니다. 특히, 모델이 조직의 전략, 브랜드 정신, 가치에 맞게 행동하는지 확인하기 위해 필요합니다.
AI 거버넌스 리더는 법률, 위험, 정보 보안, 엔지니어링, 제품 등의 기능에서 선발된 교차 기능 그룹을 구성하여 정책, 표준 및 규정에 따라 AI 시스템을 형성하는 역할을 담당합니다.
영향을 받는 사용자는 AI 모델에서 얻은 결과에 대한 설명이 필요합니다.
비즈니스 사용자는 일상적인 의사 결정을 강화하고, 프로세스를 개선하고, 운영 효율성을 최적화하기 위한 통찰력이 필요합니다.
규제 기관/감사 기관은 규칙과 규정이 발전함에 따라 모델이 안전하고 규정을 준수하는지 확인하기 위해 모델에 대한 설명과 해석 가능성이 필요합니다.
개발자는 비결정적 시스템을 개선하고 디버깅하고, 훈련 후 개선 사항을 추가하고, AI 모델이 예상한 결과를 제공하는지 확인하기 위해 모델의 기능에 대한 설명이 필요합니다.
이러한 다양한 이해 관계자 외에도 다양한 맥락과 위험 시나리오가 제공되는 설명의 형식에 영향을 미칩니다. 설명은 데이터 시각화 또는 텍스트 보고서의 형태를 취할 수 있으며 기술적 세부 사항은 다양합니다. 특정 시점에 각 이해 관계자의 구체적인 요구 사항을 이해하는 것은 고유한 요구 사항을 충족하는 효과적이고 의미 있는 AI 설명을 제공하는 데 필수적입니다.
XAI는 어떻게 작동하며, 어떤 기술을 사용할 수 있나요?
이러한 다양한 요구를 충족하기 위해 XAI 커뮤니티는 AI 모델의 의사 결정 프로세스를 보다 투명하게 만드는 알고리즘을 포함하는 새로운 설명 가능성 기술을 계속 만들고 있습니다. 이는 이해 관계자의 의도와 목표에 따라 그룹화할 수 있습니다. 일반적으로 기술은 설명이 생성되는 시점(모델이 훈련되기 전 또는 후)과 설명의 범위(전역 또는 지역)의 두 가지 차원에 따라 분류할 수 있습니다.
XAI 기술의 첫 번째 거시적 범주는 "사후 방법"으로 구성되는데, 이는 모델을 훈련한 후에 분석하는 것을 포함하는 반면, 결정 트리와 같이 본질적으로 설명 가능한 모델을 지칭하는 "사전 방법"과 대조됩니다. 예를 들어, HR 부서가 조직을 떠날 가능성이 더 높은 직원을 예측하고자 할 때, 결정 트리는 직무 만족도, 재직 기간, 업무량과 같은 요인을 기반으로 특정 직원이 이직 위험으로 식별된 이유를 투명하게 보여줄 수 있습니다. 이 경우 사전 설명은 AI 모델과 그 기능에 내재되어 있습니다. 반면, 신경망을 사용하여 의료 환경에서 당뇨병이나 심장병과 같은 상태의 위험을 예측하는 AI 모델은 사후 또는 결과가 생성된 후에 설명을 제공해야 합니다. 대부분의 경우, SHAP 또는 LIME과 같은 기술을 적용하여 위험 점수에 가장 큰 영향을 미치는 요인(예: 나이, 라이프스타일 또는 유전)을 식별하고 위험 점수가 정확하고 편향되지 않았는지 여부를 판단하여 이를 수행합니다.
두 번째 차원은 글로벌 설명과 로컬 설명을 구분합니다. 글로벌 설명은 AI 모델이 모든 사례에서 결정을 내리는 방식을 이해하는 데 도움이 됩니다. 대출 신청을 평가하기 위해 AI 모델을 사용하는 은행을 상상해 보세요. 글로벌 설명 도구(예: 부울 규칙 열 생성)를 사용하면 은행은 소득, 부채, 신용 점수와 같은 요인이 모든 고객 세그먼트에서 대출 승인 결정에 일반적으로 영향을 미치는지 확인할 수 있습니다. 글로벌 뷰는 모델이 전체 고객 기반에서 따르는 패턴이나 규칙을 보여주므로 은행은 모델이 공정한 대출 규정에 부합하고 모든 고객을 공평하게 대우하는지 확인할 수 있습니다. 대출 신청 모델 위에 XAI 알고리즘을 배치하면 대출 담당자에게 풍부한 정보 기반과 통계적 통찰력을 제공하여 시스템의 결정을 주도하는 요인을 이해하여 고객과 규제 기관에 승인 패턴을 자신 있게 설명할 수 있습니다.
반면, 지역적 설명은 구체적인 결정에 초점을 맞춥니다. 의사가 AI를 사용하여 환자를 진단하는 의료 환경을 생각해 보세요. 지역적 설명 도구(예: SHAP)를 적용하면 의사는 모델이 특정 환자에 대해 특정 상태를 예측한 이유를 정확히 알 수 있습니다. 예를 들어 환자의 나이, 병력, 최근 검사 결과가 모델의 예측에 영향을 미쳤음을 보여줍니다. 이러한 수준의 세부 정보는 의사가 개별 사례에 대한 모델의 추론을 이해하는 데 도움이 되므로 권장 사항을 더 신뢰하고 보다 정보에 입각한 개인화된 치료를 제공할 수 있습니다.
이 두 가지 거시적 범주를 넘어, AI 설명 가능성 기술은 사용 사례와 맥락에 따라 다양한 페르소나의 요구 사항에 매핑될 수 있습니다. 예를 들어, 개발자가 시스템을 디버깅하여 정확도를 높이거나 편향 탐지를 강화하거나 제품 리더가 개인화 노력을 개선하도록 지원할 수 있습니다. AI 연구실에서 많은 학술 및 연구 작업이 진행 중이며, XAI에 대한 증가하는 수요를 충족하고 사용자 중심 설계와 효과적으로 결합할 때 이 글에서 앞서 설명한 여섯 페르소나의 요구 사항을 충족하기 위해 사용 가능한 기능 범위를 개선하고 향상시키고 있습니다.
XAI를 시작하는 방법
AI 모델에 대한 설명을 얻는 데 사용되는 적절한 기술은 다양한 맥락에서 설명이 필요한 페르소나에 따라 달라지므로, 조직에서는 AI 개발에 설명 가능 방법을 내장하기 위한 여러 단계를 고려해야 합니다.
적합한 XAI 팀 구성
조직은 데이터 과학자, AI 엔지니어, 도메인 전문가, 규정 준수 리더, 규제 전문가, 사용자 경험(UX) 디자이너로 구성된 진정한 교차 기능 팀을 만들어야 합니다. 이 다양한 그룹은 설명 가능성 노력이 기술적, 법적, 사용자 중심적 질문을 해결하도록 보장합니다. 데이터 과학자와 AI 엔지니어는 기술적 측면에 집중하는 반면, 도메인 전문가와 디자이너는 상황에 맞는 통찰력을 제공하고 설명의 내용과 형식을 형성합니다.
올바른 사고방식을 확립하세요
XAI 팀은 심사위원이 아닌 빌더로 구성되어야 합니다. 이 팀은 제품이나 서비스를 구축하는 데 올바른 통찰력을 제공하는 동시에 혁신을 가속화하는 데 집중해야 합니다. 이를 위해 팀은 나중에가 아니라 아이디어가 구축 가능한 개념으로 형성되는 동안 참여해야 합니다. 초기 참여는 AI에서 인간 중심의 엔지니어링 문화를 확립하는 데 도움이 되며 "엔지니어"와 "설명자" 간의 하류 갈등을 피하는 데 도움이 됩니다.
명확한 목표를 정의하세요
각 이해 관계자 페르소나에 대한 AI 설명 가능성에 대한 명확한 목표를 설정합니다. 무엇을, 누구에게, 왜 설명해야 하는지 결정합니다. 여기에는 주요 이해 관계자와 최종 사용자를 인터뷰하고 그들의 특정 요구 사항을 이해하는 것이 포함됩니다. 명확한 목표를 설정하면 올바른 기술과 도구를 선택하고 빌드 계획에 통합하는 데 도움이 됩니다.
행동 계획을 개발하다
AI 솔루션 설계부터 다양한 이해 관계자에게 설명을 전달하는 방법에 이르기까지 설명 가능성 관행을 내장하기 위한 전략을 수립합니다. 전자는 전체 AI 수명 주기에 걸쳐 설명 가능성 도구의 채택을 보장합니다. 후자는 형식(시각화, 텍스트 설명, 대화형 대시보드)과 기술적 세부 정보 수준(임원을 위한 요약과 개발자를 위한 자세한 기술 보고서)을 결정하는 것을 포함합니다. 설명이 명확하고 간결하며 청중의 이해에 맞게 조정되었는지 확인합니다.
측정 지표 및 벤치마크
AI 설명 가능성은 또한 산업 전체의 투명성과 사용자가 AI 시스템을 더 잘 이해할 수 있도록 도울 뿐만 아니라 규제 기대치와 일치하는 표준화된 벤치마크에 대한 강력한 추진을 요구합니다. 예를 들어, EU AI 법 준수를 측정하고 추적하는 Hugging Face의 벤치마킹 노력 과 모델 투명성을 평가하고 측정하는 데 중점을 둔 COMPL-AI 이니셔티브는 더 큰 책임을 향한 중요한 단계입니다. 이러한 프레임워크가 성숙해짐에 따라 신뢰를 육성하고 산업 전반에 걸쳐 책임 있는 AI 관행을 발전시키는 데 중요할 것입니다.
적절한 도구를 선택하거나 구축하세요
조직의 요구 사항과 기술 스택에 맞는 설명 도구를 채택하고 통합합니다. 널리 사용되는 도구에는 LIME, SHAP, IBM의 AI 설명 가능성 360 도구 키트, Google의 What-If 도구, Microsoft의 InterpretM과 같은 오픈 소스 알고리즘이 포함됩니다. XAI 핵심 팀이 이 분야의 급속한 혁신을 주시하도록 합니다.
모니터링 및 반복
설명 가능성 노력의 효과를 지속적으로 모니터링하고 이해 관계자로부터 피드백을 수집합니다. 이 피드백을 사용하여 설명 가능성 프로세스를 반복하고 개선합니다. 데이터와 비즈니스 환경의 변화를 반영하기 위해 모델과 설명을 정기적으로 업데이트합니다.
이 경로를 따르면 조직은 설명 가능성을 AI 개발 관행에 성공적으로 내장할 수 있습니다. 그러면 AI 설명 가능성은 투명성과 신뢰를 강화할 뿐만 아니라 AI 시스템이 윤리적 기준 및 규제 요구 사항에 맞춰져 있고 실제 결과와 가치를 창출하는 수준의 채택을 제공하도록 보장합니다.
기업이 AI 기반 의사 결정에 점점 더 의존함에 따라 투명성과 이해의 필요성이 조직의 모든 수준에서 가장 중요해졌습니다. 신뢰를 구축하지 못하는 기업은 고객과 직원을 위해 AI의 잠재력을 최대한 발휘할 기회를 놓치고 경쟁사보다 뒤처지게 됩니다.
궁극적으로 신뢰는 인공지능을 책임감 있게 도입하고 혁신적인 기술과 그 인간 사용자 간의 격차를 메우는 데 중요한 열쇠가 될 것입니다. 그러나 신뢰는 홀로 설 수 없습니다. 다리 역할을 하려면 강력한 기둥이 뒷받침되어야 합니다. AI 신뢰의 경우 설명 가능성, 거버넌스, 정보 보안, 인간 중심성이 기둥입니다. 이러한 기둥을 함께 사용하면 AI와 인간 사용자가 조화롭게 상호 작용하여 AI가 사람을 위해 작동하도록 할 수 있으며, 반대로 AI가 사람을 위해 작동하지 않도록 할 수 있습니다. 또한 AI 시스템이 인간의 자율성과 존엄성을 존중하면서도 사용자에게 실질적인 가치를 제공할 수 있는 기반을 제공할 수 있습니다.