Lecture 2 카운터팩추얼 씽킹과 카운터팩추얼 설명

[김양석]

1. 서론

오늘 강의에서는 머신 러닝의 발전이 왜 설명가능한 AI (Explainable AI; XAI)를 필요로 하게 됐는지 살펴보고, 카운터팩추얼 씽킹(counterfactual thinking)이 어떤 것인지 알아볼 것이다. 다음으로 카운터팩추얼 씽킹이 XAI의 일종인 카운터팩추얼 설명(Counterfactual Explanation)으로 연결되는지 알아보도록 할 것이다.

2. 설명가능한 AI

최근 인공지능(AI)의 발전으로 기계 학습 시스템이 상당한 수의 작업에서 초인적인 성능을 입증하면서 많은 산업에서 채택이 이루어졌다. 그러나 이러한 성능 급상승은 모델 복잡성(model complexity)의 증가를 통해 달성되어 그러한 시스템을 "블랙박스(black box)" 접근법으로 바꾸고, 작동 방식과 궁극적으로 의사결정에 도달하는 방식에 대한 불확실성(uncertainty )을 야기한다.

이러한 모호성으로 인해 기계 학습 시스템이 헬스케어와 같이 가치가 클 수 있는 민감하지만 중요한 영역에 채택되는 것이 문제가 되었다. 이에 따라 머신 러닝 모델을 설명하고 해석하는 새로운 방법의 개발에 관심을 갖는 분야인 설명 가능한 인공지능(XAI) 분야에 대한 과학적 관심이 최근 몇 년간 엄청나게 재점화 됐다.

Google Trends Popularity Index (Max value is 100) of the term “Explainable AI” over the last ten years (2011–2020).

설명 가능한 AI 는 아래 그림에서 보는 것처럼 몇 가지 기준에 의해 유형을 나누어 볼 수 있다. 먼저 고려하고 있는 사례에 대한 설명을 제공하는지 또는 전체 모델에 대한 설명을 제공하는지에 따라 로컬 설명(Local Explanation)과 글로벌 설명(Global Explanation)으로 구분할 수 있다. 설명가능한 AI는 어떤 데이터를 대상으로 하는지에 따라 테이블 형태, 텍스트, 이미지, 그래프 등으로 구분할 수 있다. 설명의 목적에 따라서 XAI는 화이트 박스(white box), 즉 해석 가능한 모델을 생성하는 방법, 블랙 박스/복잡한 모델을 설명하는 방법, 모델의 공정성을 개선하는 방법, 예측의 민감도를 테스트하는 방법 등으로 구분할 수 있다. 마지막으로 XAI는 특정한 모델을 위한 모델 특정 방법(Model Specific Methods)과 모델 무관 방법 (Model Agnostic Methods) 등으로 구분할 수 있다.

설명가능한 AI의 구분

XAI와 관련해서는 아래의 논문을 참조하도록 하자.

[1] Linardatos, P.,  Papastefanopoulos, V., & Kotsiantis, S. (2020). Explainable ai: A review of machine learning interpretability methods. Entropy, 23(1), 18.

[2] Vilone, G., & Longo, L. (2020). Explainable artificial intelligence: a systematic review. arXiv preprint arXiv:2006.00093.

[3] Confalonieri, R.,  Coba, L., Wagner, B., & Besold, T. R. (2021). A historical perspective of explainable Artificial Intelligence. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(1), e1391.

[4] Angelov, P. P.,  Soares, E. A., Jiang, R., Arnold, N. I., & Atkinson, P. M. (2021). Explainable artificial intelligence: an analytical review. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(5), e1424.

3. 설명가능한 AI

카운터팩추얼 씽킹은 심리학에서 이미 일어난 삶의 사건에 대한 가능한 대안을 만드는 인간의 경향을 수반하는 개념이다. 반사실적 사고는 말 그대로 "사실에 반한다(counter to the facts)"란 의미다. 이 생각들은 "만약에?"와 "내가 만약...." 상황이 어떻게 달라질 수 있었을까 생각할 때 일어나는 일이다.  카운터팩추얼 씽킹은 과거에 일어났던 사건들과만 관련이 있기 때문에 현재에는 결코 현실에서 일어날 수 없는 것들을 포함한다.

역사적 맥락

카운터팩추얼 씽킹은  철학, 심리학, 사회과학 같은 다른 분야에서도 오랜 역사를 가지고 있다. 카운터팩추얼 씽킹의 기원은 철학적 뿌리를 두고 있으며, 가정적 가정과 존재하지 않지만 실현 가능한 결과의 인식론적 지위를 숙고한 아리스토텔레스와 플라톤과 같은 초기 철학자로 거슬러 올라갈 수 있다. 

17세기에 독일 철학자 라이프니츠는 논리 법칙과 충돌하지 않는 한 무한한 수의 대체 세계가 존재할 수 있다고 주장했다. 최근에는 심리학적 관점에서 카운터팩추얼 씽킹이 관심을 끌고 있다. 인지과학자들은 반사효과 생성의 기초가 되는 정신적 표현과 인지 과정을 연구해왔다. 대니얼 카너먼과 아모스 트베르스키(1982)는 사람들이 평범한 사건보다 예외적인 사건에 대해서만 더 자주 생각하는 경향이 있다는 것을 보여주며 카운터팩추얼 씽킹의 연구를 개척했다.

그 이후로 사건이 행동인지 무행동인지, 통제 가능한지, 사건의 시간적 순서에서의 위치 또는 다른 사건과의 인과 관계와 같은 많은 관련 경향이 조사되었다. 사회 심리학자들은 인지 기능과 카운터팩추얼에 대해 더 큰 사회적 맥락에서 연구해 왔다.

Good or Bad?

카운터팩추얼 씽킹에 대한 초기 연구는 이러한 종류의 생각이 대처 능력의 부족, 심리적 오류 또는 편견을 나타내며, 일반적으로 선천적으로 기능하지 않는다는 관점을 취하였다. 연구가 발전함에 따라, 1990년대에 시작된 새로운 통찰의 물결은 카운터팩추얼 씽킹이 대체로 유익한 행동 조절자로 작용한다고 믿으면서 기능적 관점을 취하기 시작했다. 비록 부정적인 영향과 편견이 발생하지만, 전체적인 이점은 인간의 행동에 긍정적이다.

4. 컴퓨팅에서 카운터팩추얼 설명

사례

앨리스가 은행에 들어가서 주택담보대출을 구한다고 가정해보자. 이 결정은 {소득, 신용평점, 교육, 연령}의 앨리스의 특징 벡터를 고려하는 기계 학습 분류기의 영향을 많이 받는다. 불행히도 앨리스는 대출을 거절당했고 (1) 왜 대출이 거절당했는지 궁금해한다. (2) 향후 대출이 승인될 수 있도록 그녀가 달리 할 수 있는 것은 무엇인가?

전자의 질문은 "신용점수가 너무 낮았다"와 같은 설명으로 대답할 수 있으며, 대다수의 전통적인 설명 방법과 유사하다. 후자의 질문은 카운터팩추얼 설명의 기초를 형성한다: 모델의 결정 경계의 반대편에 도달하기 위해 앨리스의 특징 벡터에 어떤 작은 변화가 가해질 수 있는가를 제안한다.

은행이 앨리스에게 다음 번에 승인 받기 위해 변경할 수 있는 것에 대한 이 조언을 정확히 제공한다고 가정해 보자. 시스템에서 추천하는 가능한 카운터팩추얼적인 방법은 그녀의 수입을 $10,000 증가시키거나 새로운 석사 학위 또는 두 가지 모두를 취득하는 것일 수 있다. 전자의 질문에 대한 답은 앨리스에게 어떤 행동을 취해야 하는지 알려주지 않는 반면, 카운터팩추얼 설명은 앨리스에게 명시적으로 도움이 된다.

카운터팩추얼 설명 예시

가정

카운터팩추얼 설명의 가정은 신청자가 미래에 적용할 때 기본 모델이 변경되지 않을 것이라는 것이다. 가정이 유지되는 경우, 반사 현실은 미래에 원하는 결과를 보장한다.

카운터팩추어 설명의 특성

카운터팩추얼 설명은 그냥 무작위로 생성할 수 없다. 일정한 조건에 맞게 생성되어야 한다. 여기에서는 이전에 연구에서 제시되었던 몇 가지의 기준에 대해서 알아보도록 하자. 

• 유효성(Validity): 유효성은 효과적인 카운퍼팩추얼 설명은 시작점에 대한 작은 변화여야 합니다. 너무 큰 변화는 받아들여지지 않을 것이다.
• 실행 가능성(Actionability): 권고안을 만들 때 고려해야 할 중요한 사항은 어떤 특징(예: 소득, 연령)이 변동 가능하고 어떤 특징(예: 인종, 출신 국가)은 변동되지 않는지에 대한 것이다.  변동 불가능한 속성은 제안하지 말아야 한다.
• 희소성(Sparsity): 변화된 특징의 수와 반사현실을 얻기 위해 이루어진 총 변화량 사이에는 절충이 있을 수 있다. 이상적으로는 카운터팩트가 가장 효과적이려면 더 적은 수의 특성(feature)을 변경해야 한다. 너무 많는 속성의 값을 변경하는 것은 좋은 제안은 아니다.
• 데이터 중첩성 근접도(Data Manifold Closeness): 생성된 카운터팩트는 훈련 데이터와 가깝고 특징 사이의 관찰된 상관관계를 준수한다는 점에서 현실적이어야 한다. 
• 인과관계(Causality): 데이터 세트의 속성은 거의 독립적이지 않으므로 실제 세계에서 하나의 특징을 변경하면 다른 특징(예: 새로운 학위와 나이)에 영향을 미친다. 현실적이고 실행 가능하기 위해, 카운트 팩트는 특징들 사이에 알려진 인과 관계를 유지해야 한다.
• 상각추론 (Amortized Inference): 카운트팩트 예측을 학습하면 알고리즘이 최적화 문제를 해결할 필요 없이 새로운 입력 ,에 대한 카운타팩트(또는 여러 개)를 빠르게 계산할 수 있어야 한다는 조건이다. 계산하기 위해 시간이 많이 걸린다면 좋은 방법은 아닐 것이다. 
• 대체 방법(Alternative methods): 선형 프로그래밍, 혼합 정수 프로그래밍 또는 만족도-모듈로-이론(SMT) 솔버를 사용하여 반사실적 생성 문제를 해결하십시오. 가능하면 다양한 방법으로 카운터팩트를 생성하는 것이 바람직한 것이다.

참고문헌

[1] Verma, S., Dickerson, J., & Hines, K. (2020). Counterfactual explanations for machine learning: A review. arXiv preprint arXiv:2010.10596.

[2] Wachter, S., Mittelstadt, B., & Russell, C. (2017). Counterfactual explanations without opening the black box: Automated decisions and the GDPR. Harv. JL & Tech., 31, 841.

5. 결론

이번 강의에서는 카운터팩추얼 설명의 기반이 되는 다양한 개념들에 대해서 알아보았다. 카운퍼팩추얼 설명은 XAI 기법의 일종으로 카운터팩추얼 씽킹에 기반을 둔 방법론이다. 이번 장에서는 또한 카운터팩추얼 설명이 가져야 하는 특징에 대해서도 살펴보았다. 다음 장에서는 이제 카운터팩추얼 설명을 지원하는 DiCE알고리즘에 대해서 설명하고, 실제 프로그램 예제를 통해 활용 방법을 살펴볼 것이다.

참고문헌

[1] Linardatos, P.,  Papastefanopoulos, V., & Kotsiantis, S. (2020). Explainable ai: A review of machine learning interpretability methods. Entropy, 23(1), 18.

[2] Vilone, G., & Longo, L. (2020). Explainable artificial intelligence: a systematic review. arXiv preprint arXiv:2006.00093.

[3] Confalonieri, R.,  Coba, L., Wagner, B., & Besold, T. R. (2021). A historical perspective of explainable Artificial Intelligence. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(1), e1391.

[4] Angelov, P. P.,  Soares, E. A., Jiang, R., Arnold, N. I., & Atkinson, P. M. (2021). Explainable artificial intelligence: an analytical review. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(5), e1424.

[5] Verma, S., Dickerson, J., & Hines, K. (2021). Counterfactual Explanations for Machine Learning: Challenges Revisited. arXiv preprint arXiv:2106.07756. https://arxiv.org/pdf/2106.07756.pdf

[6] Verma, S., Dickerson, J., & Hines, K. (2020). Counterfactual explanations for machine learning: A review. arXiv preprint arXiv:2010.10596. https://arxiv.org/abs/2010.10596

[7] Susanne Dandl & Christoph Molnar. 9.3 Counterfactual Explanations. in Interpretable Machine Learning https://christophm.github.io/interpretable-ml-book/counterfactual.html

[8] Wachter, S., Mittelstadt, B., & Russell, C. (2017). Counterfactual explanations without opening the black box: Automated decisions and the GDPR. Harv. JL & Tech., 31, 841.

웹사이트

Counterfactual Explanation (Paper with Code)

https://paperswithcode.com/task/counterfactual-explanation

Counterfactual Explanations in Explainable AI: A Tutorial

https://dl.acm.org/doi/10.1145/3447548.3470797?sid=SCITRUS