Causal AI 혁명

[김양석]

이 글은 CausaLens가 제공하는 백서 중 "The Causal AI Revolution is Happening Now"를 기반으로 작성하였습니다.  이 글은 현재 Causal AI의 위치를 보여주는 좋은 글이라 생각합니다.

서론

글을 시작하며, 다음의 3가지 의미있는 언급을 보여준다.

"기계가 인과관계에 대한 이해가 부족한 것은 아마도 인간 수준의 지능을 갖게 하는 가장 큰 장애물일 것입니다."
유대 펄(Judea Pearl), 튜링상 수상자이자 AI 선구자

"기계 학습의 다음 단계 진행을 위해서는 인과성이 매우 중요합니다."
요슈아 벤지오(Yoshua Bengio), 튜링상 수상자이자 "심층학습의 대부" 

"Causal AI는 AI가 더 큰 결정 자동화, 자율성, 견고성, 상식을 향해 나아가는 다음 물결의 핵심적인 인에이블러(enabler)입니다."
가트너, 분석 회사

인과관계는 인공지능의 진정한 진보를 밝히는 데 필요한 핵심 누락 요소 중 하나이다. 이것은 학계와 산업계에서 빠르게 합의된 견해가 되고 있다. 이제 산업 분석가들은 모든 분야의 사업체들에게 이 획기적인 기술의 이점을 인식하고 있다. 가트너는 최근에 기업들에게 혁신적인 잠재력을 제공하는 25개의 신흥 기술들 중 하나로 인과관계 AI를 열거했다(그림 1 참조).

2023년 신흥 기술을 위한 하이퍼 사이클(가트너)

Causal AI는 고위 AI 전문가 400명을 대상으로 한 데이터쿠앤데이터브릭 조사(Dataiku & Databricks survey)에서 '사용하지 않지만 내년(2024년)에는 사용할 계획'이 25%로 전체 인공지능 기술에서 1위를 차지했다.

데이터쿠앤데이터브릭 조사(Dataiku & Databricks survey), 2023

Causal AI가 주목을 받고 있다는 또다른 증거는 중요한 학술 컨퍼런스에 발표된 논문의 갯수로 확인할 수 있다. 리차드 존 카터(Richard Jon Carter)는 최근 발행된 NeurIPS 컨퍼런스에 발간된 논문 중에서  ‘causal’,  ‘causation’,‘causality’  등을 포함한 논문의 개수가 최근 에 급격히 증가하고 있음을 확인하였다.

NeurIP에 발표된 Causal AI  관련 논문 수(https://richardjoncarter.com/) 

왜 Causal AI인가?

AI에게 인과관계는 왜 그렇게 중요한가? 본질적으로 원인과 결과에 대한 이해는 진정한 지성을 위해 필요한 요건이다.

데이터를 넘어서
인과관계를 포함한 세계의 모델들은 데이터 세트에서 중요한 정보를 효율적으로 식별할 수 있고, 관련이 없고 종종 오해를 불러일으키는 상관관계는 모두 폐기할 수 있다. 이는 더 단순하고 강력한 모델을 만들어냄으로써 더 나은 예측을 할 수 있다. 이 이상으로 인과관계는 데이터를 넘어선다. 펄이 "데이터는 원인과 결과를 이해하지 못하고 인간은 이해한다"고 말한 것처럼, "당신은 당신의 데이터보다 똑똑하다." 우리는 인과관계 지식을 사용하여 우리의 행동이 환경에 어떤 영향을 미칠지 예측하고, 이를 통해 계획과 전략을 수립한다. 우리는 어떤 일이 왜 그렇게 일어났는지 진단할 수 있게 해주는 능력인 우리 자신과 다른 가능한 세계를 상상하기 위해 인과관계 추론에 의존한다. 원인과 결과를 이해하는 인공지능도 이러한 강력한 능력을 활용할 수 있다.

AI의 열린 과제 해결
인과관계의 원리를 기업에 적용하고 Causal AI를 기업에 효과적으로 활용하면 AI의 가장 큰 미해결 문제 중 일부에 대한 진전을 이룰 수 있을 것이다. 기존의 AI 시스템은 새로운 데이터에 직면하면 잘 작동하지 못한다. 그들은 학습을 새로운 작업에 전달하는 것을 잘 하지 못한다. 세상이 갑자기 바뀌면 그들은 배치에 실패한다. 그리고 그들은 적대적인 공격을 받기 쉽다. 이러한 문제들은 현재의 기계 학습 시스템이 합리적인 일반화를 할 수 없는 것으로부터 비롯된다. 연구자들은 인과관계가 이 깊은 도전을 해결할 수 있다고 믿는다. 구글 리서치와 몬트리올 알고리즘 연구소 (MILA)의 한 그룹은 "학습 환경을 잘 일반화하는 것은 단순히 변수들 간의 통계적 연관성뿐만 아니라 근본적인 인과관계 모델을 학습하는 것을 필요로 한다"고 말한다.

인간과 기계의 공생
현재 대부분의 인공지능 시스템은 프로그래머들조차 이해할 수 없는 블랙박스이다. 그리고 그것들은 종종 인간의 가치와 잘 맞지 않는다. Causal AI는  "XAI" (eXplainable AI)와 인공지능 공정성의 최첨단에 있다. 정확성을 위해 투명성을 교환하는 기존의 인공지능과 달리, 인과관계 기반 모델은 높은 성능과 설명 가능성을 제공한다. 인과관계 인공지능은 또한 기술 개발자들이 인공지능 시스템을 더 잘 통제할 수 있도록 하여, 그들이 생산 과정에서 의도한 대로 행동하도록 보장한다. 딥마인드는 "Causal AI는 "역량의 독특한 조합"을 가지고 있다"며 "복잡한 시스템에 대한 더 깊은 이해를 가능하게 하고 의사결정 시스템을 사회의 가치와 더 잘 일치시킬 수 있게 해줄 수 있다"고 주장한다.

왜 지금인가?

AI가 기업에서 사용되는 방식을 변화시키는 몇 가지 새로운 트렌드가 있는데, 이들은 모두 기업에 인과관계 AI를 채택하는 것을 선호한다.

현재 기계 학습에 대한 불만족 사항
첫째, 기존 머신러닝 알고리즘에 대한 업계의 불만이 커지고 있다. 최근 글로벌 설문조사에 따르면, 10개 기업 중 9개 기업이 AI 투자를 통해 유의미한 재정적 수익을 창출하지 못하는 것으로 나타났다. 포브스에 따르면, 머신러닝 프로젝트의 87%는 결코 실험 단계를 넘어 생산 단계에 도달하지 못한다. 이러한 추세는 팬데믹과 관련된 혼란으로 가속화되었으며, 머신러닝 모델은 변화하는 조건에 적응하지 못했다.

설명가능성에 관한 우선순위 배정
둘째, 인공지능 시스템의 설명 가능성, 안전성 그리고 공정성이 사업 환경에서 매우 중요하다는 인식이 증가하고 있다. 이러한 세계적인 추세는 최근에 인공지능 시스템에 대한 새로운 규제에 대한 EU의 제안에 의해 촉진되었다. 다가오는 광범위한 법안은 사업체들이 설명 가능성 보고서를 제공하고, 스트레스 테스트를 적용하고, 인간이 "루프"에 머무르도록 보장해야 한다고 의무화하고 있다.

인간과 기계의 동반자 관계 구축 
셋째, 인공지능으로부터 가장 많은 이익을 얻는 회사들은 새로운 종류의 가치를 창출하기 위해 인간과 기계의 파트너십을 촉진하는 경향이 있다. 이 선도적인 회사들은 기계 전용 애플리케이션에서 인공지능을 사용하는 회사들을 능가하고 있다. 최근 MIT Sloan & BCG 글로벌 설문 조사에 따르면 인간과 기계의 파트너십을 우선시하는 회사들은 인공지능으로부터 가장 큰 재정적 이익을 얻을 가능성이 73% 더 크다.

빅 데이터의 세계 탐색 
넷째, 데이터의 총량은 방대하고 기하급수적으로 증가한다. 하지만 많은 데이터 세트가 상호 연관되어 세상에 대해 비슷한 사실을 표현한다. 기업은 점점 더 자신의 질문에 답하고 목표를 달성하기 위해 적절한 데이터를 찾는 데 중점을 둔다. 이를 위해 상호 연관성 아래에서 침투하여 데이터의 독특한 한계 가치를 식별할 수 있는 기술이 필요하다.

표준 기계 학습에서 벗어나 상관관계를 뛰어넘는 설명 가능하고 인간과 호환되는 인공지능을 향한 이러한 가속화되는 인공지능 트렌드는 인과관계 인공지능 혁명에 추가적인 추진력을 제공하고 있다. 스위스 연구소의 최고 연구 책임자인 제프리 본 Jeffrey Bohn 은 "인과 추론은 우리가 연관성에 기반한 분석으로부터만 이동함에 따라 새로운 개척자가 될 수 있다"고 말한다.

비즈니스에 미치는 영향

Causal AI의 초기 도입자들은 비즈니스 의사결정의 현저한 개선을 통해 이익을 얻는다. 예를 들어 소매 AI를 예로 들 수 있다. 전자상거래 플랫폼 이베이는 기존 AI가 광고 효과를 지나치게 과대평가한다는 사실을 발견했다. 이들은 기존 리테일 AI가 광고 클릭률의 ROI를 1400%로 추정했지만, 인과관계 분석 결과 실제 ROI는 마이너스 63%로 나타났다[1]. 하버드 경영대학원 연구에 따르면 AI를 이용한 이탈 방지 사업은 표준 예측 분석과 비교하여 인과적 방법을 사용함으로써 추가적으로 이탈률을 4.1~8.7% 감소시키는 것으로 나타났다[2].

비즈니스 지향 소셜 네트워크 링크드인은 매년 20,000개 이상의 실험을 수행하지만 일부 A/B 테스트는 비윤리적이거나 비실용적일 수 있다. 링크드인은 실행 불가능한 실험을 시뮬레이션하기 위해 인공지능을 사용했고 상관 기반 방법이 실제 값의 46%에서 250% 범위의 오차를 생성한다는 것을 발견했다. 링크드인의 연구원들은 "상관 결과를 인과적이라고 가정하는 것은 위험하다… 인과적 연구는 적절하게 적용될 때, 의사 결정 능력을 향상시키기 위해 사용 가능한 데이터를 최대한 활용하라"고 결론을 내렸다[3].

링크드인을 넘어 대부분의 대형 기술 기업들이 Causal AI를 채택함으로써 이익을 얻기 시작하고 있다. 넷플릭스가 좋은 예다. 넷플릭스 리서치Netflix Research는 "인과관계 추론과 머신러닝은 점점 더 깊어지는 공생 관계를 가지고 있다"고 인식하고, "인과관계 추론 알고리즘의 성능을 높이는 데 많은 투자를 했다[4,5]." 마찬가지로 우버 랩Uber Labs도 인과관계를 두 배로 줄이고 있으며, "인과관계 추론은 주요 이니셔티브의 영향을 더 잘 이해함으로써 비즈니스 의사결정에 중요한 정보를 제공한다"고 말한다[6].

Causal AI를 기반으로 한 카운터팩추얼 분석, 즉 '인공적 상상력artificial imagination'이 헬스케어의 AI에도 영향을 미치기 시작하고 있다. 인과관계 AI는 카운터팩추얼  분석을 통해 의료 진단에서 전문가의 임상적 정확도를 달성한다. 네이처 기사에 따르면 Causal AI는 인간과 비교해 벤치마크했을 때 의사의 상위 25%에 위치하는 반면 기존 머신러닝은 중간 성능을 가지고 있다[7].

건강관리에 있어서 Causal AI의 효과를 더 자세히 조사하면서, 카운터팩트는 사회적 이익을 위해 몇몇 높은 영향력 사용 사례에 적용되었다. 이것들은 파키스탄의 소아병의 원인들을 진단하는 것과 인도의 북부 시골에 있는 여성들 사이에서 병원을 방문하는 것을 망설이는 것을 포함한다. 이러한 응용에 대해 연구한 하버드 부속 팀은 "우리는 아직 1온스의 인과관계 인공지능이 1파운드의 예측 가치가 있다는 것을 발견할 수 있습니다"라고 결론을 내린다.

카운터팩추얼 분석은 건강관리를 넘어서서 거대한 변혁적 잠재력을 가지고 있으며, 특히 금융과 비즈니스에 있어서 인공지능에 있어서 그러하다. APG의 헤지펀드 대표 마이클 와인버그는 인공적인 상상력의 힘에 대해 칭찬하며 "저를 가장 흥분시키는 것은 관리자들이 인과관계와 같은 새로운 기술을 배치하는 것을 보는 것입니다… 새로운 기술과 데이터는 정말로 의미 있는 방식으로 인공지능 전략의 잠재력을 확장하기 시작하고 있습니다"라고 말했다.[9] 

다른 많은 선도적인 포트폴리오 매니저들은 현재의 금융 AI 애플리케이션에 혁명을 일으키는 데 있어 인과관계의 장점에 동의한다. 아비바 인베스터스Aviva Investors의 투자 전략 책임자 마이클 그레이디Michael Grady는 "Causal AI는 우리의 투자 분석에서 더욱 중요한 역할을 한다. 그것은 우리의 전략가들과 포트폴리오 매니저들에게 경제, 금융 및 대체 데이터에서 새로운 인과관계를 확인함으로써 알파를 생성할 수 있는 권한을 부여한다"고 말한다. 마찬가지로 티브라Tibra의 CIO인 크리스 유디Chris Udy는 "인과관계 기반 기술과 정량적 워크플로우의 자동화는 가짜 상관관계를 폐기하면서 더 많은 직교 신호를 더 빨리 발견하는 데 도움이 된다"고 말한다.

최근 글로벌 설문조사에 따르면 CTO와 고위 데이터 과학자의 87%는 인과관계 AI가 비즈니스 환경의 보다 강력한 모델을 얻을 수 있다고 동의한다. 고위 데이터 과학자들도 인과관계에 대한 더 깊은 투자를 준비하고 있다. 83%는 머신러닝에서 인과관계 추론이 향후 데이터 기반 의사결정에서 점점 더 중요해질 것이라고 믿고 있으며 60%는 인과관계 AI에 상당한 투자를 하고자 한다.

원문

The Causal AI Revolution is Happening Now, available at https://causalens.com/resources/white-papers/the-causal-ai-revolution-is-happening-now/

참고문헌

[1] Athey, S., 2017. Beyond prediction: Using big data for policy problems. Science, 355(6324), pp.483-485.

[2] Ascarza, E., 2018. Retention futility: Targeting high-risk customers might be ineffective. Journal of Marketing Research, 55(1), pp.80-98.

[3] Bojinov, I., Chen, A. and Liu, M., 2020. The importance of being causal. Harvard Data Science Review, 2(3), p.6.

[4] Wong, J.C., 2020. Computational causal inference. arXiv preprint arXiv:2007.10979.

[5] Wong, J.C., 2020. Computational Causal Inference at Netflix, available at https://netflixtechblog.com/computational-causal-inference-at-netflix-293591691c62

[6] Totte Harinen and  Bonnie Li, Using Causal Inference to Improve the Uber User Experience, avaiable at https://www.uber.com/en-KR/blog/causal-inference-at-uber/

[7] Richens, J.G., Lee, C.M. and Johri, S., 2020. Improving the accuracy of medical diagnosis with causal machine learning.  Nature communications, 11(1), p.3923.

[8]  Sema K. Sgaier, Vincent Huang & Grace Charles, 2020,  The Case for Causal AI, Stanford Social Innovation Review,  avaiable at  https://ssir.org/articles/entry/the_case_for_causal_ai

[9] Hedge Week. 2021. Quant funds still lack one human power…imagination, available at https://www.hedgeweek.com/quant-funds-still-lack-one-human-powerimagination/