극단적 예측 변호하기?
앞에서 톰 W 이야기를 하면서,
전공 분야라든가 시험 통과 같은 구체적 결과를 예측하는 경우를 설명했는데,
이때 예측은 특정 사건에 확률을 부여하는 식으로(톰 W 사례에서는 가능성이 가장 높아 보이는 경우부터
그러히 않은 경우가지 순위를 매기는 식으로) 표현한다.
그러면서 구체적 예측에 공통으로 나나나는 편향,
즉 기저율 무시나 정보의 질에 둔감한 태도 등에 맞서는 과정도 설명했다.
대학 평점아니 회사의 수익처럼 수치 또는 규모를 예측할 때 나타나는 편향은
결과의 확률을 판단할 때 나타나는 편향과 닮았다.
따라서 그것을 수정하는 절차도 비슷하다.
ㅇ 둘 다 기준치 예측(baseline prediction)을 포함한다.
해당 사건에 대해 아는 바가 전혀 없을 때 내놓는 예측이다.
일정한 범주와 관련한 예측에서는 그 범주의 기저율이 기준치가 된다.
숫자와 관련한 예측에서는 관련 있는 범주에서의 평균 결과가 기준치가 된다.
ㅇ 둘 다 직관적 예측을 포함한다.
확률이든 대학 평점이든, 머릿속에 떠오르는 숫자로 표현한다.
ㅇ 둘 다 기준치와 직관적 반응의 중간쯤으로 예측하는 것이 목표다.
ㅇ 유용한 증거가 없다면 기준치를 그대로 택한다.
ㅇ 반대로 애초의 예측을 고수할 수도 있다. 단 그 예측을 뒷받침하는 증거를 비판적으로 검토한 뒤에도
여전히 그 예측이 자신이 있을 때라야 그렇다.
ㅇ 대부분의 경우에는 직관적 판단과 진실의 상관관계가 완벽하지 않다고 생각할 만한 이유가 생길 테고,
결국에는 두 지점의 중간쯤으로 결론을 내릴 것이다.
이 과정을 거치면 적절한 통계분석을 했을 때와 비슷한 결과를 낸다.
따라서 편향되지 않은 예측, 타당한 확률 평가, 적절한 수치 결과 추정이 가능하다.
이런 절차를 거치면 직관적 예측을 과신하는 편향, 진관적 예측이 극단에 치우치는 평향을 바로 잡을 수 있다.
직관적 예측 수정은 시스템2가 하는 일이다.
관련 있는 참고 범주를 찾아내고, 기준치를 예측하고, 증거의 질을 평가하는 데는 상당한 노력이 필요하다.
이런 노력을 감수하는 때는 오직 잠재적 위험이 높을 때 , 실수를 하지 않으려고 신경을 곤두세울 때다.
그리고 직관을 수정하다 보면 삶이 복잡해질 수 있다는 것을 알아야 한다.
비편향 예측의 특성 하나는 아주 드문 예측이나 극단에 치우친 예측은
관련 정보가 대단히 유효할 때만 내놓는다는 것이다.
따라서 어느 정도 타당한 예측을 내놓으려면, 아주 드물거나 평균에서 먼 결과를 예측하는 일은 절대 없을 것이고,
편향된 예측을 하지 않는 사람이라면 이번은 극단적 사례라면서 극단적 예측을 내놓고 만족해하는 일은 절대 없을 것이다.
법학 전문대학원의 최우수 학생이 연방대법관이 되었을 때,
또는 대단히 유망하다고 생각했던 신생 기업이 마침내 큰 성공을 거두었을 때,
절대로 '내 그럴 줄 알았지!'라고 말할 수 없다.
증거의 한계를 생각하면 어떤 고등학생이 뛰어나다고 해서
그가 프린스턴 대학에서 전 과목 A를 받으리라고는 절대 예측하지 않는다.
같은 이유로, 벤처 투자자가 이제 출발한 신생 기업을 두고 성공 확률이 '매우 높다'라는 말을 들을 일도 절대 없다.
직관적 예측 조절 원칙에 대한 반감도 진지하게 다룰 필요가 있다.
편향을 없애는 것이 항상 가장 중요한 문제는 아니기 때문이다.
예측에서 나올 모든 오류를, 오류의 방향과는 무관하게, 똑같이 취급해야 한다면
비편향 예측을 선호하는 것은 정당하다.
그러나 어느 한 유형의 오류가 다른 오류보다 훨씬 더 안 좋은 상황이 있을 수 있다.
'다음 큰 거 한 방'을 노리는 벤처 투자자가 제2의 구글이나 페이스북을 놓쳤을 때의 손실은
나중에 망할 신생기업에 적당히 투자했을 때의 손실보다 훨씬 크다.
벤처 투자자의 목표는 극단적 사례를 정확히 지목하는 것이다.
비록 벤처 기업의 전망을 과대평가해 손해보는 일이 많을지언정 그러하다,
보수적으로 운영하면서 거액을 대출해주는 은행의 경우,
대출해준 곳 하나가 망했을 때의 손실은 대축금을 다 갚았을 다른 여러 고객을 거절했을 때의 손실보다 클 수 있다.
이 같은 경우에는 극단에 치우친 언어("전망이 아주 좋다" , "채무불이행 위험이 심각하다") 사용이,
그 판단의 기초가 된 정보의 타당성이 약하더라도 그런 말이 주는 위안을 고려해볼때,
어느 정도는 정당화될 수도 있다
어쨌거나 합리적인 사람이라면, 편향되지 않은 적절한 예측을 하는 데 문제가 없어야 한다.
합리적인 벤처 투자자라면 가장 유망한 신생 기업이라도 성공확률은 그리 크지 않다는 사실을 잘 안다.
따라서 여러 투자처 가운데 가장 유망한 기업을 고르는 것이 자기가 할 일이라 여기고
투자하려는 신생 기업의 전망을 두고 자신을 속일 필요성을 느끼지 않는다,
마찬가지로 합리적인 사람이라면 회사 수익을 예측할 때 숫자 하나에만 집착하지 않는다.
그보다는 가능성이 가장 높은 결과를 둘러싼 수많은 불화실성을 고려해야 한다.
합리적 인간이 실패 가능성이 높은 기업에 거액을 투자한다면,
성공했을 때의 포상이 매우 크기 때문이지, 성공할 가능성이 높다고 자신을 속여서가 아니다.
하지만 우리는 늘 합리적은 아니며 더러는 심각한 충격을 피하기 위해
왜곡된 추정으로 안도감을 찾아야 할 때도 있다.
그러나 극단적 예측으로 자신을 속이기로 했다면,
내멋대로 예측했다는 사실을 계속 알고라도 있어야 옳다.
내가 제안하는 수정 절차의 가장 값진 점은 자신이 얼마나 알고 있는가를 생각해보게 한다는 점이다.
학계에서 흔히 마주치는 예를 하나 소개하겠다. 하지만 삶의 다른 영역에도 비슷한 사례는 얼마든지 있다.
어느 대학에서, 과학 분야에서 최고의 성과를 낼 만한 젊은 교수를 채용하고자 한다.
심사 위원들은 후보를 두 명으로 좁혔다.
킴은 얼마 전에 대학원 과정을 마쳤다. 추천서가 화려하고, 말을 잘해서 모든 면접관에게
깊은인상을 남겼다. 하지만 이렇다 할 과학 성과는 없다.
제인은 지난 3년 동안 박사후과정 연구원으로 지냈다. 성과도 좋았고 연구 경력도 훌륭했다.
하지만, 말솜씨와 면접이 킴만큼 인상적이지는 않았다.
직관적으로는 킴에게 끌리기 쉽다.
강렬한 인상을 남겼고, 보이는 것이 전부라는 원리도 있으니까, 그러나 킴은 제인보다 정보가 훨씬 적다.
여기서 다시 소수 법칙으로 돌아간다. 제인보다 킴에게서 나온 정보 표본이 작고,
작은 표본을 관찰해 내놓은 결과는 극단에 치우치기 쉽다.
그리고 작은 표본에서 나온 결과에는 운이 많이 작용해,
킴이 앞으로 어떤 성과를 낼지 예측할 때는 평균으로 좀 더 많이 회귀해야 한다.
킴이 제인보다 평균으로 회귀할 가능성이 더 크다는 사실을 인정한다면
결국에는 덜 인상적이더라도 제인을 뽑을 수 있다.
교수를 뽑는 일이라면 나도 제인에게 표를 던질 것 같다.
그러나 킴이 더 유망해 보이는 직관적 인상을 억누르기가 쉽지는 않을 것이다.
직관을 따르기는 직관을 거스르기보다 더 자연스럽고 또 직관을 따라야 마음도 더 편안하다.
이와는 다른 맥락에서도 비슷한 문제를 상상해볼 수 있다.
이를테면 벤처 투자자가 활동 시장이 다른 신생 기업 두 곳을 놓고 투자할 곳을 고른다고 해보자
신생 기업 한 곳은 수요를 꽤 정확하게 예측할 수 있는 상품을 생산한다.
다른 한 곳은 좀 더 흥미롭고 직관적으로 더 유망해 보이지만, 전망은 다소 불확실하다.
이때 그 불확실성을 감안해도 두 번째 기업이 여전히 더 전망이 좋은지는 신중히 검토해봐야 한다.
290-294