2부 어림짐작과 편 /18. 직관적 예측 길들이기 / 비회귀 직관

18  직관적 예측 길들이기   살다 보면 예측을 해야 할 일이 많다.경제 전문가는인플ㄹ이션관 실업을 예측하고, 재문 분석 전문가는 기업 실적을 예측하고, 군사 전문가는 사상자를 예측하고, 벤처 투자자는 수익성을 예측하고, 출판이나나 제작나는 독자나 관객을 예측하고, 도급업자는 프로젝트 완성 시간을 추산하고 요라사는 메뉴에 나온 요리의 주문량으 예상하고, 건설 기술자는 건물을 짓는 데 필요한 콘크리트 양을 추정하고, 소방 지휘관은 화재 진압에 필요한 소방차 수를 추산한다.일상에서는 배우자에게 이사를 가자고 하면 어떤 반응이 나올지, 새 직장에 앞으로 어떻게 적응할지 등을 예상한다. 예측이 들어가는 판단 중에는  건설 기술자의 판단처럼 상세한 분석표, 정확한 계산,비슷한 사례에서 나온 결과를 명확히 분석한 뒤에 내리는 판단도 있다.반면에 직관과 시스템1이 관여하는 판단도 있는데, 이때의  직관은 크게 두 가지 형태가 있다.하나는 주로 반복된 경험에서 생긴 기술과 전문성에서 나오는 직관이다.게리 클라인(Gary Klein)이 《인튜이션(Sources of Power) 》을 비롯해 여러 곳에서 묘사했듯이 체스 대가, 소방 지휘관, 의사의 빠르고 자동적인 판단과 선택이 전문적 직관을 바탕으로 하는데,이 경우에는 머릿속에서 익숙한 단서를 찾아내기 때문에 당면한 문제의 해법이 재빨리 떠오른다. 또 하나의 직관은 당면한 어려운 문제를  쉬운 문제로 바꿔치기하는 어림짐작에서 나오는 직관으로,본인은 전문적 직관과 구분하지 못할 수 있다.그리고 때로는 빈약한 증거를 기반으로 회귀를 고려하지 않았을 때조차직관적 판단을 무척 자신만만하게 내놓기도 한다.그러나 다수의 판단은, 특히 전문 영역에서의 판단은, 분석과 직관의 결합에서 나온다.   비회귀 직관 앞에서 다루었던 인물로 다시 돌아가자.      현재 주립 대학  4학년인 줄리는 네 살 때 글을 막힘없이 읽었다.     대학 평점은 몇 점이겠는가? 미국 교육에 익숙한 사람이라면 3.7이나 3.8 정도의 숫자가 금세 떠오른다.어떻게 그럴 수 있을까?  여기에는 시스템 1이 몇 단계  작동한다. ㅇ증거(줄리의 읽기 능력)와 예측  목표(대학 평점)의 인과관계 고리를 찾는다. 이 고리는 간접적일 수 있다.    줄리 사례에서는 어렸을 때의 읽기 능력과 높은 평점이 모두 학업 실력을 암시하는데,    여기에 연결 고리가 필요하다.     우리(시스템2)는 줄리가 이를테면 낚시 대회에서 이겼다거나 고등학생 때 역도 실력이 뛰어났다는 정보는    학업과 무관하다고 여겨 무시할 계 분명하다.  과적인 양분화 과정이다.    이처럼 우리는 무관하거나 거짓인 정보를 무시하는 능력이 있다.    그러나 증거에 나타난 작은 약점을 바로잡는 것은 시스템1의 능력 밖이다.     그러다 보니 직관적 예측은 증거가 가진 실제 예측력에 거의 전적으로 둔감하다.    ㄸ라서 줄리의 어린 시절 읽기 능력처럼 연결 고리가 발견되면, 보이는 것이 전부라는 원리가 적용되어,     연상기억이 저절로 재빨리 작동해 현재의 정보를 바탕으로 가능한 한 최선의 이야기를 만들어낸다.ㅇ다음으로, 증거를 관련 기준에 따라 평가한다.     네살 때 글을 막힘없이 읽는 아이는 얼마나 조숙한 걸까?    이 능력을 설명할 관련 순위나 백분위수는 무엇일까?    이 아이와 비교할 집단(준거집단)이 따로 명시되는 일은 없지만,  일상적 대화는 원래 그런 식이다.    이를테면 어떤 대학 졸업자를 "꽤 똑똑하다"고 표현했다고 해서,     "'꽤 똑똑하다'고 말할 때,  어떤 준거집단을 염두에 두었는가?"라고 물을 필요는 없다.ㅇ다음 단계는 바꿔치기와 세기 짝짓기다.    줄리의 대학 평점을 묻는 질문에 줄리의 어린 시절 인지력을 보여주는 빈약한 증거를 평가해    그것으로 답을 대신한다.  결국 줄리가 대학 평점에서 차지하는 백분위수는    어린 시절 읽기 능력에서 차지한 백분위수와 똑같이 취급된다.ㅇ질문에 평점으로 대답하라고 명시되었으니, 또 한 번 세기 짝짓기를 해야 한다.    줄리의 학업 성취도에 대한 전반적인 인상을  기반으로,     즉 줄리의 실력을 나타내는 증거를 기반으로 그에 걸맞은 평점을 찾아야 한다.    그런 다음 마지막으로 줄리의 상대적 학업 수준에 대한 인상을 그에 걸맞은 평점으로 옮겨 대답한다. 세기 짝짓기에서 나온 예측은 그 예측의 기반이 되는 증거만큼이나 극단에 치우쳐서, 사람들은 다음의 두 가지 다른 질문에 같은 답을 한다.       조숙한 읽기 능력에서 줄리의 백분위수는 몇인가?     대학 평점에서 줄리의 백분위수는 몇인가?   이제까지는 이 모든 작용이 시스템1의 특성이라는 점을 쉽게 알아 보았을 것이다.앞에서는 그 작용을 단계에 따라 순서대로 나열했지만, 물론 연상 기억은 그런 식으로 활성화하지 않는다.연상기억은 증거와 질문으로 촉발되어, 그것을 기반으로 다시 연상 작용이 일어나고 마침내 가장 논리적으로 일관된 답에 도달한다. 아모스와 나는 실험에서,참가자에게 대학 신입생 여덟 명의 인물 묘사를 평가하라고 했다.그러면서 그 인물 묘사는 상담 전문가가 학기 초 면담을 기초로 작성했다고 소개했다.여기에는 형용사 다섯 개가 들어가는데, 이릁면 다음과 같은 식이다.      똑똑하다. 자신만만하다. 아는게 많다. 부지런하다. 호기심이 많다. 그리고 참가자 일부에게 다음 두 가지를 물었다.      학업 능력과 관련해 이 인물 묘사가 얼마나 인상적인가?     신입생 인물 묘사 중 몇 퍼센트가 이보다 더 인상적일 것 같은가? 이 질문에 답을 하려면 증거로 제시된 상담사의 인물 묘사를 내가 표준으로 삼는 인물묘사와 비교해 평가해야 한다.사실 그런 표준이 존재한다는 것부터가 상당히 놀라운 일이다.사람들은 자기에게 어떻게 그런 표준이 생겼는지 잘 몰라도 상담사의 묘사에 나타난 열정의 정도를 꽤 정확히 감지한다.그 결과, 위 인물 묘사를 보면서 상담사는 해당 학생을 그런대로 괜찮지만 특별히 뛰어난 학생은 아니라고 생각한다는 것을 알아챈다.'똑똑하다', '아는게 많다', 부지런하다'보다  강도가 센  '머리가 비상하다. 창조적이다', '학구적이다. 박학다식하다', '열정적이다. 완벽하다' 같은 형용사를 쓸 수도 있기 때문이다.따라서 그 학생은 상위 15퍼센트에 들어가지만 3퍼센트에는 못 들어갈 것 같다고 결론 내린다.적어도 같은 문화권에선 이런 판단에 상당한 의견 일치를 보인다.   그런가 하면 다른 참가자들에게는 아래 질문을 던졌다.      이 학생은 나중에 평점을  몇 점 받을 것 같은가?     신입생 중 몇 퍼센트가 그보다 더 높은 평점을 받겠는가? 앞의 두 질문과 이번 두 질문의 미묘한 차이를 감지하려면 다시 한 번 잘 살펴야 한다.그 차이는 빤히 보여야 하는데도 실제로는 그렇지 않다.증거 즉 주어진 신입생의 인물 평가만 따지면 그만인 처음 두 질문과 달리,두 번째 질문 두 개는 불확실한 것 투성이다.이 질문은 1학년 말의 실제 성적과 관련이 있다. 면담 이후 그해에 어떤 일이 일어났는가?해당 학생의 대학 첫 해 실제 학업 성취도를 형용사 다섯 개로 얼마나 정확히 예측할 수 있는가?상담사가 면담을 토대로 직접 평점을 예측한다면, 그 예측은 매우 정확할까? 이 연구의 목적은 참가자들이 한 번은 증거를 평가하고 또 한 번은 궁극의 결과를 예측했을 때, 그 두 가지 백분위 판단을  서로 비교하는 것이다.결과는 간단했다. 두 가지 판단은 똑같았다! 전자의 두 가지 질문과 후자의 두가지 질문은 엄연히 다르지만(하나는  인물 묘사에 관한 것이고 하나는 학생의 미래 학업 성취도에 관한 것이다)참가자들은 둘을 같은 것으로 취급했다.줄리 문제에서도 그랬듯이, 미래 예측이 현재 증거 평가와 구분되지 않다 보니 예측이 평가와 일치한다.어쩌면 이것이 바꿔치기의 역할을 보여주는 우리가 가진 최고의 증거가 아닐까 싶다.사람들은 예측을 해야 할 때 증거를 평가해놓고, 자신이 대답한 문제는 원래의 문제가 아니라는 사실을 눈치채지  못한다.머릿속에서 이 과정이 인정되다 보니 체계적으로 편향된 예측이 나오고 , 평균 회귀는 완전히 무시된다. 내가 이스라엘 공군에 복부할 때,여러 차례의 면접과 현장 시험을 토대로 장교 훈련을 받을 사람을 선발하는 부대에 배속된 적이 있다.사람을 체대로 선발했는지, 그러니까 이들의 앞날을 제대로 예측했는지 알아보는 정해진 기준은 나중에 이들이 사관학교 생도가 되어 받는 최종 학점이었다.그런데 우리가 매긴 순위는 타당성이 다소 빈약하다고 알려져 있었다.(이 문제는 뒤에서 다시 다를 예정이다.)이후로 내가 교수가 되어 아모스와 공동으로  직관적 판단을 연구할 때도 이 부대는 여전히 존재했다.나는 부대 사람들과 계속 연락하며 지내던 터라 그들에게 한 가지 부탁을 했다.평소처럼 후보 평가를 하고 거기에 더해 그들이 생도가 되어 사관학교에 다닌다면 학점을 몇 점 받을지 최대한 정확히 추측해 달라는 부탁이었다.  이들은  수백건의 예측을 모아주었다.이 예측에 참여한 장교들은  모두 그 학교가 생도들에게 적용하는 A,B 식의 등급 체계와 A,B를 생도들 사이에 분배하는 대략의 비율에 익숙한 사람들이었다.결과는 놀라웠다. 예측에서 나온 A,B의 상대적 빈도는 사관학교의 최종 학점에서 나오는 A,B의 빈도와 거의 일치했다. 바뀌치기와 세기 짝짓기의 설득력 있는 사례를 보여주는 결과다.예측에 참여한 장교들은 다음 두 가지 작업을 구별하는데 완전히 실패한 것이다.      ㅇ생도 후보들이 부대에 있는 동안에 보여 주는 실력을 평가하는 평소의 임무     ㅇ생도 후보들이 생도가 된다면 학교에서 받을 학점을 예측해달라는 내부탁 이들은 세기 짝짓기를적용해, 생도 후보를 평가한  점수를 사관학교에서 사용하는 학점으로 그대로 옮겨놓았을 뿐이다.예측의 (상당한) 불확실성을 다루지 않은 탓에 회귀를 전혀 반영하지 않은 예측을 내놓았다 점이  다시 한 번 확인된 셈이다.   281-287