3부 과신 / 21 직관 대 공식(1)

21 직관 대 공식 폴 밀(Paul Meehl)은 낯설고 경이로운 인물로,  20세기의 다재다능한 심리학자로 손꼽힌다.미네소타대학에서 교수로 임명될 때 그의 관련 분야는 심리학, 법학, 정신과학, 신경학, 철학이었다.그는 종교, 정치학, 그리고 쥐의 학습을 주제로 글을 쓰기도 했다.통계에도 뛰어난 그는 임상 심리학의 공허한 주장을 맹렬히 비판했으며,정신분석 전문의로도 활동했었다.심리학 연구의 철학적 기반에 관해서도 진지한 글을 썼는데,나는 대학원생 시절에 그 글으 ㄹ외우다시피 했었다.밀을 직접 만난 적은 없지만, 그가 쓴《임상예측 대 통계 예측: 이론 분석과 증거 검토  (Clinical vs Statistical  Prediction : A Theoretical  Analysis and a Review of the Evidence)》를 읽은 뒤로그는 내 영웅이 되었다. 그가 나중에 "당혹스러운 내 작은 책"이라고 부른  이 얇은 책에는훈련된 전문가의 주관적 느낌에 의존한 '임상 예측'이일정한 규칙에 따라 몇 가지 점수와 순위를 조합해 만든 '통계 예측'보다정확하지를 분석한 연구 20가지가 실렸다.이 중에는 훈련된 상담사들이 대학 신입생들의 기말 학점을 예측하는 전형적인 연구도 있었다.상담사들은 각 학생을 45분씩 면담하고학생의 고등학교 성적, 몇 가지 적성겸사 결과, 네 페이지 분량의 자기소개서도 살펴보았다.반면에 동계 알고리즘을 이용한 예측에는 고등하고 성적과 한 가지 적성검사 결과만 이용됐다.그런데도 이 통계 예측이 열네 명의 상담사 중에 열한명의 예측보다 정확했다.밀은 이 외에 가석방 규정 위반, 비행조종 훈련 성패, 상습적 범핸 등 다양한 예측에서도비슷한 결과를 내놓앗다. 밀의 책은 당연히 임상심리학자들 사이에서 충격과 불신을 불러일으켰고, 이때 촉발된 논란은 이 책이 출간된 지 50여 년이 지난 지금까지도 수많은 연구로 이어졌다.임상 예측과 통계 예측을 비교한 연구는 거의 200건에 이르지만, 통계 알고리즘과 인간의 대결은 늘 같은 결과를 낳았다.연구의 약 60퍼센트에서 알고리즘이 훨씬 더 정확했고 그 외에는 무승부였는데,무승부는 통계의 승리나 마찬가지다.통계 공식을 이용하면 전문가의 판단을  이용할 때보다 비용이 훨씬 덜 드는 게 보통이기 때문이다.이에 대한 이렇다 할 예외는 아직 나오지 않았다. 결과를 예측하는 범위는 매우 다양해졌다.암 환자 수명, 입원 기간, 심장병 진단, 영아돌연사망증후군에 걸릴 위험 같은 의학 변수부터새로운 사업의 성공 전망, 은행의 신용 위험 평가, 노동자의 미래 직업 만족도 같은 경제 변수,그리고 양부모로서의 적절성 평가, 비행 청소년의 상습 재범 가능성, 기타 폭력적 행위를 할 가능성 같은정부 기관의 관심사, 그밖에 과학 발표 평가, 축구 경기 승자, 보르도 와인의 미래 가격에 이르기까지.이런 영역은 불확실성도 매우 크고 예측도 거의 불가능하다.우리는 이런 분야를 "타당성이 낮은 환경"리라 부른다.이런 환경에서는 전문가가 단순한 알고리즘에 비해 예측 정확도가 같거나 오히려 낮았다. 밀은 책을 편낸 지 30년이 지나 당당하게 이렇게 지적햇다."이처럼 양적으로 대단히 다양한 연구가 한결같이 책에서 언급한 연구와동일한 방향으로 결론이 난 사회과학에서 논란은 있을 수 없다." 프린스턴 대학 경제학자이자 와인 애호가인 올리 아센펠터(Orley Ashenfelter)는 세계적으로 저명한 전문가를 능가하는 단순한 통계의 힘을 설득력 있게 증명했다.그는 좋은 보르도 와인의 미래 가치를 와인이 제도된 해에 이용 가능한 정보로 예측하고 싶었다.이 문제가 중요한 이유는 좋은 와인은 최고 품질에 이르기까지 숙성되려면 여러 해가 걸리고, 따라서 같은 포도밭에서 생산된 와인이라도 가격은 생산 연도에 따라 천차만별이기 때문이다.단 12개월 차이가 가치를 열 배 이상 차이나게 할 수 있다.와인의 미래 가격을 예측하는 능력은 대단힌 중요하다.투자자는 와인 가격이 오를 것이라는 기대로 마치 미술픔을 구매하듯 와인을 사들이기 때문이다. 와인 생산 연도별 차이는 오로지 포도 성장기의 날씨 변화 때문이라는 게 일반적인 견해다.여름이 덥고 건조할 때 최고의 와안이 생산되는데,그렇다면 보르도 와인 업계는 지구온난화의 수혜자가 되는 셈이다.여기에다 봄이 습하면 포도 질과는 무관하게 생산량이 증가한다.아센펠터는 이런 통상적 지식을 이용해(특정한 특성별, 숙성 기간별) 와인 가격을 예측하는 통계 공식을 만들었는데, 여기에 동원된  세 가지 날씨 특성은포도 성장기인 여름의 평균 기온, 수확기의 강수량, 직전 겨울의 총 강수량이다.그가  만든 공식은 앞으로 수년 뒤, 나아가 수십 년 뒤의 가격을 정확히 예측한다.이 예상가는 오래 숙성도지 않은 와인의 현재 가격으로 예상하는 것보다 훨씬 더 정확하다.롤밀의 주장을 증명하는 이 새로운  예는와인의 초기 가격 결정에 영향을 미치는 전문가들의 능력에 도전한다.그리고 가격은 날씨를 비롯해 가능한 모든 정보를 반영해야 한다는 경제 이론에도 도전한다.아센펠터 공식은 대단히 정확해서 공식에서 나온 예상가와 실제 가격의 상관관계는 0.90이 넘는다. 왜 전문가가 알고리즘보다 못할까?밀이 예상하는 한 가지 이유는 전문가는 머리를 쓰려고 애쓰고 틀을 벗어나 생각하고, 여러 변수를 복잡하게 조합해 예측을 내놓기 때문이다.복잡함이 더러는 통할 수도 있지만, 대개는 타당성을 떨어뜨린다.차라리 단순히 특성을 몇 가지 결합하는 편이 나을 때가 많다.여러 연구에서 인간의 결정은 예측 공식의 결정보다 못하다고 나타났는데,심지어 그 공식에서 나온 수치를 인간에게 보여줘도 마찬가지다.인간은 관련 정보를 더 많이 가지고 있어서 공식을 이길 수 잇다고 생각하지만,그렇지 않은 때가 더 많다.밀에 따르면, 공식 대신 판단을 이용하는 편이 나은 경우는 거의 없다.밀은 유명한 사고실험에서 어떤 사람이 오늘 밤 영화를 보러 갈지 예측하는 공식을 설명하면서, 그 사람이 오늘 다리가 부러졌다는 정보가 들어왔다면 공식을 무시해야 옳다고 지적했다.여기서 "부러진 다리 규칙"이라는이름이 붙었다.물론 이 말의 요점은  다리가 부러지는 경우는 결정적이기도 하지만 대단히 드물다는 것이다.   332-335