3부 과신 / 22 전문가의 직관 : 언제 신뢰해야 할까? / 타당성 평가

타당성 평가 게리 클라인과 나는 오랜 여정 끝에,"노련한 전문가를 언제 신뢰할 수 있을까?"라는 맨 처음 질문에 보편적인 답을 내놓았다.우리는 타당할 법한 직관과 가짜일 법한 직관이 구별 가능하다는 결론을 내렸다.이를테면 어떤 예술 작품이 진짜인지 가짜인지 판단할 때,겉모습보다는 출처에 집중한다면 대개 더 나은 결과를 얻을 수 있다.주변 환경에 규칙성이 있다면, 그리고 감정 위원이 그 규칙성을 터득할 가능성이 있다면, 연상 체계는 그 상황을 인식해 빠르고 정확한 예측과 결정을 내놓을 것이다.이런 조건이 충족되면 직관을 신뢰해도 좋다. 안타깝게도 연상기억은 실제로는 거짓이지만주관적으로는 그럴듯해 보이는 직관을 내놓기도 한다.재능 있는 젊은 체스 선수가 성장하는 과정을 지켜본 사람이라면 실력은 어느 한순간 완벽해질 수 없으며,완벽에 가까워지는 중에 확신을 품은 채 실수를 저지를 때도 있다는 것을 잘 안다.규칙성 있는 환경에서도 전문가의 직관을 평가할 때는언제나 신뢰를 학습할 기회가 충분했는지 고려해야 한다. 규칙성이 떨어지거나 타당성이 낮은 환경에서는 판단 어림짐작이 개입한다.시스템1은 일관성을 억지로 만들면서까지 어려운 문제를 쉬운 문제로 바꿔 빠르게 대답하는 능력이 있다.시스템1은 엉뚱한 질문에 빠르게 대답하고,  그 답은 시스템2의 느슨하고 관대한 검토을 거뜬히 통과한다.이를테면 사람들은 회사의 상업적 미래를 예측하고 싶어하고, 또 실제로 회사의 미래를 예측하고 있다고 믿지만, 사실 그 평가는 현재 경영진의 능력과 활력에서 받은 인상에 지배된다.바꿔치기는 저절로 일어나기 때문에사람들은 자신(스스템2)이 인정하고 사용하는 판단의 출처를 모르는 경우가 많다.머릿속에 오로지 한 가지 판단만 떠오른다면,그 판단이 전문가로서의 확신을 가지고 내린 타당한 판단인지  주관적으로 판별하기가 불가능할 것이다.주관적 확신이 정확도를 판단하는 좋은 지표가 아닌 이유가 바로 이것이다.엉터리 질문에 대답할 때도 확신은 넘칠 수 있다. 그렇다면 클라인과 내가 전문가들의 직관을 평가할 때  왜 그들의 확신은 제쳐두고주변 환경의 규칙성과 그들의 학습 전력을 따질 생각을 진즉에 하지 않았는지 물을 사람도 있겠다.이 질문은 처음부터 해법의 윤곽이 드러나 있다는 점에서 좋은 질문이다.우리는 소방 지취관과 소아과 간호사들이 타당한 직관의 경계의 한쪽에 있고, 밀이 연구한 전문가들은 주식을 선별하는 사람이나 학자 등과 함께반대편에 있으리라는 사실을 처음부터 알고 있었다. 우리가 여러 해를 소비하고, 수많은 시간을 토론하고, 초안을 끊임없이 교환하고,단어를 두고 이메일로 수백 번 협상하고, 연구를 포기할 뻔했던 이유를 재구성하기란 쉽지 않다.그러나 이런 일은 어떤 작업을 잘 마무리할 때면 늘 일어나는 일이다.주요 결론을 이해하고 나면 그 결론은 항상 당연했다는 듯이 보이는 법이다. 우리 논문 제목이 암시하듯, 클라인과 나는 애초 예상보다 이견이 적었고,제기된 중요한 문제들에는 거의 다 공동으로 해법을 내놓았다.그러나 초기 이견은 단순히 지적인 이견이 아니라는 사실도 알게됐다.우리는 태도와 감정과 취향이 달랐고,  그것은 여러 해가 지나도 거의 변치 않았다.이 점은 우리가 재미있고 흥미롭게 느낀 사실에서 더욱 두드러졌다.클라인은 '편향이라는 단어가 언급될 때마다 여전히 흠칫 놀라고, 알고리즘이나 공식이 말도 안 되는 결론에 도달했다는 이야기를 들을 때면 여전히 즐거워한다.나는 알고리즘이 이따금씩 실패하는 경우를 알고리즘을 개선할 기회로 보는 성향이 있다.반면에 타당성이 제로인 상황에서 직관이 힘을 주장하는 거만한 전문가가그에 합당한 벌을 받을 때면 클라인보다 더 기뻐한다.그러나 우리가 지적 합의에 도달했다는 사실이감정 차이가 여전하다는사실보다 더 중요한 것만은 분명하다.  ㅡ전문가의 직관과 고나련한 말들"그는 이 일에 어느 정도나 전문성이 있는가? 실행 경험은 얼마나 되는가?""그는 정말로 기저율과 반대되는 직관을 정당화할 정도로신규업체가 처한 상황에 규칙성이 있다고 믿는가?""그는 자기 결정을 확신하지만, 주관적 확신은 판단의 정확도를 가늠하는 지표가 되기 힘들다.""그는 정말로 배울 기회가 있었는가? 자신의 판단에 대해 얼마나 빨리, 얼마나 명확하게 피드백을 받았는가?"   362 - 364