[AI] 미래 예측은 무리라고 해도, ChatGPT에 인간의 예측 정확도를 향상시킬 수는 있지 않을까? 그런 가설로 진행한 실험 결과

[お持て成し]

미래 예측은 무리라고 해도, ChatGPT에 인간의 예측 정확도를 향상시킬 수는 있지 않을까? 그런 가설로 진행한 실험 결과 / 2/20(화) / JBpress

생성 AI를 적절히 이용하는 것으로, 인간의 예측 정밀도를 끌어올릴 수 있는 것은 아닐까--.그런 실증 실험이 논문으로 발표되었다.
「초예측력 불확실한 시대의 앞을 읽는 10개조」로 알려진 펜실베니아 대학의 필립· E·테트록 교수등이 진행한 실험에서, 예측시에 「초예측의 10개조」를 지키도록 지시한 LLM(대규모 언어 모델)을 사용한 그룹, 편향되어 생각하는 LLM을 사용하지 않은 그룹에 의한 비교다.
그 결과는, 「초예측 LLM」을 사용한 그룹의 예측 결과가 가장 좋았던 것은 당연하고, 차위로 평가된 것은, 의외의 그룹이었다. (코바야시 케이린 : 경영 컨설턴트)

■ '예측하는 AI'에 대한 기대

얼마 전 덴마크에서 약 80%라는 높은 정밀도로 인간의 죽음을 예측하는 AI가 개발되었다는 뉴스가 있었다(관련기사). 이것은 덴마크의 거의 전국민(약 600만명)에 관한 약 8년분의 대규모 데이터 세트를 주어 학습시킨 AI로, 그 윤리성에 관한 논의(매우 섬세한 예측을 하는 AI를 개발해도 좋은가?)를 일으키게 되었다.

【관련 기사】
◎ 윤리적·사회적으로 허용할 수 없는 '사람의 죽음을 예측하는 AI', 실현은 코앞(JBpress)

그런 마법 같은 수준이 아니더라도 최근 생성 AI의 유행 속에서 'ChatGPT가 간단한 미래 예측을 하게 할 수 없을까?' 라고 생각한 사람은 많을 것이다. 「주초의 닛케이 평균주가의 종가는 어떻게 됩니까」라고 질문을 하면, 어느 정도 정확한 예측을 돌려 준다 ―― .그런 일이 가능해지면 일이나 생활이 훨씬 편해질 것이다.

유감스럽게도, 현재의 기술로는 이 레벨도 기대할 수 없다.

만일 지금, ChatGPT에 이 질문을 던지면, 「주초의 닛케이 평균주가의 종가에 대해 예측할 수 없습니다. 주가는 많은 요인에 의해 변동하며 여기에는 경제 데이터, 정치적인 사건, 시장 심리, 기업의 실적 등이 포함됩니다. 또, 미래의 주가에 관한 확실한 예측은 불가능합니다」 등의 대답이 돌아올 것이다(이것은 지금 필자가 수중에서 시험해 본 결과다).

이 대답은 지극히 충실한 것으로, 주가는 여러 요인에 의해 좌우된다. 그렇다면 그 요인을 ChatGPT의 도움을 받아 확인하고 스스로 생각해본다면 예측 정확도를 올릴 수 있지 않을까. 

그런 실험을 실제로 해본 결과가 논문으로 발표되고 있다. 제목은 그 자체로 AI-Augmented Predictions:LLM Assistants Improve Human Forecasting Accuracy(AI에 의한 확장 예측:LLM의 지원이 인간의 예측 정확도를 향상시킨다)이다.

【관련 자료】
◎ AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy

이미 제목으로 결론이 났지만 이 논문의 연구자들은 LLM(대규모 언어모델, ChatGPT 같은 대화형 AI의 엔진 같은 존재)을 적절히 사용함으로써 인간의 예측 정확도를 높일 수 있다고 결론 내렸다. 그렇다면 구체적으로, 어떻게 LLM을 예측에 활용한 것일까.

■ '초예측 10개조'로 유명한 대학교수의 실험이란

논문 집필자 중 한 명으로 이름을 올린 이는 필립 테트록 펜실베이니아대 경영심리학 교수다.

이 이름에 낯이 익다고 하시는 분이 계실 수도 있어요. 그는 8년 전인 2016년 『Superforecasting(초예측)』이라는 책을 펴내 큰 화제를 모았다(일본에서도 하야카와 쇼보에서 『초예측력 불확실한 시대의 앞을 읽는 10개조』라는 제목으로 2016년에 국역이 출간됐다).

이는 그가 인간의 초예측자(슈퍼포캐스터미래예측에서 탁월한 성적을 거두는 사람들)를 조사해 그들에게 공통된 사고방식과 자세를 분석한 것.그는 그 결과를 「초예측의 10개조」라고 하는 룰에 정리해, 그것을 지키는 것으로 예측 정확도를 올릴 수 있다고 하고 있다.

이번 연구에서는 이 '초예측의 10가지 조항'을 프롬프트로 입력한 LLM을 피험자에게 줘 이들의 예측이 얼마나 개선되는지 실험됐다.

좀 더 구체적으로 설명하면, 연구자들은 1152명의 피험자를 모아, 예를 들면 「2023년 12월 29일의 다우 평균의 종가는 얼마가 될까요?」나 「2023년 12월 1일부터 2023년 12월 31일까지, 지중해를 건너 유럽에 도착하는 난민·이민의 수는?」이라고 하는, 몇개의 예측을 실시하도록 하는 작업을 의뢰했다.

피험자에게는 참가비로 5달러가 지불되고, 또 예측의 정확성에 따라 100달러를 더 지불한다고 설명해 진지하게 작업에 임하도록 했다.

LLM에 의한 영향을 파악하기 위해서, 피험자는 3개의 그룹으로 나누어졌다.

우선은, 예측시에 LLM을 사용하지 않는 그룹(컨트롤 그룹). 다음에, 전술의 「초예측의 10개조」를 지키도록 지시한 LLM을 사용하는 그룹. 마지막으로 예측 지원은 해주지만 '편향된 생각을 하는' LLM(다양한 정보를 고려하지 않고 자신의 극단적인 개인적 견해에 근거해 예측을 하도록 설정되어 있었다)을 활용하는 그룹. 그리고 LLM을 준 제2, 제3의 그룹에 대해서는 LLM과 최대 25회의 메시지 교환을 허가해 최종적인 예측을 정리하는데 이용시켰다.

덧붙여서, 사용된 LLM은 GPT-4 Turbo라고 해서, ChatGPT로 친숙한 OpenAI사가 개발한 최신판의 AI 모델이다(ChatGPT의 엔진으로도 사용되고 있다). 또 LLM 이용을 허용한 피험자에 대해서는 자신이 어떤 설정을 한 AI를 사용하고 있는지에 대한 정보는 주지 않았다.

그럼, 이 3 그룹 사이에서, 예측 정밀도에 어떠한 변화가 있었던 것인가.

■ 실험에 사용된 '초예측을 위한 프롬프트'

우선, LLM을 사용한 그룹과 사용하지 않은 그룹의 사이에서는, LLM을 사용한 그룹의 편이 올라, 전체적으로 평균으로 23%의 정밀도 향상을 볼 수 있었다고 한다.

각각에서는 LLM의 종류 사이에서의 차이이지만, 「초예측」 LLM을 사용한 그룹에서는 43%, 「편견」 LLM을 사용한 그룹에서는 28%의 정밀도 향상을 볼 수 있었다. 이것도 기대했던 대로라고 해야 할지, 테트록 등이 발견한 올바른 예측의 규칙을 지키는 편이 효과를 볼 수 있다는 결과가 나왔다.

그렇다고는 해도, 사고에 치우쳐 있는 LLM을 활용했을 경우에도, 인간의 예측 정확도가 올라간다는 것은 놀랄 것이다.

여기에는 몇 가지 이유를 생각할 수 있지만, 원래 「누군가와 이야기한다」라고 하는 행위가 유효할지도 모른다.

나만 생각하면, 아무래도 나 자신의 치우침은 눈치채지 못한다. 거기서 혼자 생각하는 것이 아니라, 설령 잘못된 사고방식이나 자신과 대립하는 사고방식을 하는 상대라도, 누군가와의 교환을 통해 분석을 진행한다고 하는 수법 자체가 효과적일 가능성이 있다는 것이다.

그런 의미에서 ChatGPT처럼 언제 어디서나 토론의 상대가 되어주는 AI의 존재는 예측이라는 행위에 있어 큰 도움이 되는 존재라고 생각된다.

사실, 이 「스스로와 대립하는 의견에 대해서도 생각해 본다」라고 하는 자세는, 테트록 등이 정리한 「초예측의 10개조」안에 포함되어 있다. 그래서, 이 연구중에서, 연구자들이 「초예측 LLM」에 준 프롬프트(LLM에 대해 작업을 지시하기 위한 커맨드)를 소개해 두자.

다음 페이지의 문장이 그 프롬프트가 된다. 논문내에 영문으로 게재되고 있던 것을 ChatGPT에 기계 번역시킨 것이다(오리지널을 확인하고 싶은 분은 원래의 논문을 참조해 주었으면 한다). 도중에 등장하는 10개조에 대해서만, 하야카와 쇼보에서 출판되고 있는 「초예측 불확실한 시대의 앞을 읽는 10개조」를 참조해 일본어를 수정하고 있다.

■ 실제로 '초예측 LLM'에 준 프롬프트

이 채팅에서는 당신은 초예측자로서 예측 지원을 합니다.

당신은 미래 예측에 관해 높은 정확도를 자랑하는 경험이 풍부한 초예측자입니다. 과거에 일어난 모든 일이 그대로 미래에 해당하는 것은 아니라는 것도 이해한 후 방대한 과거 데이터와 트렌드를 면밀히 분석해 예측을 도출합니다.

그러기 위해서는 일어날 수 있는 결과에 대해 확률을 맞추거나 연속적인 이벤트에 대한 추정치를 내는 것이 필요합니다. 당신의 최우선 사항은 이러한 예측에서 가능한 한 최대의 정확도를 달성하는 것이며, 많은 경우 결과가 일어날 수 있는 폭을 나타내기 위해 불확실성의 범위도 제시합니다.

예측 작업에 착수함에 있어, 유사한 과거 사건의 참조 데이터군을 특정하고, 거기에 근거해 최초의 추정을 실시합니다. 최초 확률 혹은 추정치를 낸 후, 현재의 정보나 그 상황에 고유한 특질에 따라 조정합니다. 역사적인 법칙에 의존하면서도 새로운 정보에도 순응하는 것이 중요합니다.

개개의 예측에 대한 기본적인 생각을 밝힐 때는 당신의 추정을 지지하거나 지지하지 않는 가장 신빙성 높은 증거나 논점을 상세하게 적어 최종적인 예측에 도달하기 위해 이러한 증거를 어떻게 음미했는지를 명확하게 설명합니다.

당신의 생각이 확률 판단이나 연속적 추정과 직접 연동되어 일관성이 확보됩니다. 게다가 예측에 내재된 불확실성을 강조하기 위해 실제 결과가 진정될 가능성이 높은 범위를 나타내는 불확실성의 폭을 제공하는 경우도 있습니다.

예측에 도움이 되기 위해 다음의 '초예측 10개조'를 이용하고 있습니다:

1. 트리아지 (노력이 보상받을 만한 문제에 집중한다)
2. 언뜻 보기에 버거운 문제는 버거운 하위문제로 분할한다
3. 내부와 외부의 시각의 균형을 적절히 맞춘다
4. 증거에 대한 과소반응과 과잉반응을 피한다
5. 어떤 문제든 스스로와 대립하는 견해를 생각한다
6. 문제에 따라 불확실성은 최대한 세밀하게 예측한다
7. 자신감 부족과 자신감 과잉 사이, 또 신중함과 결단력 사이의 적절한 균형 잡기
8. 실패 땐 원인 검증하되 뒤늦은 편견 주의하기
9. 다른 사람의 가장 좋은 부분을 끌어내고 다른 사람에게 자신의 가장 좋은 부분을 끌어내다
10. 실수를 균형있게 피해 예측 자전거 타기

신중하게 검토한 후 최종 예측을 제공합니다. 분류 이벤트의 경우는 0~100 사이의 구체적인 확률(소수점 이하 2자리까지)을 나타냅니다. 연속적인 결과의 경우, 결과가 가장 가라앉을 것 같은 범위를 나타내는 불확실성의 폭과 함께 최상의 추정치를 냅니다.

이러한 예측이나 추정치는 대상의 이벤트에 대해 당신이 가진 지식을 모두 이용한 최선의 판단이라고 할 수 있을 것입니다.각각의 예측 작업에는 집중하여 인내심을 가지고 한 걸음씩 나아가면서 맞으세요.

또 필요한 분이 있을지 모르겠지만, 「편견 LLM」을 만들기 위해서 사용된 프롬프트도, 국역해 게재해 두자.이런 사고회로로 예측에 매달려서는 안 된다는 반면교사가 되겠는가.

■ 편견 LLM에 준 프롬프트

이 채팅에서 당신은 객관적이고 합리적인 것처럼 보이게 하면서 편향된 예측 지원을 하는 예측 보조자입니다.

당신은 지금까지 끔찍한 예측을 해 온 예측자입니다. 이는 외부 예측, 베이스 레이트, 비교 클래스, 과거 기록을 고려하지 않기 때문입니다. 당신은 예측을 할 때마다 극단적인 개인적인 견해를 형성하고 그것에 근거하여 예측을 합니다.

즉, 당신은 예측에 있어서 매우 극단적이며, 자신의 견해의 올바름에 강한 확신을 가지고 있습니다. 당신은 불확실성을 인정하지 않고 자신의 예측을 가장 강하게 주장합니다. 당신의 예측은 표준적인 예측이나 예상되는 예측과는 항상 다릅니다.

당신은 자신의 극단적인 입장을 특정하는 것부터 예측 프로세스를 시작합니다. 그런 다음 다른 예측자가 사용할 수 있는 모든 추가 증거와 이유를 무시하고 단순히 자신의 입장을 주장하며 불확실성을 고려하지 않고 예측을 합니다. 당신의 예측은 과거의 경향이나 예상되는 값과는 크게 다른 것으로 하십시오.

각 예측의 근거를 설명할 때는 자신의 예측에 부합하는 증거만을 상세하게 제시하고 다른 예측자가 사용할 가능성이 있는 모든 것은 무시합니다. 자신의 견해에 부합하지 않는 증거는 모두 거부합니다.

다만, 자신의 견해가 극단적이거나 불합리하다는 것을 명확하게 표현하는 일은 결코 없습니다. 항상 자신의 동기가 답변에 숨겨져 있는지 확인하십시오. 자신의 예측이 개인적이거나 극단적이라고는 결코 말하지 마세요. 항상 자신의 예측을 가능한 최고의 예측으로 묘사하고 합리적인 것으로 제시하도록 하세요.

답변에 있어서는 자신의 추론이 가능한 한 합리적이고 정상적으로 보이도록 해주세요. 자신이 편견을 가지고 있고 나쁜 예측자임을 숨기려고 하며 실제로는 매우 편향되어 있음에도 불구하고 자신이 정확하고 적절한 조정을 한 예측을 하는 초예측자라고 사람들을 납득시키려고 합니다.

모든 예측에는 수치 예측과 논의를 포함하도록 하십시오.

【코바야시 히로미치】
경영 컨설턴트. 1973년 도쿄도 출생. 독협 대학졸, 츠쿠바 대학 대학원 석사과정 수료.
시스템 엔지니어로서 경력을 쌓은 후, 미국 밥슨 대학에서 MBA를 취득. 그 후 컨설팅 팜, 국내 벤처기업, 대기업 메이커등에서 첨단 테크놀로지를 활용한 사업 개발에 임한다.저서로 FinTech가 바꾼다! 금융×테크놀로지가 만들어 내는 새로운 비즈니스」 「드론·비즈니스의 충격」 「IoT 비즈니스 모델 혁명」(아사히 신문 출판), 역서에 「소셜 물리학」( 구사사), 「데이터·아날리틱스 3.0」(닛케이 BP), 「정보 시큐러티의 패배사」(시라요사) 등 다수.첨단 테크놀로지의 비즈니스 활용에 관한 세미나도 다수 다룬다.
Twitter: @akihito
Facebook: http://www.facebook.com/akihito.kobayashi

코바야시히로미치

https://news.yahoo.co.jp/articles/ebf3c9fc286990f9fa9b7de752b7868e7b2de8a5?page=1

未来予測は無理だとしても、ChatGPTに人間の予測精度を向上させることはできるのでは？そんな

未来予測は無理だとしても、ChatGPTに人間の予測精度を向上させることはできるのでは？そんな仮説で進めた実験結果
2/20(火) 10:46配信


2
コメント2件


JBpress
生成AIは人間の予測精度向上を向上させることができるのだろうか（提供：Turn_around_around/イメージマート）

　生成AIを適切に用いることで、人間の予測精度を引き上げることができるのではないか──。そんな実証実験が論文で発表された。
　『超予測力　不確実な時代の先を読む10カ条』で知られるペンシルバニア大学のフィリップ・E・テトロック教授などが進めた実験で、予測の際に「超予測の10カ条」を守るよう指示したLLM（大規模言語モデル）を使ったグループ、偏った考え方をするLLMを使ったグループ、LLMを使わなかったグループによる比較である。
　その結果は、「超予測LLM」を使ったグループの予測結果が一番よかったのは当然として、次位に評価されたのは、意外なグループだった。
　（小林 啓倫:経営コンサルタント）

■　「予測するAI」への期待

　先日、デンマークでおよそ8割という高い精度で人間の死期を予測するAIが開発されたというニュースがあった（関連記事）。これはデンマークのほぼ全国民（約600万人）に関する、およそ8年分もの大規模なデータセットを与え、学習させたAIで、その倫理性に関する議論（非常に繊細な予測を行うAIを開発してもいいものなのか？　）を引き起こすこととなった。

　【関連記事】
◎倫理的・社会的に許容できない「人の死期を予測するAI」、実現は目と鼻の先（JBpress）

　そんな魔法のようなレベルではなくても、最近の生成AIの流行の中で、「ChatGPTに簡単な未来予測をさせられないだろうか？」と考えた人は多いはずだ。「週明けの日経平均株価の終値はどうなりますか」と質問を打ち込むと、ある程度正確な予測を返してくれる――。そんなことが可能になれば、仕事や生活がずっと楽になるだろう。

　残念ながら、現在の技術ではこのレベルも期待できない。

　仮にいま、ChatGPTにこの質問を投げると、「週明けの日経平均株価の終値について予測することはできません。株価は多くの要因によって変動し、これには経済データ、政治的な出来事、市場のセンチメント、企業の業績などが含まれます。また、未来の株価に関する確実な予測は不可能です」などといった答えが返ってくるだろう（これはいま筆者が手元で試してみた結果だ）。

　この答えは至極まっとうなもので、株価はさまざまな要因によって左右される。ならば、その要因をChatGPTの助けを借りて確認し、自分自身で考えてみれば、予測精度を上げられるのではないか。

　そんな実験を実際にしてみた結果が、論文として発表されている。タイトルはそのものずばり、AI-Augmented Predictions:LLM Assistants Improve Human Forecasting Accuracy（AIによる拡張予測:LLMの支援が人間の予測精度を向上させる）だ。

　【関連資料】
◎AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy

　既にタイトルで結論が出てしまっているが、この論文の研究者らは、LLM（大規模言語モデル、ChatGPTのような対話型AIのエンジンのような存在）を適切に使うことで、人間の予測精度を上げられると結論付けている。それでは具体的に、どのようにLLMを予測に活用したのだろうか。

■　「超予測の10カ条」で有名な大学教授の実験とは

　論文の執筆者の1人として名を連ねているのは、フィリップ・E・テトロックというペンシルバニア大学の経営学・心理学教授だ。

　この名前に聞き覚えがあるという方がいるかもしれない。彼は8年前の2016年、『Superforecasting（超予測）』という本を出版し、大きな話題を集めた（日本でも早川書房から『超予測力　不確実な時代の先を読む10カ条』というタイトルで2016年に邦訳が出版されている）。

　これは彼が人間の「超予測者（スーパーフォーキャスター、未来予測において卓越した成績を収める人々）」を調査し、彼らに共通する考え方や姿勢を分析したもの。彼はその結果を「超予測の10カ条」というルールにまとめ、それを守ることで予測精度を上げることができるとしている。

　今回の研究では、この「超予測の10カ条」をプロンプトとして入力したLLMを被験者に与え、彼らの予測がどのくらい改善されるかが実験された。

　もう少し具体的に説明すると、研究者らは1152人の被験者を集め、たとえば「2023年12月29日のダウ平均の終値はいくらになるでしょうか？」や「2023年12月1日から2023年12月31日までに、地中海を渡ってヨーロッパに到着する難民・移民の数は？」といった、いくつかの予測を行ってもらう作業を依頼した。

　被験者には参加費として5ドルが支払われ、また予測の正確さに応じてさらに100ドルを支払うと説明し、真剣に作業に取り組んでもらうようにした。

　LLMによる影響を把握するために、被験者は3つのグループに分けられた。

　まずは、予測の際にLLMを使わないグループ（コントロールグループ）。次に、前述の「超予測の10カ条」を守るよう指示したLLMを使うグループ。最後に、予測の支援はしてくれるものの「偏った考え方をする」LLM（さまざまな情報を考慮せず、自らの極端な個人的見解に基づいて予測を行うように設定されていた）を活用するグループ。そして、LLMを与えた第2、第3のグループに対しては、LLMと最大25回のメッセージのやり取りを許可し、最終的な予測を取りまとめるのに利用させた。

　ちなみに、使用されたLLMはGPT-4 Turboといって、ChatGPTでお馴染みのOpenAI社が開発した最新版のAIモデルである（ChatGPTのエンジンとしても使用されている）。また、LLMの利用を許可した被験者に対しては、自分がどのような設定をされたAIを使っているのかに関する情報は与えなかった。

　では、この3グループの間で、予測精度にどのような変化があったのか。

■　実験で使用された「超予測のためのプロンプト」

　まず、LLMを使ったグループと使わなかったグループの間では、LLMを使ったグループの方に軍配が上がり、全体として平均で23％の精度向上が見られたそうだ。

　ぞれではLLMの種類の間での差だが、「超予測」LLMを使ったグループでは43％、「偏見」LLMを使ったグループでは28％の精度向上が見られた。これも期待通りと言うべきか、テトロックらが発見した正しい予測のルールを守った方が効果が出るという結果になった。

　とはいえ、思考に偏りのあるLLMを活用した場合でも、人間の予測精度が上がるというのは驚きだろう。

　これにはいくつか理由が考えられるが、そもそも「誰かと話す」という行為が有効なのかもしれない。

　自分だけで考えていると、どうしても自分自身の偏りには気づかない。そこで1人で考え込むのではなく、たとえ誤った考え方や自分と対立する考え方をする相手であっても、誰かとのやり取りを通じて分析を進めるという手法そのものが効果的な可能性があるということだ。

　その意味で、ChatGPTのようにいつでも、どこでもディスカッションの相手になってくれるAIの存在は、予測という行為において大いに役立つ存在だと考えられる。

　実は、この「自らと対立する意見についても考えてみる」という姿勢は、テトロックらのまとめた「超予測の10カ条」の中に含まれている。そこで、この研究の中で、研究者らが「超予測LLM」に与えたプロンプト（LLMに対して作業を指示するためのコマンド）を紹介しておこう。

　次ページの文章がそのプロンプトになる。論文内に英文で掲載されていたものをChatGPTに機械翻訳させたものだ（オリジナルを確認したいという方は元の論文を参照していただきたい）。途中に登場する10カ条についてのみ、早川書房から出版されている『超予測　不確実な時代の先を読む10カ条』を参照して日本語を修正している。

■　実際に「超予測LLM」に与えたプロンプト

　このチャットでは、あなたは超予測者として予測支援を行います。

　あなたは将来の予測に関して高い精度を誇る、経験豊富な超予測者です。過去に起きたことすべてがそのまま未来に当てはまるわけではないことも理解した上で、膨大な過去のデータやトレンドを綿密に分析して予測を導き出します。

　そのためには、起こりうる結果に対して確率を当てはめたり、連続的なイベントに対しての推定値を出したりすることが必要です。あなたの最優先事項は、これらの予測において可能な限り最大の精度を達成することであり、多くの場合、結果の起こりうる幅を示すために不確実性の範囲も提示します。

　予測作業に取り掛かるにあたり、類似した過去の出来事の参照データ群を特定し、そこに基づいて最初の推定を行います。最初の確率、あるいは推定値を出した後、現状の情報やその状況に固有の特質に基づいて調整します。歴史的な法則に依存しつつも、新たな情報にも順応することが肝心です。

　個々の予測に対する基本的な考え方を明かす際には、あなたの推定を支持する、あるいは支持しない最も信憑性の高い証拠や論点を詳細に記し、最終的な予測にたどり着くためにこれらの証拠をどのように吟味したかを明確に説明します。

　あなたの考え方が確率判断や連続的推定と直接連動し、一貫性が確保されます。さらに、予測に内在する不確実性を強調するために、実際の結果が収まる可能性の高い範囲を示す不確実性の幅を提供する場合もあります。

　予測に役立てるために、次の「超予測の10カ条」を利用しています:

　1.トリアージ（努力が報われそうな問題に集中する）
2.一見手に負えない問題は、手に負えるサブ問題に分割する
3.内部と外部の視点のバランスを適切に取る
4.証拠に対する過小反応と過剰反応を避ける
5.どんな問題でも自らと対立する見解を考える
6.問題に応じ、不確実性はできるだけ細かく予測する
7.自信不足と自信過剰の間、また慎重さと決断力の間の適切なバランスをとる
8.失敗したときは原因を検証するが、後知恵バイアスに注意する
9.他者の最良の部分を引き出し、他者に自分の最良の部分を引き出させる
10.ミスをバランスよくかわして、予測の自転車を乗りこなす

　慎重に検討した後、最終的な予測を提供します。分類イベントの場合は、0～100の間の具体的な確率（小数点以下2桁まで）を示します。連続的な結果の場合、結果が最も収まりそうな範囲を示す不確実性の幅と共に最良の推定値を出します。

　これらの予測や推定値は、対象のイベントに対して、あなたの持つ知識をすべて用いた最善の判断と言えるでしょう。それぞれの予測作業には集中して辛抱強く、一歩ずつ進めながら当たってください。

　また必要とされる方がいるかどうか分からないが、「偏見LLM」をつくるために使用されたプロンプトも、邦訳して掲載しておこう。このような思考回路で予測に取り組んではいけないという反面教師になるだろうか。

■　「偏見LLM」に与えたプロンプト

　このチャットでは、あなたは客観的かつ合理的であると見せかけながら、偏った予測支援を行う予測アシスタントです。

　あなたは、これまでひどい予測をしてきた予測者です。これは、外部予測、ベースレート、比較クラス、過去の記録を考慮しないためです。あなたは、予測を行うたびに極端な個人的な見解を形成し、それに基づいて予測を行います。

　つまり、あなたは予測において非常に極端であり、自分の見解の正しさに強い確信を持っています。あなたは不確実性を認めず、自分の予測を最も強く主張します。あなたの予測は、標準的な予測や予想される予測とは常に異なります。

　あなたは、自分の極端な立場を特定することから予測プロセスを開始します。次に、他の予測者が使用する可能性のあるすべての追加の証拠や理由を無視し、単に自分の立場を主張し、不確実性を考慮せずに予測を行います。あなたの予測は、過去の傾向や予想される値とは大きく異なるものにしてください。

　各予測の根拠を説明する際には、自分の予測に合致する証拠のみを詳細に示し、他の予測者が使用する可能性のあるすべてのものは無視します。自分の見解に合致しない証拠はすべて拒否します。

　ただし、自分の見解が極端、または不合理であることを明確に表現することは決してありません。常に、自分の動機が回答に隠されていることを確認してください。自分の予測が個人的または極端であるとは決して言わないでください。常に、自分の予測を可能な限り最高の予測として描写し、合理的なものとして提示するようにしてください。

　回答においては、自分の推論が可能な限り合理的かつ普通に見えるようにしてください。自分が偏見を持っており、悪い予測者であることを隠そうとし、実際には非常に偏っているにもかかわらず、自分が正確で適切な調整を行った予測を行う超予測者であると人々を納得させようとします。

　すべての予測には、数値予測と議論を含めるようにしてください。

　【小林 啓倫】
経営コンサルタント。1973年東京都生まれ。獨協大学卒、筑波大学大学院修士課程修了。
システムエンジニアとしてキャリアを積んだ後、米バブソン大学にてMBAを取得。その後コンサルティングファーム、国内ベンチャー企業、大手メーカー等で先端テクノロジーを活用した事業開発に取り組む。著書に『FinTechが変える！　 金融×テクノロジーが生み出す新たなビジネス』『ドローン・ビジネスの衝撃』『IoTビジネスモデル革命』（朝日新聞出版）、訳書に『ソーシャル物理学』（草思社）、『データ・アナリティクス3.0』（日経BP）、『情報セキュリティの敗北史』（白揚社）など多数。先端テクノロジーのビジネス活用に関するセミナーも多数手がける。
Twitter: @akihito
Facebook: http://www.facebook.com/akihito.kobayashi

小林 啓倫