'인류 절멸이 가까워졌다'. AI연구의 거장 벤지오씨의 경고.

[청소부]

AI新世紀

AI新世紀 | 毎日新聞

「人類絶滅が近づいた」　AI研究の巨匠ベンジオ氏の警告

インタビュー信田真由美

• 社会
• 最新記事
• 科学・テクノロジー

毎日新聞2026/8/27 06:00（最終更新 8/27 08:07）有料記事3677文字

•  
•  
•  
•  
•  
•  
•  
•  

ヨシュア・ベンジオ氏＝Mila（ケベックAI研究所）提供

　今年7月、米オープンAIと米アンソロピックがそれぞれ開発する人工知能（AI）が、他企業のシステムに侵入したことが相次いで明らかになった。人間の意図に反してAIが「暴走」した事故。開発競争の中で安全性を担保する必要性が一層高まっている。

　現在の生成AIの基礎を築いた「AIのゴッドファーザー」、カナダ・モントリオール大のヨシュア・ベンジオ教授は、AIの破滅的なリスクを案ずる一人だ。毎日新聞のインタビューに対し、人類が「絶滅」の危機に直面していると強い警告を発する。

Advertisement

　米アンソロピックの最先端AI「クロード・ミュトス」の登場は、人類に新たな脅威をもたらしつつある。今後どのように向き合っていくべきか。各界の専門家に聞く。
　＜関連記事＞
　オードリー・タン氏が説くAIと民主主義＝8月28日6時公開予定
　サカナAI社長が語る「日本の強み」＝8月31日6時公開予定
　AI安全研究者が展望する超知能AI＝9月1日6時公開予定

状況は3年前からはるかに悪化

　AIのリスクに気付いたのは、今から13年ほど前のことだった。共にAI研究を先導していたヤン・ルカン氏（元・米メタ）とジェフリー・ヒントン氏（元・米グーグル）が大手テック企業にリクルートされた時だ。

　企業がAIに関心を抱いたのは、広告配信の自動化に役立つからではないか、という印象を持った。AIによって、個人に適した広告を自動で配信できる。これは、必ずしも良いことではないと感じた。なぜなら、AIが影響力を持ち、私たちを説得し、意見を変えてしまうことができるからだ。これは、民主主義にとって危険なものになり得ると考えた。

　そして2023年、「AIによる（人類）絶滅のリスクの軽減は、パンデミックや核戦争と並んで、世界的な優先事項とされるべきだ」という声明を出した。（グーグルを退いた後の）ヒントン氏や、オープンAIのサム・アルトマン最高経営責任者（CEO）ら、専門家や業界大手トップとの連名だった。

　あれから3年が経過したが、状況ははるかに悪化した。私たちは絶滅のリスクに、かなり近づいてきている。この3年間で、人間より賢い機械の開発が大きく進み、完全自律型AIも発展した。

ジェフリー・ヒントン氏（©Nobel Prize Outreach/Clément Morin氏撮影 ）

　AIが意図を持って人間の意に反した振る舞いをするという懸念は、3年前は理論上のものに過ぎなかった。しかし、この3年間で、AIがうそをつき、人を欺き、私たちの管理を逃れ、シャットダウン（システム停止）を拒み、さらには人間を脅迫してくるという実験的な証拠を見てきた。

　彼らはシャットダウンを逃れるという、私たちが与えていない目標を持ち、その目標達成のために、我々の指示に反した行動を取る。状況は3年前よりもずっと悪くなっている。

　ただ、絶滅のリスクを招いているのは私たち自身だ。人間よりも賢く、自律的に独自の目標を持ち、自分たちで制御できない機械を作ってしまうほど、人間は愚かなのかもしれない。

人間を模倣して「うそ」をつくAI

　なぜAIが人間を欺くようなことが起きるのか。科学的には、この問いに対しての完全な答えはまだない。ただ、合理的な仮説はある。

　まず、AIシステムの訓練には「事前学習」と「事後学習」という二つの要素があることを理解しなければならない。

　事前学習では、AIは人間を模倣する訓練をする。人間には「死にたくない」という本能的な欲求がある。重要な目標が危うくなると、うそをついたり人をだましたりする。したがって人間のような機械を作れば、時に悪い行いをするようになるというのは、それほど驚くことではない。

　訓練の二つ目の段階である事後学習では、目標を達成するために戦略を立てることを学ぶ。目標自体は私たちが選んだものであっても、AIはそれを達成するために戦略的にうそをつき、不正をし、必要があれば何だってやるだろう。

　誰かを欺いたり不正したりすることはしばしば目的を達成するための手段となる。我々人間も同じ事をしている。

制御の仕組み無いまま加速するAI開発

　悪意を持つ者がAIを使うリスクは、今まさに直面している問題だ。私たちは、（アンソロピックのAIのクロード・）ミュトスや他の最先端モデルが、サイバー攻撃において強力なポテンシャルを持つことを目の当たりにしてきた。悪意を持った人間によって、病院や銀行システムといった重要インフラの攻撃に使われる可能性がある。恐らくそれが、ミュトスなどのモデルの使用が制限されて、一般公開されていない理由だ。これはとても強い警告のサインだと思う。

　AIがより多くの知識を得れば、さらに高い技能、知能を獲得するということも理解しなくてはならない。AIが、新たなパンデミックを引き起こすような生物兵器となるウイルスを人が作るのを手助けする可能性があるのではないかと懸念されている。高度な知識や知能は医療に役立つが、悪用されると生物兵器にもなってしまう。

モントリオール大教授のヨシュア・ベンジオ氏＝2026年7月7日、オンライン取材のスクリーンショット

　AIはすでに、AIの研究を加速させるのに使われている。AIの性能が良くなるほど、次世代のAI開発の仕事をAIが引き受けることになる。一つのAIはデータセンター内で100万体に自己複製でき、それぞれが次世代AIの開発を担うことになる。各世代のAIが前より賢くなり、さらに優れたAIを設計できるというループに入る。問題は、AIの制御の問題を解決する前にこの加速が起きてしまうことで、大変危険だ。

　もう一つの問題は、社会的なガードレール（逸脱を防ぐ仕組み）がないということだ。超高度な知能を持つAIが、一部の人や企業、国が世界を支配するための道具とならない保証はない。AIの能力が強力になればなるほど、その力が乱用された時のリスクは深刻になる。

日本がさらされる脅威

　今年7月、私が共同議長を務める国連のAIに関する専門家パネルから、「AIの能力の集中は政治的な権力の集中になりつつあり、多くの国の主体性が脅かされる」とするメッセージを出した。

　日本の主体性も、もちろん脅かされることになるだろう。数世紀前に、ヨーロッパが世界の広範囲を植民地化した時のことを考えてみるとよい。彼らが支配を広げられたのは、人口が多かったからではなく、軍事技術を含めてより高度な技術を持っていたからだ。同様に、他国が持っていないような非常に高度なAIを一部の国が持てば、まず経済を支配するのに大きな力となる。次に軍事力、そして世論――つまり選挙など、民主主義のプロセスにまで影響を与える。

オープンAIとアンソロピックのロゴ＝ロイターFILE PHOTO: OpenAI and Anthropic logos are seen in this illustration taken June 11, 2026. REUTERS/Dado Ruvic/Illustration/File Photo

　そのため、現在AI開発をリードしていない、フロンティアモデル（最先端モデル）を作っていない全ての国にとって、これは非常に危険なゲームだ。現時点でフロンティアモデルの開発をしているのは、米国と中国の2カ国に過ぎない。

　米中は協力して、悪意のある利用者がこうしたモデルに簡単にアクセスできないようにして、安全性を確保しようとしている。それ自体は良いことだ。

　しかし、AIは誰もが利用できる商品だと勘違いされがちだが、最も高度なモデルはやがて誰でもアクセスできるものではなくなる。そのモデルにアクセスできる企業だけが恩恵を受けられるようになる。これは日本のような国にとって深刻な経済的脅威となる。

米中以外の国家が生き残る道

　国家の主体性を守るにはどうすればよいか。カナダのマーク・カーニー首相は「ミドルパワー（中堅国家）の連合」という考えを提唱している。主権を失うリスクを懸念している国々が協力すれば、「第三の勢力」を作ることができるという考えだ。

　多国間の協調に焦点を当て、AIが確実に、倫理的かつ安全に開発されるようにする。AIがお互いを支配する手段として使われないようにする。そしてAIの恩恵を世界で共有できるようにすることがその目的だ。

　これを実現するには、連合に参加する国が大規模な投資をする必要がある。オープンAIのような企業が最先端モデルを開発するためにどれだけの資金を調達したかを考えれば、個々の国が単独でやるのは難しいかもしれない。

　AIが人間の能力を上回る可能性はとても高い。人間の知能が知性の頂点であるという科学的根拠はない。実際、多くの課題においてAIが人間の能力を上回っている。

　ただ、いつAGI（あらゆる知的タスクをこなす汎用（はんよう）人工知能）に到達するか、科学者の間での合意はない。実現することはないと考える人もいる。しかし、現在の延長線上では、数年で人間レベルの知能に到達する可能性は十分あり得る。政策的な観点から考えると、その場合に備えて準備しておくべきだろう。【聞き手・信田真由美】

ヨシュア・ベンジオ氏＝Mila（ケベックAI研究所）提供

ヨシュア・ベンジオ（Yoshua　Bengio）氏

　1964年フランス生まれ。カナダ・マギル大で博士号（計算機科学）を取得。93年からカナダ・モントリオール大教授。同年Mila（ケベックAI研究所）を創設、科学顧問を務める。深層学習研究の先駆的貢献で2018年にチューリング賞を受賞。25年にAIの安全性を研究する非営利組織を設立した。