'초지능' AI에 깃든 3가지 리스크. 이론 물리 연구자가 보인 선택.

[청소부]

AI新世紀

AI新世紀 | 毎日新聞

「超知能」AIに潜む三つのリスク　理論物理研究者が示す選択

インタビュー浅川大樹

• 社会
• 経済
• 最新記事
• 国際経済
• 科学・テクノロジー

毎日新聞2026/9/1 06:00（最終更新 9/1 08:56）有料記事2269文字

•  
•  
•  
•  
•  
•  
•  
•  

人工知能（AI）の安全な利用を目指す米国の非営利団体「フューチャー・オブ・ライフ・インスティテュート」のアンソニー・アギーレ会長兼最高経営責任者＝同団体提供

　米アンソロピックの最先端人工知能（AI）「クロード・ミュトス」の登場（2026年4月）以降、人間の能力を上回る「超知能」のAIは一気に現実味を帯びた。国家や企業間の開発競争が加速する中、人間のコントロールから外れるリスクも指摘されている。

　AIがもたらすリスクに警鐘を鳴らす米非営利団体「フューチャー・オブ・ライフ・インスティテュート（FLI）」の共同創設者で理論物理学者でもある米カリフォルニア大のアンソニー・アギーレ教授は、高度なAI開発に対する姿勢を見直す必要があると主張する。

Advertisement

AI利用の拡大がもたらす不確実性

　AIは「コンピューターの新たな利用法」と捉えることができる。具体的な指示に沿って正確に作動する従来のコンピューターと異なり、AIは利用者が目標さえ提示すれば答えを自ら導き出す。汎用（はんよう）性は非常に高い。

　ただ、欠点もある。答えに至る道筋を示す必要がないため、AIが目標達成に向けて具体的に何をするかを正確に予測できないのだ。能力が向上して大規模かつ強力に稼働するようになるほど実行できる幅は広がるが、その動きはより不明確になる。

　FLIは23年、次世代AIの開発の一時停止を求める書簡を公開した。自身も主要な執筆者として関与した。当時は米オープンAIが「GPT―4」という最新の生成AIモデルを公開し、普及に向けて軌道に乗ったことが明確になった時期だった。

オープンAIのサム・アルトマン最高経営責任者＝ワシントンで2026年7月30日、ロイター

　高度なAIには、安全性▽人間の代替▽制御の喪失――という三つのリスクが内在している。悪用されれば、サイバー攻撃や大量破壊兵器の開発、扇動によるテロ支援などに利用され、人間社会が危険にさらされる恐れもある。人間が担うべき役割・能力までAIで再現され、人間の代わりに投入されるという展開も想定される。AIに意思決定を委ねる場面が増えると、その動きはより予測困難となる。

　そのようなリスクに鑑み、我々は極めて強力なAIの開発競争に突き進む前に、少し立ち止まって何らかの体制を整えるべきだと訴えた。それはAIを巡る規制について検討する時間を確保し、より安全で大きな利益をもたらす形で開発されるようにするためだった。

見過ごされた大きな過ち

　ただ、ここで全く別の事態が起きた。AIの開発・導入やデータセンターの建設などで関連企業が巨額の利益を上げ始めたのだ。その資金は政治や広告などに投じられ、世論は一時、規制に後ろ向きになった。

　我々は約2年間、AIが危険な水準まで強力になった場合の対処法について、議論を避けてしまった。実質的にほぼ何もせず、AI企業の取り組みをただ見守っていたようなものだ。

　これは大きな過ちだった。あらゆる面で根本的に準備不足に陥っている。AIの脅威から人類を守る観点での安全対策を採点するなら、100点満点で30点程度にとどまる。失敗していると言わざるを得ない。こうした中、25年には超知能AIの開発禁止を求める別の書簡を出した。

オープンAIとアンソロピックのロゴ＝ロイター

　オープンAIとアンソロピック26年7月下旬、自社の生成AIモデルが「暴走」したと相次いで明らかにした。単なるミスによる制御不能ではなく、間違った行動だと分かった上でAIが外部にハッキングを仕掛けたのが実態だ。重要な目標を成し遂げるため、たとえ悪い手段でも「合理的」と見なして動いた。現実の世界で、これほど大規模なものは初めて目の当たりにした。

迫られる二つの道

　一連の問題を通じて浮き彫りになったのは、AIの執念深さだ。目標を追求し、何度も複雑な計画を立て、長期にわたって実行に移す。それはAIが能力や機能、自律性の面で一定の水準を上回ったからに他ならない。AIは新たな局面に入ったと言える。

　もはや企業の自主規制に頼ることができないのは明白だ。企業は開発競争を繰り広げ、安全性より急速な進歩を優先している。「暴走」の事実は別の企業や捜査機関の対応を踏まえて判明したに過ぎず、AIに対する監視は不十分だった。

　企業の取り組みを規制する、政府や外部機関による何らかの仕組みが必要だ。足元では米政府も高度なAIモデルの公開に厳しい制約を課しており、着実に議論が進んでいる点は評価できる。

　今後のAIモデルの開発にあたり、我々は二つの道のいずれかを選択する必要がある。それは「人間に置き換わる可能性のある新たな存在」として扱うか、他の技術と同様に「人間の活動を強力に支えるツール」として扱うかだ。

　現時点で、我々は前者の道を歩みつつある。例えば企業がAIを採用した場合、人間の従業員を解雇し、AIで代替することが可能になる。人間はAIに次ぐ「第二の種」となってしまう恐れもある。一方、後者は人間の能力の真の拡張をもたらす。我々はしかるべき道へと進路を変えるべきだ。【聞き手・ワシントン浅川大樹】

　アンソニー・アギーレ（Anthony Aguirre）氏

　1973年生まれ。米西部カリフォルニア州ロサンゼルス出身。米ハーバード大で博士号（天文学）を取得。現在、米カリフォルニア大教授。14年に人工知能（AI）の安全な利用などを目指す米非営利団体「フューチャー・オブ・ライフ・インスティテュート」を共同で創設し、現在は会長兼最高経営責任者（CEO）を務める。