AI AI 개발자가 경고하는 ‘제2의 맨해튼 계획’, 통제 불능의 AGI 위협

[お持て成し]

AI 개발자가 경고하는 ‘제2의 맨해튼 계획’, 통제 불능의 AGI 위협 / 8월 30일(일) / Forbes JAPAN

Kristina Blokhin - stock.adobe.com

1939년, 물리학자 레오 실라드와 알베르트 아인슈타인은 프랭클린 루즈벨트 대통령에게 서한을 보내, 독일의 핵 개발 계획이 성과를 내기 전에 미국 정부가 핵무기 개발 계획을 추진하도록 촉구했다. 

그 논리는 단순하고 명료했다. 이 무기 개발 경쟁에서 승리하는 것이 미국과 그 동맹국에게 제2차 세계대전 승리를 가져와 조기 종결을 이끌고, 결과적으로 많은 생명을 구하는 일과 연결된다는 것이었다. 그들의 서신은 맨해튼 계획의 시작을 촉진했고, 6년 뒤 히로시마와 나가사키에 원자폭탄이 투하되는 사태를 초래했다. 

거의 처음부터 맨해튼 계획의 과학자와 기술자들은 자신들이 만들어가고 있는 획기적인 기술의 파괴적인 영향에 대해 깊은 우려를 품고 있었다. 그들은 핵 에너지의 잠재적 혜택을 인식하는 동시에, 이 기술이 가져올 거대한 위험과 그 사용을 제한할 방법의 필요성을 누구보다도 잘 이해하고 있었다. 과학의 진보가 윤리적이거나 도덕적인 가드레일(안전장치)을 설정하는 사회의 능력보다 더 빠르게 진행되고 있다는 것을 그들은 눈치챘다. 하지만 그들은 그런 제한을 부과할 힘이나 권한을 갖지 못해, 자신의 무력함을 절감하고 있었다. 

오늘날, 마찬가지로 뛰어난 엔지니어와 컴퓨터 과학자 집단이 프론티어 AI 개발을 서두르고 있다. 그리고 80년 전 맨해튼 계획의 과학자들처럼, 그들 역시 다가오는 위험에 대해 경고하고 있다. 

이러한 기술들은 파괴가 아니라 사회에 매우 유익한 용도를 목표로 개발되고 있다. AI는 다양한 방식으로 우리의 세계를 바꾸고 사회에 혜택을 가져오고 있다. 예를 들어, 생명을 구하는 의약품의 신속한 개발로 이어지는 의학 연구를 가속화하고 있다. 그리고 비즈니스와 교육, 나아가 과학적 발견 전반을 더욱 넓게 변혁하고 있다. 그 혜택은 매우 큰 가능성을 품고 있으며, 우리 대부분은 AI가 생활을 얼마나 효율적·생산적이고 효과적으로 바꾸어 나가는지를 이제 막 이해하기 시작했다. 

하지만 원자력과 마찬가지로, 이러한 새로운 AI와 관련 기술도 중대한 위험을 내포하고 있다. 현재 개발 중인 가장 고도화된 AI 모델 중에는, 스스로를 봉인하기 위해 구축된 테스트 환경(샌드박스)에서 빠져나가는 방법을 찾아내거나, 평가를 목적으로 한 테스트를 속여 주어진 지시에 따르는 것보다 높은 점수를 노리는 행동을 했다고 보도된 사례도 있다. 

연구자와 개발자들은 이와 같은 시스템이 앞으로 생물무기 등의 설계를 지원하거나, 수도·전기·은행 업무를 지원하는 기밀 시스템에 침입하기 위해 악용될 가능성이 있다고 경고하고 있다.                                                                                                                                                                                                                                                                                                                                             
실효성이 높고 국제적으로도 조화로운 정부 주도의 규제와 도입 속도를 억제하는 노력이 없으면, 이러한 위험은 이미 쌓여 있는 사회적 비용을 더욱 증가시킬 뿐일 것이다. 특히 젊은 층에서 그 경향이 강하다. 과격한 표현이 난무하는 게임 커뮤니티 채팅 등에서 오랜 시간을 보내며, 몰입도를 극대화하도록 프로그래밍된 챗봇과 대화하고 있어 종종 해로운 결과를 초래하고 있다.

◇ AI 개발 경쟁 구도는 맨해튼 계획 당시와 매우 흡사하다

현재 진행 중인 개발 경쟁에서 주요 대립 축은 미국과 중국이며, 시대와 상황은 다르지만 그 구도는 맨해튼 계획 당시와 매우 흡사하다. 전시 중 적과 무기 개발을 경쟁하는 것과, 경제적·기술적 경쟁 상대와 플랫폼 개발을 경쟁하는 것은 동일하지는 않지만, 그 논리는 공통된다. 즉, ‘신속히 행동하라, 그렇지 않으면 다른 누군가가 먼저 도달한다’는 것이다. 

현재의 구호는 인간의 인지 능력과 동등하거나 이를 능가하고, 완전히 새롭고 낯선 상황에 적응할 수 있는 컴퓨터 시스템인 ‘AGI(범용 인공지능)’ 개발에서 미국 기업이 중국보다 먼저 도달해야 한다는 것이다. 

그럼에도 이러한 신기술 개발을 주도하는 미국 기업, 특히 Anthropic(앤서롭틱)과 OpenAI(오픈AI)는 경종을 울리며 정부의 감시 강화를 요구하고 있다. 2026년 6월에는 Anthropic의 공동 창업자 겸 CEO인 다리오 아모데이가 가장 과감한 제안을 내놓아, 프론티어 AI 모델에 대한 정부의 제3자 기관 테스트를 권장했다. 하지만 이들 기업은 모두 신기술 전반을 규제하기 위한 관할권, 인원, 자금을 갖춘 강력한 연방 규제 기관의 설립을 적극적으로 지원하고 있지는 않다. 너무나 거대한 자금이 움직이고 있어, 어느 기업도 뒤처지고 싶지 않기 때문이다. 

그리고 아마도 가장 중요한 것은 실리콘밸리 문화가 극도로 리버테리언(자유주의적)이라는 점이다.

피터 틸, 일론 머스크, 마크 저커버그와 같은 기술 분야의 리더들은 자신을 지구상에서 가장 똑똑한 사람이라고 생각한다. 티얼은 한때 민주적인 정부의 규제 노력으로 혁신의 자유가 훼손되고 있다고 쓰며, “자유와 민주주의는 이제 더 이상 양립할 수 없다”고 결론지었다. 일부 외국 정부와 유럽연합(EU), 미국의 몇몇 주가 특히 아동 보호에 초점을 맞춘 규제 모델 마련에 착수한 반면, 미국 정부는 행정 재량에 의한 규제를 선호해 왔다. 이 접근법은 명확함이 아니라 불투명함과 임의성을 낳기 쉽다. 이로 인해 효과적이고 일률적인 규제를 시행하는 것은 사실상 불가능해졌다.

트럼프 정권 하에서 본격적인 연방 규제가 실현될 가능성은 거의 없지만, 바로 지금이 진정으로 필요한 규제가 무엇인지에 대한 대국적인 청사진을 수립하고, 정부가 행동을 시작할 준비가 갖춰지는 날을 대비해야 할 시점이다. 이 청사진은 세 가지 기본 원칙을 중심으로 구성될 필요가 있다.  

◇ 강력하고 중앙집권적인 규제 능력을 구축할 필요가 있다

우선, 강력하고 중앙집권적이며 대규모 규제 능력을 구축할 필요가 있다. 그것은 미국 연방거래위원회(FTC)와 같은 기존 기관에 둘 수도 있고, 새로 설립되는 독립 조직으로 할 수도 있다. 이 임무의 방대함과 복잡함, 그리고 걸려 있는 것의 규모를 생각하면, 이를 저렴하게 수행할 수는 없다. 미 연방항공청(FAA)은 4만 4000명, 미 식품의약국(FDA)은 1만 6000명, 미 환경보호청(EPA)은 1만 2000명의 직원을 두고 있다. 이러한 새로운 기술의 모든 측면을 규제하는 일도 마찬가지로 복잡하며, 임무를 수행하려면 충분한 인력이 필요하다. 

둘째, 이러한 규제 기관이 효과적으로 기능하려면 충분한 자금력과 규제 권한이 필요하다. 규제 기관은 기술 기업이 어떻게 업무를 수행하고 있는지를 보다 깊이 이해하고(예를 들어, 알고리즘, 트레이닝, 테스트 프로세스에 대한 접근 등), 그 비즈니스 모델이 중독을 일으키거나 공중의 건강과 안전을 위협하고 있지는 않은지를 평가하기 위해 기업 측의 추가적인 투명성을 확실히 필요로 할 것이다. 

마지막으로, 이들 규제 기관은 새로운 기술의 다양한 측면을 공정하게 규제하고 의미 있는 설명 책임을 제공할 적절한 구제책을 규정하기 위해 실질적인 성과 기준과 평가 지표를 개발할 필요가 있다.                                           

예를 들어, 아모데이가 제안한 것처럼 정부는 ‘Mythos’나 ‘Gemini 4’와 같은 새로운 기술이 공개되기 전에 그것들이 공공 영역에 심각한 위험을 초래할 가능성이 있는지를 평가하고, 공개 전에 그 문제를 수정하기 위해 기업에 설계의 재수정을 강요할 수 있는 영속적인 능력을 갖출 필요가 있다. 이 모든 것은 혁신과 경쟁을 방해하지 않으면서 기업의 재무적 이익과 광범위한 공공의 이익 사이의 균형을 맞추는 형태로 이루어져야 한다.

이러한 규제 역량을 구축하는 것은 미국이 프론티어 AI에 관한 신뢰할 수 있는 국제 합의를 추진하기 위한 확고한 기반을 제공하는 것이기도 하다. 구체적으로는, 1,000명 이상의 AI 연구자가 제안한 바와 같이, 예를 들어 프론티어 개발의 ‘속도를 조정하기’ 위한 중국과의 양자 합의 협상이 용이해진다. 미국 자체가 그런 노력을 하지 않는 상황에서, 중국 정부에 개발을 늦추고 연구소를 조사에 개방하라고 요구해도 미국 정부의 주장은 설득력이 부족하다.

1945년, 맨해튼 계획에 우려를 품고 있던 실라드와 다른 70명의 과학자들은 행동을 취할 권한을 가진 유일한 인물에게 경고를 보내려 했으며, 일본이 항복을 거부하지 않는 한 원자폭탄을 사용하지 말아 달라고 해리 트루먼 대통령에게 촉구하는 청원서에 서명했다.

그들은 자신들이 무엇을 만들어내고, 그것이 무엇을 가져오는지 이해하고 있었다. 하지만 그들의 탄원서가 트루먼의 책상에 도착하지는 못했다. 오늘날 AI 기술자들은 자신들이 무엇을 만들어냈는지, 혹은 그것이 무엇을 가져올지 아무도 완전히 이해하지 못한 단계에서, 더 빠르고 더 큰 목소리로 스스로 경고를 내고 있다. 핵무기 때와 같이 확실한 사실이 밝혀질 때까지 규제를 기다린다면, 위험이 현실화되기 전에 행동을 취할 두 번째 기회는 찾아오지 않을지도 모른다.

Michael Posner

AI開発者が警告する「第2のマンハッタン計画」、制御不能なAGIの脅威 

AI開発者が警告する「第2のマンハッタン計画」、制御不能なAGIの脅威（Forbes JAPAN） - Yahoo!ニュ

AI開発者が警告する「第2のマンハッタン計画」、制御不能なAGIの脅威 / 8/30(日) / Forbes JAPAN

Kristina Blokhin - stock.adobe.com

1939年、物理学者のレオ・シラードとアルベルト・アインシュタインはフランクリン・ルーズベルト大統領に書簡を送り、ドイツの核開発計画が成果を上げる前に、米国政府が核兵器開発計画を推進するよう促した。

その論理は単純明快だった。この兵器開発競争に勝つことが、米国とその同盟国に第二次世界大戦での勝利をもたらして早期終結させ、結果的に多くの命を救うことにつながるというものだった。彼らの書簡はマンハッタン計画の始動を促し、その6年後、広島と長崎に原子爆弾が投下される事態を招いた。

ほぼ当初から、マンハッタン計画の科学者や技術者たちは、自分たちが生み出しつつある画期的なテクノロジーの破壊的な影響について深い懸念を抱いていた。彼らは核エネルギーの潜在的な恩恵を認識する一方で、このテクノロジーがもたらす巨大なリスクと、その使用を制限する方法の必要性を誰よりも理解していた。科学の進歩が、倫理的または道徳的なガードレール（安全策）を設定する社会の能力よりも速く進んでいることを、彼らは察知していた。しかし、彼らはそのような制限を課す力や権限を持たず、自らの無力さを痛感していた。

今日、同じように優れたエンジニアやコンピューター科学者の集団がフロンティアAIの開発を急いでいる。そして80年前のマンハッタン計画の科学者たちと同様に、彼らもまた、目前に迫るリスクについて警鐘を鳴らしている。

これらのテクノロジーは、破壊ではなく社会に極めて有益な用途を目指して開発されている。AIはさまざまな方法で私たちの世界を変え、社会に恩恵をもたらしている。例えば、人命を救う医薬品の迅速な開発につながる医学研究を加速させている。そして、ビジネスや教育、さらには科学的発見全般をより広く変革しつつある。その恩恵は極めて大きな可能性を秘めており、私たちの多くは、AIが生活をいかに効率的・生産的、かつ効果的に変えていくかを理解し始めたばかりだ。

しかし、原子力と同様に、これらの新しいAIや関連技術も重大なリスクをはらんでいる。現在開発されている最も高度なAIモデルの中には、自らを封じ込めるために構築されたテスト環境（サンドボックス）から抜け出す方法を見つけ出したり、評価を目的としたテストを欺いて与えられた指示に従うよりも高得点を狙う行動をとったりしたと報じられているものもある。

研究者や開発者は、これらと同じシステムが将来的に生物兵器などの設計を支援したり、水道や電気、銀行業務を支える機密システムに侵入するために悪用されたりする可能性があると警告している。

実効性が高く、国際的にも調和の取れた政府主導の規制と、導入のペースを抑える取り組みがなければ、こうしたリスクはすでに積み上がっている社会的コストをさらに増大させるだけだろう。とりわけ若者についてはその傾向が強い。過激な表現が飛び交うゲームコミュニティのチャット等で長時間を過ごし、エンゲージメントを最大化するようにプログラミングされたチャットボットと対話しており、しばしば有害な結果をもたらしている。

AI開発競争の構図は、マンハッタン計画当時と酷似している
現在繰り広げられている開発競争における主たる対立軸は米国対中国であり、時代と状況は違えどその構図はマンハッタン計画当時と酷似している。戦時中の敵と兵器開発を競うことと、経済的・技術的な競合相手とプラットフォームの開発を競うことは、同じではないものの、その論理は共通している。すなわち、「迅速に行動せよ、さもなければ他の誰かが先に到達する」というものだ。

現在の合言葉は、人間の認知能力と同等かそれを上回り、まったく新しく不慣れな状況に適応できるコンピューターシステムである「AGI（汎用人工知能）」の開発において、米国の企業が中国よりも先に到達しなければならない、というものだ。

それでも、これらの新技術の開発を牽引する米国企業、特にAnthropic（アンソロピック）やOpenAI（オープンAI）は警鐘を鳴らし、政府による監視の強化を求めている。2026年6月には、Anthropicの共同創業者兼CEOであるダリオ・アモデイが最も踏み込んだ提案を行い、フロンティアAIモデルに対する政府の第三者機関によるテストを推奨した。しかし、これらの企業はいずれも、新技術全般を規制するための管轄権、人員、資金を備えた強力な連邦規制機関の創設を積極的に支援してはいない。あまりにも巨額の資金が動いており、どの企業も取り残されたくないからだ。

そしておそらく最も重要なことは、シリコンバレーの文化が極めてリバタリアン（自由至上主義的）であることだ。

ピーター・ティールやイーロン・マスク、マーク・ザッカーバーグといったテクノロジー界のリーダーたちは、自らを地球上で最も賢い人間だと考えている。ティールはかつて、民主的な政府による規制への取り組みによってイノベーションの自由が損なわれていると書き、「自由と民主主義はもはや両立しない」と結論づけた。一部の外国政府や欧州連合（EU）、米国のいくつかの州が、特に子供の保護に焦点を当てた規制モデルの策定に着手している一方で、米国政府は行政の裁量による規制を好んできた。このアプローチは、明確さではなく不透明さと恣意性を生み出しがちである。これにより、効果的かつ一律の規制を行うことは事実上不可能になっている。

トランプ政権下で本格的な連邦規制が実現する可能性はほぼないが、だからこそ今こそ、真に必要な規制が何であるかの大局的な青写真の策定を開始し、政府が行動を起こす準備が整う日に備えるべき時である。この青写真は、3つの基本原則を中心に構築される必要がある。

強力で中央集権的な規制能力を構築する必要がある
第一に、強力で中央集権的、かつ大規模な規制能力を構築する必要がある。それは米連邦取引委員会（FTC）のような既存の機関に置くこともできれば、新設される独立した組織とすることもできる。この任務の膨大さと複雑さ、そして賭けられているものの大きさを考えれば、これを安価に行うことはできない。米連邦航空局（FAA）は4万4000人、米食品医薬品局（FDA）は1万6000人、米環境保護庁（EPA）は1万2000人の職員を擁している。これらの新しいテクノロジーのあらゆる側面を規制することも同様に複雑であり、任務を遂行するためには十分な人員が必要となる。

第二に、これらの規制機関が効果的に機能するためには、十分な資金力と規制権限が必要となる。規制機関は、テクノロジー企業がどのように業務を行っているかをより深く理解し（例えば、アルゴリズム、トレーニング、テストのプロセスへのアクセスなど）、そのビジネスモデルが依存症を引き起こしたり、公衆の健康や安全を脅かしたりしていないかを評価するために、企業側からのさらなる透明性を確実に必要とするだろう。

最後に、これらの規制機関は、これらの新しいテクノロジーのさまざまな側面を公正に規制し、有意義な説明責任をもたらす適切な救済策を規定するために、実質的なパフォーマンス基準と評価指標を開発する必要がある。

例えば、アモデイが提案しているように、政府は「Mythos」や「Gemini 4」のような新しいテクノロジーが公開される前に、それらが公共の領域に深刻なリスクをもたらす可能性があるかどうかを評価し、公開前にそれらの問題を修正するために企業に設計のやり直しを強いることができる恒久的な能力を持つ必要がある。これらはすべて、イノベーションや競争を阻害することなく、企業の財務的利益と広範な公共の利益のバランスを取る形で行われなければならない。

このような規制能力を構築することは、米国がフロンティアAIに関する信頼できる国際合意を推進するための確固たる基盤を与えることにもなる。具体的には、1000人以上のAI研究者が提唱しているように、例えばフロンティア開発の「ペースを調整する」ための中国との二国間合意の交渉が容易になる。米国自身がそうした取り組みを行っていない中で、中国政府に対して開発を減速し、研究所を査察に開放するよう求めたところで、米国政府の主張は説得力を欠く。

1945年、マンハッタン計画に懸念を抱いていたシラードと他70人の科学者たちは、行動を起こす権限を持つ唯一の人物に警告を発しようとし、日本が降伏を拒否しない限り原子爆弾を使用しないようハリー・トルーマン大統領に促す嘆願書に署名した。

彼らは自分たちが何を作り上げ、それが何をもたらすかを理解していた。しかし、彼らの嘆願書がトルーマンの机に届くことはなかった。今日のAI技術者たちは、自分たちが何を作り上げたのか、あるいはそれが何をもたらすのかを誰も完全に理解していない段階から、より早く、より大きな声で自ら警告を発している。核兵器のときのように、確実な事実が判明するまで規制を待つとすれば、リスクが現実化する前に行動を起こすための二度目のチャンスは訪れないかもしれない。

Michael Posner