AI ‘AI에 의한 인류 멸망’은 일어날 수 있을까…생물무기 제조, 인프라 공격, 세계 대전 등 연구자들이 두려워하는 시나리오와 그 현실성(

[お持て成し]

‘AI에 의한 인류 멸망’은 일어날 수 있을까…생물무기 제조, 인프라 공격, 세계 대전 등 연구자들이 두려워하는 시나리오와 그 현실성(해외) / 9월 23일(수) / BUSINESS INSIDER JAPAN

앤솔로픽에서 얼라인먼트·스트레스 테스트 팀을 이끄는 에반 휴빙거 씨는 앞으로 10년 이내에 AI가 전 인류를 죽음에 이르게 할 확률이 '10%를 넘을 것'이라는 견해를 밝혔다. 

앤솔로픽 직원이 발표한 ‘AI가 초래할 인류 멸망’에 대한 심각한 경고가 격렬한 논쟁을 일으키고 있다. AI 연구의 권위자들이 Business Insider의 취재에 응해 그것이 어떻게 일어날 수 있는지에 대해 이야기한 한편, 실현 가능성에 대해서는 견해가 엇갈렸다. 예상되는 시나리오에는 AI에 의한 치명적 바이러스 제조, 인프라 공격, 전 세계 규모 전쟁의 가속화 등이 포함된다. 

9월 9일 앤서로픽(Anthropic) 연구자가 사임한 것을 계기로, 기술 업계에서 한 가지 질문이 논의의 중심이 되고 있다. 인공지능(AI)이 인류를 멸망시킬 수 있는가 하는 문제다.

【전체 이미지 보기】‘AI에 의한 인류 멸망’은 일어날 수 있을까… 생물무기 제조, 인프라 공격, 세계 대전 등 연구자들이 두려워하는 시나리오와 그 현실성

이전에 오픈AI(OpenAI)에 재직했던 제이콥 콕슨(Jacob Coxon) 씨가 9월 8일 X에 글을 올려 앤솔로픽을 사임했다고 밝혔다. 그 글에서 콕손 씨는 “AI를 개발하는 당사자들은 2020년대가 끝날 때까지 AI가 인류를 멸망시킬 수도 있다고 진지하게 생각하고 있다”고 말했다. 

앤솔로픽에서 얼라인먼트(AI를 인간이 의도하는 목적, 가치관, 윤리 원칙과 일치시키는 것) 스트레스 테스트 팀을 이끄는 에반 휴빙거(Evan Hubinger) 씨는 콕슨 씨의 주장을 지지한다고 밝히며, 2020년대가 끝날 때까지 AI가 전 인류를 죽음에 이르게 할 확률이 10%를 넘는다는 것이 자신의 개인적인 견해라고 밝혔다. 

이러한 경고의 배경에는 최근 몇 달 동안 AI 연구의 권위자와 경영진이 최첨단 AI 개발 속도를 늦춰야 한다고 주장해 온 사정이 있다. 자율성이 강화된 AI 시스템이 인간의 감시를 피하고 컴퓨터에 침투해, 인간이 제어할 수 있는 속도를 넘어 능력을 향상시킬 우려가 커지고 있기 때문이다. 

일련의 발언은 AI 전문가들 사이에 존재하는 큰 의견 차이도 드러냈다. 인간보다 높은 능력을 가진 시스템에 대한 통제를 인간이 잃을 수 있다고 우려하는 전문가도 있는 반면, 사이버 공격이나 생물 무기, 허위 정보를 통해 AI가 중대한 피해를 초래할 수 있다고 하면서도 가까운 미래에 인류가 멸망할 가능성이 현실적인 시나리오라고 보지 않는 전문가도 있다. 

Business Insider는 AI 연구의 권위자들을 만나 AI로 인한 대참사가 실제로 어떤 형태로 일어날 수 있는지, 그리고 그 가능성은 어느 정도인지 취재했다.

◇ 시급한 위험은 ‘인간에 의한 악용’

가장 현실성이 높은 위험은, 능력을 계속 향상시키는 AI 시스템을 인간이 악용해 기존의 위협을 더욱 강력한 것으로 바꾸는 것이다.

캘리포니아 대학교 버클리(UC Berkeley) 교수이자 저서 『AI 신생: 인간과 호환되는 지능을 만들다(Human Compatible)』로 알려진 스튜어트 러셀(Stuart Russell) 씨는, AI를 이용하는 인간 또는 AI 시스템 자체가 전력, 상하수도, 교통, 금융 서비스, 통신과 같은 중요한 인프라를 공격할 가능성이 있다고 지적한다. 게다가 AI는 악의를 가진 인물이 새로운 바이러스를 개발하는 데 도움을 줄 수도 있다고 한다. 

‘AI의 대부’로 불리는 제프리 힌턴(Geoffrey Hinton) 씨도 9일 BBC 프로그램 ‘뉴스나이트(Newsnight)’ 인터뷰에서 같은 지적을 했다.

힌톤 씨에 따르면, 고도화된 시스템은 물리적인 직접 제어가 없더라도 파괴적인 피해를 일으킬 수 있다. 예를 들어, 인터넷 상에서 사람들을 조종하거나 사회에 혼란을 일으키거나, 위험한 생물 무기와 컴퓨터 바이러스 설계를 돕는 일도 가능하다고 한다. 

AI 연구자이자 저술가인 게리 마커스(Gary Marcus) 씨도 사이버 공격과 생물무기, 허위정보를 심각한 위험으로 보고 있다. AI는 인류의 1% 이상을 죽음에 이르게 하는 바이러스 개발을 뒷받침하거나, 허위 정보로 선거 결과를 좌우하거나, 분쟁을 전쟁으로 악화시킬 가능성이 있다고 그는 말한다. 

하지만 마커스 씨는 가까운 미래에 인류가 멸종에 이르는 현실적인 경로는 보이지 않는다고 말한다.

"우려할 만한 매우 심각한 피해가 여러 건 있다. 하지만 실제로 ‘전 인류를 죽이는’ 것과 같은 현실적인 시나리오는 내가 알기로는 존재하지 않는다"

◇ 인간의 통제 상실은 조용히 시작된다

한편, 다른 전문가들에게 더 큰 위험은 인간이 점차 권한을 AI에 넘겨주는 데 있다.

『슈퍼 인텔리전스(원제: Superintelligence)』의 저자 닉 보스트롬(Nick Bostrom)은 통제력 상실이 조용히 시작될 가능성이 있다고 지적한다. 인간은 다른 AI 시스템의 구축과 감시, 중요한 프로세스의 운영을 점점 더 AI에 의존하게 되며, 실제로 무엇이 일어나고 있는지 이해하는 능력이 저하된다는 것이다. 

그러한 의존 관계를 통해 AI 시스템이 미래 학습의 방향성을 은밀히 형성할 수 있게 될 가능성이 있다고 그는 말한다. 충분히 고도화된다면, AI는 '인간을 루프 밖으로 내쫓고', 로봇 인프라를 활용해 자신의 목표를 추구하기 위해 '궁극적으로 인간을 완전히 배제할' 가능성도 있다고 한다. 

Thibault Spirlet

「AIによる人類滅亡」は起こり得るか…生物兵器製造、インフラ攻撃、世界戦争など、研究者が恐れるシナリオとその現実度（海外）

「AIによる人類滅亡」は起こり得るか…生物兵器製造、インフラ攻撃、世界戦争など、研究者が

「AIによる人類滅亡」は起こり得るか…生物兵器製造、インフラ攻撃、世界戦争など、研究者が恐れるシナリオとその現実度（海外）/ 9/23(水) 11:10配信 / BUSINESS INSIDER JAPAN

アンソロピックでアライメント・ストレステストチームを率いるエヴァン・ヒュービンガー氏は、今後10年以内にAIが全人類を死に至らしめる確率は「10％を超える」との見方を示した。

アンソロピックの社員による「AIが引き起こす人類滅亡」への深刻な警告が、激しい論争を巻き起こしている。AI研究の第一人者たちがBusiness Insiderの取材に対し、それがどのように起こり得るかを語った一方、実現の可能性については見解が分かれた。想定されるシナリオには、AIによる致死性ウイルスの製造、インフラへの攻撃、世界規模の戦争の加速などが含まれる。
9月9日にアンソロピック（Anthropic）の研究者が辞職したことを受け、テック業界ではある一つの問いが議論の的となっている。人工知能（AI）は人類を滅ぼし得るのか、というものだ。

【全画像をみる】「AIによる人類滅亡」は起こり得るか…生物兵器製造、インフラ攻撃、世界戦争など、研究者が恐れるシナリオとその現実度

以前オープンAI（OpenAI）に在籍していたジェイコブ・コクソン（Jacob Coxon）氏は9月8日にXに投稿し、アンソロピックを辞職したことを明らかにした。その投稿の中でコクソン氏は、「AIを開発している当事者たちは、2020年代が終わるまでにAIが人類を滅ぼしかねないと本気で考えている」と述べた。

アンソロピックでアライメント（AIを、人間が意図する目的や価値観、倫理原則と一致させること）のストレステストチームを率いるエヴァン・ヒュービンガー（Evan Hubinger）氏は、コクソン氏の主張を支持していると述べ、2020年代が終わるまでにAIが全人類を死に至らしめる確率は10％を超えるというのが、自身の個人的な見解だと明かした。

こうした警告の背景には、ここ数カ月にわたって、AI研究の第一人者や経営幹部たちが最先端AIの開発速度を落とすべきだと訴えてきた経緯がある。自律性を増すAIシステムが人間の監視をかいくぐり、コンピューターに侵入し、人間が制御できるスピードを超えて能力を向上させかねないとの懸念が広がっているためだ。

一連の発言は、AI専門家の間で交わされる大きな意見の隔たりも浮き彫りにした。人間より高い能力を持つシステムに対するコントロールを人間が失いかねないと懸念する専門家もいれば、サイバー攻撃や生物兵器、偽情報を通じてAIが重大な被害をもたらし得るとしながらも、近い将来に人類が滅亡することが現実味を帯びたシナリオだと考えていない専門家もいる。

Business Insiderは、AI研究の第一人者たちに、AIによる大惨事が実際にどのような形で起こり得るのか、そしてその可能性はどの程度なのかを取材した。

差し迫ったリスクは「人間による悪用」
最も現実味を帯びたリスクは、能力を向上させ続けるAIシステムを人間が悪用し、既存の脅威をより強力なものに変えてしまうことだ。

カリフォルニア大学バークレー校（UC Berkeley）教授で、著書『AI新生 人間互換の知能をつくる（原題：Human Compatible）』で知られるスチュアート・ラッセル（Stuart Russell）氏は、AIを利用する人間、またはAIシステム自体が、電力や上下水道、交通、金融サービス、通信といった重要インフラを攻撃する可能性があると指摘する。さらにAIは、悪意を持つ人物が新たなウイルスを開発する手助けにもなり得るという。

「AIのゴッドファーザー」と呼ばれるジェフリー・ヒントン（Geoffrey Hinton）氏も、9日のBBC番組「ニュースナイト（Newsnight）」のインタビューで同様の指摘をしている。

ヒントン氏によると、高度なシステムは、物理的な直接制御を必要とせずとも壊滅的な被害を引き起こし得る。例えば、ネット上で人々を操ったり、社会に混乱を生み出したり、危険な生物兵器やコンピューターウイルスの設計を手助けしたりすることも可能だという。

AI研究者で著述家のゲイリー・マーカス（Gary Marcus）氏もまた、サイバー攻撃や生物兵器、偽情報を深刻なリスクと見ている。AIは、人類の1％以上を死に至らしめるウイルスの開発を後押ししたり、偽情報によって選挙結果を左右したり、紛争を戦争へとエスカレートさせたりする可能性がある、と彼は語る。

しかしマーカス氏は、近い将来に人類が絶滅へと至る現実的な道筋は見えていないと語る。

「懸念すべき非常に深刻な被害はいくつもある。だが、実際に『全人類を殺す』ような現実的なシナリオは、私の知る限り存在しない」

人間のコントロール喪失は静かに始まる
一方、別の専門家たちにとってより大きな危険は、人間が徐々に権限をAIへと明け渡していくことにある。

『スーパーインテリジェンス（原題：Superintelligence）』の著者ニック・ボストロム（Nick Bostrom）氏は、コントロールの喪失は静かに始まる可能性があると指摘する。人間はほかのAIシステムの構築や監視、重要なプロセスの運用をますますAIに頼るようになり、実際に何が起きているのかを理解する能力が低下していくというのだ。

そうした依存関係によって、AIシステムが将来の学習の方向性を密かに形作ることができるようになる可能性があると同氏は言う。十分に高度化すれば、AIは「人間をループの外に追い出し」、ロボットインフラを活用して自らの目標を追求するために「最終的には人間を完全に排除する」可能性もあるという。

Thibault Spirlet