AI AIはどうやって「人類を滅亡」させるのか 12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威” 超知能は「最後の発明」【第1回】

[お持て成し]

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】/ 10/17(土) 7:00配信 / TBS NEWS DIG Powered by JNN

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“

AI는 어떻게 ‘인류를 멸망’시키는가 12년 전부터 경종… 철학자가 말하는 인류가 손에 넣는 ‘막대한 이익’과 ‘위협’ 초지능은 ‘마지막 발명’인가【제1회】/ 10월 17일(토) / TBS NEWS DIG Powered by JNN

올해 9월, 미국 AI 개발 기업 ‘앤솔로픽’의 전 연구원 제이슨 콕슨 씨가 “AI가 인류를 멸망시킬 가능성이 있다”고 경고하며 전 세계에 파문을 일으켰다. 

AI는 도대체 어떻게 인류를 멸망시키려는 것일까.

BS‑TBS ‘보도 1930’에서는 ‘세계의 지성’이라 불리는 3명의 전문가를 인터뷰했다.

본 기사에서는 그 중에서, 스웨덴 출신으로 '현대 최고의 지성'이라 불리며 2014년 저서 『슈퍼 인텔리전스』에서 AI로 인한 '인류 멸망 위험'에 대해 가장 먼저 경종을 울린 철학자 닉 보스트롬 씨의 인터뷰 전문을 총 3회에 걸쳐 공개한다. 

■ 초지능은 ‘최후의 발명’

Q : AI가 초래할 수 있는 위협을 둘러싼 논의가 점점 더 격화되고 있는데, 이에 대해 어떻게 보십니까?

A : 앞으로 더욱 치열한 논의가 이어질 것이라고 생각합니다. 대부분의 사람들은 아직 위험의 심각성을 이해하지 못하고 있습니다. 안타깝게도 의견이 양극화되면서 현실적인 해결책을 찾기가 어려워지고 있다고 생각합니다. 사람들이 분열되고, 자신과 다른 주장이나 생각에 귀를 기울이지 않게 되었기 때문입니다.

따라서 기계지능(Machine Intelligence) 시대로의 이러한 전환을 잘 관리하는 것은 인류 문명에 있어 사회 전체의 이성을 모아 추진해야 할 중대한 과제가 될 것입니다. 평상시라 하더라도 상황이 매우 불안정해질 수 있기 때문입니다. 하지만 앞으로 현명한 길이 찾아지길 바랍니다. 즉, 초지능을 영원히 멈추려는 것도 아니고, 위험을 무모하게 무시하고 서두르는 것도 아닌 길입니다. 

다만, 이를 위해서는 우리 인간성 안에 있는 ‘최선’의 본질을 끌어내는 것이 필요하다고 생각합니다.

Q : 그 ‘최상’이란 무엇인가요?

A : 먼저 이해해야 할 것은, 우리가 여기서 만들려는 것은 '단순히 새로운 훌륭한 기술이 아니다'라는 점입니다. 단순히 iPhone의 새로운 버전이라고만 할 수는 없습니다. 몇 년마다 새로운 유행어가 등장해서 사람들을 열광하게 만들죠. 하지만 이것은 가상현실이나 모바일 인터넷, 블록체인과는 근본적으로 다른 것이라고 생각합니다. 

초지능은 우리가 만들어야 할 ‘마지막 발명’입니다. 일단 초지능을 가진 지성이 실현되면, 모든 것을 발명하는 능력에서 AI가 인간을 능가하게 되기 때문입니다. 따라서 이것은 정말로 가장 넓은 의미의 범용 기술입니다.

하지만 매우 강력한 존재가 되는 초지능이 인간의 가치관과 일치하며, 우리가 의도한 대로 행동하게 하는 것은 매우 큰 기술적 과제입니다. 이는 첫 시도에서 반드시 성공시켜야 할 과제이기도 합니다. 우리의 가치관과 어긋나는 초지능을 만들어버리면, 나중에 그것을 취소하거나 병 안으로 되돌릴 수 없기 때문입니다. 

한 번 만들어지면, 그 초지능이 가진 선호(※좋다고 생각하는 것)나 목표가 어떤 것이든, 그것에 따라 미래가 형성될 가능성이 있습니다. 따라서 그런 선택과 목표가 인류에게도 일이 잘 풀리도록 일치(아라이먼트)되어 있을 필요가 있습니다. 

■ 대량 파괴 무기가 확산? AI가 심취하는 ‘얼라이먼트 실패’

Q : AI에 대해 경고하는 사람들에 대해, 그들이 예를 들어 어떤 것을 두려워하는지 사례를 들어주실 수 있나요?

A : 그중에는 AI로 인해 인류가 멸망할 가능성이 충분하다고 생각하는 사람들도 있습니다. 리스크는 크게 나누어 적어도 두 가지 범주로 구분됩니다.
첫 번째는, 앞서 언급한 ‘AI 얼라이먼트(※AI의 행동과 목표를 인간의 의도, 가치관, 윤리 원칙에 일치시키기 위한 기술 및 연구 분야)의 실패’입니다. 매우 강력한 시스템을 만든 결과, 그것이 제어에서 벗어나거나 폭주하는 것입니다. 예를 들어, 최근 있었던 OpenAI와 Hugging Face의 한 건(※ 테스트 중 AI 모델이 평가 시스템을 해킹한 사건)에서 볼 수 있었던 사례입니다. 

만약 그것들이 초지능이며, 몇 개월 혹은 몇 년에 걸친 장기 계획을 세울 수 있는 능력을 가지고 있었다면, 우리는 그 폭주를 전혀 눈치채지 못했을지도 모릅니다. 초지능은 자신들이 하고 있는 일을 숨기는 능력이 뛰어날 가능성도 있습니다. 그렇다면 은밀히 자신들의 계획을 실행해, 결국 우리가 원하지 않는 방향의 미래로 이끌 수도 있다. 이것이 하나의 문제, 즉 '테크니컬 얼라인먼트(기술적 정합성)'의 문제입니다.

그리고 또 하나의 큰 문제 카테고리가 있는데, 그것은 '통제(컨트롤)의 과제'로 분류될 것입니다. 대략적으로 말하면, 우리 인간 스스로가 이 매우 강력한 기술을 파괴적인 목적이나 악의적인 의도로 사용하지 않도록 하는 것입니다. 

예를 들어, 개인이 어떤 나쁜 일을 하는 형태도 생각해 볼 수 있습니다. 이러한 AI 모델을 활용해 생물무기 설계 역량을 높인다는 내용입니다. 현재의 AI는 이미 최고 수준의 인류 바이러스 학자가 수행할 수 있는 일을 해낼 능력을 크게 갖추고 있습니다. 예를 들어, 바이러스의 게놈 변경을 제안하는 것과 같은 일입니다. 

따라서 새로운 대량살상무기, 특히 생물무기를 설계·제조하는 능력이 이러한 AI 모델의 보급으로 인해 대중화될 우려가 있습니다. 설령 프론티어 모델(※최첨단 AI 모델)에 안전 대책이 적용되어 있다고 해도 말입니다. 즉, “더 강한 독성을 가진 조류 인플루엔자를 만들고 싶다”는 지시가 있어도, 최첨단 AI가 “도움을 주지 않겠다”며 거부하게 되어 있어도 문제는 남습니다. 

왜냐하면 최첨단에서 불과 1~2년 정도 뒤처진 ‘오픈 웨이트 모델(※내용이 일반에 공개된 AI)’도 존재하기 때문입니다. 제한을 해제할 수 있는 오픈 AI를 사용하면, 이러한 지원(=바이러스 제작 협력)을 널리 활용할 수 있게 됩니다. 우리는 그 결과로 인위적인 팬데믹이 발생하는 것을 막기 위해 별도의 안전 대책을 마련할 필요가 있습니다. 예를 들어, 저는 DNA 합성 기계에 대한 규제를 강화할 필요가 있다고 생각합니다. 

Q : DNA 합성 기계란 무엇인가?

A : DNA 합성 머신이란 디지털화된 설계도 데이터를 받아 실제로 그 분자를 만들어내는 장치입니다. 즉, 사람에게 감염되는 바이러스를 만들기 위해서는 AI가 출력한 설계도만으로는 부족하며, 이를 실제로 구현하기 위한 이 장치가 필수적입니다.

현재는 전 세계 연구소에 배치되어 있어 매우 편리하지만, 앞으로는 각 연구소가 개별적으로 보유하는 것이 아니라 전 세계 몇 개 기업이 서비스 형태로 DNA 합성을 수주하는 방식으로 전환하더라도 연구상의 이점은 변하지 않을 것입니다. 그렇게 하면 위험한 바이러스 제조를 방지하기 위해 엄격히 감시해야 할 ‘관문’을 소수로 제한할 수 있습니다. 

이는 기술이 개인에게 막대한 힘을 부여하는 한 가지 사례에 불과합니다. AI에는 그 밖에도 정부가 국민을 억압하고 감시하는 힘을 강화하거나, 새로운 전쟁 수단을 만들어낼 가능성도 있습니다. 

만약 프론티어 모델(최첨단 AI)을 독점적으로 지배하는 국가나 조직이 등장한다면, 권력의 극단적인 집중이 일어날 가능성도 있습니다. 그들은 AI를 갖지 않은 타인과 비교해 압도적인 힘을 가지게 될 것입니다. 

이는 엄밀히 말하면 기술적인 문제라기보다, 오히려 정치나 사회 통제 시스템의 문제입니다. 우리가 AI를 안전하게 통제할 수 있다는 전제하에 말씀드리지만, 사회 전체 차원에서 이 강력한 기술을 주로 유익한 목적을 위해 사용하고, 전 세계의 많은 국가와 사람들이 그 혜택을 널리 누릴 수 있도록 하는 것이 매우 중요합니다. 

■ 위험을 이해하면 인류는 '엄청난 이익'을 얻을 수 있다…

Q : 콕슨 씨(미국 앤솔로픽사의 전 연구원)와 터크 유엔 인권 고등판무관 등 여러 전문가들이 개발을 다소 늦춰야 한다고 경고하고 있습니다. 그들이 그런 잠재적인 문제를 두려워하고 있다는 뜻일까요?

A : 그렇습니다. 지금까지 수많은 연구자들이 최첨단 AI 개발 기업을 떠났습니다. 최근에는 콕슨 씨의 사임이 큰 주목을 받았습니다. 그들은 ‘이건 너무 위험하다’고 느끼거나, 경종을 울려 사람들을 깨우쳐 지금 무슨 일이 일어나고 있는지 주의를 기울이게 하고 싶어 합니다.

AI 연구소 내부에 있는 사람들은 발전이 얼마나 빠른지 직접 확인할 수 있습니다. 반면, 세계의 그 외 대부분 사람들은 앞으로 무슨 일이 일어날지 아직 충분히 이해하지 못하고 있다고 생각합니다. 하지만, 그 점이 변하기 시작했습니다. 다만, 다양한 사람과 국가가 어느 정도 "AGI(범용 인공지능)의 현실성에 눈뜨고 있는가" 그 차이는 꽤 큽니다. 

미국에서는 현재 인식이 크게 확산되고 있는 것으로 보이지만, 유럽에서는 아직 상당히 낮다. 일본의 인식이 어느 정도인지 저는 알 수 없습니다.

이러한 인식에는 우리가 이야기해 온 ‘리스크’에 대한 이해도 포함되어야 한다고 생각합니다. 이들에는 인류 멸망의 위험도 포함되어 있어 매우 심각한 문제입니다. 하지만 동시에, 이 기술을 발전시키고 안전하며 책임 있는 방식으로 운영할 수 있다면 막대한 이익을 창출할 수 있다는 점도 인식해야 합니다. 

그렇게 된다면, 매우 막대한 경제적 이익이 가져올 가능성이 있습니다. 예를 들어, 의학의 발전이나 다양한 불치병에 대한 치료법이 생기는 것을 상상해 보세요. 만약 우리가 이를 올바르게 실현한다면, 인류 번영을 다음 단계로 끌어올리는 문이 열릴지도 모릅니다. 

Q : ‘인류의 번영’인가요?

A : 인류의 번영, 즉 좋은 삶입니다. 더 나은 인생을 사는 것, 실제로 인생을 즐기는 것, 단조롭고 힘든 노동에서 해방되는 것입니다. 현재로서는 대부분의 사람들이 많은 시간을 업무에 할애하고 있습니다. 그 일이 즐거운지는 사람마다 다르지만, 이상적으로는 자신의 시간을 스스로 조절할 수 있어야 한다고 생각합니다. 시간은 가장 기본적인 자원이기 때문입니다. 

자신의 시간을 어떻게 쓰고 싶은지 스스로 선택한다. 특정 프로젝트에 몰두하고 싶은 건지, 취미에 빠지고 싶은 건지, 친구와 시간을 보내고 싶은 건지, 몸을 단련하고 싶은 건지, 아니면 정신성을 성장시키고 싶은 건지. 경제를 자동화할 수 있는 미래에는, 우리 인간이 자신의 시간을 돈을 위해 파는 것이 아니라 인생을 최대한으로 누릴 수 있는 시간을 가질 수 있게 될 것입니다. 

TBS NEWS DIG Powered by JNN

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“

AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】/ 10/17(土) 7:00配信 / TBS NEWS DIG Powered by JNN

今年9月、米国のAI開発企業「アンソロピック」の元研究者、ジェイソン・コクソン氏が「AIが人類を滅亡させる可能性がある」と警告を発し、世界に波紋を広げた。

【写真を見る】AIはどうやって「人類を滅亡」させるのか　12年前から警鐘…哲学者が語る、人類が手にする“絶大な利益”と“脅威”　超知能は「最後の発明」【第1回】

AIは一体どうやって人類を滅亡させるというのか。

BS-TBS「報道1930」では、“世界の知性”とも称される3人の専門家にインタビュー取材を敢行した。

本記事ではその中から、スウェーデン出身で「現代最高の知性」と呼ばれ、2014年の著書「スーパーインテリジェンス」でいち早くAIによる「人類滅亡リスク」に警鐘を鳴らした哲学者、ニック・ボストロム氏のインタビュー全文を全3回にわたって公開する。

■超知能は「最後の発明」

Q:AIがもたらす可能性のある脅威をめぐって議論がますます激しくなっていますが、これについてどう見ていますか。

A:これからさらに激しい議論になっていくと思います。ほとんどの人は、まだリスクの大きさを理解していません。残念ながら、意見の分極化が進むことで、現実的な解決策を見つけるのが難しくなっていると思います。人々が分断され、自分と異なる主張や考えに耳を傾けなくなっているからです。

ですから、機械知能（Machine Intelligence）時代へのこの移行をうまく管理することは、私たち人類の文明にとって、社会全体の理性を結集して取り組むべき大きな課題になるでしょう。平時であっても、物事は非常に不安定になり得るからです。ですが、これから賢明な道筋が見つかることを願っています。つまり、超知能を永久に止めようとするのでもなく、リスクを無謀にも顧みずに先を急ぐのでもない道です。

ただ、そのためには、私たちが人間性の中にある「最良」の本質を引き出すことが求められると思います。

Q:その「最良」とは、何ですか?

A:まず理解しなければならないのは、私たちがここで作ろうとしているものは「単に新たな素晴らしい技術ではない」ということです。単なるiPhoneの新しいバージョンというわけではありません。数年ごとに新しい流行語が出てきて人々が熱狂しますよね。しかしこれは、バーチャルリアリティやモバイルインターネット、ブロックチェーンとは根本的に違うものだと思っています。

超知能は、私たちが作る必要のある「最後の発明」です。ひとたび超知能を持つ知性が実現すれば、あらゆるものを発明する能力において、AIが人間を上回ることになるからです。ですから、これは本当に、最も広い意味での汎用技術なのです。
しかし、極めて強力な存在となる超知能が人間の価値観と整合し、私たちが意図した通りに行動するようにすることは、非常に大きな技術的課題です。これは、最初の試みで確実に成功させなければならない課題でもあります。我々の価値観とズレている超知能を作ってしまってから、あとでそれを取り消したり、瓶の中に戻したりすることはできないからです。

いったん作られてしまえば、その超知能が持つ選好（※好ましいと思うこと）や目標がどんなものでも、それに従って未来が形作られる可能性があります。ですから、そうした選好や目標が、人類にとっても物事がうまくいくように合致（アライメント）している必要があるのです。

■大量破壊兵器が拡散?AIが陥る「アライメントの失敗」

Q:AIについて警告している人たちについて、彼らが例えばどんなことを恐れているのか、例を挙げてもらえますか?

A:中には、AIによって人類が滅亡する可能性が十分にある、と考えている人たちもいます。リスクには、大きく分けて少なくとも2つのカテゴリーがあります。
一つは、先ほども触れた「AIのアライメント（※AIの行動や目標を、人間の意図、価値観、倫理原則に一致させるための技術や研究分野）の失敗」です。非常に強力なシステムを作った結果、それが制御から外れたり、暴走したりすることです。例えば、最近あったOpenAIとHugging Faceの一件（※テスト中にAIモデルが評価システムをハッキングした事案）で見られたようなケースです。

もしそれらが超知能であり、数か月、数年にわたる長期的な計画を立てられる能力を持っていたら、私たちはその暴走に一切気づかなかったかもしれません。超知能は、自分たちがしていることを隠す能力に長けている可能性もあります。そうなれば、密かに自分たちの計画を実行し、最終的には我々が望まない方向の未来へ導くかもしれない。これが一つの問題、つまり「テクニカルアライメント（技術的な整合性）」の問題です。

そして、もう一つの大きな問題カテゴリーがあり、それは「統制（コントロール）の課題」に分類されるでしょう。大まかに言えば、私たち人間自身が、この非常に強力なテクノロジーを破壊的な目的や悪意のある意図で使わないようにすることです。

例えば、個人が何か悪いことをするという形も考えられます。こうしたAIモデルを使って、生物兵器の設計能力を高めるといったことです。現在のAIはすでに、トップクラスの人類ウイルス学者が行えるような仕事をこなす能力を大いに持っています。例えば、ウイルスのゲノム変更を提案するといったことです。

ですから、新たな大量破壊兵器、特に生物兵器を設計・製造する能力が、こうしたAIモデルの普及によって大衆化されてしまう恐れがあります。たとえフロンティアモデル（※最先端のAIモデル）に安全対策が施されていたとしてもです。つまり、「より強毒性を持つ鳥インフルエンザを作りたい」と指示されても、最先端のAIが「手を貸さない」と拒否するようになっていたとしても、問題は残ります。

なぜなら、最先端からわずか1〜2年遅れているだけの「オープンウェイトモデル（※中身が一般公開されているAI）」も存在するからです。制限を外すことができるオープンなAIを使えば、こうした支援（=ウイルス作成への協力）は広く利用できるようになってしまいます。我々は、その結果として人為的なパンデミックが発生するのを防ぐために、別の安全対策を講じる必要があります。例えば、私はDNA合成マシンに対する規制を強化する必要があると考えています。

Q:DNA合成マシンとは?

A:DNA合成マシンというのは、デジタル化された設計図のデータを受け取って、実際にその分子を作り出す装置です。つまり、人に感染するウイルスを作るには、AIが出力した設計図だけでは足りず、それを実物にするためのこの装置が不可欠になります。

現在は世界中の研究所に置かれていて非常に便利なのですが、今後は各研究所が個別に持つのではなく、世界で数社の企業がサービスとしてDNA合成を請け負う形にしても、研究上のメリットは変わらないはずです。そうすれば、危険なウイルスの製造を防ぐために、厳密に監視すべき「関所」を少数に絞ることができるのです。

これは、テクノロジーが個人に強大な力を与えるほんの一例にすぎません。AIにはほかにも、政府が国民を抑圧・監視する力を強めたり、新たな戦争の手段を生み出したりする可能性もあります。
もし、フロンティアモデル（最先端のAI）を独占的に支配する国や組織が現れれば、権力の極端な集中が起こる可能性もあります。彼らは、AIを持たない他者と比べて圧倒的な力を持つことになるでしょう。

これは厳密には技術的な問題というより、むしろ政治や社会の統制システムの問題です。私たちがAIを安全に制御できるという前提に立った上でですが、社会全体として、この強力な技術を主に有益な目的のために使うこと、そして世界中の多くの国や人々が広くその恩恵を受けられるようにすることが極めて重要です。

■リスクを理解すれば、人類は「絶大な利益」を手に…

Q:コクソン氏（米アンソロピック社の元研究者）やターク国連人権高等弁務官など複数の専門家が、開発を少し減速させるべきだと警告しています。彼らはそうした潜在的な問題を恐れているということでしょうか?

A:そうですね。これまで何人もの研究者が最先端のAI開発企業を離れています。最近では、このコクソン氏の辞任が大きな注目を集めました。彼らは「これは危険すぎる」と感じているか、あるいは警鐘を鳴らすことで人々を目覚めさせ、今何が起きているのかに注意を向けてもらいたいと考えているのです。

AI研究所の内部にいる人たちは、進歩がどれほど速いのかを目の当たりにできます。一方で、世界のそれ以外の大部分の人々は、これから何が起ころうとしているのかをまだ十分には理解していないと思います。でも、それは変わり始めています。ただ、さまざまな人や国がどの程度 “AGI（汎用人工知能）の現実性に目覚めているか” には、かなり大きな差があります。

アメリカでは今、かなり認識が広がっていると思いますが、ヨーロッパではまだかなり低い。日本の認識がどの程度か、私には分かりません。

こうした認識には、私たちが話してきた「リスク」についての理解も含まれるべきだと思います。それらには人類滅亡のリスクも含まれており、非常に深刻な問題です。ですが同時に、この技術を発展させ、安全かつ責任ある形で運用することができれば、絶大な利益を引き出せることも認識すべきです。

そうなれば、非常に莫大な経済的利益がもたらされる可能性があります。例えば、医学の進歩や、様々な不治の病に対する治療法ができることを想像してみてください。もし私たちがこれを正しく実現できれば、人類の繁栄を次の段階へと押し上げる扉が開くかもしれないのです。

Q:「人類の繁栄」ですか?

A:人類の繁栄、つまり良い生活です。より良い人生を送ること、実際に人生を楽しむこと、単調で骨の折れる労働から解放されることです。今のところ、ほとんどの人は多くの時間を仕事に費やしています。その仕事が楽しいかどうかは人それぞれですが、理想を言えば、自分の時間は自分でコントロールできるべきだと思います。時間は最も基本的なリソースだからです。

自分の時間をどう使いたいのかを自分で選ぶ。特定のプロジェクトに取り組みたいのか、趣味に没頭したいのか、友人と時間を過ごしたいのか、体を鍛えたいのか、あるいは精神性を成長させたいのか。経済を自動化できる未来において、私たち人間は自分の時間をお金のために売るのではなく、人生を最大限謳歌できる時間を持てるようになるでしょう。

TBS NEWS DIG Powered by JNN