AI ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」

[お持て成し]

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」/ 11/5(木) 13:23配信 / ハンギョレ新聞

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」（ハンギョレ新聞） - Yahoo

AI 전문가의 경고… “초지능을 만들면 인류 멸망, 지금 당장 막아야 한다” / 11월 5일(목) / 한겨레 신문

◇ ‘AI 얼라인먼트’ 전문가 유도코스키, 철학자 코랄스 ‘2026 SBS D 포럼’ 강연을 앞두고 기자 간담회 유도코스키 “국제 협정으로 개발 동시 중단을” 코랄스 “인간의 자율성을 강화하는 AI가 중요”

엘리자 유도코우스키 씨=이·주현 기자(한겨레 신문사)

필립 코랄스 씨=이·주현 기자(한겨레 신문사)

인공지능(AI)이 지금보다 더 똑똑해진다면? 이 물음표 앞에서는 낙관과 비관이 긴 스펙트럼처럼 펼쳐진다. 한편으로는 AI가 인간의 통제를 넘어서는 현상이 잇따라 일어나며 '인류 멸망론'이 제기되고 있지만, 다른 한편으로는 우주 AI 데이터 센터 구축과 같은 첨단 기술의 스펙터클이 펼쳐지고 있다. 도대체 우리는 AI의 빛과 그림자 중 어느 쪽을 바라봐야 할까. ‘초지능 AI를 만들면 모두가 죽는다’는 강력한 메시지를 전하는 ‘AI 얼라인먼트’ 전문가 엘리자르 유도코우스키 씨와, AI를 활용하면서도 인간의 자율성을 침해하지 않는 길을 모색하는 철학자 필립 코랄스 씨 두 사람이 한국을 방문했다.

이들은 5일, '대체지능 시대, 사고 주권을 묻다'를 주제로 열리는 '2026 SBS D 포럼'(SDF)의 기조연설자로 나선다. 행사 전날인 4일, 서울 동대문 디자인플라자(DDP)에서 기자단을 만나 AI의 급속한 발전이 가져오는 문제와 해결책에 대해 이야기했다.

비영리 연구기관 ‘머신 인텔리전스 연구소’(MIRI)의 공동 설립자인 유도 코스키 씨는 동료 연구자 네이트 소아리스 씨와 함께 『초지능 AI를 만들면 인류는 멸종한다(If Anyone Builds It, Everyone Dies)』라는 충격적인 제목의 책을 쓴 인물이다. 한국에서는 지난해 『신의 탄생, 인간의 종말』(산산스퀘어)이라는 제목으로 번역 출판되었다. 그는 “지금은 범용 AI와 초지능 AI 사이의 중간 단계에 와 있다”고 말하며, “개발을 늦추는 것이 아니라 완전히 중단해야 한다”고 밝혔다. 그가 초지능에 반대하는 이유는, 인간이 AI의 지능 발달 과정을 충분히 이해하지 못한 채 똑똑한 기계를 키우고 있기 때문이다. 누군가가 AI를 독점하는 것보다, AI를 인간의 의도대로 '정합'시키는 것이 더 어렵다는 점이 위험의 핵심이라고 생각한다.

“사이버 보안이나 인류의 오랜 난치병 치료에는 AI 개발이 필요하지 않을까”라는 질문에 대해서도 그의 입장은 흔들리지 않았다. “AI 개발로 얻을 수 있는 장점과 단점은 애초에 거래 대상이 될 수 없다. AI를 계속 개발해 암을 치료하는 것보다, 우리 모두가 죽는 것이 더 큰 문제는 아니겠는가.” 그는 “국제 협정을 통해 모두가 개발을 중단하자”고 제안했다. 핵폭탄이 초래한 참상을 목격한 인류가 제2차 세계대전 이후 핵무기 사용을 자제해 온 것처럼, AI도 억제에 대한 합의를 형성해야 한다는 것이다. AI 산업의 핵심이 되는 공급망을 담당하는 한국도 행동에 나서야 한다고 지적했다.

영국 옥스포드 대학 ‘인간 중심 AI 연구소(HAI=Human-Centered AI Institute)’ 설립 디렉터인 필립 코랄스 교수는, 유도코우스키 씨가 예측한 어두운 미래보다 AI와 함께 살아가는 인간의 딜레마에 초점을 맞췄다. 그는 “우리가 AI를 사용하지 않으면, AI로 더 효율적으로 일하는 사람들에 비해 뒤처지는 시대가 올 것”이라고 말하면서, “AI를 많이 사용할수록 우리의 결정과 판단을 AI에 맡기게 된다”고 진단했다. 그리고 “따라서 인간의 자율성을 강화할 수 있는 AI 활용이 매우 중요해진다”고 강조했다.

인간의 자율성을 돕는 AI란, 특정 선택을 하도록 돕는 것이 아니라, 인간이 스스로의 기준에 따라 판단하는 '질문 균형'에 이르도록 좋은 질문을 던질 수 있는 AI다. 소크라테스의 ‘대화’에서, 문답을 통해 진리에 이르게 하는 튜터의 역할을 AI가 맡아야 한다는 의미다. 그는 “우리가 추구하는 가치, 우선순위, 도달 방법을 알기 위해서는 더 많은 철학이 필요하다. AI 개발 시대는 철학 개발 시대다”라고 말했다.

글·사진 이·주현 | 한교레 ‘인간과 디지털 연구소’ 기자 (문의: japan@hani.co.kr )

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」（ハンギョレ新聞） - Yahoo

ＡＩ専門家の警告…「超知能を作れば人類滅亡、今すぐ止めるべき」/ 11/5(木) 13:23配信 / ハンギョレ新聞

「AIアライメント」の専門家ユドコウスキー、哲学者コラルス　「2026 SBS Dフォーラム」講演を前に記者懇談会　ユドコウスキー「国際協定で開発の同時中断を」　コラルス「人間の自律性を強化するAIが重要」

エリーザー・ユドコウスキー氏＝イ・ジュヒョン記者（ハンギョレ新聞社）

フィリップ・コラルス氏＝イ・ジュヒョン記者（ハンギョレ新聞社）

　人工知能（AI）が今より賢くなったら？　この疑問符の前では、楽観と悲観が長いスペクトラムのように広がる。一方では、AIが人間の統制を超える事象が相次ぎ、「人類滅亡論」が唱えられているが、他方では宇宙AIデータセンターの構築のような先端技術のスペクタクルが繰り広げられている。いったい私たちは、AIの光と影のどちらを見つめるべきなのだろうか。「超知能AIを作れば皆が死ぬ」という強力なメッセージを発信している「AIアライメント」の専門家エリーザー・ユドコウスキー氏と、AIを活用しながらも人間の自律性を侵害しない道を模索する哲学者フィリップ・コラルス氏の二人が来韓した。

　彼らは5日、「代替知能時代、思考主権を問う」をテーマに開催される「2026 SBS Dフォーラム」（SDF）の基調講演者として登壇する。イベントの前日である4日、ソウルの東大門デザインプラザ（DDP）で記者団と会い、AIの急速な発展がもたらす問題と解決策について語った。

　非営利研究機関「マシーンインテリジェンス研究所」（MIRI）の共同設立者であるユドコウスキー氏は、同僚研究者のネイト・ソアリス氏と共に、『超知能AIをつくれば人類は絶滅する（If Anyone Builds It, Everyone Dies）』という衝撃的なタイトルの本を書いた人物だ。韓国では昨年、『神の誕生、人間の終焉』（サンサンスクエア）として翻訳され出版された。彼は「今は汎用的なAIと超知能AIの中間段階に来ている」とし、「開発を遅らせるのではなく、完全に中止すべきだ」と述べた。彼が超知能に反対する理由は、人間がAIの知能発達過程を十分に理解しないまま賢い機械を育てているからだ。誰かがAIを独占することよりも、AIを人間の意図どおりに「整合」させることの方が難しいという点が、リスクの核心だと考える。

　「サイバーセキュリティや人類の長年の難治病の治療にはAIの開発が必要ではないか」という質問に対しても、彼の立場は揺るがなかった。「AI開発で得られる利点と欠点は、そもそも取引対象にはなり得ない。AIを開発し続けてがんを治療することよりも、私たち全員が死ぬことの方が大きな問題ではないか」。彼は「国際協定を通じて、皆で開発を止めること」を提案した。核爆弾が引き起こした惨状を目の当たりにした人類が、第二次世界大戦以降、核兵器の使用を控えてきたように、AIも抑制の合意を形成すべきだということだ。AI産業の中核となるサプライチェーンを担う韓国も行動すべきだと指摘した。

　英国オックスフォード大学「人間中心のAI研究所（HAI=Human-Centered AI Institute）」創設ディレクターのフィリップ・コラルス教授は、ユドコウスキー氏が予測する暗い未来よりも、AIと共に生きる人間のジレンマに焦点を当てた。彼は「私たちがAIを使わなければ、AIでより効率的に働く人々と比べて後れを取る時代が来る」としつつ、「AIを多用すればするほど、私たちの決定や判断をAIに委ねることになる」と診断した。そして「このため、人間の自律性を強化できるAIの活用が非常に重要になる」と強調した。

　人間の自律性を助けるAIとは、特定の選択をするように助けるのではなく、人間が自らの基準に従って判断する「質問平衡」に至るよう、良い質問を投げかけることができるAIだ。ソクラテスの「対話」において、問答を通じて真理に至らせるチューターの役割をAIが担うべきだという意味だ。彼は「私たちが追求する価値、優先順位、到達方法を知るためには、より多くの哲学が必要だ。AI開発時代は哲学の開発時代だ」と語った。

文・写真 イ・ジュヒョン｜ハンギョレ「人とデジタル研究所」記者 (お問い合わせ japan@hani.co.kr )