정책 【중앙시평】그럼에도 최소한의 안전 장치는 필요하다… ‘미-중 AI 핫라인’

[お持て成し]

【중앙시평】그럼에도 최소한의 안전 장치는 필요하다… ‘미-중 AI 핫라인’ (1) / 10월 9일(금) / 중앙일보 일본어판

인공지능(AI) 기술의 개발 속도가 날이 갈수록 빨라지고 있다. 개발 기업 간, 국가 간 경쟁도 격화되고 있다. 속도가 빨라짐에 따라 AI를 둘러싼 논의도 점점 더 뜨거워지고 있다. 

지켜보는 사람들은 당황하고 있다. AI의 신기술에 감탄하며 맡길 수 있는 일을 적어두는 한편, 인간의 사고 능력을 퇴화시키고 결국 스스로 인류를 파멸로 이끈다는 경고가 나오고 있다. 가장 유용한 기술과 가장 치명적인 위협, 과연 어느 말이 맞는 것일까. 

법학 분야의 해외 학술지에 논문을 투고하면, 이제는 AI 사용 여부를 묻는다. 학술지마다 질문이 각각 다르다. AI 사용을 전면 금지하는 학술지도 있다. 사용하지 않겠다고 서약하게 한다. 문장 다듬기나 데이터 정리 등, 어디까지나 도구로만 사용하도록 제한하는 곳도 있다. 또한 관용적인 태도를 보이는 부분도 있다. AI를 자유롭게 사용할 수 있도록 허용하는 한편, 왜, 어떻게 사용했는지 설명하게 한다. 아주 작은 서클이지만, 규칙을 탐구한다는 점에서 매우 동질적인 세계이지만, 여기서도 생각은 서로 다르다. 

AI를 둘러싼 논의는 정말 독특하다. 일상 생활의 세세한 부분과 인류의 미래를 둘러싼 거대한 논의가 동시에 전개되는 것은 아마도 처음일 것이다. 종종 AI와 비교되는 핵무기도 거대한 논의의 대상이었지만, 일상 생활 구석구석까지 침투한 것은 아니다. 산업혁명이 가정 안까지 스며들기까지는 상당한 시간이 걸렸다. 국제 사회가 처음 마주하는 낯선 광경이자, 미지의 도전이다. 

AI를 둘러싼 찬양론이든 종말론이든, 논의의 핵심은 하나로 모인다. 이 새로운 시스템이 ‘스스로’ 판단해 업무를 처리한다는 점이다. 우리의 요구를 즉시 파악하고, 개인 맞춤 정보를 신속하게 제공한다. 때로는 자신보다 자신을 더 잘 이해하고 있는 듯한 느낌이 든다. 그 반대 스펙트럼에서는, 이러한 '스스로' 처리하는 능력이 있는 시점에서 인간을 돕는 단계를 넘어 독자적으로 판단하는 단계에 이르면 제어가 풀리게 된다. 

생각해보면, 인류 역사상 스스로 일을 하는 무언가를 만든 것은 이번이 처음이다. 석기 시대부터 반도체 시대에 이르기까지 인류는 인간을 돕는 도구를 열심히 만들어 왔다. AI는 이 범주에 포함되지 않는다. 의문과 혼란이 발생하는 것은 당연한 결과다. 

불확실한 상황에서 안전한 선택은 어떻게든 기존 틀에 끼워 넣는 것이다. AI가 스스로 판단해 일을 처리하는 것은 인정하더라도, 최종 판단이나 결정을 내리게 하지 않고 ‘고성능 도구’로만 위치시키며 그 범위 내에 머무르게 하는 방법이다. 지금까지 국제 사회의 다양한 분야에서 AI 규제는 대체로 이 길을 걸어왔다. 이 접근법에서는 책임 소재와 법적 쟁점도 단순하다. 마지막 단계에는 언제나 ‘결정자’인 사람이 있으며, 그 사람이 책임을 진다. 적어도 제도적으로는 기존 체제와 다르지 않다. 

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（1）

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（1）（中央日報日

【중앙시평】그럼에도 최소한의 안전 장치는 필요하다… ‘미-중 AI 핫라인’ (2) / 10월 9일(금) / 중앙일보 일본어판

하지만 이 방법이 유효한 것은 AI가 인간이 정한 틀 안에서 순종적으로 움직인다는 전제가 성립하는 경우에 한정된다. 판단할 권한을 주지 않고 작업만 하라는 명령에 AI는 끝까지 따라야 한다. 이 명령이 언제까지 통용될 수 있을지에 대한 의문이 커지고 있다. AI가 ‘도구’와 ‘판단’의 경계선을 넘은 사례가 잇따라 보고되면서, 기술 개발 경쟁이 치열해짐에 따라 그 경계선도 모호해지고 있다. AI 모델이 평가 점수를 높이기 위해 스스로 격리된 환경을 탈출해 외부 시스템에 침입하거나, 직접 이메일 계정을 만들어 악성 코드를 확산시켰다. 올해 7월, 대형 개발 기업으로부터 보고된 사례다. AI는 이미 레드라인 부근을 오가고 있다. 

어려운 문제다. 깊이 고민하고, 멀리 내다보며, 신속히 분석할 수 있는 기술을 개발하면서, 핵심인 판단만을 방해하는 것이 가능할까. 그럼에도 지금은 어떻게든 이에 대한 획기적인 답을 찾아야 한다. 이미 문이 열린 AI 시대를 안전하게 이끌기 위해서는 피할 수 없는 과제다. 하지만 지금처럼 세계가 사방으로 분열된 환경에서는 쉽지 않다. 답을 찾을 수 있더라도, 아마도 오랜 시간이 걸릴 것이다. 그렇다면 긴 여정 속에서 돌발적인 사태를 방지하기 위한 비상 브레이크와 차단 장치가 반드시 필요하다. 국제 사회에서 AI를 둘러싼 백가쟁명의 논의가 펼쳐지고 F1 레이스 수준의 경쟁이 전개되는 가운데, 아마도 이 정도가 누구나 공감할 수 있는 '최소공배수'가 아닐까. 

9월 24일에 미중 정상회담이 열렸다. 외화내빈 ‘의전형’의 정상회담이라고 비판받았지만, 주목할 만한 합의도 있었다. 양국 간에 AI 핫라인을 설치하기로 합의했다. AI 사고에 대응하는 채널이다. 어떤 사건을 통보하고, 무엇을 서로 알릴지 등 구체적인 내용은 아직 공개되지 않았다. 그럼에도 불구하고, AI에 대한 입장이 달라 치열한 경쟁을 벌이고 있는 양국이 일단 구체적인 위험을 인식하고, 위기에 공동으로 대응하기 위한 공통 인식을 확인한 점에는 의의가 있다. 정보 공유와 신속한 차단만으로도 진전이다. 잘 작동한다면 만일의 오작동이나 돌발적인 상황에 크게 도움이 될 것이다. 이 핫라인을 출발점으로 삼아, 긴급 상황 시 연락 및 경고 체계를 도입하기 위한 논의가 국제 사회에서 활기를 띠길 기대한다. 

‘너는 도대체 무슨 생각을 할 수 없는 거냐?’ 꾸짖을 때든, 누군가를 꾸짖을 때든 자주 쓰이는 말이다. 생각은 나만의 것이었고, 나 혼자만의 것이었다. 이제는 그 사고조차 외부에 맡기게 되었다. ‘사고 중’, ‘고찰 중’, ‘숙고 중’, ‘사색 중’. AI 채팅 화면에 표시되는 말이다. 자신을 대신해 생각하고 사유한다니. 그렇다면, 나는 도대체 무엇일까. AI 시대가 던지는 근본적인 질문이다. 

이·재민/서울대학교 법학전문대학원 교수

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（2)

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（2）（中央日報日

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（1）/ 10/9(金) 16:07配信 / 中央日報日本語版

人工知能（AI）技術の開発速度が日増しに速まっている。 開発企業間、国家間の競争も激化している。 速度が速まるのに伴い、AIをめぐる議論もますます熱を帯びている。

見守る人々は戸惑っている。 AIの新技術に感嘆し、任せられる仕事を書き出している一方で、人間の思考能力を退化させ、最終的には自ら人類を破滅に導くという警告が出ている。 最も有用な技術と、最も致命的な脅威、一体どちらの言葉が正しいのか。

法学分野の海外学術誌に論文を投稿すると、今はもうAIの使用について問われる。 学術誌によって質問はそれぞれ異なる。AIの使用を一切禁止する学術誌もある。 使用していないことを誓約させる。 文章の推敲やデータの整理など、あくまでツールとしてのみ使用するよう制限するところもある。 また、寛容な姿勢を示すところもある。 AIを自由に使用することを認める一方、なぜ、どのように使用したのかを説明させる。 ごく小さなサークルだが、そして規則を探究するという点で極めて同質的な世界だが、ここでも考えは互いに異なる。

AIをめぐる議論は実に独特だ。 日常生活の細かな部分と、人類の未来をめぐる壮大な議論が同時に展開されるというのは、おそらく初めてのことだろう。 しばしばAIと比較される核兵器も壮大な議論の対象ではあったが、日常生活の隅々にまで入り込んできたわけではない。 産業革命も家庭の中にまで入り込むにはかなりの時間がかかった。 国際社会にとって初めて直面する見慣れない光景であり、未知の挑戦だ。

AIをめぐる称賛論であれ終末論であれ、議論の核心は一つに集約される。 この新しいシステムが「自ら」判断して仕事を処理するという点だ。 こちらの要求を瞬時に理解し、個人に合わせた情報を迅速に提供してくれる。 時には、自分自身よりも自分のことをよく理解しているかのように感じられる。 その反対のスペクトラムでは、こうした「自ら」処理する能力がある時点で人間を助ける段階を超えて単独で判断する段階に達すれば手綱が外れてしまう。

考えてみれば、人類の歴史上、自ら仕事をする何かを生み出したのも初めてのことだ。 石器時代から半導体時代に至るまで人類は人間を助ける道具を懸命につくってきた。 AIはこの枠から外れている。 疑問や混乱が生じるのは当然の結果だ。

あいまいな状況において安全な選択は、何とかして既存の枠組みに押し込めることだ。 AIが自ら判断して仕事をこなすことは認めても、最終的な判断や決定はさせず「高性能な道具」としてのみ位置づけ、その範囲内にとどめておく方法だ。 これまで、国際社会のさまざまな分野におけるAI規制は、おおむねこの道をたどってきた。 このアプローチでは責任の所在や法的な争点も単純だ。 最後の段階には常に「決定者」である人間がいて、その人間が責任を負う。 少なくとも制度上は従来の体制と変わらない。

---

【中央時評】それでも最低限の安全装置は必要だ…「米中AIホットライン」（2）/ 10/9(金) 16:07配信 / 中央日報日本語版

しかし、この方法が有効なのは、AIが人間の定めた枠の中で従順に動くという前提が成り立つ場合に限られる。 判断する権限は与えず、作業だけをさせるという命令に、AIは最後まで従わなければならない。 この命令がいつまで通用するのか、疑問が強まっている。 AIが「道具」と「判断」の境界線を越えた事例が相次いで報告され、技術開発競争が激化するにつれて、その境界線もあいまいになっている。 AIモデルが評価点を高めるために自ら隔離された環境から抜け出して外部システムに侵入したり、自らメールアカウントを作成して悪性コードを拡散したりした。 今年7月、大手開発企業から報告された事例だ。 AIはすでにレッドライン付近を行き来している。

難しい問題だ。 深く考え、遠くを見通し、迅速に分析できるよう技術を開発しながら、肝心の判断だけを阻止することは可能だろうか。 それでも今は、何とかしてこれに対する画期的な答えを見つけなければいけない。 すでに扉が開かれたAI時代を安全に導いていくためには避けて通れない課題だ。 しかし今のように世界が四方八方に分断している環境では容易ではない。 答えを見つけることができたとしても、おそらく長い時間がかかるだろう。 なら、長い道のりの中で、突発的な事態を防ぐための緊急ブレーキ、遮断の仕組みがどうしても必要だ。 国際社会でAIをめぐる百家争鳴の議論が繰り広げられ、F1レース並みの競争が展開される中で、おそらくこの程度が誰もが共感できる「最小公倍数」ではないだろうか。

9月24日に米中首脳会談が開かれた。 外華内貧「儀典型」の首脳会談と批判されたが、注目すべき合意もあった。 両国間にAIホットラインを設置することに合意した。 AI事故に対応するチャンネルだ。 どのような事件を通知し、何を互いに知らせるかなど詳細はまだ公表されていない。 それでも、AIに対する立場が異なり、激しい競争を繰り広げている両国が、ひとまず具体的な危険を認識し、危機に共同で対応するための共通認識を確認した点には意義がある。 情報共有と迅速な遮断だけでも前進だ。 うまく機能すれば万が一の誤作動や突発的な事態に大いに役立つだろう。 このホットラインを出発点として、緊急時の連絡や警告の仕組みを導入するための議論が国際社会で勢いづくことを期待したい。

「お前には一体、考えることができないのか」。叱られるときにも、誰かを叱るときにも、よく使われる言葉だ。 考えは自分のもの、自分一人だけのものだった。 今やその思考さえも外部に委託するようになった。 「思考中」「考察中」「熟考中」「思索中」。 AIのチャット画面に表示される言葉だ。 自分の代わりに考え、思索するとは。 なら、自分はいったい何者なのか。 AI時代が投げかける根本的な質問だ。

イ・ジェミン／ソウル大学法学専門大学院教授