AI AI의 가장 큰 위험은 ‘AI가 의지를 갖는 것’이 아니다… 일론 머스크가 경계하는 ‘인간의 악의’란?

[お持て成し]

AI의 가장 큰 위험은 ‘AI가 의지를 갖는 것’이 아니다… 일론 머스크가 경계하는 ‘인간의 악의’란? / 7월 13일(월) / 다이아몬드 온라인

일론 머스크는 AI의 진화로 인해 진정 경계해야 할 것은 인간의 지성을 넘어 세계를 지배하는 SF적인 미래가 아니라고 말한다. 오히려 문제는 다른 곳에 있다고 한다. AI 시대에 확산되는 ‘최고’와 ‘극대화’ 같은 가치관은 무엇을 가져올까. 응용수학자 코코 크룸이 그 위험성을 이론과 사례를 통해 밝힌다. ※ 본 글은 코코·클룸 저, 마츠모토 타케시 번역 『최적화 환상 효율이 사람을 행복하게 하지 않는 이유』(신초사)의 일부를 발췌·편집한 것입니다.

● 인간의 결점과 악의까지 AI가 최적화해버린다

전기자동차로 명성을 얻은 일론 머스크는 베르너 헬초크 감독의 다큐멘터리 영화 『LO: 인터넷의 시작』에서 이렇게 말하고 있다.

“AI의 가장 큰 위험은 AI가 스스로 의지를 갖게 되는 것이 아니다” — 그래서 마스크는 말을 잠시 끊는다. 극적으로 간격을 두었다기보다는 어색함을 느끼게 하는 침묵이다. 그리고 이렇게 이어간다.

‘AI가 제작자의 최적화 기능을 따르는 것’이다

머스크가 말하고 있는 것은 알고리즘이 생각만큼 큰 힘을 가지고 있지 않다는 것이다.

헐리우드 영화처럼 AI가 인간의 위치를 장악해 내쫓는 일은 아마 일어나지 않을 것이다. 마스크에 따르면, 더 가능성이 높은 것은 인간의 결점이나 악의가 기계에 프로그램되는 것이다. 기계에는 고유한 순수함이 있다. 프로그래머의 단점 때문에 막히지 않는다면, 확실히 세상을 구할 가능성은 있다. 반대로, 불완전하고 최적화되지 않은 것은 우리 인간이다.

인간의 편견을 없애고 사물을 완벽하게 프로그래밍한다는 이 욕망은 테크노 유토피아적인 감성에 깃들어 있다. 예를 들어 영국의 아담 스미스 연구소 소속 경제학자들은 달을 민영화해 그 매출을 지구상의 빈곤 완화에 쓰는 것이 옳다고(진지하긴 하지만) 말하는, 지나치게 부조리한 생각을 발표했다.

2021년에 세계 최고 부자가 된 일론 머스크는, 만약 유엔 세계식량계획이 전 세계에서 기아를 어떻게 없앨 수 있는지 자세히 설명할 수 있다면 60억 달러를 제공하겠다고 트위터에 약속했다. 이는 자신들의 사명 수행보다 보고서 작성에 오랜 시간을 투자하고 있는 NGO에게 ‘왕은 벌거벗었다’는 말을 들은 것과 다름없다는 목소리가 일부에서 나왔다.

한편, 그런 것은 인류 전체를 쉽게 부양할 수 있을 만큼의 돈을 가진 인간의 어리석은 비난에 불과하다는 목소리도 있다. 그렇지만 마스크 문제와 유엔 문제 모두 지적하고 있는 것은 같은 문제다.

이처럼 극히 기본적인 필요를 충족시키려면 거대한 부나 거대한 계획만으로는 충분하지 않다. 그리고 그 두 경우 모두 스프레드시트와 숫자, 그리고 트레이드오프라는 같은 언어를 사용한다.

● AI가 이끄는 '최고'는 과거를 모방했을 뿐이다

샘 알트만이 마스크와 함께 OpenAI를 설립했을 때, 그는 인공지능을 단순히 활용한 도구라기보다 세계를 구하는 또 다른 길이라고 생각했다. AI 기술은 급속히 발전하고 있으며, 앞으로도 계속 발전할 것이다. 그리고 곧 모든 성인이 연간 13,500달러를 받을 수 있을 만큼의 부를 창출할 것이다. 샘이 온라인 게시물에서 암시한 이 내용은 주요 언론에도 보도되었다.

그 후 샘은 나에게 그 숫자는 전체 맥락에서 잘라낸 것이라고 말했다. 정확히는 그렇게 말한 것이 아니다. 하지만 사고방식 자체는 유효하다. 자동화 덕분에 인류는 창조적 노력을 위한 시간을 충분히 가질 수 있게 되고, 생산적인 에너지를 새로운 발명으로 향할 수 있게 된다.

우람(편집부 주/수학자 스타니스와프 우람) 이후 수십 년 동안, 컴퓨터 알고리즘은 몬테카를로 방법(편집부 주/난수를 이용한 시뮬레이션으로 복잡한 문제를 푸는 계산 기법)을, 최대값을 구하는 선형 계획법을, 추상화를 수차례 겹겹이 쌓아 왔다.

차이는 정도의 차이에만 그치지 않는다. 모델링 방법에도 전환이 있었다. 초기 모델은 내가 꽤 오래 전에 켄터키 주에서 아마존의 불도저를 보고 처음 떠올린 것과 비슷한 점이 있었다. 이미 존재하는 토지의 형태를 따라, 더 깊은 자국을 파고 원래의 윤곽을 강조한다. 도시나 농장을 만들 때는 먼저 그 장소가 나타내는 것—바람이 어느 방향에서 부는지, 물이 어떻게 흐르는지—에 주목한다.

최근에는 무엇을 떠올리든 먼저 빈 상태에서 시작한다. 수많은 데이터를 투입해 컴퓨터 코드에 ‘최고’를 내뱉게 한다.

그 결과는 어떤 모습일까? 과거 작가들을 완벽히 모방한 AI 생성 문장으로, 복사해 가장자리를 강조한 미술 작품이다. 직접적이고 이해도 가능하지만, 역시 가짜다. 사이공에서 일렬로 서 있는 화가들이 모네의 수련 그림을 캔버스에 재현하는 것과 같은 의미의 가짜가 아니다. 우리 자신의 창의성을 빼앗는 의미에서 가짜인 것이다.

이는 옛날식의 힘들고 고된 창작 방식을 밀어내는 것이다. AI가 입력에 크게 의존하고 있기 때문에, 본래의 예술을 움직이는 혁신적인, 틀 밖으로 나아가려는 힘이 부족하다.

● '최적화'에도 한계가 있다는 것을 샘 알트만도 인식하고 있다

샘 알트만과 같은 사람들은 최적화라는 현대 이념을 전파하는 전도자라고 할 수 있지만, 한편으로는 자유시장 자유주의가 승자라는 사실에 대한 죄책감도 동반하고 있다. 이 죄책감은 ‘최적화’에도 한계가 있을지도 모른다는 다소 슬픈 인식으로 형태를 갖는다.

예를 들어, 효과적인 이타주의 운동에 대한 샘의 시각은 그리 낙관적이라고 할 수 없다. 효과적 이타주의란, 주로 테크 워커와 지식인 소규모 그룹이 실천하고 있는 철학적 원칙을 느슨하게 정리한 것이다. 이 조직의 웹사이트에 따르면, 효과적인 이타주의는 ‘당신이 할 수 있는 선을 최대화하는 것’에 초점을 맞추는 것으로, 자신의 시간과 돈을 가장 효율적인 일이나 자선 활동에 어떻게 사용할지 신중히 고민함으로써 실현된다고 한다.

이 사이트를 다 읽어보니 ‘최고’와 ‘최대화’ 같은 문구가 가득해서 어지러울 정도다.

샘은 이 운동에 대한 관여를 공개하지 않았다. 그는 분별 있는 현실주의자이며, 모든 사람이 모든 것을 계산으로 보는 것은 아니라는 점도 알고 있다(주1).

그는 계산 가능한 보편성을 갖지 않은 것들도 있고, 단순히 개인의 취향 문제에 불과한 것들도 있다고 생각한다. 다만 개인적인 취향이라 할지라도, 스프레드시트(편집부 주/샘 알트만은 스스로 해결 가능한 사회 분야 일곱 가지를 스프레드시트에 정리해 발표하고 있다)를 통해 객관적으로 상세히 제시할 수 있다고도 한다.

(주1) 2022년 말에 수십억 달러 규모의 암호자산 거래소 FTX가 대폭락했다. FTX를 창업한 사람들은 효과적인 이타주의자로 알려졌지만, 운동을 이끄는 신진 철학자 윌리엄 매카스킬은 이 실패에서 거리를 두려 했다. 트위터에서 고백식 사과를 전한 마카스킬은, 가능한 한 최선을 다한다는 전략이 반드시 ‘목적이 수단을 정당화한다’는 의미는 아니라고 주장했다. 실제로 마카스킬은 지금까지 효과적 이타주의에 대해 쓰인 글들의 링크를 지속해 왔다. 그 문제는 어떻게 하면 최대화를 최대한으로 할 수 있느냐—즉 ‘선’이라는 단위를 그 과정에서 악을 만들면서 잃지 않고 차곡차곡 쌓아 나갈 수 있느냐에 있다. 컴퓨터 과학자이자 효과적인 이타주의자인 엘리제르 유도코프스키는 이렇게 요약하고 있다. ‘의무론에서 공리주의로 나아가는 길을 4분의 3 정도 진행하고, 그곳에서 멈추는 것이다.’ 당신은 지금, 올바른 자리에 있다. 적어도 신이 될 때까지는 그 자리에 머물러야 한다.” (2022년 2월 25일, @ESYudkowsky의 트윗) 

코코·클룸 / 마츠모토 타케시

AI最大のリスクは「AIが意志を持つこと」ではない…イーロン・マスクが警戒する“人間の悪意”とは？

AI最大のリスクは「AIが意志を持つこと」ではない…イーロン・マスクが警戒する“人間の悪意

AI最大のリスクは「AIが意志を持つこと」ではない…イーロン・マスクが警戒する“人間の悪意”とは？/ 7/13(月) / ダイヤモンド・オンライン

　イーロン・マスクは、AIの進化によって本当に警戒すべきは、人間の知性を超えて世界を支配するSF的な未来ではないと語っている。むしろ問題は別のところにあるという。AI時代に広がる「最高」や「最大化」といった価値観は何をもたらすのか。応用数学者であるココ・クルムが、その危うさを理論と実例から解き明かす。※本稿は、ココ・クルム著、松本剛史訳『最適化幻想 効率が人を幸せにしない理由』（新潮社）の一部を抜粋・編集したものです。

【この記事の画像を見る】

●　人間の欠点や悪意まで AIは最適化してしまう

　電気自動車で名をはせたイーロン・マスクは、ヴェルナー・ヘルツォーク監督のドキュメンタリー映画『LO：インターネットの始まり』でこう言っている。

　「AIの最大のリスクは、AIが自分の意志をもつようになることじゃない」――そこでマスクは少し言葉を切る。ドラマティックに間を置いたというよりは、気まずさを感じさせる沈黙だ。そしてこう続ける。

　「AIが作り手による最適化の機能に従うということだ」

　マスクが言っているのは、アルゴリズムが思ったほど大きな力をもっていないということだ。

　ハリウッド映画のように、AIが人間の居場所を乗っ取って追い出すことはおそらく起こりえない。マスクによれば、より可能性が高いのは、人間の欠点や悪意が機械にプログラムされることだ。機械には固有の純粋さがある。プログラマーの欠点のせいで行き詰まらなければ、たしかに世界を救える可能性はある。対照的に、不完全で最適化されていないのは私たち人間なのだ。

　人間のバイアスを取り除いて物事を完璧にプログラムする、というこの願望はテクノ・ユートピア的な感性に行き渡っている。たとえばイギリスのアダム・スミス研究所に属するエコノミストたちは、月を民営化してその売り上げを地球上の貧困緩和に充てるべきだという（真剣ではあっても）不条理きわまる考えを発表した。

2021年に世界一の富豪になったイーロン・マスクは、もし国連世界食糧計画が世界から飢餓をどうやってなくすかをこと細かに説明できるのなら、60億ドルを出すとツイートで確約した。これは自分たちの使命の遂行より報告書の作成に長い時間を費やしているNGOにとって、「王様は裸だ」と言われたに等しいという声が一部からあがった。

　その一方で、そんなものは人類全体を簡単に養えるだけの金を持った人間のお門違いな釣り文句でしかない、との声もある。とはいえマスクのほうも国連のほうも、指摘しているのは同じ問題だ。

　このきわめて基本的な必要を満たすには、巨大な富でも巨大な計画でも十分ではない。そしてそのどちらもが、スプレッドシートと数字とトレードオフからなる同じ言語を使っている。

●　AIが導く「最高」は 過去を模倣したにすぎない

　サム・アルトマンがマスクとともにOpenAIを立ち上げたとき、彼は人工知能を単にいかしたツールというのではなく、世界を救うもうひとつの道だと捉えていた。AI技術は急速に進歩しているし、今後も進歩しつづけるだろう。そしてまもなく、すべての成人が年間1万3500ドルを受け取れるだけの富を生み出すだろう。サムがオンラインの投稿で示唆したこの内容は、大手報道機関にも取り上げられた。

　その後サムは私に、あの数字は全体の文脈から切り取られたものだと語った。正確にはああ言ったのではない。しかし考え方そのものは有効だ。自動化のおかげで人類は創造的努力のための時間をたっぷりもつことができ、生産的なエネルギーを新たな発明へと向けられるようになる、と。

　ウラム（編集部注/数学者スタニスワフ・ウラム）以降の数十年間、コンピューターアルゴリズムはモンテカルロ法（編集部注/乱数を用いたシミュレーションによって複雑な問題を解く計算手法）を、最大値を求める線形計画法を、抽象化を何層も何層も積み重ねてきた。

　ちがいは程度の差だけにはとどまらない。モデリングの方法にも転換があった。初期のモデルは、私がかなり以前にケンタッキー州でアマゾンのブルドーザーを見て最初に思い描いたものと似たところがあった。すでにある土地の形状に沿い、より深い轍を穿ってもともとの輪郭を強調するのだ。都市や農場を造る場合は、まずその場所が示すもの――風がどの方向から吹くか、水がどう流れるか――に注目した。

最近では、何を思い描くにしても、まず空白の状態から始める。データを山ほど投入し、コンピューターコードに「最高」を吐き出させる。

　その結果はどんなものか？過去の作家たちを完璧に模倣したAI生成の文章、コピーしてエッジを強調した美術作品だ。直接的だし理解もできるが、やはり偽物だ。サイゴンで1列に並んだ絵描きたちがモネの睡蓮の絵をカンバスに再現するのと同じ意味での偽物ではない。私たち自身の創造性を奪うという意味で偽物なのだ。

　これは昔ながらのつらく骨の折れる創作方法を押しのけてしまう。AIは入力に大きく頼っているために、本来の芸術を突き動かす革新的な、枠の外へ出ていこうとする力を欠いている。

●　「最適化」に限界があることを サム・アルトマンも認識している

　サム・アルトマンのような人たちは最適化という現代理念の伝道者といえるが、一方でそこには、自由市場リバタリアニズムの勝ち組であることへの後ろめたさも伴っている。この後ろめたさは、「最適化」にも限界があるのではないかというやや悲しげな認識として形をとる。

　たとえば効果的利他主義の運動に対するサムの見方は、あまり楽観的とはいえない。効果的利他主義とは、主にテックワーカーやインテリの小さなグループが実践している哲学的原則をゆるくまとめたものだ。この組織のウェブサイトによると、効果的利他主義とは「あなたにできる善を最大化することに焦点を当てる」もので、自分の時間とお金を最高に効果的な仕事や慈善活動にどのように使うかを慎重に考えることで実現されるという。

　このサイトをぜんぶ読んでいたら、「最高」や「最大化」といった文言だらけでめまいがしてきそうだ。

　サムはこの運動への関与を公表せずにいた。彼は分別のあるリアリストで、誰もがあらゆるものを計算として見ているわけでないこともわかっている（注1）。

　なかには計算可能な普遍性をもたないものもあるし、単に個人の好みの問題にすぎないものもある、と彼は考える。ただし個人的な好みであっても、スプレッドシート（編集部注/サム・アルトマンは自身の力で解決可能な社会分野七つをスプレッドシートにまとめて発表している）によって客観的に細かく示すことは可能であるとも。

　（注1）2022年末に数十億ドル規模の暗号資産取引所FTXが大暴落した。FTXを創業したのは効果的利他主義者とされる人物たちだったが、運動を率いる気鋭の哲学者ウィリアム・マッカスキルは、この失敗から距離を置こうとした。ツイッターで告白的な謝罪を伝えたマッカスキルは、可能なかぎりの善をなすという戦略は、必ずしも「目的は手段を正当化する」という意味ではないと論じた。実際にマッカスキルは、これまで効果的利他主義について書かれた文章へのリンクを継続した。その問題とは、いかに最大化を最大限に行うか――つまり「善をなす」という単位を、その過程で悪をなすことで失うことなく積み重ねるかということにある。コンピューター科学者であり、効果的利他主義者のエリエゼル・ユドコフスキーは、こう要約している。「義務論から功利主義へ向かう道のりを4分の3進み、そこで立ち止まることだ。あなたはいま、正しい場所にいる。少なくとも神になるまではそこに留まるように」（2022年2月25日、@ESYudkowskyのツイート）

ココ・クルム/松本剛史