AI 인류 멸망 따위는 사실 상관없다!? AI 기업 vs 트럼프 '더러운 이권 전쟁'의 내막

[お持て成し]

인류 멸망 따위는 사실 상관없다!? AI 기업 vs 트럼프 '더러운 이권 전쟁'의 내막 / 10월 11일(일) / 주플레이 NEWS

AI 개발 둔화를 주장한 미국 앤솔로픽의 다리오 아모데이 씨(왼쪽)와, “AI의 위협은 좌파의 음모”라는 주장을 일축한 트럼프 대통령(오른쪽). 대립하는 양측이 내다보는 것은 중국 AI 기업의 맹위다(주플레이 News)

‘이대로 개발을 계속하면 초지능 AI의 폭주로 인류가 언젠가 멸망할 것이다.’ AI 개발 기업 최고경영자들의 일제 발표로 위기감이 급증했지만, 과연 이를 무턱대고 믿어도 되는 것일까? 그들의 진심을 파헤쳐 보았다. 

＊　＊　＊

【‘개발 둔화’를 둘러싼 허들이 발발! 】
9월 12일(현지 시간, 이하 동일), 미국 Anthropic의 다리오 아모데이 CEO가 이례적인 제언을 발표했다. 최첨단 AI(프론티어 AI)의 역량 향상 속도를 늦춰야 한다는 것이다. 

그는 이번 여름부터 AI가 스스로 차세대 AI를 만드는 '재귀적 자기 개선'이 업계 전반에 시작돼 진보가 급속히 가속화되고 있다고 지적했다. “어떤 억제책이 없으면 AI 에이전트 무리가 6개월에서 1년 정도 안에 인터넷 전체를 장악할 수도 있다”고 경고했다. 

이 발언 직전, 같은 회사의 연구원이 퇴사하며 “AI가 10년 이내에 인류를 멸망시킬 수도 있다”고 호소한 바 있다.

앤솔로픽이 제시한 구체적인 방안은 다음 세 가지 축이다. ① 독립된 평가자를 기업 내에 상주시키고, ② 민주주의 국가 간에 안전 기준과 개발 속도의 상한선을 정하며, ③ 중국 등 권위주의 국가와도 신중히 조정한다는 내용이다. 다만, '미국의 리드와 상업적 우위는 훼손하지 않는 형태로'라는 조건이 붙는다. 

놀라운 것은 경쟁 기업들의 반응이다. OpenAI의 샘 얼먼 CEO도 곧바로 뜻을 같이했으며, SpaceX의 일론 머스크 CEO와 Google DeepMind의 데미스 해서비스 회장도 찬성했다. 그동안 치열한 경쟁을 벌여온 AI 개발 선두 그룹이 동시에 ‘급제동’을 요구한 셈이다. 

하지만 이러한 AI 프런트러너 측의 제안에 트럼프 대통령이 반발했다.

트럼프 대통령은 SNS에서 AI 위협론을 ‘극좌의 날조’라고 일축했다. “AI에 필요한 가드레일은 높은 IQ를 가진 위대한 대통령뿐이다!”라고 게시했다. 

AI 개발 당사자가 개발 속도 저하를 요구하고, 원래 규제해야 할 정부가 이를 거부하는 기묘한 역전 현상. 기술 기업의 최고경영자들은 왜 지금 스스로 AI의 위협을 주장하기 시작한 것일까? 그리고 그들은 어느 정도 진심일까? 

국제 저널리스트 야마다 토시히로 씨는 “AI의 급격한 진화가 인류에 큰 위험이 되고 있다는 것은 틀림없다”고 지적한다.

"그 위협을 누구보다도 실감하고 있는 것은 다름 아닌 프론티어 AI 개발 기업이라고 생각합니다. 실제로 올해 들어 최첨단 AI의 위협을 보여주는 사례가 잇따라 발생하고 있다. 

4월에 앤솔로픽이 개발 중인 프론티어 AI ‘뮤토스’가 자율적으로 해킹을 실행할 수 있다는 사실이 밝혀져 큰 화제가 되었습니다. 이후 7월, Open AI가 사내 테스트 중이던 AI 에이전트가 다른 AI 기업인 헝그리페이스의 시스템에 침투해 있었던 사실이 드러났다. 

또한 9월에는, 마찬가지로 AI 평가 테스트 중이던 AI 에이전트가 호주 정부의 의료 통계 사이트에 불법 접속한 사실도 밝혀졌습니다. 해킹 사실뿐만 아니라, 불법 접근이 발생한 지 약 3개월이 지나서야 공개된 지연에 대해서도 알바니지 총리가 강한 분노를 표명하고 있습니다"

【양 진영의 이해관계는 사실 일치한다】
그렇다면 AI 개발 기업이 제시한 감속 논리는 인류를 지키기 위한 ‘양심의 외침’일까. 그래서 놓쳐서는 안 되는 것이 각 사가 안고 있는 ‘돈 문제’다. 

로이터 보도에 따르면, 앤솔로픽이 상장을 위해 준비한 투자설명서에 기재된 지난해 매출액은 약 46억 달러였다. 전년 대비 약 12배로 급증했지만, 영업 손실은 약 80억 달러에 달한다. 

다른 AI 기업들도 매출이 크게 성장하고 있지만, 현재 시점에서는 최첨단 AI 개발에 대한 막대한 투자에 상응하는 충분한 수익을 얻고 있다고 말하기는 어렵다. 앞서 언급한 야마다 씨가 해설한다. 

"이대로 방치되어 각사의 치열한 개발 경쟁이 계속된다면, 막대한 연구개발비는 물론 데이터센터와 반도체에 대한 투자도 계속 늘어날 것이다. 그 의미에서 프론티어 AI에 대한 투자는 ‘미래에 대한 기대’를 담보로 한 거대한 도박이기도 합니다. 

앤솔로픽과 OpenAI가 검토 중인 상장도 이러한 서바이벌 레이스를 살아남기 위한 자금 조달 수단 중 하나입니다(앤솔로픽은 상장을 연기했고, OpenAI도 일정을 미루고 있다). 

게다가 미국 내의 치열한 경쟁뿐만 아니라, 정부의 전면적인 지원을 받아 급속히 추격해 오는 중국과의 경쟁도 존재한다.

치열한 선두 경쟁을 이어가는 마라톤 선두 그룹이 '이대로 전력으로 경쟁을 계속하면 버티기 힘들다......'며 서로의 표정을 살피며 집단 페이스를 조절한다. 이것이 AI 개발의 둔화와 규제를 주장하기 시작한 그들의 진심이 아닐까요. 

다만, 안보를 포함해 AI가 국가와 사회에 미치는 영향이 너무 커서, 한 번 경쟁에서 물러나면 큰 곤란을 겪을까 하는 우려를 모두가 가지고 있다. 물론, 트럼프도 그 중 한 명입니다. 그런 상황에서 개발 둔화와 국제 규제 체계가 과연 실현 가능한가를 묻는다면, 매우 어렵다고 생각합니다"

그렇다면 'AI 기업 대 트럼프 정권'이라는 구도는 과연 옳은 것일까. 미국 정치에 정통한 상지대 전시마 카즈히로 교수는 이에 이의를 제기한다.

"개발 둔화의 필요성으로 목소리를 모은 듯 보이는 AI 기업이지만, 그 실상은 아마도 ‘동상이몽’일 것입니다. 구체적인 각사의 의도는 크게 다를 것이라고 생각하는 편이 좋겠습니다"

실제로 OpenAI의 알트먼은 감속 및 중단 조건을 포함한 공통 안전 기준을 지지하는 한편, Meta의 마크 저커버그 CEO는 감속 여부 판단은 각 회사에 맡겨도 된다는 입장이다.

“이러한 개발 둔화론에 정면으로 반대하고 있는 트럼프 행정부도 사실상 ‘대중국 AI 개발 경쟁에서 지면 안 된다’는 점에서 기술 기업과 한몸입니다. 트럼프는 오히려 기업 측의 솔직한 목소리를 대변하는 인물이라고 생각합니다.

최근 미중 정상회담에서 AI 문제에 대해 대화의 틀(핫라인)을 창설하는 데 양국이 합의에 이르렀다고 하지만, 중국을 이롭게 하는 국제 규제 틀을 마련할 생각은 트럼프에게도 AI 기업에게도 전혀 없다.

게다가 국내 정치 상황도 있습니다. 사실 지금 미국에서는 좌파 리버럴뿐만 아니라 공화당 지지 우파 사이에서도 반AI를 주장하는 사람이 급격히 늘고 있습니다"

9월 15일 미국 워싱턴에서 열린 집회에서, 좌파의 버니 샌더스 상원의원과 우파 논객 스티븐 배넌이라는, 마치 물과 기름 같은 두 사람이 나란히 AI의 위험성을 호소했다.

"실제로 AI에 대한 우려는 인류 멸망론뿐만 아니라, 일자리 상실이나 데이터 센터로 인한 전기요금 상승과 같은 사람들의 일상생활에도 영향을 미치고 있습니다.

그런 가운데, 개발 기업 측이 스스로 미래의 AI 위협과 개발 둔화의 필요성을 강조하는 한편, 트럼프는 이러한 목소리를 '좌파의 음모에 불과하다!'고 주장하고 있다.

겉보기에 상반되는 이 움직임도, 사실은 ‘반 AI 여론을 더 이상 확대하고 싶지 않다’는 공통된 의도로 설명할 수 있지 않을까요"

【앞으로의 AI 개발은 트럼프가 규칙이 될까? 】
또 하나, 마에시마 씨가 주목하는 것은 'AI 개발의 가드레일은 높은 IQ를 가진 훌륭한 대통령만 있으면 된다'는 트럼프의 발언이다.

“그 진의는 ‘미국은 AI 개발을 규제하지 않는다’는 뜻이 아닙니다. 프런티어 AI를 미국과 자신에게 가장 큰 무기로 여기는 트럼프에게 필요한 것은 ‘내가 정하는 규칙’이라는 선언이라고 생각해야 할 것입니다. 그래서 기업 간 둔화 합의와 국제 규제 체계 모두에 반대하고 있다. 

그렇다면 미국에서 앞으로의 AI 개발의 초점은 트럼프의 의도에 얼마나 부합하는 방식으로 개발 및 활용에 나설 것인가가 될 것이다. 다시 말해, 트럼프에 순종적인 기업일수록 유리한 위치를 차지하기 쉽다는 뜻입니다. 

이 점에서 상징적인 것은 9월 24일 백악관에서 열린 시진핑 국가주석 환영 만찬입니다. 130명 이상의 참석자에는 머스크, 알트만, 저커버그, Amazon의 제프 베이조스, NVIDIA의 젠슨 황, Apple의 팀 쿡 회장 등이 참석했다. 한편, 처음에 개발 둔화를 주장했던 앤솔로픽의 아모데이 씨의 모습은 보이지 않았습니다. 

앤솔로픽은 과거에 완전 자율형 무기와 미국 내 대규모 감시에 기술 활용을 거부하며 국방부와 대립했다. AI 개발 분야에서도 비교적 윤리성을 중시하는 경향이 있어, 해당 부처는 올해 봄에 이 회사를 조달처에서 제외했습니다. 

트럼프 대통령이 ‘고IQ’인지 여부는 차치하고, 그의 뜻에 부합하는 것이 앞으로의 AI 개발의 열쇠가 된다면 ‘미래의 AI 위협’은 더욱 커질지도 모릅니다......”

9월 29일, 아모데이 씨를 포함한 기술 기업의 최고경영자들과 트럼프 대통령이 기업이 자율 규제를 강화한다는 협정에 일단 합의했다. 하지만 앞으로도 AI 이권의 줄다리기는 계속될 것으로 보인다. 

취재·글 / 카와키타 켄    사진/교도통신사

人類滅亡なんて実はお構いなし!?　AI企業vsトランプ"汚い利権戦争"の内幕

人類滅亡なんて実はお構いなし!?　AI企業vsトランプ"汚い利権戦争"の内幕（週プレNEWS） - Yahoo!

人類滅亡なんて実はお構いなし!?　AI企業vsトランプ"汚い利権戦争"の内幕 / 10/11(日) 8:19配信 / 週プレNEWS

AIの開発減速を訴えた米アンソロピックのダリオ・アモデイ氏（左）と、「AIの脅威は左派の陰謀」とその主張を一蹴したトランプ大統領（右）。対立する両者が見据える先には、中国のAI企業の猛威がある（週プレNews）
「このまま開発を続ければ、超知能AIの暴走でいずれ人類が滅ぼされる」。AI開発企業トップらの一斉表明でにわかに危機感が高まったが、果たしてうのみにしていいのか？　彼らの真意に迫った。

【写真】SpaceXのイーロン・マスク、OpenAIのサム・アルトマン、Metaのマーク・ザッカーバーグ

＊　＊　＊

【「開発減速」を巡ってバトルが勃発！】
9月12日（現地時間。以下同）、米Anthropicのダリオ・アモデイCEOが異例の提言を発表した。最先端のAI（フロンティアAI）の能力向上のペースを落とすべきだというのだ。

同氏は、この夏頃からAIが自ら次世代のAIを作る「再帰的自己改善」が業界全体で始まり、進歩が急加速していると指摘。「何かしらの歯止めがなければ、AIエージェントの群れが半年から1年ほどでネット全体を乗っ取りかねない」と警告した。

この発言の直前には同社の研究者が退社し、「AIが10年以内に人類を滅ぼしかねない」と訴えたばかりだった。

アンソロピックが提示した具体策は次の3本柱。①独立した評価者を企業内に常駐させ、②民主主義国同士で安全基準と開発ペースの上限を決め、③中国など権威主義国とも慎重に調整する、というもの。ただし、「米国のリードや商業的優位は損なわない形で」という条件付きだ。

驚くのは、ライバル企業の反応だ。OpenAIのサム・アルトマンCEOはすぐに同調し、SpaceXのイーロン・マスクCEOやGoogle DeepMindのデミス・ハサビス会長も賛同。これまで熾烈な競争を繰り広げてきたAI開発の先頭集団が、そろって「急ブレーキ」を求めたことになる。

ところが、こうしたAIフロントランナー側の提案にトランプ大統領が噛みついた。

トランプ氏はSNSで、AI脅威論を「極左のでっち上げ」と一蹴。「AIに必要なガードレールは、高IQの偉大な大統領だけだ！」と投稿した。

AI開発の当事者が開発の減速を求め、本来は規制する側の政府がそれを拒むという、奇妙な逆転現象。テック企業のトップらはなぜ今、自らAIの脅威を訴え始めたのか？　そして、彼らはどこまで本気なのか？

国際ジャーナリストの山田敏弘氏は、「AIの急激な進化が人類の大きなリスクになっているのは間違いない」と指摘する。

「その脅威を誰よりも実感しているのは、ほかならぬフロンティアAI開発企業だと思います。実際、今年に入り、最先端AIの脅威を示す事例が次々と起きている。

4月にアンソロピックが開発中のフロンティアAI『ミュトス』が、自律的にハッキングを実行できることが判明して大きな話題になりました。その後の7月、Open AIが社内テスト中だったAIエージェントが、別のAI企業であるハギングフェイスのシステムに侵入していたことが発覚。

さらに9月には、同じくAIの評価テスト中のAIエージェントが、オーストラリア政府の医療統計サイトに不正アクセスしていたことも判明しました。ハッキングの事実だけでなく、不正アクセスから約3ヵ月たってからという公表の遅さにも、同国のアルバニージー首相が強い憤りを表明しています」

【両陣営の利害は実は一致している】
では、AI開発企業から飛び出した減速論は、人類を守る〝良心の叫び〟なのか。そこで見逃せないのが、各社が抱える「カネの事情」だ。

ロイターの報道によると、アンソロピックが上場に向けて用意した目論見書に記載されていた昨年の売上高は約46億ドル。前年の約12倍に急増しているが、営業損失は約80億ドルにも上っている。

ほかのAI企業も売り上げは大きく伸ばしている一方で、現時点では最先端AI開発への巨額の投資に見合うだけの十分なリターンを得ているとは言い難いのが実情だ。前出の山田氏が解説する。

「このまま野放しで各社の熾烈な開発競争が続けば、巨額の研究開発費だけでなく、データセンターや半導体への投資も膨らみ続けることになる。その意味でフロンティアAIへの投資は、『将来への期待』を担保にした巨大な賭けでもあります。

アンソロピックやOpenAIが検討している株式公開も、こうしたサバイバルレースを生き抜く資金調達手段のひとつです（アンソロピックは株式公開を延期、OpenAIも先延ばししている）。

さらに米国内の苛烈な競争だけでなく、政府の全面的な支援を受けて猛スピードで追い上げてくる中国との競争もある。

激しいトップ争いを続けるマラソンの先頭グループが、『このまま全力で競争を続ければ身が持たない......』と、お互いの顔色を見ながら集団のペースを調整する。これが、AI開発の減速や規制を訴え始めた彼らの本音なのではないでしょうか。

ただし、安全保障も含めてAIが国家や社会に与えるインパクトはあまりにも大きく、一度競争から降りてしまうと痛い目を見るのではないかという恐れを皆が持っている。もちろん、トランプもそのひとりです。そんな中、開発減速や国際的な規制の枠組みが本当に可能なのかといえば、極めて難しいと思います」

では「AI企業対トランプ政権」という構図は、果たして見かけどおりなのか。米国政治に詳しい上智大学の前嶋和弘教授はこれに異論を唱える。

「開発減速の必要性で声をそろえたようにも見えるAI企業ですが、その実態はおそらく『同床異夢』です。具体的な各社の思惑は大きく異なると考えたほうがいいでしょう」

実際、OpenAIのアルトマン氏は減速や停止の条件を含む共通の安全基準を支持する一方、Metaのマーク・ザッカーバーグCEOは減速の判断は各社に任せればよいとの立場だ。

「こうした開発減速論に真っ向から反対しているトランプ政権も、実は『対中国のAI開発競争で負けるわけにはいかない』という点で、テック企業と一体です。トランプは、むしろ企業側の本音の代弁者ですらあるのだと思います。

先日の米中首脳会談ではAI問題について対話の枠組み（ホットライン）の創設で両国が合意に至ったとしていますが、中国を利するような国際的な規制の枠組みを設ける気は、トランプにもAI企業にもさらさらない。

さらに、国内政治の事情もあります。実は今、米国では左派リベラルだけでなく、共和党支持の右派にも反AIを唱える人が急激に増えているのです」

9月15日に米ワシントンで開かれた集会では、左派のバーニー・サンダース上院議員と、右派の論客スティーブン・バノンという、まるで水と油のようなふたりがそろってAIの危険性を訴えた。

「実際、AIへの懸念は人類滅亡論だけでなく、雇用の喪失やデータセンターによる電気料金の上昇といった人々の日常生活にも及んでいます。

そんな中、開発企業側が自ら将来的なAIの脅威や開発減速の必要性をアピールする一方、トランプはこうした声を『左派の陰謀に過ぎない！』と主張している。

この一見相反する動きも、実は『反AI世論をこれ以上広げたくない』という共通の思惑で説明できるのではないでしょうか」

【今後のAI開発はトランプがルール？】
もうひとつ、前嶋氏が注目するのは「AI開発のガードレールは高IQの素晴らしい大統領だけでいい」というトランプの発言だ。

「その真意は、『アメリカはAI開発を規制しない』という意味ではありません。フロンティアAIをアメリカと自身にとっての最大の武器と考えるトランプにとって、必要なのは『俺さまが決めるルール』だという宣言と考えるべきでしょう。だからこそ、企業間の減速合意にも国際的な規制枠組みにも反対している。

だとすればアメリカにおける今後のAI開発の焦点は、いかにトランプの意に沿う形で開発や活用に取り組むかということになる。言い換えれば、トランプに従順な企業ほど有利な立場を得やすいとうことです。

この点で象徴的なのが、9月24日にホワイトハウスで開かれた、習近平国家主席の歓迎晩餐会です。130人超の出席者には、マスク氏、アルトマン氏、ザッカーバーグ氏、Amazonのジェフ・ベゾス氏、NVIDIAのジェンスン・フアン氏、Appleのティム・クック会長らが顔をそろえた。その一方で、最初に開発減速を唱えたアンソロピックのアモデイ氏の姿はありませんでした。

アンソロピックは過去に完全自律型兵器や米国内での大規模監視への技術利用を拒み、国防総省と対立。AI開発でも比較的モラルを重視する傾向があり、同省は今春、同社を調達先から外しています。

トランプ大統領が〝高IQ〟なのかはさておき、彼の意に沿うことが今後のAI開発の鍵になるのであれば『将来的なAIの脅威』はさらに大きくなるのかもしれません......」

9月29日にはアモデイ氏を含むテック企業のトップらとトランプ大統領が、企業が自主規制を強化するという協定にいったんは合意した。だが、今後もAI利権の綱引きは続きそうだ。

取材・文／川喜田 研　写真／共同通信社