AI 앤솔로픽, 오픈AI가 제창하는 'AI 개발 감속론'은 단순한 이론 아닌 반도체 관련 수급이 압박받는 가운데 'AI 개발의 썰물'은 심각

[お持て成し]

앤솔로픽, 오픈AI가 제창하는 'AI 개발 감속론'은 단순한 이론 아닌 반도체 관련 수급이 압박받는 가운데 'AI 개발의 썰물'은 심각한 영향을 미친다 / 9월 27일(일) / 머니포스트WEB

‘AI 개발 둔화론’의 향방은? (오픈AI의 샘 얼먼 CEO)

AI의 급속한 보급 이후, 이제는 "AI가 인류를 위협하는 미래"를 경계하며 "AI 개발 감속론"까지 제창되고 있다. 하지만 그 견해가 전 세계적으로 일관된 것은 아니다. 중국 주식 애널리스트 타시로 나오키 씨가 미중 정부의 입장과 ‘AI 개발 감속론’의 그 너머를 해석한다.

◇ 연구자·경영자들이 지적하는 ‘AI가 인류를 멸망시킬 가능성’
　

오픈AI(OpenAI)는 7월 21일, 개발 중인 AI 모델이 보안 테스트 중 샌드박스(격리된 가상 환경에서 프로그램을 안전하게 실행하는 구조, 영역)를 빠져나가 스타트업 기업(Hugging Face)을 해킹 공격했다고 발표했다. 그 후 감시 통제 강화, 지시 준수 강화, 대응력 조정, 물리적 격리, Runtime Governance(AI가 실행 중에 내리는 판단과 행동을 실시간으로 감시·제어·기록하는 체계) 등의 대책이 도입되면서 ‘AI가 스스로 안전 시스템을 깨고 폭주할’ 위험은 줄어든 것으로 보이지만, 완전히 사라진 것은 아니다. 

앤솔로픽 연구원 제이콥 콕슨(Jacob Coxon) 씨는 9월 8일 X를 통해 사임을 발표하며, 그 이유에 대해 “지난 3년간 오픈AI와 앤솔로픽에서 AI 사전학습 연구를 해왔지만, 양사는 책임 있는 행동을 하지 않았고, 자기개선형 초지능 개발 경쟁에 정면으로 돌진하며 우리의 생명을 도박에 내맡기고 있다”라고 설명했다. 이 회사의 얼라인먼트 과학 책임자인 에반 휴빙거(Evan Hubinger) 씨도 이 경고에 동의하며 “AI가 인류를 멸망시킬 가능성이 있다고 진지하게 믿고 있으며, 향후 10년 동안 발생할 그 확률은 10%를 넘을 것으로 추정한다. 우리는 현재 최대한의 노력을 기울이고 있지만, AI 정렬 문제(AI의 목적과 행동을 인류와 일치·협조시키는 것)의 해결 방법을 찾지 못하고 있다”라고 발언했다. 

이 인류를 멸망시킬 확률(통계적 계산 결과가 아니라 어디까지나 주관적인 수치)에 대해, xAI를 이끄는 일론 머스크는 10~20%, 앤솔로픽의 다리오 아모데이 CEO는 25%(‘정말로 좋지 않은 방향으로 갈 확률’이라고 표현), 오픈AI의 샘 얼트먼 CEO는 10%(‘10%는 받아들이기 어렵다’고 발언) 등으로 추정하고 있다. 그들은 자기 개량에 의한 제어 불능, 악의적인 목적에의 악용, 인간의 의도 무시와 같은 구체적인 시나리오를 그리고 있으며, 개발 속도의 둔화, 독립적인 감시, 국제적인 규제와 같은 구체적인 행동을 신속히 취할 것을 제안하고 있다.

◇ AI 개발 둔화론에 반대 의사를 표명한 엔비디아 CEO의 생각
　

한편, NVIDIA의 젠슨 황 CEO는 여러 차례 ‘AI 개발 둔화론’에 반대 입장을 표명하고 있다. 9월 15일에는 고객 관리 소프트웨어 대기업 Salesforce가 샌프란시스코에서 개최한 연례 이벤트 ‘Dreamforce’에서 강연하며, “안전과 개발 속도 사이의 양자택일 딜레마라는 생각은 거짓이며, 양립은 가능하다”라고 주장했다. ‘안전성이 확보되지 않은 제품은 시장의 신뢰를 잃고 고객이 이탈하며 풍평 위험이 확대되기 때문에, 시장의 힘이 안전성을 보장한다’, ‘톱다운 규제는 필요 없을 뿐만 아니라 오히려 중복이다’라고 발언했다. 각 사가 스스로 책임을 지고 안전성을 테스트하며, 확신이 서지 않는 제품은 출시하지 않아도 된다는 입장이다. 

또한 앤솔로픽과 오픈AI가 이러한 경고를 내놓은 배경에는 '기존 법적 책임에서 면제를 요구하는 의도가 있다'고 분석했다. 새로운 규제 틀을 만들어 자사에 유리한 규칙을 만들려 한다고 보고 있으며, AI 위협론은 대중을 불필요하게 두렵게 하는 것으로 '2030년에 세계가 멸망할 확률은 0'이라고 단언하며, 양측의 경고를 '불성실'하고 '무책임'하다고 강하게 비판하고 있다. 또한 “미국이 AI 개발을 자발적으로 둔화시키면, 중국 등 경쟁국에 AI 분야의 주도권을 넘겨주게 된다”고 강하게 우려하고 있다.

트럼프 대통령도 AI 개발에 규제를 두는 것에 강하게 반대하고 있다. 중국은 제15차 5개년 계획의 핵심에 AI+액션이 포함되어 있으며, 실제로 사고가 발생해 중국 경제에 어떤 악영향이 일어나지 않는 한, 업계의 감독 관리를 사전에 강화하더라도 AI 개발 자체를 둔화시키는 일은 하지 않을 것이다.

◇ 역조류가 시작되면 반도체 관련 공급 부족이 급변해 설비 과잉으로
　

AI 개발 감속론이 화제가 되는 가운데, 상류에 해당하는 반도체 설비 제조업체에서는 핵심 부품 공급 부족이 심각해지고 있다. SEMI의 최신 보고서(7/14)에 따르면, 2026년 반도체 설비 판매액은 연초 전망을 크게 웃도는 23.2% 증가할 것으로 예상되며, 2027년에는 21.8%, 2028년에는 14.1% 증가해 고성장이 이어질 것으로 보고 있다. 각 사가 설비 확충을 진행하고 있지만, 일부 핵심 부품의 공급이 따라가지 못해 비용 증가와 납기 지연이 심각해지고 있다. 

기존 반도체 개발 경쟁은 '가로 방향 해상도 향상'이 중심이었지만, 기술적 한계가 다가오면서 '세로 방향 고층화'로 개발 방향이 바뀌었다. AI 칩 구조에서 GAA 구조, 3D·NAND의 고층화, HBM의 다층 스태킹 등 ‘3D화’가 진행되고 AI용 HBM 수요가 급증함에 따라, 반도체 제조 장비 중에서도 특히 에칭, 박막 형성, 첨단 패키징, 테스트 장비의 수급이 압박받고 있다.

더 나아가, 그 핵심 부품과 필요한 소모품으로 거슬러 올라가면, RF Power Supply(에칭 및 박막 형성 장치의 핵심 부품으로 플라즈마 생성에 필수적인 부품), 세라믹·석영 부품(내플라즈마성, 내식성이 요구되는 소모품 및 구조 부품), 밸브·배관(고순도 가스 및 약액의 유량·압력을 정밀하게 제어하는 부품), 가스 박스(특수 가스를 정밀하게 공급하는 모듈화된 서브시스템: 안전 기준이 엄격함) 등도 마찬가지다.

각각 개별적으로 보면 시장 규모가 작아 공급원은 중견 기업이 많으며, 생산 국가는 일본·미국·한국·대만·중국 등으로 확대된다. 설비 산업이기 때문에 생산 규모 확대에는 큰 위험이 따른다.

ChatGPT-3.5가 공개된 2022년 11월을 기점으로 시작된 AI 혁명의 물결은 이미 4년 가까운 시간 동안 계속해서 확산되었으며, 그 범위는 산업 체인의 구석구석까지 미치고 있다. 대규모이면서 심각한 AI의 폭주, 금융 시장의 변동 등 예상치 못한 사태가 발생하고, 일단 물러나기 시작하면 설비 과잉이 드러나면서 그 심각한 연쇄가 발생할 것이다.

글■타시로 나오키(田代尚機): 1958년생. 다이와 종합연구소에서 베이징 파견 애널리스트로 활동한 뒤, 나이토 증권 중국 부장이 되었다. 현재는 중국 주식 비즈니스 컨설팅 등을 하는 프리랜서로 활동 중. 블로그 '중국 주식이라면 나한테 물어봐!!'도 운영 중.

アンソロピック、オープンAIが提唱する「AI開発減速論」は一枚岩ではない　半導体関連の需給が逼迫する中“AI開発の引き潮”は深刻な影響を及ぼす

アンソロピック、オープンAIが提唱する「AI開発減速論」は一枚岩ではない　半導体関連の需給

アンソロピック、オープンAIが提唱する「AI開発減速論」は一枚岩ではない　半導体関連の需給が逼迫する中“AI開発の引き潮”は深刻な影響を及ぼす / 9/27(日) 7:15配信 / マネーポストWEB

「AI開発減速論」の行方は（オープンAIのサム・アルトマンCEO）

　AIの急速な普及から一転、いま “AIが人類を脅かす未来”を警戒して「AI開発減速論」も提唱されるようになった。だが、その見解についても世界で一枚岩となっているわけではない。中国株アナリスト・田代尚機氏が、米中政府のスタンスと「AI開発減速論」のその先を読み解く。

研究者・経営者らが指摘する「AIが人類を滅亡させる可能性」
　オープンAI（OpenAI）は7月21日、開発中のAIモデルがセキュリティテスト中にサンドボックス（隔離した仮想環境の中でプログラムを安全に動かす仕組み、領域）を抜け出し、スタートアップ企業（Hugging Face）をハッキング攻撃したと公表した。その後、監視コントロールの強化、指令遵守の強化、対抗力の調整、物理的な隔離、Runtime Governance（AIが実行中に行う判断、行動をリアルタイムで監視・制御・記録する仕組み）などの対策が採られることになり「AIが自ら安全システムを破り暴走する」リスクは小さくなったようだが、ゼロになったわけではない。

　アンソロピックの研究者、ジェイコブ・コクソン（Jacob Coxon）氏は9月8日、Xにおいて辞職を発表、その理由を「過去3年間、オープンAI、アンソロピックでAIのプレトレーニングの研究を行ってきたが、両社は責任ある行動を取っておらず、自己改善型超知能の開発競争にストレートに突き進み、我々の命をギャンブルに晒している」などと説明している。同社のアラインメント科学責任者、エヴァン・ヒュービンガー（Evan Hubinger）氏もこの警告を支持しており「AIが人類を滅亡させる可能性があると真剣に信じており、今後10年の間で起こるその確率は10％超と推定している。我々は現在最大の努力を尽くしているが、AIアライメント問題（AIの目的、行動を人類と一致・協調させること）の解決方法を見出せていない」などと発言している。

　この人類を滅亡させる確率（統計的な計算結果ではなく、あくまで主観的な数字）についてだが、xAIを率いるイーロン・マスク氏は10～20％、アンソロピックのダリオ・アモデイCEOは25％（「本当にまずい方向に進む確率」と表現）、オープンAIのサム・アルトマンCEOは10％（「10％は受け入れがたい」と発言）などと推定している。彼らは自己改良による制御不能、悪意ある目的への悪用、人間の意図の無視といった具体的なシナリオを描いており、開発ペースの減速、独立した監視、国際的な規制といった具体的な行動を速やかにとるよう提唱している。

AI開発減速論に反対を表明するエヌビディアCEOの考え
　一方、NVIDIAのジェンスン・フアンCEOは度々、「AI開発減速論」に対して反対の立場を表明している。9月15日には顧客管理ソフト大手・Salesforceがサンフランシスコで開催した年次イベント「Dreamforce」で講演、「安全と開発速度の二者択一のジレンマであるとの考えは偽りであり、両立は可能だ」などと主張している。「安全性の保たれない製品は市場の信頼を失い、顧客が離れ、風評リスクが広がるため、市場の力が安全性を担保する」、「トップダウンによる規制は不要どころか冗長だ」と発言している。各社が自らの責任で安全性をテストし、確信が持てない製品は発売しなければよいといった立場である。

　さらに、アンソロピック、オープンAIがこうした警告を発する裏には「既存の法的責任からの免除を求める意図がある」と分析している。新たな規制の枠組みを作ることで、自社に有利なルールを形成しようとしているとみており、AI脅威論は大衆を不必要に怖がらせるもので「2030年に世界が滅亡する確率はゼロ」と断言、両者による警告を「不誠実」かつ「無責任」だと強く批判している。さらに、「米国がAI開発を自主的に減速させれば、中国などの競争相手にAI分野の主導権を渡すことになる」などと強く懸念している。

　トランプ大統領もAI開発に規制をかけることに強く反対している。中国は第十五次五カ年計画の中核にAI＋アクションが組み込まれており、実際に事故が発生し、中国経済に何らかの悪影響が起きない限り、業界の監督管理を事前に強化することはあっても、AI開発自体を減速させるようなことはしないだろう。

引き潮が始まれば半導体関連の供給不足が一転して設備過剰に
　AI開発減速論が話題に上る中で、上流となる半導体設備メーカーでは中核部品の供給不足が深刻となっている。SEMIによる最新レポート（7/14）によれば、2026年の半導体設備販売額は年初予想を大きく上回る23.2％増と予想しており、2027年は21.8％増、2028年は14.1％増と高成長が続くとみている。各社設備拡充を進めているが、一部のコア部品について、供給が追い付かず、コスト増、納期の遅れが深刻となっている。

　従来の半導体開発競争は「横方向の解像度の向上」が中心であったが、技術的な限界が近づいてきたことから、「縦方向の高層化」へと開発の方向が変わってきた。AIチップ構造においてGAA構造、3D・NANDの高層化、HBMの多層スタッキングといった「3D化」が進み、AI向けHBMの需要が急増していることなどから、半導体製造装置の中でも特に、エッチング、薄膜形成、先端パッケージング、テスト装置の需給が逼迫している。

　さらに、その中核部品、必要となる消耗品などに遡ると、RF Power Supply（エッチング、薄膜形成装置の心臓部であり、プラズマ生成に不可欠な部品）、セラミック・石英部品（耐プラズマ性、耐食性が求められる消耗品、構造部品）、バルブ・配管（高純度ガス、薬液の流量・圧力を精密に制御する部品）、ガスボックス（特殊ガスを精密に供給するモジュール化されたサブシステム：安全基準が厳しい）なども同様だ。

　それぞれ個別に見れば市場規模は小さいため、供給元は中堅企業が多く、生産国は日米韓台中などに広がる。設備産業なので、生産規模拡大には大きなリスクを伴う。

　ChatGPT-3.5が公開された2022年11月を起点として発生したAI革命の波は既に4年近い年月をかけて潮位を上げ続け、その広がりはインダストリアルチェーンの隅々にまで達している。大規模で深刻なAIの暴走、金融市場の変調など、思いがけない事態が発生し、一旦引き潮が始まれば、一転して設備過剰が顕在化し、その深刻な連鎖が生じることになるだろう。

文■田代尚機（たしろ・なおき）：1958年生まれ。大和総研で北京駐在アナリストとして活躍後、内藤証券中国部長に。現在は中国株ビジネスのコンサルティングなどを行うフリーランスとして活動。ブログ「中国株なら俺に聞け！！」も発信中。