반도체 엔비디아에 도전하는 OpenAI의 추론 칩 ‘하라페뇨’, 첫 벤치마크에서 드러난 실력과 한계

[お持て成し]

엔비디아에 도전하는 OpenAI의 추론 칩 ‘하라페뇨’, 첫 벤치마크에서 드러난 실력과 한계 / 8월 30일(일) / Forbes JAPAN

Rafael Henrique - stock.adobe.com

2027년까지 양산 출하되지 않을 프로세서가 미국 시간 8월 25일 성능 시험에 들어갔으며, 그 결과가 누구나 확인할 수 있는 형태로 공개되었다. 비교 대상은 이미 시장에서 판매되고 있는 경쟁 제품이며, 평가의 기준을 만든 것은 OpenAI도 엔비디아도 아닌 제3자 조사 회사이다. OpenAI는 브로드컴과 공동으로 설계한 추론용 가속기 ‘하라페뇨(Jalapeño)’에 대해 처음으로 성능 수치를 공개했다. 그 수치는 그 주 기술 뉴스의 헤드라인을 독점할 정도로 강력한 내용이었다.

반도체 제조업체가 비교 벤치마크를 내놓는 것은 칩을 팔고 싶기 때문이다. OpenAI에는 팔 칩이 없다. 이 회사가 안고 있는 것은 10년 가까이 이어진 데이터센터 건설 비용이다. 전력 효율을 공개된 자리에서 제시한다면, 그 건설 자금을 인수하는 투자자와 금융기관이 알고 싶어 하는 한 가지, 즉 전력 1와트를 투입해 AI의 응답을 얼마나 만들어낼 수 있는지에 바로 답하게 될 것이다. 

시험에 사용된 것은 반도체 조사 회사 세미아날리시스가 운영하는 공개 벤치마크 ‘InferenceX’이다. 칩 단독으로 인공적인 계산 처리만을 수행해 속도를 측정하는 방식이 아니다. 이용자가 질문을 보내고, AI가 답변을 만들고, 그 답변을 반환할 때까지 실제로 서비스를 제공하는 데 필요한 과정을 연속적으로 측정한다. 소비 전력 700와트인 하라페뇨는 같은 1400와트인 엔비디아 최상위 시스템에 비해, 전력 1킬로와트당 처리할 수 있는 양이 최대 1.9배에 달했다. 레이턴시(질문을 보낸 뒤 답변이 모두 나올 때까지 걸리는 시간)도 최대 3.6배 낮았다. 시험 대상은 GPT-OSS 120B, DeepSeek R1 670B, 그리고 1조 파라미터의 Kimi K2.5이다. DeepSeek R1에서는 이용자를 1명만 연결한 조건으로, 초당 700토큰을 넘는 속도로 문장을 생성했다. 

■ 전력 효율 면에서 엔비디아의 Blackwell을 능가한 한 가지 이유는 신형 메모리

세미아날리시스는 시험 결과와 동시에 자사의 전망도 발표했다. 그곳에는 이 비교가 안고 있는 한계가 이례적으로 솔직하게 적혀 있다. 할라피뇨는 최신 규격의 HBM4 메모리를 탑재하고 있어, 그것을 탑재하지 않은 Blackwell과 나란히 놓는 것 자체가 무리라는 지적이다. 

“Blackwell과의 비교는 다소 불완전하고 불공평하다고 우리는 생각한다. 할라피뇨가 정말로 경쟁하고 있는 상대는, 할라피뇨와 마찬가지로 HBM4를 사용하는 Rubin 같은 칩이다"

 하라페뇨가 탑재된 HBM4는 초당 15.4테라바이트의 대역폭을 가진다. 한편, 비교 대상이 된 엔비디아의 Blackwell 세대 시스템이 쌓는 것은 한 세대 전의 메모리이다. 즉, 효율 차이로 나타난 수치에는 칩 설계 자체의 실력이 아니라 메모리가 한 세대 새로워진 부분이 상당히 포함되어 있다. 같은 HBM4를 탑재한 엔비디아의 차세대 칩 Rubin과 할라피뇨를 조건을 맞춰 비교한 시험은 아직 어디에서도 실시하지 않았다. 

● 측정한 것은 시제품 단계의 칩이며, 긴 대화 처리는 아직 시도해 보지 않았다

이번 결과에는 또 다른 세 가지 제약이 있다. 시험에 사용된 반도체는 최초로 동작한 시제품에 해당하는 A0 스테핑이며, 성능을 높인 개량형 B0는 이미 제조 공정에 들어갔다. 시험해 본 것은 읽는 문장이 짧고, 질문과 답변이 한 번 왕복으로 끝나는 처리뿐이었다. 실제 운영에서 처리 분담이나 캐시 관리에 부하를 주고, 여러 차례 주고받는 AI 에이전트형 통신은 전혀 포함되지 않는다. 더욱이 수치 자체를 낸 것은 OpenAI이며, 세미아날리시스는 시험 실행에 참관했을 뿐 벤치마크 일체를 직접 돌린 것은 아니다. 

이러한 제약이 있기 때문에 이번 결과를 해석할 수 있다. 초기 시제품 단계의 반도체가 공개 벤치마크에서 이 정도 수치를 기록한 것은 확실한 기술적 성과이다. 그리고 덧붙여진 유보는 다음에 어떤 시험 결과가 나오면 논의가 마무리되는지를 그대로 보여준다. 

◇ OpenAI가 성능 수치를 공개한 배경은 약 16.8조 엔의 자금 조달

■ OpenAI가 성능 수치를 공개한 배경은 약 16.8조 엔\의 자금 조달

OpenAI에서 하드웨어 개발을 총괄하는 리처드 호는 할라피뇨의 출시가 2026년 말이 될 것이며, 양은 ‘극히 소량’에 그칠 것이라고 말했다. 본격적인 배치는 2027년이다. 그 본격 배치보다 1년 이상 앞선 시점에, 경쟁 제품과 비교한 세부 수치를 공개한다. 신제품 출시는 보통 이런 순서대로 진행되지 않는다. 

왜 지금일까. 답은 이 거대한 건설 계획을 어떻게 자금을 조달하고 있는가에 있다. 엔비디아는 8월 17일, 오하이오주에 세워진 OpenAI용 데이터센터에 대해 최대 1050억 달러(약 16조 8000억 엔)의 자금 조달을 보장하기로 합의했다. 보증 대상은 초기 4.25기가와트분이며, 남은 3.75기가와트를 추가할 수 있는 선택권도 포함된다. 이 설비가 가동을 시작하는 시기는 2028년부터이며, 단계적으로 가동될 예정이다. 같은 시기에 AI 개발 기업 Anthropic은 영국의 인프라 기업 Nscale과 6년간 450억 달러(약 7조 2000억 엔) 규모의 계산 자원 계약을 체결했다. 

모두 사업 자체가 창출하는 수익을 상환 원천으로 하는 프로젝트 파이낸스 형태이며, 유료 도로나 발전소와 같은 규모로 구성되어 있다. 게다가, 상환의 기반이 되는 수입이 생기기보다 몇 년 전부터 이미 구축되어 있다. 이 정도의 자금은 향후 비용 전망을 근거로 약속된다. 그리고 누군가가 그 비용 전망을 믿지 않으면 이야기는 앞으로 나아가지 않는다. 

● 전력 1와트로 얼마나 처리할 수 있는지가 자금 제공자에게 보여주는 수익 근거

인프라 투자 가격은 단위당 손익으로 결정된다. 도로라면 차선당 통행량을, 발전소라면 1메가와트시당 발전량을 보고, 자금 제공자는 인수 여부를 판단한다. 추론 사업이라면, 투입한 1와트가 이용자에게 얼마나 반응을 이끌어내는지가 판단 기준이 된다. 공개된 1와트당 성능은 OpenAI가 제시할 수 있는 자료 중에서, 검증된 비용 곡선에 가장 가깝다. 게다가 이 수치가 나온 것은 1기가와트당 수억 달러(수백억 엔) 규모의 건설용 신용 한도를 정리하고 있던 바로 그 시점이었다. 

발표 무대로 어디를 선택했는지도 같은 논리로 설명할 수 있다. 제3자가 운영하는 공개 벤치마크를 사용하고, 그 제3자가 참석하는 자리에서 실행하면, 자사에서 만든 설명 자료와는 달리 투자자의 심사를 견딜 수 있는 수치가 남는다. 

◇ 하라페뇨를 설계한 OpenAI, 구현과 제조를 맡은 브로드컴

■ 하라페뇨를 설계한 OpenAI, 구현과 제조를 맡은 브로드컴

하라페뇨가 존재하는 이유는 2025년 10월에 발표된 제휴가 있기 때문이다. OpenAI와 브로드컴은 OpenAI가 설계한 액셀러레이터를 10기가와트 규모로 전개하겠다고 약속했다. 랙의 반입은 2026년 하반기에 시작해, 전체 계획을 2029년 말까지 완료할 예정이다. 10기가와트 규모는 약 10년에 걸쳐 건설해야 할 양에 해당한다. 그 전량에 대해서는 양사가 이미 계약을 체결한 상태이다. 

칩의 아키텍처, 즉 계산을 담당하는 회로와 메모리를 어떻게 배치하고 어떻게 연결할지라는 구성 자체를 결정한 것은 OpenAI이다. 브로드컴이 담당하는 것은 물리적인 회로 구현, 네트워크, 그리고 제조 위탁 업체와의 관계이다. 설계도를 실제로 가동되는 랙으로 완성하는 단계이다. 8월 25일에 발표된 전력당 처리량과 레이턴시는 하나도 빠짐없이 다른 의미도 가지고 있다. 브로드컴이 대형 고객에게 제안한 ‘고객 전용 칩을 자체 설계하게 하는’ 방식이 초기 시제품 단계부터 경쟁력 있는 제품을 만들어낼 수 있음을 입증한 것이다. 

●고객이 자체 설계와 기성품 중 어느 쪽을 선택하든, 브로드컴에 대금이 입금된다

이번 상황에서 무너지기 어려운 입장에 있는 것은, 구매자가 자체 설계와 기성품 중 어느 쪽을 선택해도 대금을 받을 수 있는 기업이다. 전용 칩 개발에서 가장 어려운 부분을 맡아 대가를 받는 브로드컴과, 완성된 시스템을 전부 판매하는 엔비디아는 이 점에서 같은 입장에 있다. 고객이 전용 칩을 선택하면 브로드컴에 설계비가 들어가고, 기성품을 선택하면 엔비디아에 제품 대금이 들어간다. 따라서 할라피뇨의 좋은 실적은 전용 칩을 수탁 설계해 수익을 낼 수 있다는 브로드컴의 주장을 뒷받침함과 동시에, AI용 반도체에 대한 수요 자체가 증가하고 있다는 엔비디아의 주장도 뒷받침한다. 

■ 우위가 설계에 의한 것인지는, Rubin과의 비교와 실제 운용에 가까운 시험으로 결정된다

8월 25일에 발표된 할라피뇨 벤치마크 결과를, 강력한 첫 등장부터 업계 구조 변화로 끌어올리려면, 두 가지 시험 결과가 더 필요하다. 게다가 두 경우 모두 구체적으로 적어낼 수 있다.

첫 번째는 같은 HBM4를 탑재한 제품들, 즉 할라피뇨와 Rubin을 직접 비교한 수치다. 이 비교를 하면, 메모리 세대가 달라 설계 실력을 가시화하기 어려웠던 가장 큰 장애가 사라진다. 할라피뇨의 우위가 설계 자체에서 비롯된 것인지, 아니면 새로운 메모리를 먼저 확보한 조달 시기의 차이에 불과한 것인지가 그곳에서 명확해진다. 

두 번째는 AI가 이용자나 외부 도구와 지시와 결과를 여러 번 주고받으며 작업을 진행하는 에이전트형 처리이다. 질문과 답변이 한 번의 왕복으로 끝나는 짧은 처리 방식은 전용 설계에 가장 적합한 조건이다. 일반 소비자용 채팅과 코딩용 에이전트를 운영하는 기업이 실제로 받는 부하는, 그런 좋은 조건과는 전혀 닮지 않았다. 

● 엔비디아에 대한 주문이 계속 늘어난다면, 자체 칩은 대체가 아니라 증설이다

더 단순한 단서도 분기마다 얻을 수 있다. OpenAI는 자체 칩을 만들면서 엔비디아제 시스템에 대한 발주를 계속해 왔다. 사내에 정예 반도체 개발 부대를 보유한 구글과 애플이, 몇 년 전 확립한 진행 방식과 동일하다. 할라피뇨가 성장하는 한편, 외부에서 구매하는 장비에 대한 주문도 계속 늘어난다면, 솔직한 결론은 하나가 된다. 자사 설계 칩은 엔비디아 시스템으로 충당해 온 연산 능력을 대체하는 것이 아니라, 그 위에 자체 연산 능력을 추가하고 있다는 뜻이다. 현재 얻어진 자료는 바로 그 결말을 가리키고 있다. 거대한 자금 조달도 교체가 아니라 추가라는 전제 하에 이루어지고 있다. 

Jon Markman

エヌビディアに挑むOpenAIの推論チップ「ハラペーニョ」、初のベンチマークで示された実力と限界

エヌビディアに挑むOpenAIの推論チップ「ハラペーニョ」、初のベンチマークで示された実力と

エヌビディアに挑むOpenAIの推論チップ「ハラペーニョ」、初のベンチマークで示された実力と限界 / 8/30(日) 14:00配信 / Forbes JAPAN 

2027年まで量産出荷されないプロセッサーが、米国時間8月25日、性能試験にかけられ、その結果が誰でも確認できる形で公開された。比較相手はすでに市場で売られている競合製品であり、採点の物差しを作ったのは、OpenAIでもエヌビディアでもない第三者の調査会社である。OpenAIは、ブロードコムと共同で設計した推論用アクセラレーター「ハラペーニョ（Jalapeño）」について、初めて性能数値を公表した。その数値は、その週の技術ニュースの見出しを独占するほど強い内容だった。

半導体メーカーが比較ベンチマークを出すのは、チップを売りたいからである。OpenAIには売るチップがない。同社が抱えているのは、10年近く続くデータセンター建設の支払いだ。電力効率を公開の場で示せば、その建設資金を引き受ける投資家や金融機関が知りたがっている一点、すなわち電力1ワットを投じてAIの応答をどれだけ生み出せるのかに、そのまま答えることになる。

試験に使われたのは、半導体調査会社セミアナリシスが運営する公開ベンチマーク「InferenceX」である。チップ単体に人工的な計算処理だけを解かせて速さを測る方式ではない。利用者が質問を送り、AIが回答を作り、それを返し終えるまで、実際にサービスを提供するのに必要な工程をひと続きで計測する。消費電力700ワットのハラペーニョは、同1400ワットのエヌビディア最上位システムと比べ、電力1キロワット当たりで処理できる量が最大1.9倍に達した。レイテンシー（質問を送ってから回答が出そろうまでの所要時間）も、最大で3.6倍低かった。試験対象はGPT-OSS 120B、DeepSeek R1 670B、そして1兆パラメーターのKimi K2.5である。DeepSeek R1では、利用者を1人だけつないだ条件で、毎秒700トークンを超える速さで文章を生成した。

■ 電力効率でエヌビディアのBlackwellを上回った一因は、新型メモリー

セミアナリシスは、試験結果と同時に自社の見立ても公表した。そこには、この比較が抱える限界が、異例なほど率直に書かれている。ハラペーニョは最新規格のHBM4メモリーを載せており、それを積まないBlackwellと並べること自体に無理がある、という指摘である。

「Blackwellとの比較は、やや不完全で不公平だと私たちは考えている。ハラペーニョが本当に競っている相手は、ハラペーニョと同様にHBM4を使うRubinのようなチップだ」

ハラペーニョが搭載するHBM4は、毎秒15.4テラバイトの帯域を持つ。一方、比較対象となったエヌビディアのBlackwell世代システムが積むのは、1世代前のメモリーである。つまり、効率の差として表れた数値には、チップ設計そのものの実力ではなく、メモリーが1世代新しいことによる分がかなり含まれている。同じHBM4を積むエヌビディアの次世代チップRubinとハラペーニョを、条件をそろえて比べた試験は、まだどこも実施していない。

● 測定したのは試作段階のチップ、長い対話処理は試していない

今回の結果には、ほかにも3つの制約がある。試験に使われた半導体は、最初に動作した試作版にあたるA0ステッピングで、性能を高めた改良版のB0はすでに製造工程へ入っている。試したのは、読み込む文章が短く、質問と回答が1往復で終わる処理だけだった。実運用で処理の振り分けやキャッシュ管理に負荷をかける、何往復もやり取りするAIエージェント型の通信は、一切含まれていない。さらに、数値そのものを出したのはOpenAIであり、セミアナリシスは試験の実行に立ち会っただけで、ベンチマーク一式を自ら走らせたわけではない。

こうした制約があるからこそ、今回の結果は読み解ける。最初の試作段階の半導体が、公開ベンチマークでこれだけの数値を出したことは、紛れもない技術的成果である。そして書き添えられた留保は、次にどのような試験結果が出れば議論に決着がつくのかを、そのまま示している。

OpenAIが性能値を公表した背景は、約16.8兆円の資金調達
■ OpenAIが性能値を公表した背景は、約16.8兆円の資金調達

OpenAIでハードウェア開発を統括するリチャード・ホーは、ハラペーニョの登場は2026年末になり、量は「ごく少量」にとどまると述べた。本格的な配備は2027年である。その本格配備より1年以上早い段階で、競合製品と比べた細かい数値を公表する。新製品の売り出しは、普通このような順番では進まない。

なぜ今なのか。答えは、この巨大な建設計画をどう資金調達しているかにある。エヌビディアは8月17日、オハイオ州に建つOpenAI向けデータセンターについて、最大1050億ドル（約16兆8000億円）の資金調達を保証することで合意した。保証の対象は初期の4.25ギガワット分で、残る3.75ギガワットを追加する選択権も付く。この設備が稼働を始めるのは2028年からで、段階的に立ち上がる。同じ時期に、AI開発企業のAnthropicは、英国のインフラ企業Nscaleと6年間で450億ドル（約7兆2000億円）の計算資源契約を結んでいる。

いずれも、事業自体が生む収益を返済原資とするプロジェクトファイナンスの形を取り、有料道路や発電所と同じ規模感で組まれている。しかも、返済の元手となる収入が生まれるより何年も前に組み上げられている。これほどの資金は、将来の費用見通しを根拠にして約束される。そして誰かが、その費用見通しを信じなければ話は前へ進まない。

● 電力1ワットからどれだけ処理できるかが、資金の出し手に示す採算根拠

インフラ投資の値段は、単位当たりの採算で決まる。道路であれば1車線当たりの通行量、発電所であれば1メガワット時当たり発電量を見て、資金の出し手は引き受けを判断する。推論事業なら、投じた1ワットが利用者への応答をどれだけ生み出すかが、その判断材料になる。公表された1ワット当たり性能は、OpenAIが提示できる材料の中で、実証済みのコスト曲線に最も近い。しかもこの数値が出てきたのは、1ギガワット当たり数億ドル（数百億円）規模の建設向け信用枠をまとめている、まさにその最中だった。

発表の舞台としてどこを選んだかも、同じ理屈で説明がつく。第三者が運営する公開ベンチマークを使い、その第三者が立ち会う場で走らせれば、自社で作った説明資料とは異なり、投資家の審査に耐える数字が残る。

ハラペーニョを設計したOpenAI、実装と製造を引き受けたブロードコム
■ ハラペーニョを設計したOpenAI、実装と製造を引き受けたブロードコム

ハラペーニョが存在するのは、2025年10月に発表された提携があるからだ。OpenAIとブロードコムは、OpenAIが設計したアクセラレーターを10ギガワット分展開すると約束した。ラックの搬入は2026年下半期に始め、計画全体を2029年末までに完了させる。10ギガワットという規模は、10年近くかけて建設する量にあたる。その全量について、両社はすでに契約を交わしている。

チップのアーキテクチャー、つまり計算を担う回路とメモリーをどう配置し、どうつなぐかという構成そのものを決めたのはOpenAIである。ブロードコムが担うのは、物理的な回路実装、ネットワーク、そして製造委託先との関係だ。設計図を、実際に稼働するラックへ仕上げる工程である。8月25日に公表された電力当たりの処理量やレイテンシーは、1つ残らず別の意味も持つ。ブロードコムが大口顧客へ売り込んできた「顧客専用チップを自社設計させる」という手法が、最初の試作段階から競争力ある製品を生み出せると裏づけたのである。

● 顧客が自社設計と既製品のどちらを選んでも、ブロードコムには代金が入る

今回の局面で崩れにくい立場にいるのは、買い手が自社設計と既製品のどちらを選んでも代金を受け取れる企業だ。専用チップ開発で最も難しい部分を請け負って対価を得るブロードコムと、完成したシステムを丸ごと売るエヌビディアは、この点で同じ立場にある。顧客が専用チップを選べばブロードコムに設計料が入り、既製品を選べばエヌビディアに製品代金が入る。だからこそハラペーニョの好成績は、専用チップの受託設計で稼げるというブロードコムの主張を裏づけると同時に、AI用半導体への需要そのものが伸びているというエヌビディアの主張も裏づける。

■ 優位が設計によるものかは、Rubinとの比較と実運用に近い試験で決まる

8月25日に公表されたハラペーニョのベンチマーク結果を、力強い初登場から業界の構造変化へと押し上げるには、あと2つの試験結果が要る。しかも、どちらも具体的に書き出せる。

1つ目は、同じHBM4を積む製品どうし、つまりハラペーニョとRubinを直接比べた数値である。この比較を行えば、メモリー世代が違うために設計の実力を見えにくくしていた最大の障害が消える。ハラペーニョの優位が設計そのものから来ているのか、それとも新しいメモリーを先に確保できたという調達時期の差にすぎないのかが、そこではっきりする。

2つ目は、AIが利用者や外部ツールと指示や結果を何度も交換しながら作業を進める、エージェント型の処理である。質問と回答が1往復で終わる短い処理は、専用設計にとって最も好都合な条件だ。一般消費者向けチャットとコーディング用エージェントを運用する企業が実際に受ける負荷は、そうした好条件とはまるで似ていない。

● エヌビディアへの発注が増え続けるなら、自社チップは代替ではなく増設だ

もっと単純な手がかりも、四半期ごとに手に入る。OpenAIは自前チップを作りながら、エヌビディア製システムへの発注を続けてきた。社内に精鋭の半導体開発部隊を抱えるグーグルとアップルが、何年も前に確立した進め方と同じである。ハラペーニョが立ち上がる一方で、外部から買う機材への発注も伸び続けるなら、率直な結論は1つになる。自社設計チップは、エヌビディア製システムで賄ってきた計算能力を置き換えるのではなく、そこへ自前の計算能力を上乗せしているということだ。現時点で得られている材料は、まさにその結末を指している。巨額の資金調達も、置き換えではなく積み増しという前提の上に組まれている。

Jon Markman