엔비디아, H200출시로 세계 최고의 AI 컴퓨팅 플랫폼 Hopper 강화

[불스탁®]

엔비디아, H200출시로 세계 최고의 AI 컴퓨팅 플랫폼 Hopper 강화

NVIDIA는 오늘 NVIDIA HGX™ H200 출시로 세계 최고의 AI 컴퓨팅 플랫폼을 강화했다고 발표했습니다. NVIDIA Hopper™ 아키텍처를 기반으로 하는 이 플랫폼은 고급 메모리를 갖춘 NVIDIA H200 Tensor Core GPU를 갖추고 있어 생성 AI 및 고성능 컴퓨팅 워크로드를 위한 대량의 데이터를 처리합니다

NVIDIA H200은 HBM3e를 제공하는 최초의 GPU입니다. 더 빠르고 더 큰 메모리로 생성 AI 및 대규모 언어 모델의 가속화를 촉진하는 동시에 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킵니다. HBM3e를 탑재한 NVIDIA H200은 초당 4.8TB의 속도로 141GB의 메모리를 제공합니다. 이는 이전 제품인 NVIDIA A100에 비해 용량은 거의 두 배, 대역폭은 2.4배 더 커졌습니다.

세계 최고의 서버 제조업체와 클라우드 서비스 제공업체의 H200 기반 시스템은 2024년 2분기에 출시될 예정입니다.

NVIDIA의 하이퍼스케일 및 HPC 부문 부사장인 Ian Buck은 “생성 AI 및 HPC 애플리케이션으로 인텔리전스를 생성하려면 크고 빠른 GPU 메모리를 사용하여 방대한 양의 데이터를 고속으로 효율적으로 처리해야 합니다.”라고 말했습니다. “NVIDIA H200을 통해 업계 최고의 엔드투엔드 AI 슈퍼컴퓨팅 플랫폼이 세계에서 가장 중요한 과제 중 일부를 더욱 빠르게 해결할 수 있게 되었습니다.”

H200의 도입으로 H100에 비해 700억 매개변수 LLM인 Llama 2의 추론 속도가 거의 두 배로 빨라지는 등 성능이 더욱 향상될 것입니다. 향후 소프트웨어 업데이트를 통해 H200의 추가적인 성능 리더십과 개선이 예상됩니다

NVIDIA H200은 4방향 및 8방향 구성의 NVIDIA HGX H200 서버 보드에서 사용할 수 있으며, 이는 HGX H100 시스템의 하드웨어 및 소프트웨어와 모두 호환됩니다. 이는 8월에 발표된 HBM3e가 포함된 NVIDIA GH200 Grace Hopper™ Superchip 에서도 사용할 수 있습니다 .

Amazon Web Services, Google Cloud 및 Oracle Cloud Infrastructure는 CoreWeave, Lambda 및 Vultr 외에도 내년부터 H200 기반 인스턴스를 배포하는 최초의 클라우드 서비스 제공업체 중 하나가 될 것입니다

NVIDIA NVLink™ 및 NVSwitch™ 고속 상호 연결로 구동되는 HGX H200은 1,750억 매개변수를 초과하는 최대 모델에 대한 LLM 교육 및 추론을 포함하여 다양한 애플리케이션 워크로드에서 최고의 성능을 제공합니다

NVIDIA의 가속 컴퓨팅 플랫폼은 개발자와 기업이 AI에서 HPC에 이르기까지 즉시 생산 가능한 애플리케이션을 구축하고 가속화할 수 있는 강력한 소프트웨어 도구의 지원을 받습니다. 여기에는 음성, 추천 시스템, 하이퍼스케일 추론과 같은 워크로드를 위한 NVIDIA AI Enterprise 소프트웨어 제품군이 포함됩니다.

NVIDIA H200은 2024년 2분기부터 글로벌 시스템 제조업체와 클라우드 서비스 제공업체를 통해 출시될 예정입니다

https://insidebigdata.com/2023/11/13/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform/

*** 본 정보는 투자 참고용 자료로서 그 정확성이나 완전성을 보장할 수 없으며, 어떠한 경우에도 법적 책임소재에 대한 증빙자료로 사용될 수 없습니다.

'돈' 잃지 마라! '돈'을 지켜라! 그리고 '돈'을 불려라!