메모리 TAM은 계속 늘어납니다

[맥가이버]

[한투증권 채민숙/김연준] 반도체 산업 Note: 메모리 TAM은 계속 늘어납니다

● 엔비디아는 Groq 아키텍처를 활용한 추론칩 공개 예정
- 엔비디아가 Groq의 온칩(On-Chip) SRAM 기반 아키텍처를 활용한 새로운 추론 칩을 개발할 것이라는 뉴스에 메모리 기업 주가 약세
- SRAM의 사용으로 HBM을 포함한 메인 메모리 수요가 줄어들 것이라는 우려 때문
- 엔비디아는 3월 GTC에서 관련 아키텍처를 공개할 것으로 알려짐

● SRAM은 DRAM보다 훨씬 비싸고 용량은 작음
- SRAM 기반의 ‘저가형’ 추론칩 등장으로 HBM 등 기존 메인 메모리 사용량이 줄어들 것이라는 주장은 메모리에 대한 이해가 부족한 해석
- 우선 SRAM은 DRAM보다 셀 면적이 크고 집적도가 낮기 때문에 bit당 비용이 훨씬 높음
- 일반적으로 SRAM은 DRAM 대비 동일 용량에서 5~10배의 면적을 필요로 함
- 또한 집적도를 늘리기 어려운 구조로 용량 확장 역시 제한적
- 때문에 SRAM은 대용량 데이터를 저장하는 메인 메모리 역할보다는 초저지연(Extreme low latency)이 요구되는 캐시(Cache) 또는 온칩 버퍼 용도로 활용되어 왔음

● SRAM 아키텍처는 DRAM의 대체제가 아닌 또 다른 옵션
- SRAM 중심 구조는 DRAM 대비 접근 지연(latency)이 매우 낮고 데이터 이동이 최소화된다는 장점 보유
- 때문에 엔비디아는 GPU로 대응이 어려운 특정 추론 워크로드에 최적화된 형태로 Groq의 아키텍처를 활용할 계획
- 결국 SRAM-centric 아키텍처의 도입은 HBM이나 DRAM을 대체하기 위한 전략이 아닌, 초저지연이 요구되는 특정 데이터센터 워크로드나 실시간 대응이 필요한 Physical AI의 Edge 영역을 위한 별도의 옵션으로 이해해야 함
- 실제 오픈AI는 이미 Cerebras의 SRAM-centric 칩을 데이터센터에 적용, 이를 기반으로 제공되는 추론 서비스는 일반적인 GPU 기반 추론 서비스보다 높은 API 비용을 부과

● 메모리 계층구조는 더욱 세분화되며 전체 TAM이 확장
- Groq 기반의 SRAM-centric 아키텍처의 확산은 AI 인프라에서 메모리 계충구조를 더욱 세분화할 것
- 대규모 모델 학습과 범용 추론 서버에서는 여전히 HBM과 DRAM이 메인 메모리를 담당, SRAM 기반 구조는 초저지연 추론이나 Edge AI 용으로 별도의 역할을 수행할 것
- 결과적으로 AI 산업이 발전할수록 SRAM-HBM-DRAM 등으로 이어지는 메모리 계층구조는 더욱 다층화되며, 이는 전체 메모리 시장 규모(TAM)의 확장으로 이어질 것


본문: https://vo.la/sb9tqwR