AI 반도체

[푸른마을]

    AI 보급에 필요한 삼대 요소는 AI 클라우드, 소프트웨어, 전력이다.

   AI를 일반 컴퓨터로 구현하려면 너무 많은 비용이 필요하므로 AI만 전문적으로 수행하는 특수 하드웨어가 필요하다. 이를 AI 클라우드라고 부른다.

   현재 AI 클라우드에 주로 사용되는 모듈은 Nvidia라는 회사에서 생산하는 H100이다. H100은 책처럼 생긴 자그마한 박스이다. H100 모듈은 연산/추론을 담당하는 GPU(Graphic Processing Unit)와 HBM(High Bandwidth Memory)으로 구성되어 있다.

  컴퓨터는 제어를 담당하는 CPU(Central Processing Unit)와 메모리 및 입출력장치로 구성되어 있다.

   우리가 휴대폰으로 하는 일을 보자. 전화, 문자, 쇼핑, 인터넷, 유투브, 게임 등등이다. PC에서 하는 일도 비슷하다. 컴퓨터라고 하는데 계산은 별로 하지 않는다. 그렇다 컴퓨터의 주요 기능은 정보처리이지 계산이 아니다.

  5 + 6 = a
  9 - 5 = b
  14 X 7 = c

  위의 예에서 우리는 a, b, c를 순차적으로 계산한다. 3개를 동시에 계산하지 못한다. AI, 3차원 동영상, 일기예보 등 많은 경우에 무수하게 많은 단순 사칙 연산을 필요로 한다. 이를 순차적으로 계산하는 CPU를 사용하는 것은 비효율적이다.

   그래서 단순 계산만을 수행하는 PE(Processing Element)를 다수개 가지는 구조가 개발되었다. 얼마나 많은 PE가 동시에 계산하고, PE들을 어떻게 연결하고, PE들을 어떻게 프로그램하는가에 따라 SIMD, VP(Vector processor), TP(Tensor Processor), GPU(Graphic Prpcessing Unit), NPU(Nural Processing Unir) 등이 있다.

   이들 중에서 AI에 적합한 구조가 GPU, NPU, TP이다. AI 클라우드는 수백개에서 수십만개의 GPU로 구성한다. 휴대폰이나 PC에 AI 기능을 부가하는 경우에는 GPU, NPU, TP 중에서 한 가지 또는 두 가지를 기존의 CPU와 함께 사용한다.

   CPU/GPU/NPU가 연산을 하는 데이터는 메모리에 저장되어 있다. 예를 들어 'a + b = c'를 계산한다면 a와 b를 메모리에서 읽어와서 더하고 그 결과를 메모리 c에 저장(쓰기)한다. 이러니 CPU/GPU/NPU가 아무리 빨리 계산해도 메모리 읽기/쓰기 속도가 느리면 성능을 높일 수 없다.

   1983년에 IBM-PC의 CPU 동작 주파수는 5MHz이고 메모리(DRAM) 동작 속도는 150nsec였다. 오늘날은 3GHz 코어 4개가 하나의 CPU를 구성하지만 메모리(DRAM)의 동작 속도는 40nsec이다.

   CPU/GPU/NPU 속도 증가에 비해서 메모리 속도 증가는 너무 느리다. 어떻게 해야 메모리의 느린 속도를 보완할 것인가에 대한 연구가 필요하다. 이에 대한 설명은 너무 복잡하니 페스...

  또, AI는 대규모 용량의 메모리가 필요하다. 그래서 CPU/GPU/NPU 하나와 여러 개의 메모리를 사용하는데, 메모리를 평면상에 나열하면 이들을 연결하는 선의 길이가 늘어난다. 전기(빛)의 속도가 초속 30만Km인데, 연결선이 몇 cm 길어진다고 문제가 되는가? 엄청나게 큰 문제이다.

  그래서 생각해낸 것이 메모리(DRAM) 여러 개를 쌓는 것이다. 현재는 8-16개의 메모리(DRAM)를 수직으로 쌓는데 토탈 높이가 1mm 이하이다. 메모리(DRAM)를 아주 얇게 만들고 각 메모리 간에 절연층을 넣는다. 메모리(DRAM) 크기는 가로 세로 각 2cm 미만이다. 층층이 쌓인 메모리 사이에 수천개의 구멍을 뚫어서 상호 연결한다. 이렇게 만들면서도 발생되는 열을 효율적으로 식혀야 한다.

  이것이 HBM이다. HBM은 하이닉스가 최초로 만들었고 이어서 삼성이 만들었다. AI 클러스터는 HBM을 사용하고 있는데 전세계 시장의 95%를 하이닉스와 삼성이 점유하고 있다.

   현재 HBM은 AI 클러스터에만 사용하고 있다. 하이닉스와 삼성의 생산 물량은 내년 중반까지 판매 예약이 다 되어 있다. 생산 물량이 늘어나면 휴대폰, PC 등 다른 분야에도 많이 사용될 것이다.

  GPU/NPU/TP는 미국에서 설계하고 대만의 TSMC와 삼성전자에서 생산한다. HBM은 하이닉스와 삼성전자가 설계하고 생산한다. 전세계가 이 세 회사만을 바라보고 있다.

[완소남]

ㅎㅎㅎㅎ
일반인들은 가격이 싸야 많이 이용 할덴데.....
일단 복잡하고 용량이 크지면 값이 만만 찮을 건데....
대량 생산도 한계가 잇을거고.... 그렇타고 손가락만 빨고 기다릴수도 없고....
문명이 문명을 잡아 먹네요... 결국은 계속 악 순환이 될 것 같습니다...
건데 사용 하셨던 분은 좀 더 좀 더 하겟지요.....^^

[푸른마을]

냉장고, 세탁기, 진공청소기, 에어컨 등등 모두 남자들이 만들어놓고 그걸 사기 위해 고생중임.. 여자들은 아조 편해요...

[에바]

여자들도 만들지 않을까요^^

[푸른마을]

하나있는 여자도 힘든데 또 만들어서 어찌 하오리까...

[백합1]

나는 말 잘듣는 로봇 가지고 싶어요. ㅋㅋ

[푸른마을]

그거 너무 비싸지 않을까요?