차트: AI 컴퓨팅의 기하급수적인 성장

[이매진]

차트: AI 컴퓨팅의 기하급수적인 성장

https://www.visualcapitalist.com/cp/charted-history-exponential-growth-in-ai-computation/

Charted: The Exponential Growth in AI Computation

차트: AI 컴퓨팅의 기하급수적인 성장

AI 실험이 시작되기 전인 1940년대에는 전자 컴퓨터가 거의 10년 동안 존재하지 않았습니다. 이제 우리는 시를 쓰고 텍스트 프롬프트에서 이미지를 생성할 수 있는 AI 모델을 보유하게 되었습니다. 그런데 그토록 짧은 시간에 이렇게 폭발적인 성장을 이룬 것은 무엇일까요?

Our World in Data 의 이 차트는 Epoch AI 의 데이터를 사용하여 AI 모델을 훈련하는 데 사용된 계산 능력의 양을 통해 AI의 역사를 추적합니다 .

AI 컴퓨팅의 세 가지 시대

1950년대 미국 수학자 클로드 섀넌(Claude Shannon)은 테세우스(Theseus)라는 로봇 쥐에게 미로를 탐색하고 그 경로를 기억하도록 훈련시켰습니다. 이는 모든 종류의 최초의 명백한 인공 학습이었습니다.

광고

테세우스는 컴퓨터나 프로세서가 1초에 수행할 수 있는 기본 산술 연산(덧셈, 뺄셈, 곱셈, 나눗셈)의 수를 세는 데 사용되는 측정 단위인 40개의 부동 소수점 연산(FLOP)을 기반으로 구축되었습니다.

 FLOP는 종종 컴퓨터 하드웨어의 계산 성능을 측정하는 측정 기준으로 사용됩니다. FLOP 수가 높을수록 계산량이 많아지고 시스템이 더욱 강력해집니다.

연산 능력, 훈련 데이터의 가용성, 알고리즘은 AI 발전의 세 가지 주요 요소입니다. 그리고 AI 발전의 첫 수십 년 동안 AI 모델을 훈련하는 데 필요한 계산 능력인 컴퓨팅은 무어의 법칙 에 따라 성장했습니다 .

기간연대두 배로 계산

1950년~2010년	사전 딥러닝	18~24개월
2010년~2016년	딥러닝	5~7개월
2016~2022	대규모 모델	11개월

광고

출처: Sevilla et.의 "3개 시대의 기계 학습에 따른 컴퓨팅 추세 " 알, 2022.

그러나 2012년 AlexNet(이미지 인식 AI)이 예고한 딥 러닝 시대가 시작되면서 연구자들이 계산 및 프로세서에 더 많은 투자를 함으로써 두 배의 기간이 6개월로 상당히 단축되었습니다.

2015년 인간 전문 바둑기사를 이기는 컴퓨터 프로그램인 AlphaGo가 등장하면서 연구자들은 세 번째 시대를 확인했습니다. 즉, 계산이 필요한 대규모 AI 모델이 이전의 모든 AI 시스템을 압도하는 시대입니다.

AI 계산 진행 예측

지난 10년을 되돌아보면 컴퓨팅은 이해하기 어려울 정도로 엄청나게 성장했습니다.

예를 들어, 복잡한 수학 문제를 풀 수 있는 AI인 Minerva를 훈련하는 데 사용된 컴퓨팅은 10년 전 AlexNet을 훈련하는 데 사용된 것보다 거의 600만 배나 많습니다 .

다음은 기록을 통한 중요한 AI 모델 목록과 이를 훈련하는 데 사용된 컴퓨팅 양입니다.

일체 포함년도FLOP

테세우스	1950년	40
퍼셉트론 마크 I	1957~58	695,000
네오코그니트론	1980년	2억 2천 8백만
넷톡	1987년	810억
TD-감몬	1992년	18조
NPLM	2003년	1.1페타플롭
알렉스넷	2012년	470페타플롭
알파고	2016년	190만 페타플롭
GPT-3	2020	3억 1400만 페타플롭
미네르바	2022년	27억 페타플롭

광고

참고: 1페타플롭 = 1조 개의 FLOP. 출처: Sevilla et.의 "3개 시대의 기계 학습에 따른 컴퓨팅 추세 " 알, 2022.

대규모 데이터 세트 및 더 나은 알고리즘의 가용성과 함께 이러한 계산 증가의 결과로 겉보기에는 아주 짧은 시간에 많은 AI 발전이 이루어졌습니다. 이제 AI는 단지 일치할 뿐만 아니라 여러 분야에서 인간의 성능을 능가합니다 .

동일한 계산 증가 속도가 유지되는지 말하기는 어렵습니다. 대규모 모델을 훈련하려면 점점 더 많은 컴퓨팅 성능이 필요하며, 컴퓨팅이 계속해서 증가하지 않으면 진행 속도가 느려질 수 있습니다. 현재 AI 모델 훈련에 사용할 수 있는 모든 데이터가 고갈되면 새로운 모델의 개발 및 구현이 방해받을 수도 있습니다.

그러나 최근 AI에 모든 자금이 쏟아지면서 아마도 인간 두뇌의 계산 능력과 일치하는 것과 같은 더 많은 혁신이 코앞에 다가왔습니다.