|
이 내용은 원래 Voronoi 앱 에 게시되었습니다 . iOS 또는 Android 에서 무료로 앱을 다운로드 하고 신뢰할 수 있는 다양한 소스에서 제공되는 놀라운 데이터 기반 차트를 찾아보세요.
OpenAI의 ChatGPT 및 Google의 Gemini Ultra 와 같은 고급 AI 모델을 교육하려면 수백만 달러가 필요하며 비용도 빠르게 증가합니다.
컴퓨팅 수요가 증가함에 따라 이를 교육하는 데 필요한 컴퓨팅 성능에 대한 비용도 급증하고 있습니다. 이에 대응하여 AI 회사는 생성적 AI 시스템을 훈련하는 방법을 재고하고 있습니다. 많은 경우 여기에는 현재 성장 궤적을 고려하여 계산 비용을 줄이는 전략이 포함됩니다.
이 그래픽은 스탠포드 대학의 2024년 인공 지능 지수 보고서 분석을 기반으로 고급 AI 모델의 교육 비용 급증을 보여줍니다 .
교육 비용 결정 방법AI Index는 연구 회사인 Epoch AI와 협력하여 클라우드 컴퓨팅 임대 가격을 기준으로 AI 모델 교육 비용을 추정했습니다. 분석된 주요 요소로는 모델의 훈련 기간, 하드웨어 활용률, 훈련 하드웨어의 가치 등이 있습니다.
많은 사람들이 AI 모델 훈련에 비용이 점점 더 많이 든다고 추측했지만, 이러한 주장을 뒷받침하는 포괄적인 데이터가 부족합니다. AI Index는 이러한 추정치를 제공하는 드문 소스 중 하나입니다.
열기구 훈련 비용아래에서는 2017년 이후 인플레이션을 조정한 주요 AI 모델의 훈련 비용을 보여줍니다.
년도모델명모델 작성자/기여자교육 비용(USD)인플레이션 조정2017년 | 변신 로봇 | $930 | |
2018 | BERT-대형 | $3,288 | |
2019 | 로버타 라지 | 메타 | $160,018 |
2020 | GPT-3 175B (다빈치) | 오픈AI | $4,324,883 |
2021 | 메가트론-튜링 NLG 530B | 마이크로소프트/엔비디아 | $6,405,653 |
2022년 | LaMDA | $1,319,586 | |
2022년 | PaLM (540B) | $12,389,056 | |
2023년 | GPT-4 | 오픈AI | $78,352,034 |
2023년 | 라마 2 70B | 메타 | $3,931,897 |
2023년 | 제미니 울트라 | $191,400,000 |
지난해 OpenAI의 GPT-4 훈련 비용은 약 7,840만 달러로, 1년 전 1,240만 달러였던 Google의 PaLM(540B) 모델에 비해 가파르게 상승했습니다.
관점에서 보면 2017년에 개발된 초기 AI 모델인 Transformer 의 훈련 비용은 930달러였습니다. 이 모델은 오늘날 사용되는 많은 대규모 언어 모델의 아키텍처를 형성하는 데 기본 역할을 합니다.
Google의 AI 모델인 Gemini Ultra 는 무려 1억 9100만 달러로 훨씬 더 많은 비용이 듭니다. 2024년 초 현재 이 모델은 여러 지표, 특히 MMLU(Massive Multitask Language Understanding) 벤치마크에서 GPT-4보다 성능이 뛰어납니다. 이 벤치마크는 대규모 언어 모델의 기능을 측정하기 위한 중요한 척도 역할을 합니다. 예를 들어, 57개 주제 영역에 대한 지식과 문제 해결 능력을 평가하는 것으로 알려져 있습니다.
미래 AI 모델 훈련이러한 과제를 해결하기 위해 AI 회사는 비용 상승에 대처하기 위해 언어 모델을 훈련하기 위한 새로운 솔루션을 찾고 있습니다.
여기에는 특정 작업을 수행하도록 설계된 더 작은 모델을 만드는 등 다양한 접근 방식이 포함됩니다. 다른 회사에서는 AI 시스템에 공급할 자체 합성 데이터를 만드는 실험을 진행하고 있습니다. 그러나 아직 뚜렷한 돌파구는 보이지 않는다.
오늘날 합성 데이터를 사용하는 AI 모델은 특정 프롬프트에 대한 질문을 받을 때 말도 안되는 결과를 생성하여 "모델 붕괴"를 유발하는 것으로 나타났습니다.