IT의 탄소 배출량, AI 모델 훈련으로 폭증 “자동차 평생 배출량의 5배”

[이은미]

출처 : http://www.itworld.co.kr/news/124194

매사추세츠 대학 애머스트 캠퍼스에서 나온 새로운 연구 보고서에 따르면, 다수의 대규모 AI 모델을 훈련시키는 과정의탄소 배출량이 평균적인 미국 자동차가 수명이 다할 때까지 배출하는 것보다 다섯 배 더 많은 것으로 나타났다. 이 보고서는 특히 자연어 처리를 위한 모델 훈련 과정을 검사했는데, 훈련 과정에서 약 284톤 이상의 이산화탄소가 발생하는 것으로 나타났다.
AI 훈련은 클라우드로 이전하기보다는 자체 데이터센터에서 주로 수행되는 IT 프로세스라는 점에서 더욱 의미심장하다. 매우 값비싼 장비가 필요하고 데이터의 양도 많기 때문에 대부분의 AI 훈련에는 클라우드가 적합하지 않다. 이번 보고서도 이점을 언급했다. 또한 IT 부서는 지적재산권을 자체 데이터센터에서 보호하고자 한다. 따라서 AI와 관련된 실험을 진행한다면, 전기료는 천정부지로 치솟을 수밖에 없다.

보고서는 이산화탄소를 측정 기준으로 사용했는데, 이는 여전히 발전과 직결되는 문제이다. AI 훈련에는 엔비디아 GPU와 같은 강력한 프로세서를 사용하는데, 이들 GPU는 저전력 제품은 아니다. 또한 보고서는 “모델 훈련에는 이런 하드웨어를 몇 주 또는 몇 달 동안 구동하는 데 필요한 전기 때문에 상당한 환경 비용을 유발한다”고 지적했다.

인공지능 모델 훈련은 AI에서 가장 프로세서 집약적인 부분이다. AI 모델이 알아야 할 것을 배우는 데 며칠에서 몇 주, 몇 달이 걸릴 수도 있다. 이는 전력 소비가 많은 엔비디아 GPU가 이 기간에 100% 구동된다는 것을 의미한다. 

보고서는 신경망 아키텍처로 하나의 모델을 훈련시키는 데 약 284톤(62만 6,155파운드)의 CO2가 발생한다고 밝혔다. 비교하자면, 한 사람이 비행기를 타고 뉴욕에서 샌프란시스코를 왕복하는 데는 약 0.9톤의 CO2가 발생하고, 평균적인 미국인 1년에 발생시키는 CO2는 약 5톤, 자동차 한 대가 수명이 다할 때까지 발생시키는 CO2는 약 57톤이다.

연구팀은 자연어 처리 분야의 모델 중 성능이 뛰어난 트랜스포머(Transformer), ELMo, BERT, GPT-2의 4가지 모델을 사용했다. 모든 모델을 하나의 엔비디아 타이탄 X GPU로 훈련시켰는데, ELMo만 3대의 엔비디아 GTX 1080 Ti GPU를 사용했다. 각 모델은 하루의 최대치로 훈련시켰다.

그리고 각 모델의 원본 자료에 있는 훈련 시간을 사용해 전체 훈련 과정을 완료하는 데 소비되는 전체 전력을 계산했다. 이 전력 소비량을 탄소배출량으로 환산한 것이다.

주목할 것은 연산 비용이 처음에는 비교적 저렴하게 시작하지만, 모델의 최종 정확도를 높이기 위해 사용하는 추가적인 튜닝 단계에서 눈덩이처럼 커진다는 것이다. NAS(Neural Architecture Search)란 이 튜닝 과정이 원흉이다. NAS는 최고의 신경망 아키텍처를 찾는 알고리즘으로, 최첨단 AI 기술인 만큼 막대한 처리 시간과 전력을 필요로 한다.
연구팀은 “이 문제를 해결하기 위해 AI 모델을 제안할 때 하이퍼패러미터에 대한 민감도는 물론 필요한 연산 자원과 시간도 알려줘야 한다. 이를 통해 모델 간의 직접 비교를 통해 이들 모델이 사용자는 필요한 컴퓨팅 자원을 정확하게 평가할 수 있다”고 제안했다.

또한 연구팀은 비용 압박을 받는 연구자는 자원 풀을 만들어 사용하고 너무 비싸질 수 있는 클라우드 사용은 피하라고 조언했다. 예를 들면, 8개의 엔비디아 1080 Ti GPU를 탑재한 GPU 서버와 지원 하드웨어는 대략 2만 달러면 구비할 수 있다. 이를 이용해 보고서에서와 같은 모델을 개발하는 데는 하드웨어 비용 14만 5,000달러와 모델을 구동하는 데 필요한 전기료가 든다. 하지만 이는 온디맨드 방식의 클라우드 GPU 비용의 절반 정도에 불과하다.

보고서는 “클라우드 컴퓨팅에 사용한 돈과는 달리, 중앙집중화된 자원에 투자하면 이후에도 여러 프로젝트에 걸쳐 자원을 공유해 사용할 수 있다. 정부 지원 학술용 컴퓨트 클라우드는 모든 연구자에게 공평한 액세스를 제공할 것”이라고 덧붙였다.