[깨알 5Q] AI도 가성비 시대? 대형 언어 모델(LLM)과 대비된다는 SLM의 정체는

[정승남세기영어교육연구회장]

AI도 가성비 시대? 대형 언어 모델(LLM)과 대비된다는 SLM의 정체는

[WEEKLY BIZ]

[깨알 5Q]

LLM은 '가성비' 안 좋아...특정 작업만 수행하는 소형 언어 모델(SLM) 관심 커져

김신영 국제부장

도움말=업스테이지 박찬준 수석연구원 입력 2024.08.08. 17:22 조선일보

/닉힐 딕싯 링크드인 페이지 캡처

월스트리트저널은 최근 “인간 두뇌와 맞먹는 능력을 갖춘 거대한 인공지능(AI)을 만들기 위해 경쟁하던 기업들이 이젠 더 싸고 빠르고 전문화된 소형 AI로 눈을 돌리고 있다”고 보도했다. 이런 소형 AI는 주제를 불문하고 임무를 수행하고 사람처럼 대화하는 챗GPT 등 ‘대형 언어 모델(LLM·large language model)’과 대비해 ‘소형 언어 모델(SLM·small language model)’이라고 부른다.

◇1. 대형과 소형은 어떻게 구분하나?

상대적 개념이다. 최근엔 파라미터(parameter·아래 설명)가 100억개를 넘어가면 LLM, 그 이하면 SLM이라고 거칠게 분류한다. 하지만 AI 기술이 빠르게 발전 중이라 이 기준은 변할 가능성이 크다.

◇2. 파라미터(parameter)가 무슨 뜻인가?

AI의 ‘학습 단위’라고 보면 된다. 한국어로 ‘매개 변수(parameter)’라고 부른다. 특정한 문제를 해결하는 데 AI가 얼마나 다양한 ‘도구’를 갖추고 있는지를 표시한다. 요리 레시피에 빗댄 설명이 비교적 이해하기 쉽다. 같은 요리를 만들더라도 조리법에 따라 재료·순서·방법이 다양하듯, AI도 특정 작업을 수행하기 위해 다양한 파라미터(재료·순서·방법)를 쓸 수 있다. 레시피가 정교할수록 고난도 요리를 더 정확히 만들 수 있는 것처럼, AI 또한 파라미터(parameter)​ 수가 많아지면 더 복잡한 문제를 해결할 능력이 커진다.

◇3. 파라미터(parameter)가 늘어나면 성능은 무조건 좋아지나?

더 다양하고 복잡한 정보를 효율적으로 처리할 수 있게 되는 것은 맞다. 다만 정교한 레시피가 있어도 실제 ‘그 요리’를 완성하는 건 또 다른 문제인 것처럼, AI도 적절한 데이터와 학습 방법 등이 뒷받침되어야 성능을 보장할 수 있다. 참고로 GPT 시리즈의 최신 모델인 GPT-4는 파라미터(parameter)​가 5000억개로 추정된다. 인간의 뇌에서 파라미터 역할을 하는 시냅스는 약 100조개다

◇4. 왜 SLM이 늘고 있나?.

LLM의 ‘가성비’ 문제가 계속 제기되기 때문이다. 파라미터가 많아질수록 시간·돈·에너지(전기)가 더 들어간다. 2021년 발표한 어느 논문에 따르면 GPT-3를 학습시키기 위해 미국 120가구의 1년 사용분과 맞먹는 전기가 쓰였다. WSJ는 “문서 요약 같은 간단한 작업에 LLM을 쓰는 것은 식료품을 사러 탱크를 몰고 가는 격이다”라며 “회사 내부 문서, 매출 자료 등 특정 데이터를 사용해 특화된 작업만 수행하도록 하는 것이 SLM의 핵심”이라고 전했다.

◇ 5. SLM엔 어떤 종류가 있나?

신용 평가 회사 익스피리언은 회사 내부 데이터로 학습시킨 소형 모델을 고객 상담 챗봇에 쓰고 있고, 오디토리아처럼 재무·회계에 특화된 SLM도 나왔다. 구글의 ‘젬마 7B’, 마이크로소프트의 파이(Phi)-2 및 수학 특화 AI 오르카-매스(Orca-Math), 오픈AI의 GPT-4o 미니 등은 빅테크사가 개발 중인 SLM이다. 매개 변수 수가 60억~100억개 정도인 기업용 AI 챗봇 등을 개발하는 한국 스타트업 업스테이지도 SLM에 들어간다.

김신영 기자

www.chosun.com

21세기 영어교육연구회 / ㈜ 파우스트 칼리지

전 화 : (02)386-4802 / (02)384-3348

이메일 : faustcollege@naver.com / ceta211@naver.com

Cafe : http://cafe.daum.net/21ceta 21세기 영어교육연구회

Blog : http://blog.naver.com/ceta211 21세기 영어교육연구회

Web-site : www.faustcollege.com (주)파우스트 칼리지