AI 골드러시

[류재훈]

AI 골드러시

   필자 시마즈 쇼의 글로 닛케이 BP 실리콘밸리 지국 기자로 도쿄대학 건축과 출신이다. 너무 세분된 작은 주제로 쓰여서 읽기에 인내심이 필요하다. 내용도 너무 깊고 최신의 글인데 해설이 없어 이해하기 어려워 챗 DPT에 물어봐야 이해가 되는 부분이 많다. 2022년 11월, 대화형 AI인 챗GPT를 발표한 오픈AI는 새로운 스타로 떠올랐다. 이들이 오늘의 생성형 AI 유행을 만든 사람이란 사실은 의심의 여지가 없다. AI 모델이란, AI가 데이터를 해석하고 추론이나 생성 들을 수행하는 원리를 말한다. 어떤 데이터를 AI에 입력(예를 들어, 텍스트를 작성한 질문) 하면 AI 모델을 통해 이를 처리하고 출력(예를 들어, 질문의 답변) 을 반환한다. 이것이 AI 기술에서 핵심 중의 핵심이다. 단, 생성형 AI 생태계는 AI 모델만으로는 성립할 수 없다. 모델을 이용하여 처리하는 컴퓨팅 자원인 AI 반도체, 데이터를 관리하는 클라우드 등 플랫폼, 이 모델을 사용한 애플리케이션 등 다양한 계층으로 이루어진다. 그럼에도, 오늘날 유행을 만든 것은 그 중심엔 모델 성능 향상이다.

오픈AI는 “모든 인류가 AGI( Artificial General Intelligence 인간처럼 범용 지능을 가진 인공지능) 의 도움을 받아야 한다.”라는 사명과 함께 세상에 태어났다. 구글 등에서 능력 있는 기술자를 데려오는 등, 각 분야 기술의 일인자와 세계 최고 두뇌 집단이 모인 스타트업으로 이름을 떨쳤다. 미국의 러서치 전문업체인 CB인사이트가 발표한 내용을 보면, 세계 비상장 기업 평가액 순위에서 짧은 동영상 플랫폼인 ‘틱톡’을 운영하는 중국 ‘바이트댄스’와 ‘스페이스 X’를 이어 오픈AI가 3위다. 챗GPT가 나오기 전 오픈AI는 순식간에 전 미국에 알려졌다. 이 블로그는 “오픈AI는 텍스트 데이터를 대량으로 AI에 입력하여 학습하는 LLM을 개발했다. 이 문장을 생성할 모델이 GPT3다.

오픈AI의 등장으로 구글이 초조해진다. 그러자 2022년 구글 경영진은 코드 레드를 선언했다고 보도 했다. 이는 챗GPT나 그 바탕 기술을 마이크로소프트가 탑재하여 검색 구조를 업그레이드하면 구글 비즈니스를 근본부터 뒤엎을 수 있으리라는 위기감에서 비롯된 것이다. 그러나 결과는 대실패로 끝났다. 발표 시연회에서 ”제임스 웹 우주 망원경으로 새로 발견한 것은 무엇인가?”라 묻자, ‘바드’는 ”처음으로 태양계 밖 행성 사진을 처음 촬영했다.”라고 답한다. 이는 오답으로 행성 사진은 유럽 남방의 천문대 망원경이다. 로이터 등 언론사가 ”오답 사건’을 보도했으며 이 소식을 접한 구글 모회사 ’알파벳‘의 주가는 종가 대비 9%가 추락했다.

MRS( Microsoft Research)의 중요한 연구 주제 하나가 ’인간 이해와 공감‘ Human Understanding and Empathy)이다. 머리글자를 따 HUE라 부른다. 요약하는 ’문맥 이해‘, 사람의 기호를 고려하여’ 개인화한 대화‘, 그리고 협력 관계를 디자인하는’ 사람과 AI의 협업‘ 등이 HUE가 연구하는 중심 주제이다. 이 모두 AI와 대화하는 ’코파이럿‘을 구성하는 주요 개별 기술이다. 앞으로의 과제는 사람이 원하는 것은 즉시 이루어지는 답이 아니라, 때로는 반문을 통해 사람 의도를 확인하거나 사용자가 바라는 바에 따라 말을 주고받을 수 있는 먀라고 한다. “더 공감할 줄 아는 AI가 미래의 모습입니다.

오픈AI의 GPT4와 구글의 ’제미나이‘라는 최정상 AI 모델 경쟁에 복병으로 등장한 것이 미국 기업, ’앤트로픽‘이다. 개발자는 ’다리오 아모데이’로 전 오픈AI의 경영진이다. ‘앤트로픽’은 AWS( Amazon Web Services로 아마존의 클라우드 컴퓨팅 서비스) 가 제공하는 AI머신러닝 처리용과 추론 처리용 AI 반도체 2종류를 사용하여, 구축과 학습을 수행한다. 강점은 모델 성능이다, 수학 프로그래밍, 지식수준, 질문에 답하는 능력 등이 오픈AI나 ‘제이 나이’보다 뛰어났다. 공개한 API( Application Programming Interface 프로그램끼리 서로 대화하게 해주는 다리) 를 이용하여 159개국 나라와 지역에서 이용할 수 있다.

오픈AI는 최신 LLM인 GPT4의 기술 상세를 밝히지 않는 비공개 방침을 유지한다. 프로그램 소스코드는커녕, LLM의 성능 측정 지표의 하나인 파라미터 개수조차도 공개하지 않았다. 반면, 메타의 전략은 정반대다. CEO ‘마크 저거버그’는 처음부터 생성형 AI를 오픈 소스로 제공해야 한다고 주장했다. ‘오픈 소스’란 소스코드 등 기술 사양을 일반에게 널리 공개하고 많은 개발자가 자유롭게 소프트웨어 업데이트나 최적화할 수 있도록 한 것이다. 많은 기술자의 집단 지성을 이용하므로 기술 개발이 빨라진다는 장점이 있다.

캐나다 기업 ‘코히어’가 유명해졌다. 이 회사 CEO ‘고메스’는 트랜스포머 논문의 공동 저자다. “유명한 전문가뿐 아니라 AI 커뮤니티에서 가장 우수한 인재도 함께 참여합니다.” ‘코히어’의 책임자 ‘조시 가트너’의 말이다. AI가 그럴싸한 오답을 반환하는 환각(할루시네이션)을 막는 기술인 RAG에도 강하다. ‘코히어’의 기업용 AI어시턴트 서비스 ‘코랄’은 초기 설정에서 RAG를 적용하는 기능을 갖추었으므로 기업은 자사 테이터와 연결하여 할루시네이션을 줄일 수 있다. 이스라엘 기업 AI21 랩으로 클라우드 대기업과 업무를 제휴할 정도로 유명한 회사다.

한국에도 여러 기업이 한국어 기반 LLM( 대규모 언어 모델) 개발에 박차를 가하고 있다. 그중 두드러진 기업은 LG다. 2024년 8월 LG는 자체 AI 모델인 ‘엑사원 3.0’을 오픈 소스로 공개했다. ‘엑사원’은 한국어와 영어를 모두 처리할 수 있는 이중언어 모델로 설계되었으며, 다양한 언어 작업에서 탁월한 성능을 자랑한다. 이 모델은 한국어 데이터를 대규모로 학습시켜, 한국어 자연어 처리에 높은 신뢰성과 전문성을 제공하는 데 중점을 두었다. ‘엑사원’은 45만 개 이상의 문서와 3억 5천만 개의 이미지 데이터를 학습하여, 다양한 한국어 관련 작업에도 압도적인 성능을 보여주고 있다. ‘엑사원 3.0’은 한국어 평가에서 74.1점, ‘알리바바’의 ‘큐원’ 69.9점과, ‘메타’의 ‘라마 3.1’ 65.4점을 능가했다. 그뿐만 아니라 수학과 코딩 등 13개 영역에서도 메타와 구글의 AI 모델보다 더 나은 성능을 발휘한 것으로 알려졌다. ‘네이버’의 ‘하이퍼클로바X’는 한국어와 영어 데이터를 균형 있게 학습한 대규모 언어 모델 LLM으로, 다양한 성능 평가에서 뛰어난 결과를 보였다. 한국어와 한국 문화를 심층적으로 학습하여, GPT4와 같은 글로벌 LLM과 비교할 때 한국어 기반 성능에서 우수한 성과를 기록했다. 네이버는 2021년 ‘하이퍼클로바’를 처음 공개했으며, 2023년에는 더욱 발전된 ‘하이퍼크로바X’를 선보였다. 이 모델은 광고, 커머스 협업도구 등 다양한 네이버 서비스에 적용되었으며, 영어 기반 LLM들이 반영하지 못하는 한국어와 한국 문화를 깊이 반영한 지역 특화 모델로 자리 잡았다.

현재 생성형 AI (인공지능) 분야를 독식하는 미국 반도체 대기업 엔비디아, 왜 이 회사의 GPU(그래픽처리장치)에 압도적인 수요가 따르는 걸까? 이러한 승리는 2010년에 주고받은 이메일 한 통에서 시작되었다. 하드웨어만으로는 풀 수 없는 GPU의 강점을 철저하게 해부하면서 그 사각지대를 찾아본다. 미국 빅테크 기업 GAFAN 모두가 반도체 제조사가 되고, GPU 쟁탈전이 기업 성패를 가르는 시대, 승리의 여신은 누구에게 미소를 지을까? AI 반도체란, ‘머신러닝’이나 딥러닝 계산을 효율적으로 처리하는 칩을 가리킨다. AI 반도체 종류는 다양하지만, 현재는 엔비디아가 만든 CPU(그래픽처리장치)가 가장 성능이 좋다. 생성형 AI 기반 기술인 대규모 언어 모델 등 학습에는 엄청난 계산 처리 능력이 필요하기에 GPU 쟁탈전이 벌어지기도 했다.

PC라면 꼭 있는 CPU(중앙처리장치)는 A라는 계산을 처리한 후 B라는 계산을 처리하는 ‘순차 연산’에 잘 어울린다. 연산장치는 같지만, GPU가 수천 명이 동시에 계산하는 연구소라면, CPU는 천재 한 사람의 두뇌에 빗댈 수 있다. 지금까지 3차례 AI 유행이 있었다. 1956년에 ‘다트머스’ 회의에서 ‘인공지능’이라는 말이 등장했다. 당시는 추론과 담색이라는 단어로 설명할 수 있다. 퍼즐이나 체스 등에서 효과를 발휘하기는 했으나 목적지가 없는 과제에 적용하기 어려웠으므로 현실 세계에서 AI가 폭발적으로 퍼지지는 못했다. 1980년대 ‘전문가 시스템’이라 부르는 방법이다. AI가 학습하고 A는 B, B는 C처럼 논리를 주입한다. 의사가 진단 정밀도가 높다는 결과가 나오기도 했다. 이를 ‘사고 범위 문제’라 부른다.

‘딥러닝’이란 방법은 새로운 알고리즘에 머무는 것이 아니라 소프트웨어 개발을 혁명적으로 바꿀 수 있다는 것을 알게 되었다. 새로운 연산 접근법이라는 것도 알게 되었다. 과거 50년간 해결하지 못했던 많은 문제를 해결할 방법이란 것이다. 이를 깨닫자마자 흥분되었다. 회사 전체가 ‘딥러닝’을 추구하는 방향으로 움직였다. 기술자 모두에게 ”딥러닝을 배우세요.”라고 전했다. 처음 수십 명으로 꾸렸으나 반년 후에는 수백 명으로 늘었고, 1년 후에는 수천 명으로 이루어진 팀이다. 그리고 깨달은 지 5년 정도 지난 지금(2017년), 엔비디아 사원 모두가 AI가 관련한 일을 합니다. ‘젠슨 황’의 설명이다.

2025.04.14.

AI 골드러시

시마즈 쇼 지음

안동현 옮김

프리렉 간행

[정세주]

AGI( Artificial General Intelligence, 범용지능을 가진 인공지능)
MRS( Microsoft Research)
HUE( Human Understanding and Empathy, 인간 이해와 공감)
AWS( Amazon Web Services, 아마존 클라우드 컴퓨팅 서비스)
API( Application Programming Interface 프로그램끼리 소통 도구)
LLM( Large Language Model, 대규모 언어 모델)
CPU(Computer Process Unit, 중앙처리장치)
GPU(Graphic Process Unit, 컴퓨터의 그래픽카드에 있는 그래픽 처리장치)
Deep Learning(딥 러닝, 컴퓨터의 자기 학습법)

AI 관련
좋은 글 감사합니다.

오늘도
좋은 하루 되세요.

[性光 김경환]

감사합니다.^^