빠른 ‘생성’에서 느린 ‘추론’으로, 차세대 ‘킬러 앱’이 온다.

[서해원당]

빠른 ‘생성’에서 느린 ‘추론’으로, 차세대 ‘킬러 앱’이 온다.

                                                                                                                                 2024년 10월20일.

• 1. 빠른 ‘생성’에서 느린 ‘추론’으로, 차세대 ‘킬러 앱’이 온다.
• 2. AI 속도 경쟁, 모두가 패배할 수도 있다.
• 3. 에이전트 아키텍처, 화려한 데모에 속지 말자.
• 기타 자료와 기사

                                                    1. 빠른 ‘생성’에서 느린 ‘추론’으로, 차세대 ‘킬러 앱’이 온다.

•      출처: Generative AI’s Act o1: The Reasoning Era Begins | Sequoia Capital (세콰이어, 10월9일.)

유명 벤처 캐피탈인 미국의 세콰이어 캐피탈은 종종 매우 의미 있는 에세이를 발행한다.

이번에 나온 글은

지난 2년 동안 생성형 AI 혁명이 응답을 빠르게 생성하는 ‘빠르게 사고하기’에서 추론을 하는 ‘느린 사고’로 발전하고 있다는 것이다. 이 표현은 아마 대니얼 카너만의 책 ‘생각에 관한 생각(Thinking, fast and slow)’에서 따왔을 가능성이 크다.

이번 글은 2년 전 ‘생성형 AI: 창의적인 새로운 세상’ 이후 변화된 AI 생태계를 파악하면서

앞으로 나타날 흐름을 전망하고 있다.

• “생성형 AI 시장의 기반 레이어는 마이크로소프트-오픈AI, AWS-앤스로픽, 메타, 구글-딥마인드 등 규모를 갖 춘 주요 플레이어와 얼라이언스가 균형을 이루며 안정화되고 있다.”
• “다음 영역이 등장하고 있는데, ‘시스템 2’ 사고가 우선시되는 추론 계층의 개발과 확장으로 초점이 이동하고 있다. 이 계층은 AI 시스템에 빠른 패턴 매칭을 넘어 추론 시 신중한 추론, 문제 해결 및 인지 작업을 부여하는 것을 목표로 하고 있다.”

이 모든 것이 AI 시장의 창업자들에게 어떤 의미가 있을까?

현존하는 소프트웨어 회사들에게는 어떤 의미가 있을까?

그리고 투자자로서 세콰이어는 생성형 AI 스택에서 가장 수익률이 유망한 계층을 어디로 보고 있을까?

이런 질문에 답을 하기 위한 글이다.

세콰이어는 기본 LLM(대형 언어모델) 계층의 통합이 이러한 고차 추론 및 에이전트 기능을 확장하기 위한 경쟁의 발판을 마련한 방법을 살펴보고, 새로운 인지 아키텍처와 사용자 인터페이스를 갖춘 차세대 ‘킬러 앱’의 가능성을 분석했다.

• “2024년의 가장 중요한 모델 업데이트는 이전에는 Q*로 알려졌고 스트로베리라고도 알려진 오픈AI o1이다. 이는 추론 시간 계산을 통해 달성한 진정한 일반 추론 기능을 갖춘 모델의 첫 번째 사례이다.”
• “사실 사고하는 AI의 첫 사례는 2016년 서울에 등장한 알파고라고 본다. 심층강화학습은 완전히 새로운 추론 계층을 구현할 수 있는 기술이다.”
• 사전 학습된 본능적 반응(‘시스템 1’)에서 더 깊고 신중한 추론(‘시스템 2’)으로의 도약은 AI의 다음 영역이다.

두 레이어를 비교하면 다음과 같다.

이를 알파고, LLM, 로보틱스로 비교 설명하면 아래와 같다.

o1이 특히 돋보이는 건 새로운 확장 법칙(스케일링 법칙)을 보여줬기 때문이다. 그동안은 데이터와 컴퓨팅, 모델 크기가 커질수록 성능이 좋아졌는데(2020년 오픈AI 논문), o1은 여기에 추론 시간이 늘어날수록 추론의 결과가 더 좋아진다는 것을 보였다.

이러한 변화는 대규모 사전 학습 클러스터의 세계에서 작업의 복잡성에 따라 컴퓨팅을 동적으로 확장할 수 있는 추론 클라우드 환경으로 우리를 이동시킬 것이다.

유용한 AI 에이전트를 제공하기 위해서는 여전히 애플리케이션 또는 도메인별 추론이 필요하다. 복잡한 현실 세계에서는 일반 모델로는 효율적으로 인코딩할 수 없는 중요한 도메인 및 애플리케이션별 추론이 필요하다. 예를 들어 공장에는 계획을 작성하고 실행하는 등 특정 작업을 해결하기 위해 사람이 생각하는 방식을 모방하는 맞춤형 인지 아키텍처가 있다. 일반화된 하나의 블랙박스 답변이 아니라 일련의 개별 작업을 수행하는 사람의 작업 방식과 같다.

파운데이션 모델은 마법과도 같지만 지저분하기도 하다. 주류 기업은 블랙박스이나 환각, 서투른 워크플로우를 감당할 수 없다. 소비자는 빈 프롬프트를 쳐다보며 무엇을 물어봐야 할지 모른다. 이것이 바로 애플리케이션 계층의 기회이다. 2년 전에는 챗GPT 위에 그냥 뭔가를 포장한 래퍼(Wrapper) 수준의 애플리케이션이 많았다면 이제는 ‘인지 아키텍처’로 진화해야 한다.

세콰이어가 주목하는 것은 이제 AI가 서비스형 소프트웨어(SaaS) 시장으로 전환해야 한다는 것이다. 사람의 작업을 판매하는 방식인데 시에라(Sierra)같은 기업이 대표적인 예이다. 고객 문제를 해결하기 위한 고객과의 대화를 통해 문제 해결을 할 경우 수익을 얻는 서비스이다.

생성형 AI의 새로운 추론 기능으로 새로운 종류의 에이전트 애플리케이션이 등장하기 시작했는데, 이전의 클라우드 기업과는 다른 모습을 보이고 있다.

• 클라우드 기업은 소프트웨어 수익 풀을 목표로 삼았지만, AI 기업은 서비스 수익 풀을 목표로 한다.
• 클라우드 기업은 소프트웨어($/시트)를 판매했는데 AI 기업은 작업($/결과물)을 판매한다.
• 클라우드 기업은 마찰 없는 배포를 통해 상향식 방식을 선호한다. AI 기업들은 점점 더 하향식으로 전환하고 있으며, 높은 신뢰도를 자랑하는 배포 모델을 사용하고 있다.

스타트업의 주요 기회는 기존 소프트웨어 회사를 대체하는 것이 아니라 자동화 가능한 작업 풀을 공략하는 것이다. 이제 AI 네이티브가 무슨 의미인지 기존 SaaS 기업과 차이가 무엇인지 고민해야 한다.

투자자는 어떻게 해야 하는가?

• 인프라는 하이퍼스케일러의 영역이고 벤처 투자자에게는 끔찍한 곳이다.
• 모델 역시 하이퍼스케일러와 재무 투자자의 영역이다.
• 개발자 도구와 인프라 소프트웨어 분야는 벤처 투자자에게 흥미로운 곳이고 클라우드 전환 기간 동안 이 계층에서 10억 달러 이상의 매출을 올린 15개 기업이 탄생했다. AI도 마찬가지일 것으로 예상한다.
• 앱 분야는 벤처 캐피털에게 가장 흥미로운 계층이다. 클라우드 전환 과정에서 10억 달러 이상의 매출을 올린 애플리케이션 레이어 기업이 20개, 모바일 전환 과정에서 20개 정도가 생겨났으며, AI 시대에도 마찬가지일 것으로 예상한다.

2. AI 속도 경쟁, 모두가 패배할 수도 있다.

• 출처: Intelligent Defense: Navigating National Security in the Age of AI – The Aspen Institute (아스펜 전략 그룹, 10월 16일)

아스펜 전략 그룹(ASG)이 2024년 ASG 워크숍에서 회원들과 저명 인사들이 발표한 논문과 의견을 정리해 공개했다. 이 자료집에서는 AI와 국가 안보의 연결고리와 의사결정권자에게 미치는 현실적 영향을 살펴 본다.

목차를 보면 유명 정치학자와 작가, 법률 전문가, AI 전문가, 언론인 등이 모두 참여한 워크숍라는 사실을 알 수 있다. 이 가운데 요슈아 벤지오 교수의 에세이를 소개한다.

• 벤지오 교수는 이 에세이에서 AGI/ASI(초지능 AI)에 의한 국가 안보 문제를 거론하고 있다. 이미 첨단 AI는 악의적 사용에 의해 CBRN(화학적, 생물학적, 방사능, 핵무기) 위협과 사이버 공격의 가능성이 있다고 본다. 따라서 자율적 에이전트의 발전을 유의 깊게 모니터해야 한다.
• 현재와 미래의 AI는 민주적 절차에 위협이 될 수 있다. 딥페이크뿐만 아니라 개인화된 설득력 있는 캠페인 생성의 문제이다.
• 효과적 법치주의에 대한 위협. 최초로 ASI를 획득한 권력은 다른 플레이어가 이런 ASI 목표를 달성하지 못하게 할 수 있다.
• 인간의 통제력 상실부터 악성 AI에 이르기까지 인류를 위협할 가능성.

이런 위협을 완화하기 위한 정부의 관여는 다음과 같은 측면에서 이루어져야 한다.

• 안전성을 갖춘 AI 개발을 위해 대규모의 긴급한 R&D 투자가 필요하다.
• 정부는 이러한 기술 발전에 대한 실질적인 가시성과 통제력을 확보해야 한다.
• AGI 개발을 위한 견제와 균형, 다자간 거버넌스 메커니즘과 조약의 혁신이 필요하다.
• 국제 조약 준수 확인 기술은 조만간 필요하지만 개발 및 배포에 시간이 걸린다.

벤지오 교수는 마지막 부분에 다음과 같이 마무리한다.

“AGI 경쟁에서 승리하기 위해 서두르고 싶은 유혹이 있겠지만, 이는 모두가 패배할 수 있는 경쟁이다. 대신 우리가 아직 할 수 있을 때 우리의 기관을 활용하고, 강력한 다자간 거버넌스를 통해 위험을 충분히 이해하고 관리하여 위험을 피함으로써 모든 인류를 위한 AGI의 혜택을 누릴 수 있도록 최선을 다해야 한다.”

3. 에이전트 아키텍처, 화려한 데모에 속지 말자.

• 출처: AI21 CEO says transformers not right for AI agents due to error perpetuation | VentureBeat (벤처비트, 10월 11일)

AI21 랩스는 다언어 LLM 개발로 유명한 이스라엘 스타트업이다. 기업을 위한 파운데이션 모델과 AI 시스템을 만든다. 오리 고센(Ori Goshen) CEO는 벤처비트와 인터뷰를 통해 에이전트 기반 시스템은 다른 모델 아키텍처로 접근해야 한다고 주장한다. 지금 가장 영향력있는 트랜스포머 아키텍처는 다중 에이전트 생태계를 구현하는데는 제약이 있다는 것이다.

트랜스포머는 계산 비용이 많이 들기 때문에 처리하는 컨텍스트가 길어질수록 속도가 느려지고 비용이 더 많이 든다. 에이전트는 각 단계마다 광범위한 컨텍스트를 굴리면서 여러 번 LLM을 호출해야 하기 때문에 필연적으로 병목 현상이 발생한다.

AI21는 트랜스포머를 기본이 아닌 옵션으로 두고 조인트 어텐션과 맘바(Mamba) 아키텍처를 기반으로 하는 잠바(JAMBA) 아키텍처로 파운데이션 모델을 만들고 있다. 맘바는 프린스턴 대학과 카네기 멜론 대학 연구진이 개발한 아키텍처이다. 맘바 모델은 메모리 성능이 뛰어나서 에이전트, 특히 다른 모델에 연결하는 에이전트가 더 잘 작동할 수 있다.

고센은 에이전트가 아직 실용화되지 못하는 이유를 신뢰성 부족에서 찾는다. LLM이 본질적으로 확률적이기 때문에 필요한 수준의 신뢰성을 보장하기 위해서는 추가 요소를 통합해야 한다고 보기 때문이다. 진정한 지능은 다양한 정보 소스를 연결하고 검색하는 데 있다는 것이다.

트랜스포머 모델의 백본를 형성하는 어텐션 메커니즘 대신 맘바는 다양한 데이터에 우선순위를 지정하고 입력에 가중치를 할당하며 메모리 사용량을 최적화하고 GPU의 처리 능력을 사용할 수 있다고 한다. 맘바는 최근 오픈 소스 영역에서 인기를 얻고 있는데, 미스트랄은 코드스트랄 맘바 7B를 지난 7월에 공개했고 팔콘(Falcon)도 8월에 팔콘 맘바 7B를 출시했다.

고센은 기업이 더 신뢰할 수 있는 것이 어떤 것인지 봐야 하며 화려한 데모에 넘어가면 안된다고 경고한다. 화려한 데모는 쉽지만 실제 제품 수준까지 가지 못했으며, 아직 기업이 이를 활용할 단계가 아니라는 이야기다.

사실 에이전트 모델을 여러 기업이 내놓고 있지만 올해가 그 시작점일 수 있다. 트랜스포머가 아닌 다른 아키텍처 모델이 여럿 나오면서 당분간 이들을 어떻게 믹스해서 좀 더 실제 환경에서 사용할 수 있는 제품을 만드느냐가 관건이다.

기타 자료와 기사

최근 발표된 보고서와 논문 그리고 몇 가지 뉴스를 정리했다.

• 소프트웨어 정책 연구소(SPRi)에서 ‘SW 중심사회’ 10월호를 발행했다. 여기에는 EU AI 규제의 주요내용 및 시사점, 책임있는 AI를 위한 기업의 노력, AI 거버넌스의 글로벌 지형 등의 아티클이 있다.
• ETRI의 지능정보표준연구실 전종홍 책임이 ‘첨단 인공지능 안전 및 신뢰성 기술 표준 동향’을 출간했다.
• 마이크로소프트와 오픈AI의 파트너십이 흔들리고 있다는 기사(뉴욕타임스, 10월 17일)도 흥미롭다. 갈등의 원인 가운데 하나는 마이크로소프트 AI(MSAI) CEO로 온 인플렉션의 무스타파 술레이만이다. 샘 알트만과 사이가 안 좋은 것 같다. 술레이만이라는 이름이 ‘평화가 깃든’이라는 말이고 솔로몬과 어원이 같은데, 무스타파 술레이만은 딥마인드에서도 조직 갈등 문제를 일으켰다. 그러나 MSAI 입장에서는 오픈AI가 정보 제공을 제대로 안하고 있다는 데 불만이 크고 반대로 오픈AI는 MSAI 직원들이 권한이 없는 정보에 접근하려고 한다는 걸 문제 삼고 있다. 결국 마이크로소프트나 오픈AI나 모두 서로의 의존도가 높아지는 위험을 헷지하려고 하는 중이다.
• 구글이 연구 개발과 제미나이 챗봇 서비스를 다른 조직으로 운영하다가 통합해 모두 데미스 하사비스 산하로 통합했다는 소식도 있다. 일부에서는 하사비스가 순다 피차이 뒤를 이어 구글 CEO가 될 수 있다는 예측도 하고 있다. (디인포메이션, 10월 17일)

한상기

서울대 컴퓨터공학과를 졸업하고, 카이스트에서 인공지능 분야 중 지식 표현에 관한 연구로 박사 학위를 취득했다. 삼성전자 전략기획실과 미디어 서비스 사업팀에서 인터넷사업을 담당한 후, 2003년 다음커뮤니케이션 전략대표와 일본 법인장을 역임했다. 두 번의 창업을 했으며, 카이스트와 세종대학교 교수를 거쳐 2011년부터 테크프론티어 대표를 맡고 있다. 현재 기업을 위한 기술 전략컨설팅, 정부 정책 자문과 연구 수행 그리고 기술과 사회에 관한 강연을 하고 있다. 인공지능 윤리를 위한 기술 프레임워크, 신뢰가능한 인공지능 등에 대한 연구 과제를 수행했으며 여러 매체에 기술 관련 칼럼을 기고하고 있다. 공공 영역에서는 인공지능 데이터셋 구축을 위한 AI 데이터 로드맵 총괄기획위원, 인공지능 그랜드 챌린지 기획위원 등의 활동을 했다. 저서로는 ‘AI 전쟁’, ‘챗GPT 기회인가 위기인가(공저)’, '신뢰할 수 있는 인공지능', 그 외 공저로 '인공지능은 어떻게 산업의 미래를 바꾸는가', '4차 산업혁명과 미래사회', ‘초연결시대 인간-미디어-문화’, '2019 미래를 읽다'가 있다.