구글, LLM이 스스로 성능 향상하는 '자기 발견' 프롬프트 방식 공개

[힘힘]

EU, AI법 승인에 의회 최종 투표만 남겨둬...내부 위원회서 압도적 찬성
EU의 시민내부(LIBE) 및 내부시장(IMCO) 위원회가 투표를 통해 AI 법을 71대 8로 통과했습니다. 이로써 AI 법은 사실상 의회의 형식적인 승인 절차만을 남겨두게 됐습니다.

과기정통부, 온디바이스 AI 활성화 전략 추진한다
과기정통부가 국산 AI 반도체 기반의 '온디바이스 AI 활성화 전략'을 추진한다고 발표했습니다. 자세한 사항은 3월 중 공개할 것으로 보입니다. 

스태빌리티 AI, 효율·품질 대폭 향상한 이미지 생성 AI '스테이블 캐스케이드' 출시
스태빌리티가 새 이미지 생성 AI '캐스케이드'를 공개했습니다. 기존 스테이블 디퓨전과는 다른 아키텍처를 적용, 효율과 품질을 획기적으로 향상했다는 설명입니다.

엔비디아, AI PC에서 맞춤형 챗봇 만드는 도구 공개
엔비디아가 구글의 '공부 노트 앱'과 흡사한 챗봇 구축 도구를 공개했습니다. 엔비디아 장치만으로도 온디바이스 AI가 가능하도록 설계했습니다.

코히어, 101개 언어를 위한 오픈소스 LLM 출시..."비영어권 위한 노력"
코히어가 101개 언어를 이해하고 답하는 대형언어모델(LLM)을 내놓았습니다. 더불어 데이터셋도 공개했는데, 이를 위해 119개 국가에서 3000명 이상이 1년 이상 프로젝트를 진행했다고 합니다.

엔비디아, 아마존 제치고 미국 시총 4위 도약...구글 추월도 눈앞
AI로 돈방석에 앉은 엔비디아가 주가 폭등으로 인해 시가총액에서 아마존을 제쳤습니다. 이어 15일에도 잠시나마 구글까지 앞질렀습니다.

[1] 구글, LLM이 스스로 성능 향상하는 '자기 발견' 프롬프트 방식 공개

작업별 최적 추론 방식 스스로 찾아..."성능·효율성 대폭 향상"

달리로 생성한 이미지

대형언어모델(LLM)이 스스로 성능을 향상한다는 '자기 발견(self-discover)' 프롬프트 프레임워크가 등장했다. 구글 딥마인드는 이를 통해 'GPT-4'의 성능을 최대 32% 끌어올렸다고 주장했다.

벤처비트는 최근 구글 딥마인드와 서던캘리포니아대학교(USC) 연구진이 아카이브와 허깅페이스를 통해 기존 프롬프트 엔지니어링을 능가하는 새 프레임워크를 제안했다고 보도했다.

이에 따르면 이번 연구는 특정 작업에 적합한 추론 기술을 선택하는 동시에 효율적인 추론을 위해 고유한 기본 구조를 자체 발견하는 방식이다.

LLM에는 인간이 어떻게 추론하고 문제를 해결하는지에 대한 인지 이론에서 영감을 받은 다양한 프롬프트 기술을 사용한다. 여기에는 ▲문제를 단계별로 해결하는 '생각의 사슬(CoT)' ▲문제를 여러 하위 문제로 나누는 '분해(decomposition prompting)' ▲문제에 대해 피드백을 구하는 '스탭백(step-back prompting)' 등이 포함된다. 또 CoT의 단점을 보완하기 위한 '계획 및 해결(PS, plan-and-solve)'이라는 프롬프트 기술도 등장했다.

특히 CoT는 LLM 정확도를 향상하는 주요 방식으로 수년간 활용됐다. 하지만 연구진은 "각 작업이 고유한 구조를 갖고 있고 이에 따라 특정 기술이 다른 기술보다 문제를 해결하는 데 더 나을 수 있기 때문에, 일괄적으로 CoT를 적용하는 식이 최선이 아닐 수 있다"라고 주장했다.

따라서 작업에 적합한 추론 기술을 LLM이 자체 발견하고 선택하는 프롬프트 프레임워크를 제안했다고 밝혔다. “인간이 문제 해결을 위한 추론 프로그램을 내부적으로 고안하는 방식에서 영감을 받았다"라는 설명이다.

작업은 2단계로 진행된다. ▲우선 LLM과 작업 내용, 원자 추론 모델(Atomic Reasoning Module) 등을 통해 작업에 최적화된 프롬프트 기술을 스스로 찾아낸 뒤 ▲LLM 작업별로 선택한 모듈을 각각 적용하고, 작업을 최종 해결한다. 즉 1단계에서는 LLM이 각 작업에 대한 추론 구조를 생성한다. 2단계에서 LLM은 자체 발견한 구조에 맞춰 추론, 최종 답변에 도달한다.

자기 발견 프레임워크 개요도 (사진=arXiv)

자기 발견 프레임워크의 성능을 확인하기 위해 연구원들은 GPT-4 및 '팜 2(PaLM 2-L)' 등 여러 모델을 활용, 빅-벤치 하드(Big-Bench Hard, 현재 LLM 기능을 넘어서는 작업 평가), 행동 사고(Thinking for Doing), 수학 등 25가지 추론 작업에 대한 벤치마크를 실시했다.

그 결과 25개 작업 중 21개 작업에서 자기 발견은 CoT나 다른 기술보다 성능이 최대 32% 향상되는 것을 발견했다. 또 추론을 위한 컴퓨팅이 기존보다 10~40배 더 적게 필요하다고 전했다.

구체적으로 GPT-4를 대상으로 빅-벤치 하드에서는 81%, 행동 사고 85%, 수학 추론 73%의 정확도를 보였다. 반면 CoT는 각각 75%, 52%, 71%로 떨어졌다. 계획 및 및 해결 프롬프트와의 비교도 비슷한 양상이었다. 

팜 2에서는 67%, 69%, 50.5%의 정확도를 기록했다. 이는 GPT-4보다 낮지만, CoT(60%, 40%, 42%) 및 계획 및 해결(61%, 42%, 49%) 방식보다 훨씬 뛰어나다.

벤처비트는 "LLM이 스스로 추론 방식을 찾아낸다는 아이디어는 이제 막 제안됐지만, 궁극적으로는 일반인공지능(AGI)을 향해 나아갈 수 있는 잠재력을 가지고 있다"라고 평했다.

연구진은 “이번 연구를 통해 LLM의 미래와 인간-AI ​​협업의 잠재력을 발견할 수 있어 기쁘게 생각한다”라고 밝혔다.

[2] 'AI 안경' 또 등장...AR보다는 AI 기능에 집중
[3] 장병탁 서울대 AI 연구원장 "로보틱스-AI 결합이 새로운 리더십 될 것"

[4] 모든 질문을 위험하다고 인식하는 "세계에서 가장 책임감 있는 AI 모델" 등장

[5] 허깅페이스 리더보드 첫 평균 80점 능가 모델 등장..."오픈 소스 급속 발전"

[6] 카메라 착용한 아기가 AI에 단어 학습 방법 가르쳐

[7] 디즈니, '포트나이트' 전격 진출..."게임에서 메타버스로 도약"

[8] MS가 말하는 2024년 AI 트렌드 3가지는

[9] "Ko-LLM 리더보드, 5개월간 대성공...확장·전환 통해 실사용 도움 될 것"

[10] "AI PC, 2027년 전체 PC 출하량 60% 달해"