ChatGPT의 기술적 특징 / 정제영 외

[좋은소식]

ChatGPT의 기술적 특징

ChatGPT는 대화형 인공지능의 발전에 큰 영향을 미친 ‘사전학습된 언어 모델(Pre-trained language model)’ 패러다임과 관련이 있습니다. 이전까지는 자연어 처리 분야에서 문제를 해결하기 위해 각각의 자연어 처리 작업마다 새로운 모델을 만들어야 했습니다. 예컨대 언어 모델링(Language modeling) 작업의 수행을 위해서는 LSTM(Long Short Term Memory) 아나 GRU(Gated Recurrent Unit) 같은 순환신경망 기반의 모델이 사용되었고, 기계 번역 작업 수행을 도모하기 위해서는 Seq2Seq(Sequence to Sequence) 모델이 사용되었습니다. 다시 말해 기존의 자연어 처리 분야에서는 규칙 기반(Rule-based) 접근법이 일반적이었습니다. 이 방법은 사람이 수작업으로 규칙을 작성하고, 이를 기반으로 자연어를 처리하는 방식이었습니다. 처리할 수 있는 자연어의 종류와 양에 제한이 있었으며, 새로운 언어나 도메인에 대한 대응이 어렵다는 문제가 있었습니다.

하지만 사전학습된 언어 모델 페러다임이 등장하면서 앞에서 언급한 문제를 해결할 수있는 가능성이 열리게 되었습니다. 여기서 사전학습된 언어 모델이란, 대규모 텍스트 데이터를 사전에 학습한 후 자연어 처리 작업에 적용하는 모델을 말합니다. 이를 통해 자연어 처리 작업을 할 때마다 새로운 모델을 만들 필요가 없어지게 되었고, 너무 많은 양의 데이터를 학습해 실제 사례에서 오히려 현실성이 떨어지고 오차가 커지는 과적합(Overfiting)의 문제가 해결되었습니다.

ChatGPT는 사전학스된 언어 모델 페러다임의 대표적인 예라 할 수 있습니다. ChatGPT는 대규모 텍스트 데이터를 학습한 이후, 주어진 문맥에서 다음 단어를 예측하는 언어 모델링 작업을 수행하게 됩니다. 따라서 ChatGPT는 기존의 자연어 처리 모델 개발 방식을 크게 변화시키면서도, 대화영 인공지능 분야에서의 발전을 이끌어냈습니다.

자연어 처리를 위한 트랜스포머 기반 모델

ChatGPT는 딥러닝 기술 중 하나인 트랜스포머 모델을 사용하여 자연어 처리를 수행합니다. 이러한 트렌스포머는 자연어 처리 분야에서 매우 있기 있는 딥러닝 아키텍처 중 하나입니다. 이 모델은 구글(Google AI Brain Team)에 의해 개발되었으며, 2017년 발표된 논문 <Attention is all you need>에서 처음으로 소개되었습니다. 트랜스포머 모델은 순환 신경망이나 합성곱 신경망(Convolutional Neural Network, CNN) 대신 어뗀션 메커니즘을 사용하여 시퀸스 데이터를 처리하는데, 특히 기계 번역과 같은 자연어 처리 분야에서 매우 효과적인 모델로 인정받고 있습니다. 즉, 트랜스포머 모델은 이전까지 사용된 RNN, LSTM 등의 모델에 비해 높은 성능을 보이는 것으로 알려져 있습니다.

트랜스포머 모델은 임베딩 레이어, 인코더, 디코더로 구성됩니다. 인코더는 입력 시퀀스를 임베딩하고, 디코더는 출력 시퀀스를 임베딩 합니다. 이 임베딩된 시퀀스는 Self-Attention 메커니즘을 사용하여 처리됩니다. 여기서 Self-Attention 은 입력 시퀀스 내의 각 위치가 다른 위치와 상호작용하는 정도를 계산하는 메커니즘입니다. 이를 통해 각 단어의 중요도를 결정하고, 그에 따라 입력 시퀀스를 처리합니다. 이 메커니즘은 이전에 사용되었던 순환 신경망이나 합성곱 신경망과 달리 시퀀스 내의 모든 단어들에 대해 병렬적으로 계산할 수 있기 때문에 계산 속도가 매우 빠릅니다. 그리고 트랜스포머 모델은 이전 모델에 비해 훨씬 더 깊은 층으로 구성될 수 있습니다. 이는 입력 시퀀스를 더욱 세밀하게 학습할 수 있도록 합니다. 구글의 트랜스포머 모델 이후 여러 가지 변형 모델들이 나오면서 자연어 처리 분야에서 수준 높은 성능을 드러내고 있습니다. 트랜스포머 모델은 자연어 처리 분야에서 매우 중요한 딥러닝 아키텍처 중 하나로 자리잡고 있습니다.

대규모 데이터셋을 사용한 사전 학습

ChatGPT는 대규모 데이터셋 사전 학습을 통해 생성된 언어 모델입니다. ChatGPT의 사전 학습에는 매우 방대한 양의 데이터가 필요합니다. 이를 통해 모델은 보다 다양한 문장 패턴과 언어적 특성을 학습하게 되며, 이후 미세 조정(Fine-Tuning) 단계에서 특정한 테스크에 적합하도록 조정됩니다. OpenAI에서 공개한 GPT-3 모델은 45TB의 텍스트 데이터를 학습했습니다. 이 데이터셋은 영어와 다른 언어의 웹페이지, 책, 뉴스 등 다양한 소스에서 수집된 것입니다.

사전 학습은 크게 두 개의 단계로 나누어집니다. 첫 번째 단계는 언어 모델을 학습하는 단계이며, 입력 시퀀스를 받아 다음 단어를 예측하는 방식으로 학습이 이루어집니다. 이 단계에서는 대규모의 비지도 학습(Unsupervised learning) 데이터셋을 사용하여 언어 모델을 학습합니다. 두 번째 단계는 미세 조정 단계로, 이 단계에서는 학습된 언어 모델을 특정 태스크에 맞게 미세 조정하여 해당 태스크에서 최적의 성능을 낼 수 있게 합니다. 예컨대 ChatGPT는 자연어 생성 작업에서 뛰어난 성능을 보이는데, 이는 자연어 생성 작업에 맞게 모델을 미세 조정한 결과입니다. 이러한 대규모 데이터셋을 사용한 사전 학습 방법은 언어 모델이 입력 시퀀스의 의미와 문맥을 파악하는 능력을 향상시켜 자연어 처리 분야에서 큰 성과를 거두고 있습니다.


인간 피드백을 통한 강화학습 RLHF

인간 피드백을 통한 강화학습(Reinforcement Learning with Human Feedback, RLHF)은 ChatGPT 개발 과정에서 상요된 기술 중 하나로 기존 강화학습과는 달리, 인간의 피드백을 적극적으로 활용하여 모델을 학습하는 방법입니다. 기존 강화학습에서는 모델이 환경과 상호작용하면서 스스로 보상을 최대화하는 방법을 찾아나가는데 반해, 인간 피드백을 통한 강화학습은 인간이 제공하는 피드백을 보상으로 활용합니다. ChatGPT에서 이를 활용한 경우, 모델이 생성한 문장에 대해 인간 평가자가 피드백을 제공하면 모델은 피드백을 보상으로 받아 문장 생성 방법을 개선하게 됩니다. 이를 통해 모델은 보다 인간 중심적인 방향으로 학습할 수 있으며, 자연스러운 문장 생선이 가능합니다.

여기서 인간 피드백은 모델이 생성한 출력물에 대한 평가이며, 이를 보상으로 삼아 모델이 더 나은 출력물을 생성하도록 유도합니다. 구체적으로 ChatGPT의 경우, 모델이 자연어 생성 과정에서 인간이 이해할 수 있는 자연스러운 문장을 생성하기 위해 이를 사요압니다. 이를 위해, ChatGPT 개발팀은 인간 평가자들을 모아 모델이 생성한 문장에 대해 평가하돌고 했고, 이를 바탕으로 모델을 개선했습니다. 이처럼 인간 피드백을 통한 강화학습을 사용하면 인간의 지식과 경험을 모델 학습에 적극적으로 활용할 수 있으며, 모델이 질제 환경에서 사용될 때 더 높은 성능을 발휘할 수 있게 됩니다. 실제로 ChatGPT 개발 과정에서 이를 사용함으로써, 인공지능 모델을 보다 인간 중심적으로 개선할 수 있게 되었습니다.

특정 도메인 관련 학습을 위해 미세 조정 Fine-Tuning

ChatGPT 모델은 OpenAI에서 사전 학습된 대규모 언어 모델이지만, 모든 영역의 문제에 대해 최적화된 모델은 아닙니다. 대규모 언어 모델이라 해도 특정한 도메인이나 분야에서 더 나은 성능을 내기 위해서는 미세 조정 과정이 필요합니다. 미세 조정은 미리 학습된 모델은 특정한 태스크에 맞게 조정하는 과정입니다. 미세 조정을 위해서는 해당 태스크나 도메인에 맞는 데이터를 수집해야 합니다.

미세 조정은 크게 세 단계로 이루어집니다. 첫째, 사전 학습된 모델을 불러와서 태스크에 맞게 수정합니다. 이 과정에서 모델의 마지막 레이어나 추가적인 레이어를 포함하여 새로운 모델 아키텍쳐를 만들 수 있습니다. 둘째, 태스크나 도메인에 맞게 수정된 모델을 특정 데이터셋으로 학습시킵니다. 이때, 모델은 이전에 학습된 파라미터 값으로 초기화되고, 새로운 데이터셋에 대해 다시 학습을 진행합니다. 셋째, 미세 조정된 모델을 평가하고 성능을 확인합니다. 이 단계에서는 평가 데이터셋을 이용하여 모델의 성능을 측정합니다. 평가 결과를 통해 모델의 성능이 어느 정도 개선되었는지 확인하고 필요한 경우 미세 조정을 다시 수행하여 성능을 향상시킵니다.

단어 수준 Word-level 대화 생성으로 일관된 대화 유지

ChatGPT는 단어 수준 Word-Level 대화 생성 능력이 뛰어난 언어 모델 중 하나입니다. ChatGPT는 일반적인 챗봇 모델에서 주로 사용되는 단어 나열 기반 방식이 아닌, 문장 구졸르 고려하는 방식으로 응답을 생성합니다. 이는 입력으로 주어진 문맥 Context을 이해하고, 다음에 등장할 단어를 예측하는 능력을 갖추고 있기 때문입니다. ChatGPT는 입력된 문장을 단어 단위로 분할하여 이해하고 이에 대한 적절한 답변을 생성합니다. 이를 위해 단어의 의미와 문맥을 이해하는데 필요한 다양한 자연어 처리 기술과 알고리즘을 사용합니다. ChatGPT가 학습한 데이터에는 다양한 분야의 문서가 포함되어 있는데, 이를 바탕으로 사용자가 입력한 문장에 대한 답변을 생성할 때에도 최대한 정확하고 자연스러운 답변을 제공하기 위해 노력합니다.

예를 들어 “오늘 날씨가 매우 좋아요”라는 문장을 입력하면, 모델은 ‘오늘’ 이후에 ‘날씨가’ 가 나올 확율이 높을 것으로 판단하여 ‘날씨가’를 다음 단어로 예측합니다. 이렇게 ChatGPT는 이전 대화에서 사용되었던 모든 문맥을 고려하여 다음 단어를 예측해 대활르 생성할 수 있습니다. ChatGPT는 다양한 주제에 대한 대화를 생성하는 대화는 단어 수준에서 이루어지는 것이지, 문장 구조나 문맥을 완전히 이해한 수준은 아닙니다. 때문에, 특정한 문맥이나 상황에 대해서는 부적절한 답변을 생성할 수 있습니다.

생성된 응답의 다양성

ChatGPT는 다양한 문장을 생성하도록 설계된 모델입니다. 바꾸어 말하면, ChatGP는 생성된 응답에 일정한 다양성을 부여하는 기능을 가지고 있습니다. 이 모델은 응답의 다양성을 높이기 위해 여러 가지 기법을 사용합니다. 먼저 ChatGPT는 언어 모델의 학습 데이터셋으로부터 여러 문체를 학습합니다. 이를 통해 다양한 문체의 문장을 생성할 수 있습니다. 대화에서 친근하게 말하는 스타일, 공식적인 스타일, 농담을 하는 스타일 등 여러 스타일을 참조하여 응답을 줄 수 있습니다.

또한 ChatGPT는 서로 다른 단어를 사용하여 중복되지 않는 응답을 생성할 수 있도록 설계되었습니다. 이를 위해 단어 빈도수에 따라 가중치를 두어 자주 사용되는 단어보다 드문 단어를 더 많이 사용하도록 학습합니다. 더 나아가, 서로 다른 응답을 생성하기 위해 확률적인 샘플링 기법을 사용합니다. 모델은 다음 단어를 생성할 때, 여러 개의 후보 단어를 생성한 뒤 확률적으로 선택하여 다음 단어를 생성합니다.

마지막으로 ChatGPT는 다양한 응답을 생성하기 위해 노이즈를 추가하는 기법을 사용할 수도 있습니다. 예컨대 모델이 생성한 응답에 일부 단어를 무작위로 변경하거나 제거하여 응답을 생성할 수 있습니다. 이는 대화 시스템에서 자연스러운 대화를 유지하고, 반복적인 응답을 피하기 피하기 위한 요소 중 하나입니다.

사용자 지정 대화 스타일 적용 가능

ChatGPT는 사용자 지정 대화 스타일을 적용할 수 있는 기능을 제공합니다. 예컨대 더욱 친근하고 캐주얼한 대화 스타일을 선호하는 사용자에게 적합한 응답을 생성하도록 조정할 수 있습니다. 이를 위해서는 미리 학습된 모델을 사용하여 새로운 모델을 학습하는 미세 조정 과정을 거쳐야 합니다. 친절하고 농담을 좋아하는 대화 스타일을 원하는 경우, 이러한 스타일에 부합하는 대화 데이터셋을 수집하여 모델을 학습시킵니다. 이를 통해 ChatGPT는 해당 스타일에 맞는 응답을 생성할 수 있도록 학습됩니다. 이 같은 미세 조정은 전체 모델을 처음부터 학습하는 것보다 훨씬 빠르고 효율적입니다. 이는 기존 모델의 성능을 보존하면서 새로운 대화 스타일을 적용할 수 있다는 장점이 있습니다.

이와 같이 사용자 지정 대화 스타일을 적용하는 것은 대화 시스템에서 더욱 자연스러운 대활르 유지하고 사용자와의 상호작용을 개선하는 데 주요한 역할을 합니다. 이는 사용자의 개인적인 취향과 스타일을 반영하여 더욱 쾌적한 대화 환경을 조성할 수 있도록 도와줍니다.