RAG RAG의 3단계

[주인장]

RAG의 3단계 

1. 검색(Retrieval‎)

- RAG의 본질은 LLM이 올바른 정보 출처를 찾아 이를 기반으로 환각 현상을 해결하는 것. 

- RAG는 기본적으로 사용자의 질문과 가장 유사한 정보를 찾기 위해 임베딩 값의 유사도를 이용함. 

• 사용자의 질문을 행렬 값(임베딩)으로 변환(BERT 모델 사용) 
• 참고할 문서들을 동일한 방식을 통해 행렬 값으로 변환(벡터 DB)
• 벡터 DB에서 사용자의 질문 임베딩과 가장 유사한 임베딩을 추출하여, 해당 임베딩의 문장을 추출.

- 변환할 객체가 되는 텍스트는 문장이므로 대부분의 경우 Sentence-BERT를 활용하게 되는데 Sentence-BERT는 학습시킨 데이터의 언어에 대해서만 임베딩 작업을 잘 수행하므로 이에 유의해서 모델을 선정해야 함.

- 벡터 DB를 구축할 때에는 우리가 가진 문서가 임베딩 모델의 최대 입력 길이를 벗어날 경우 문서를 분할하는 과정 (Chunking) 을 거쳐야 함.

2. 증강(Augment)

- 사용자 질문 프롬프트와 검색 단계에서 추출한 유사 청크를 하나의 프롬프트로 담아 LLM에게 전달

- 프롬프트는 세부분

• LLM에게 답변하는 방식을설명하는 부분(원하는 형태로 자유롭게 기술)
• 사용자 질문에는 {question} 이라는 매개변수에 사용자가 질문한 문장이 그대로 들어감. 
• 유사 청크에서는 검색 단계에서 추출한 유사 청크가 {context} 매개변수로 들어감.
• 마지막에 'Answer'까지 포함하면, 사용자 질문에 대한 답변만 추출 가능 

3. 생성(Generation)

- LLM은 기본적으로 주어진 문장의 다음 단어를 예측하는 모델이기 때문에 사전 학습에서 배우지 않은 것에 대한 질문을 하면 거짓을 섞어서 답변하는 경우가 있음.

- RAG에서는 앞서 증강 단계에서 주어진 프롬프트를 바탕으로 LLM이 답변을 생성함.

- 프롬프트 안에 맥락(context)를 주입하면, 기존에 학습되지 않은 사실이나 지식에 대해서 LLM이 이해하고 알맞은 답변을 제공할 수 있음.