스크랩 흥미돋 "GPT 이거 잘 못하던데?" 하는 사람들을 위한 설명글

[행운이따라줄거예요]

출처: https://www.fmkorea.com/8273580548

요즘 보다보니 AI 관련 글의 댓글들에 "퍼플렉시티는 그림 왜 안그려줌?", "AI가 박사급 지능 어쩌고 하더니 뭐 이런것도 못함?" 하는 사람들이 많이 보이길래, 한번 최신 AI 서비스들의 원리와 갈래에 대해 설명하는 글을 써보려고함.

이미 많이들 알고 있는 부분이 있을 수도 있지만, 생각보다 챗지피티부터 제미나이니 클로드니 그록이니... GPT-4.1은 뭐고 o3는 뭐고 딥리서치는 뭐고... 퍼플렉시티 프로 1년 구독권? 와! 일단 함 근데 뭐임 이거? 하는 사람들이 많기 때문에 한번 정리 겸 봐주시면 감사하겠음.

우선 본인은 그냥 작은 IT 기업에서 LLM 엔지니어로 일하는 사람이고, 무슨 고학력에 빅테크 다니는 사람은 아니라는 점 알아주삼. 틀린 부분이 있을 수 있기 때문에 지적은 언제나 환영.

아 그리고 본인은 이미지 입출력 등 멀티모달에 대한 지식이 별로 없기 때문에... 일단 언어에 기반한 LLM에만 초점을 맞춰 설명할 거임. 혹여나 댓글로 물어보면 아는 한에서 설명하겠음.

그럼 시작.

-----

0. LLM은 왜 "확률 기계"라고 불리나?

일단 우리가 흔히 "GPT"로 대표해서 부르는 언어 AI는 기본적으로 "다음에 올 단어를 맞추는" 알고리즘임.

좀 있어 보이게 말하면 "자기회귀적" 언어 모델링이라고 함. 이전의 흐름에 따라서 가장 자연스러운(= 확률이 높은) 다음 데이터가 뭔지를 맞추는 것.

반대로 없어 보이게 말하면 스마트폰 자동완성 기능의 최종 진화형이라 보면됨.

예를 들어, 니가 "오늘 날씨가" 라고 말한다면, 그 뒤에 "왜이리 좋냐", "존나 흐리네", "개같이 덥다", "빨래 널기는 글렀다" 등이 오는게 자연스럽듯이, LLM은 그런 방식으로 언어를 학습하고 뱉음.

그 중에서 제일 확률이 높은, 제일 "그럴듯한" 단어를 딱 뱉어내는거임.

1. 일단 대답부터 해: 기본 챗봇 모델

- GPT: 3.5 / 4 / 4o (+ Monday) 등

- Gemini: 2.0-Flash 등

- Claude: 3.5-Haiku, 3.5-Sonnet 등

- 주 사용 분야: 텍스트 변환 및 작성, 깊지 않은 지식/상식, 혹은 누군가의 유일한 친구

- 장점: 빠름, 무료인 경우가 많음

- 단점: 쉽게 발생하는 환각

그럼 GPT는 너랑 티키타카 하면서 "대화"를 하는데, 이 채팅은 어떤 방식으로 하는거냐?

생각보다 사람들이 잘 모르거나 헷갈려하는 부분 중 하나인데, 채팅도 완전히 똑같은 원리로 함.

쉽게 말해, 이 기본 챗봇 모델들은 대화할 때마다 "지금까지 나눈 모든 대화 내용을 통째로 입력으로써" 받음. 그리고 그걸 보고 다음에 올 가장 그럴듯한 대답을 생성하는 거임.

이게 뭔 소리냐면, 우리가 챗봇한테 질문 하나 하고 답 들은 다음에 또 질문하면, 챗봇은 이전 질문 + 이전 답변 + 이전 질문 + ... + 이번 질문 이렇게 여러 덩어리를 합쳐서 본 다음에야 이번 답을 만든다는 거임.

예시로 보면 조금 더 이해가 될 거임.

너가 GPT한테, "니가 제일 좋아하는 색깔이 뭐야?" 라고 물었다고 치자. 그럼 모델에는 이런 입력이 들어감.

---

<|START_OF_USER|> 니가 제일 좋아하는 색깔이 뭐야? <|END_OF_USER|>

<|START_OF_GPT|>

---

GPT는 이 <|START_OF_GPT|> 다음에 올 단어가 뭔지 추측하게 되는데, 학습 단계에서 "이때는 AI 어시스턴트로써의 답변 텍스트가 오는 것이 가장 적절"하다고 배워뒀음.

그래서 대답을 하게 되는 것임. 그러다 <|END_OF_GPT|>을 뱉게 되면 생성을 종료하는 식.

그러면 GPT가 답변을 하고 채팅이 쌓이겠지?

---

<|START_OF_USER|> 니가 제일 좋아하는 색깔이 뭐야? <|END_OF_USER|>

<|START_OF_GPT|> 저는 인공지능이라 특별히 좋아하는 색깔은 없지만, 많은 사람들이 평화의 상징으로 사용하는 파란색을 고를 수 있을 것 같아요. <|END_OF_GPT|>

---

그러면 너가 다음 턴에 또 다른 질문을 하면, GPT는 "그 질문만" 입력으로 받는게 아니라 "전체 대화록"을 입력으로 받게됨.

---

<|START_OF_USER|> 니가 제일 좋아하는 색깔이 뭐야? <|END_OF_USER|>

<|START_OF_GPT|> 저는 인공지능이라 특별히 좋아하는 색깔은 없지만, 많은 사람들이 평화의 상징으로 사용하는 파란색을 고를 수 있을 것 같아요. <|END_OF_GPT|>

<|START_OF_USER|> 그럼 제일 좋아하는 동물은? <|END_OF_USER|>

<|START_OF_GPT|>

---

이런 식으로, 토익 문제처럼 "이 대화의 바로 다음에 이어질 단어로 알맞은 것을 고르시오"를 계속 풀어나가는게 GPT의 채팅임.

초기 GPT-3가 이런 방식으로 LLM 챗봇으로써 동작하게 되면서 방법론이 거의 굳어졌고,

Meta의 LLaMA를 필두로 여러 오픈 소스 모델들도 이 방식을 채택해서 지금까지 약 3~4년 간 사용되고 있음.

이런 모델들은 특정한 능력이 뛰어나다기 보다, 

이제야 드디어 "사람처럼 말하는" AI가 된 셈이기 때문에 일반적인 여러 텍스트 작업들을 다 평균 이상 수준으로 할 수 있도록 만들어졌음.

하지만 단순히 "다음에 올 단어 맞추기" 모델이기 때문에 환각(hallucination)이 심할 수 있다는 게 가장 큰 단점.

"세종대왕 맥북 던짐 사건"을 아냐는 질문에 대해, 답변의 첫 단어를 "네"로 시작해버리는 순간 뒷부분의 모든 사실 관계가 망가지는거임.

그런데 GPT를 비롯한 많은 모델들의 학습 데이터에는 "모른다"는 답변이 별로 없음. 그래서 환각이 문제가 되는 것.

비슷한 원인으로 발생하는 또 다른 단점은 수학을 못한다는 것.

수학은 "논리를 점진적으로 전개시켜서 정답에 도달해가는" 작업인데,

초기 모델들은 답변 길이가 그렇게 길게 학습되지도 않았고, 그저 어디서 본 듯한 비슷한 풀이들을 "말이 되는 것처럼" 엮어내느라 온갖 개소리를 늘어놓기 바빴음.

그래도 요즘 나오는 챗봇 모델들은 수학이나 다른 일반 지식에서도 꽤나 정확도가 좋아졌지만, 어디까지나 100%는 절.대. 될 수 없음.

그걸 해결하기 위해 나온 것이 다음 두 모델임.

2. 대답하기 전에 생각해: 추론(Reasoning) 모델

- GPT: o1 / o3 / o4-mini / o4-mini-high

- Gemini: 2.5-Pro / 2.5-Flash (Thinking)

- Claude: 3.7-Sonnet (Thinking)

- 그 외: DeepSeek-R1

- 주 사용 분야: 수학/과학/코딩 등 논리 기반 문제 해결, 또는 매우 복잡한 지시 수행

- 장점: 보다 정확한 논리 전개와 답변

- 단점: 생각하느라 답이 느림, 보통 유료 + 제한적 사용임

그래서 세상에 나온게 바로 추론 모델.

사람은 원래 어떤 일을 할때, 

머리 속으로 "일단 이건 이렇게 하고... 저건 저렇게 해야되고.. 오키 해본다" 이렇게 생각을 마친 뒤에 행동으로 옮기기 마련임.

AI들도 물론 모델 본체가 있기 때문에, 그 안에서 연산을 처리하는 과정이 따로 있고 초반에는 그것만이 모델의 "생각"이라고 여겼음.

그런데 웬걸, 모델한테 문제를 풀게 할 때 "자, 천천히 한 단계씩 생각해보고 풀어보자.", 이 한 마디만 덧붙여도 성능이 꽤나 오르는게 보였던 거임.

그도 그럴게, 처음에 말했듯이 LLM 모델은 "자기회귀적" 생성을 하고, 

이전에 존재하는 문맥이 얼마나 정확한지에 따라서 그 다음에 생성되는 단어의 정확성이 달라짐.

그래서, 아예 모든 답변을 할 때 "생각"하게 만들어보자는 아이디어에서 출발한게 이 추론 모델들임.

아까 예시로 들었던 대화 포맷으로 좀 생각이 필요한 질문을 던져보겠음.

---

<|START_OF_USER|> 민지, 준호, 서현이가 있어. 민지는 준호보다 키가 크고, 서현이는 준호보다 키가 작대. 누가 제일 키가 클까? <|END_OF_USER|>

<|START_OF_GPT|>

---

초창기 GPT는 별다른 과정 없이 대답을 뱉는 경우가 많았기 때문에, 이 간단한 문제도 틀리는 경우가 왕왕 있었음.

그러나 추론 모델은 생각하는 부분과 답변하는 부분을 <think> 와 <answer> 처럼 "분리"해두면서 아예 생각부터 하고 답을 내는 방향으로 학습이 됨.

---

<|START_OF_USER|> 

민지, 준호, 서현이가 있어. 민지는 준호보다 키가 크고, 서현이는 준호보다 키가 작대. 누가 제일 키가 클까? 

<|END_OF_USER|>

<|START_OF_GPT|>

<think>

오케이, 키 순서를 맞춰보는 문제네. 누가 제일 큰지 찾아보자.

힌트 1: 민지 > 준호. (민지가 준호보다 크다)

힌트 2: 서현이 < 민지. (서현이가 민지보다 작다)

흠... 민지가 준호보다 크고, 서현이도 민지보다는 작네?

그러면 민지는 일단 서현이보다는 크고 준호보다도 크네?

서현이랑 준호 둘 중 누가 더 큰지는 이 힌트만으로는 모르겠네.

하지만 누가 제일 큰지는 알 수 있네.

민지가 서현이보다도 크고, 준호보다도 크니까, 민지가 제일 크네.

생각 끝! 답은 민지임.

</think>

<answer>

정보를 종합해보면, 민지가 준호보다도 크고 서현이보다도 크다는 것을 알 수 있습니다. 따라서 세 명 중에서 키가 제일 큰 사람은 **민지**입니다.

</answer>

<|END_OF_GPT|>

---

이런식으로 생각을 거친 뒤에 답변을 하게 되면, 그 안에서 논리를 알아서 전개하고 검증하고 하는 과정을 거쳐서 조금 더 정확하고 정제된 답변을 하게 되는 것임.

이 방식으로 수학 + 코딩 분야까지 엄청난 향상을 불러일으키면서 LLM 패러다임이 이 때 한 번 바뀌었음.

근데 보통 사람들이 한두번 써보고는 "이 새끼 대체 뭐가 똑똑해진거임?" 하는 경우가 많음.

"박사보다 더 똑똑하다"고 홍보했는데, 여행 계획 짜달라니까 여전히 없는 장소 얘기하네? 이게 맞냐? 싶은거지.

사실 얘는 아는게 많은게 아니라 IQ가 높은거임.

그리고 이공계 학생, 연구직과 개발자를 제외한 대부분의 사람들은 추론 모델의 이점을 활용할만한 상황 자체가 별로 없음.

복잡한 지시 수행 능력이 꽤 증가하긴 했다만 100줄 이상의 프롬프트를 쓸 일이 별로 없으며,

수학/과학/코딩 질문을, 그것도 꽤 깊은 수준으로 물어볼 일 자체가 별로 없다는 뜻.

주변에 실제로 박사인 사람이 있다고 한들, 내가 그 박사의 전공 지식이나 사고력을 빌려야할 경우가 얼마나 있나 생각해보자.

웬만한 작업에서는 일반 챗봇 모델을 사용하고,

"아는게 많은" 모델이 필요하다, "GPT 허구한날 정보 틀려서 싫다"면 다음의 모델/기능들을 사용해보셈.

아 근데 Gemini-2.5-Pro <- 얘는 약간 예외임. 생각이 길긴 한데 뭘 하든 다 괜찮음.

Gemini 앱에서 쓰면 유료고, Google AI Studio에서 사용하면 아직은 무료임.

AI계 만년 2황 구글 형님들의 가성비 전략 똥꼬쇼 끝나기 전에 빨리빨리 즐기셈.

그 크롬 우상단 더보기에서 "다운로드" 누르면 앱처럼도 쓸 수 있음 ㅆㅅㅌㅊ

3. 헛소리하면 뒤져: 검색 기반 답변(RAG) 시스템

- Perplexity: 완전 검색 기반

- 그 외: "검색" 기능이 있는 모델들 (+ "Deep Research" = 검색 기반 + 존나 깊은 추론)

- 주 사용 분야: 사실 관계가 확실한 정보가 필요할 때, 구글링하고 싶은데 뭐라 검색해야할지 모르겠을 때

- 장점: (Perplexity 기준) 정보 거의 안 틀림, 다양한 추론/비추론 모델 사용 가능

- 단점: (Perplexity 기준) 인터넷이 틀리면 틀림, 창의성에서 도움 받기는 힘듬

일단 여기서 써본건 거의 Perplexity밖에 없음. 현재 검색 기반 AI 1황.

검색 기반 생성, 정확히는 검색 증강 생성(retrieval‎ augmented generation, RAG)이라고 하는데,

얘네는 어떤 모델이 있다기 보다는 검색-생성으로 이어지는 하나의 시스템임.

위에서 설명했듯이, 모델의 입력에는 사용자-모델-사용자-모델-사용자로 이어지는 전체 대화록이 들어간다고 했잖슴?

그래서 종종, "이제부터 모든 말의 끝에 '형님'을 붙여"라고 시키면, "예, 알겠습니다. 형님!"으로 대답하지?

가끔 이걸보고 "사용자가 모델을 학습시켰다"고 말하는 경우가 있는데, 이건 반은 맞고 반은 틀린 말임.

보통 모델을 학습시켰다고 하는건, 모델을 구성하는 가중치 숫자들을 실제로 변형시킨 경우를 뜻함.

엥? 그런데 굳이 그렇게 어렵게 가지 않아도 "형님" 붙이는데요?

맞음. 이걸 학계에서는 "맥락 내 학습 (in-context learning)"이라고 부름.

대화록이 어차피 입력으로 싹 다 들어가버리니, 여기에 정보를 주면 거기에 기반해서 대답을 하니까 일종의 "학습"이라고 부르게 된 것.

그렇게 생각해보니, 가끔 GPT한테 나무위키나 기사 같은거 싹 긁어서 복붙시키고 "이거 요약좀" 시키잖아?

이것도 맥락 내 학습인거임.

그러면 그 사용자는 나무위키나 기사를 찾기 위해 검색했던 키워드가 있을텐데, 이 과정을 싹 자동화시켜서 

(1) 사용자가 대충 검색하면

(2) 구글같은 검색엔진에서 검색 결과 싹 리스트업해서

(3) 그거 GPT한테 싹 넘겨주고

(4) 알아서 사용자가 물어본 정보 취합해서 정리해서 넘겨!

이렇게 만든게 RAG 시스템임.

그렇게 만들어진 RAG 모델의 입출력은 이렇게 생겼음. (디테일은 좀 다르지만)

---

<|START_OF_USER|> 

<question>

어제 한국 축구 경기 결과 알려줘. 

</question>

<retrieval‎>

제목: 축구 국가대표팀, 태국 상대로 2-1 역전승

내용: 어제(3월 26일) 서울 월드컵 경기장에서 열린 대한민국 축구 국가대표팀과 태국의 친선 경기에서 한국이 2대 1로 승리했습니다. 전반 10분 태국에게 선제골을 내줬으나, 후반 5분 손흥민 동점골, 후반 20분 황희찬 역전골로 승부를 뒤집었습니다. 경기는 치열했고 양팀 모두 최선을 다했습니다... (이하 중략)

출처: [https://어떤스포츠뉴스사이트.com/article/...]

</retrieval‎>

<|END_OF_USER|>

<|START_OF_GPT|> 

어제(3월 26일) 한국 축구 국가대표팀은 태국과 친선 경기를 해서 2대 1로 승리했다고 합니다. 전반에 선제골을 허용했지만, 후반에 손흥민 선수와 황희찬 선수의 골로 역전승을 거두었다고 하네요. 

<|END_OF_GPT|>

---

보통 RAG를 전문으로 하는 서비스는

모델 자체를 이에 적합하게 "물어본 정보가 검색되지 않았다면 답하지 않도록" 학습을 시킴.

그러니 정보가 필요한 경우에는 꼭 검색 기능을 켜거나 Perplexity 쓰시길.

특히 Perplexity로 가면 GPT, Gemini, Claude, DeepSeek까지 최근 핫하다는 모델들을 제휴시켜 놨기 때문에,

굳이 해당 모델의 검색 기능을 켜는 것보다 여기서 모델 딸깍딸깍 바꿔가면서 쓰는게 편함.

이 섹션에서 너무 퍼플렉시티 염병을 떨어놔서 바이럴 같이 보일 수 있지만..

그냥 개인적인 경험이 너무 좋기 때문에 자발적으로 홍보함.

추가로, "딥 리서치"의 경우는 추론 모델에 검색 기능까지 달아서 말 그대로 "연구 수준"의 추론 답변이 필요한 경우에 사용함.

• 사실에 기반한 정보 + 최신 연구 동향 + 모델 추론까지 더해,
• 단순히 검색 몇 번, 질문 몇 번으로 알 수 없는 어려운 문제에 직면한 상황에서,
• 매우 높은 수준의 이론적 해결책이 필요한 경우

이때 딥 리서치를 사용한다고 보면됨.

일반적인 직장인 선에서는 거의 사용할 일이 없고, 거의 공학 연구직 한정으로 사용되는 기능이긴 함.

-----

원래 에이전트 시스템까지 작성할라 했는데, 아직 대중 상용된 서비스도 많이 없는 것 같고..

무엇보다 쓰다가 너무 피곤해져서 여기까지만 작성함.

[킨드레드]

그래서 재밌는거같음 파라미터도 너무많아서 정답이없어 ㅎㅎ,,

[pqlsmdnbd]

와 너무 신기하다 고마워

[나는해피한사람]

우와

[음이온]

와 전체대화록을 매번 받고있었다니..

[글루땃치욘]

와 너무 흥미돋이야... 이따 자세하게 다시 읽어야지

[븕은노을]

아 그래서 사용자 수준에 따라 ai 답변수준이 결정되는구나

[승승짱구]

고마워 너무 좋더