[LLM] 교재 및 주요논문

[Sungryul Lee]

1. 소개

LLM -> Large language Model, 거대 언어 모델

인간의 언어능력을 흉내내는 인공지능 모델

자연어 처리(NLP, natural language processing) 분야에 주로 사용되는 모델

자연어(natural language) -> 인간이 사용하는 언어로서 프로그래밍 언어(programming language)처럼 인공적으로 만들어진 언어와 구별됨

언어번역, 글쓰기, 질문에 답변하는 챗봇, 검색, 스팸메일 분류 등에 응용

최근에는 자연어 처리뿐만아니라 오디오, 비디오 등 모든 순차데이터 처리를 위한 범용 모델(파운데이션 모델)로 사용됨

대표적인 예로 GPT, Gemini, Claude 모델이 있음

내부구조는 transformer모델은 encoder+decoder 구조를 이용하지만 GPT를 포함한 대부분의 유명 LLM모델은 트랜스포머 모델의 decoder 블럭만을 이용하여 구현함

자율주행, 로봇분야에서도 비디오(동영상)와 언어를 동시에 처리하는데 사용하고 있어 필수적으로 공부해야함

특히, 휴머노이드 분야에서 인간의 자연어 명령을 이해하고 비전기술을 이용하여 실세계공간에서 작업을 수행하는 VLA 모델에 필수적임

2. 교재

(1) 밑바닥부터 만들면서 배우는 LLM, 세바스찬 라시카, 2025년, 길벗출판사

https://product.kyobobook.co.kr/detail/S000217570241

아마존에서 베스트셀러로 유명한 교재

파이토치 기초만 알면 LLM을 구현하는데 필요한 기초부터 응용까지 모든것을 설명해줌

LLM모델중 GPT2모델의 구현, 훈련, 추론하는 전과정을 자세히 알려줌

너무나 쉽게 잘써서 트랜스포머의 핵심내용인 임베딩, 셀프 어텐션, 층정규화 등 기초개념을 쉽게 이해할수 있음

모든 예제는 GPT2 모델을 이용하고 데스크탑에서 실습할수 있음

응용과제로 스팸메일분류예제와, 질문에 응답하는 챗봇예제가 들어있음

공부방법

파이썬, 파이토치, 신경망(훈련, 추론) 대한 기초지식 필요

부록의 파이토치 소개 먼저 공부(파이토치 핵심내용을 잘 요약함) 후 본문을 순서대로 공부하면 됨

(2) 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습, 윤대희 저, 위키북스, 2023년 https://product.kyobobook.co.kr/detail/S000209621433

인공지능 기초부터 자연어처리, 비전처리까지 전범위를 잘 정리하고 있음, 

세바스찬  라시카의 교재를 보고 이건 참고만 할것

3. 활용방향

최근의 자율주행 및 로봇제어에 사용되는 VLA 모델과 비전+자연어 처리용 VLM 모델은 ViT와 LLM을 사용하고 있음

자율주행 End to end 모델은 동영상을 받아서 추종경로를 생성하는 모델 -> 전형적인 순차 또는 시계열데이터를 처리하는 모델임 -> 트랜스포머나 LLM 사용필수 

따라서, 최신 연구논문을 이해하려면 반드시 공부해야하고 자율주행, 로봇제어에 자연어처리 기능을 융합하여 활용가능

4. 주요논문

(1) 서베이(survey) 논문

Large Language Models: A Survey, 2025 -> 최근까지 llm분야 연구동향을 잘 정리

https://arxiv.org/abs/2402.06196

Instruction Tuning for Large Language Models: A Survey, 2025 -> 선행학습된 LLM을 목적에 맞게 fine-tuning하는 기법 서베이논문

https://arxiv.org/pdf/2308.10792

LLM 분류

encoder only model

BERT -> 주로 문장분류, 인식에 응용

decoder only model

GPT, Gemini, Claude, LLama 등 -> 다음단어 예측문제, 챗봇에 응용

encoder-decoder model

BART, T5 -> 번역, 새로운 문장생성에 응용

zero-shot learning

AI 모델이 훈련 과정에서 한 번도 본 적 없는 데이터나 클래스를 추가 학습 없이 추론하고 분류하는 학습 기법

훈련데이터에는 없어도 클래스의 특성이나 속성에 대한 정보를 미리 알고있어야함

예를 들어, 영상분류모델에서 얼룩말 영상이 훈련데이터는 없어도 얼룩말에 대하여 설명한 텍스트 정보를 미리학습하였다면 영상 데이터의 특징과 언어적 특징의 매칭을 통하여 얼룩말을 분류한다.

one-shot learning

클래스별로 1개의 훈련데이터만을 이용하여 학습하여 클래스를 분류하도록 하는 학습기법

few-shot learning

클래스별로 아주적은 양의(2~5개) 훈련데이터만을 학습하여 클래스를 분류하도록 하는 학습기법

학습의 차이 요약

Zero-shot: 예시 0개 (설명만 듣고 맞힘)

One-shot: 예시 1개 (한 번 보고 맞힘)

Few-shot: 예시 2~10개 내외 (몇 번 보고 맞힘)

RLHF(Reinforcement Learning from Human Feedback)

AI 모델이 사람의 가치관이나 의도에 더 적합하게 행동하도록 사람의 피드백을 직접 강화학습에 활용하는 기술

모델이 인간의 질문에 여러개의 답변을 주고 인간이 좋아하는 답변을 선택하면 인간이 좋아하는 방향으로 강화하는 학습을 수행

inference vs. reasoning 차이중요

기존의 모델은 입출력사이의 상관관계(correlation)를 모델링

llm은 입출력사이의 인과관계(causation)를 모델링하는것이 가능하고 다단계 추론(COT, chain of thought)이 가능함 -> 훈련데이터도 ㅇ인과관계 또는 COT를 학습할수 있도록 만들고 훈련해야함 -> 추론결과에 대한 설명가능한 인공지능(explainable AI)이 가능해짐

(2) GPT, OpenAI

GPT1 -> https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf

GPT2  -> https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

GPT3 -> https://arxiv.org/abs/2005.14165

GPT4 -> https://arxiv.org/abs/2303.08774

진정한 LLM의 최초모델로 인정받음

GPT1,2는 open source로 개발되어 가중치가 공개되어있으나 GPT3부터는 비공개

(3) Gemini, Google

Gemini: A Family of Highly Capable Multimodal Models, 2023

https://arxiv.org/abs/2312.11805

Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic Capabilities, 2025

https://arxiv.org/abs/2507.06261

(4) Claude, Anthropic

연구결과를 논문으로 발표하지 않고 사내사이트에 보고서형식으로 공개함

Claude 연구 보고서 사이트

https://transformer-circuits.pub/

Constitutional AI: Harmlessness from AI Feedback, 2022

https://arxiv.org/abs/2212.08073 

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, 2023 -> 기술 보고서

https://transformer-circuits.pub/2024/scaling-monosemanticity/#h.ixuncga3akhk

On the Biology of a Large Language Model, 2025  -> 기술 보고서

https://transformer-circuits.pub/2025/attribution-graphs/biology.html

(5)  LLaMA: Open and Efficient Foundation Language Models, 2023, Meta

-> 매개변수(크기)는 훨씬 작지만, 더 많은 양의 데이터를 오랫동안 학습시켜 효율성을 극대화하고 오픈소스 생태계에 기여한 메타(Meta)의 대규모 언어 모델(LLM), 오픈소스 LLM임

https://github.com/meta-llama/llama

5. 블로그자료

https://okky.kr/user/191669/articles/1558278