졸업작품 조사(2)

[김위제]

파라미터가 3B 미만의 VLM모델 비교

---

https://huggingface.co/blog/smolvlm

SmolVLM - small yet mighty Vision Language Model

Model	MMMU(val)	MathVista(testmini)	MMStar(val)	DocVQA(test)	TextVQA(val)	Min GPU RAMrequired (GB)
SmolVLM	38.8	44.6	42.1	81.6	72.7	5.02
Qwen2-VL 2B	41.1	47.8	47.5	90.1	79.7	13.70
InternVL2 2B	34.3	46.3	49.8	86.9	73.4	10.52
PaliGemma 3B 448px	34.9	28.7	48.3	32.2	56.0	6.72
moondream2	32.4	24.3	40.3	70.5	65.2	3.87
MiniCPM-V-2	38.2	39.8	39.1	71.9	74.1	7.88
MM1.5 1B	35.8	37.2	0.0	81.0	72.5	NaN

SmolVLM

https://github.com/huggingface/smollm/tree/main/vision

smollm/vision at main · huggingface/smollm

Qwen2-VL 2B

https://github.com/xwjim/Qwen2-VL

GitHub - xwjim/Qwen2-VL: Qwen2-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud.

InternVL2 2B

https://github.com/OpenGVLab/InternVL

GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表

PaliGemma 3B 448px

https://github.com/SRDdev/PaliGemma

GitHub - SRDdev/PaliGemma: Building PaliGemma from scratch, a Vision Language Model by GoogleDeepmind designed to address a broa

moondream2

https://github.com/inferless/Moondream2

GitHub - inferless/moondream2: Tiny 1.93B vision-language model optimized for on-device image-to-text tasks and edge deployment.

MiniCPM-V-2

https://github.com/OpenBMB/MiniCPM-V/tree/2.6-sft

---

평가에 사용한  benchmark category

https://arxiv.org/pdf/2501.02189

Chart graphic understanding (차트 및 그래픽 데이터 이해)

인포그래픽, 통계 그래프(막대, 꺾은선 등), 파이 차트, 복잡한 데이터 표(Table), 순서도(Flowchart) 등을 인간처럼 정밀하게 읽고 수치를 비교·해석할 수 있는지 평가

Visual reasoning (시각적 추론)

에 보이는 시각 정보와 텍스트 질문을 조합하여, 논리적 인과관계나 물리적 법칙을 고려한 '단계별 생각(Multi-step reasoning)'을 할 수 있는지 평가

• MMMU

Visual math reasoning (시각적 수학 추론)

기하학 도형, 함수 그래프 등 이미지 형태로 주어진 수학 문제를 논리적으로 풀어내는 능력을 테스트

• MathVista(testmini)

Multimodal general intelligence (멀티모달 종합 지능)

특정 분야가 아닌, 다양한 학술 및 실용 도메인 전반에서 모델이 가진 범용적인 종합 지능을 평가

• MMStar(val)
• MMMU

Visual text understanding (시각적 텍스트 이해)

이미지나 시각적 요소 안에 포함된 글자(텍스트)를 추출하고 문맥을 이해하는 능력을 평가

• DocVQA(test)
• TextVQA(val)

Min GPU RAMrequired (GB)

모델을 GPU로 Inference하기 위해 최소한으로 필요한 VRAM의 크기

---