졸업작품 조사(2)

[신민서]

---

VLM 조사

---

1. moondream2

캡션 생성, 시각적 질문 답변, 객체 탐지 ​​등 일반적인 이미지 이해 작업

https://moondream.ai/

https://docs.moondream.ai/quickstart/

https://huggingface.co/vikhyatk/moondream2

https://github.com/m87-labs/moondream

https://github.com/m87-labs/moondream/blob/main/requirements.txt

https://docs.moondream.ai/finetuning

RL: 주관적인 답or 답이 여러 개일 때, 학습 데이터가 적을 때

SFT: 정확한 정답이 있을 때

2. Qwen2.5-VL

시각적 이해, 장시간 영상 이해 가능, 이미지 내 객체 위치 파악 가능 (json)

https://arxiv.org/pdf/2502.13923

https://huggingface.co/collections/Qwen/qwen25-vl

https://github.com/QwenLM

https://github.com/QwenLM/Qwen3-VL/tree/main/qwen-vl-finetune

3. Owen2.5-Omni

비전 + 음성 동시 처리 가능

https://arxiv.org/pdf/2503.20215

https://github.com/qwenlm/qwen2.5-omni

https://huggingface.co/Qwen/Qwen2.5-Omni-7B

4. LLaVA 1.6

시각 및 언어 이해 모델

https://ollama.com/library/llava:v1.6

https://github.com/arielnlee/LLaVA-1.6-ft

https://huggingface.co/llava-hf/llava-v1.6-mistral-7b-hf

https://github.com/arielnlee/LLaVA-1.6-ft/blob/main/pyproject.toml

5. Phi-4-Multimodal

이미지 + 음성 + 텍스트 동시 처리 (Microsoft)

https://arxiv.org/pdf/2503.01743

https://huggingface.co/microsoft/Phi-4-multimodal-instruct

https://github.com/marketplace/models/azureml/Phi-4-multimodal-instruct

6. MiniCPM-o

이미지 + 음성 + 텍스트 통합

https://github.com/OpenBMB/MiniCPM-V

https://huggingface.co/openbmb/MiniCPM-o-2_6

https://github.com/OpenBMB/MiniCPM-V/blob/main/requirements_o2.6.txt

7. SmolVLM

경량, 시각적 질문 답변, 객체 탐지 ​​등 일반적인 이미지 이해 작업

https://arxiv.org/pdf/2504.05299

https://huggingface.co/blog/smolvlm

https://github.com/huggingface/blog/blob/main/smolvlm2.md

---

한국어 지원

---

1. Owen2.5-Omni

한국어 음성 입력: O

음성 출력: X

https://github.com/QwenLM/Qwen2.5-Omni/issues/219

[Fine-tuning for other languages] How to obtain or train "qwen-tts-tokenizer" used in Qwen2.5-Omni? · Issue #219 · QwenLM/Qwen

Qwen2.5-Omni를 한국어 음성 출력에 적용하려 했을 때,

내부 qwen-tts-tokenizer가 영어·중국어 이외 언어 학습 데이터를 위한 공개 방법이 없어

한국어 TTS 파인튜닝이 어렵다고 언급

2. Phi-4-Multimodal

한국어 음성 입력: O

음성 출력: X

음성 모달의 한국어는 기본 모델에서 성능이 매우 낮지만,

커뮤니티에서 파인튜닝으로 해결한 사례 있음

https://huggingface.co/daekeun-ml/Phi-4-multimodal-finetune-ko-speech

daekeun-ml/Phi-4-multimodal-finetune-ko-speech · Hugging Face

HuggingFace에 공개된 daekeun-ml/Phi-4-multimodal-finetune-ko-speech 모델

다만 TTS 출력은 미지원임

3. MiniCPM-o 2.6

한국어 음성 입력: X

음성 출력: X

https://github.com/OpenBMB/MiniCPM-V/blob/main/README.md

MiniCPM-V/README.md at main · OpenBMB/MiniCPM-V

음성 모달 자체는 영어·중국어 중심이라 한국어 음성 대화는 공식 미지원

4. Qwen3-Omni

한국어 음성 입력: O

음성 출력: O

https://github.com/QwenLM/Qwen3-Omni

https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct

https://www.siliconflow.com/models/qwen3-omni-30b-a3b-instruct

---

RTX 4070 (VRAM 12G)

---

Model	Parameter	추론 VRAM	추론 가능?	추론 속도 (Q4)	LoRA 파인튜닝?	파인튜닝 VRAM	Web
moondream2	1.9B	~4GB	O		O	~6GB
SmolVLM	2B	~4GB	O	60~100 tok/s	O	~4GB	https://arxiv.org/html/2603.03380
LLaVA1.6	7B	~3.9B	O	45~55 tok/s	QLoRA	~10GB	https://singhajit.com/llm-inference-speed-comparison/
Qwen2.5-VL	7B	~8GB	O		QLoRA	~11GB
Phi-4-Multimodal	5.6B	~6GB	O	40~55 tok/s	QLoRA	~10GB	https://www.promptquorum.com/local-llms/local-llm-hardware-guide-2026
MiniCPM-o 2.6	8B	~9GB	O	~30~45 tok/s	△	~12GB (경계)	https://github.com/QwenLM/Qwen2.5-Omni
Qwen2.5-Omni	7B	~11GB	X		X
Qwen3-Omni	30B	~17GB	X		X

https://singhajit.com/llm-inference-speed-comparison/

https://willitrunai.com/can-run/qwen-2.5-14b-on-rtx-4070-12gb

tok/s: 1초에 단어 몇 개 생성하는지

30 이상부터 실시간 지원 O

QLoRA: 적은 메모리로 파인튜닝하는 방법

Q4 양자화 시킨 후 LoRA 파인튜닝 한다는 뜻

https://storycompiler.tistory.com/428

---

Jetson AGX Orin 64GB

---

Model	추론 속도 (Q4)	LoRA 파인튜닝?	Web
moondream2		O
SmolVLM		O
LLaVA1.6		O
Qwen2.5-VL		O
Phi-4-Multimodal		O
MiniCPM-o 2.6		O
Qwen2.5-Omni		O
Qwen3-Omni		O

https://developer.nvidia.com/embedded/jetson-benchmarks

https://www.jetson-ai-lab.com/archive/benchmarks.html#__tabbed_2_3

[Sungryul Lee]

후보1 -> smolVLM2(2.2B) + STT Large(1.55B)
STT 모델종류, 성능, 한국어지원여부, orin에서 실행가능성 조사할것