[VLA] Vision Language Action model 주요논문

[Sungryul Lee]

0. VLA(vision language action model)

vision정보, 자연어명령을 입력으로 받아 로봇의 액션 명령(액추에이터를 구동하는 제어명령)을 생성하는 모델

인간의 자연어 명령을 이해하고 3차원 공간정보를 인식하여 로봇이 인간의 명령을 수행하도록 하는 인공지능 모델

기본적으로 멀티모달(비전+언어) 모델 -> encoder : ViT(vision transformer) + LLM(large language model) -> decoder : action token(command) 생성

바퀴형로봇(자동차), 로봇팔(매니퓰레이터), 인간형로봇(휴머노이드)에 적용가능

VLA 모델 훈련은 서버용 GPU에서 가능할것으로 보이고 데스크탑용 GPU는 선행학습된 백본을 이용하여 전이학습정도 가능할것 같음 또는 사이즈가 작은 VLA 모델은 훈련도 가능하다고 함

훈련데이터의 한계를 극복하는게 핵심(리얼월드의 경우의 수는 무한대)  -> 자동차를 이용한 실제 데이터수집(Tesla), 유튜브동영상(Google), 시뮬레이터에서 생성형 모델을 이용하여 다양한 상황 생성(Nvidia) 

inference와 reasoning 개념차이중요 -> 상관관계를 학습하느냐, 인과관계를 학습하느냐

chain of thought -> 다단계 추론 능력

zero-shot, one-shot, few-shot, -> 최소한의 훈련데이터로 추론능력 학습

Reinforcement learning: 강화학습, 훈련데이터없이 시행착오를 통하여 스스로 배우게 하는 학습방법

Imitation learning : 사람전문가의 행동을 따라하게 하는 학습방법

ViT 교재 : 컴퓨터비전과 딥러닝, 한빛아카데미, 오일석지음, 2023년 -> 11장 비전 트랜스포머 참고할것

LLM교재 : 밑바닥부터 만들면서 배우는 LLM, 세바스찬 라시카 저, 박해선 역, 길벗출판사, 2025년

강화학습교재 :

단단한 강화학습, 리처드 서튼 , 앤드류 바르토 저자(글) · 김성우 번역, 제이펍 · 2020년

강화 학습, 오일석 저자(글), 한빛아카데미 · 2025년

GPU 종류

서버용 GPU : B100, H100, A100 등 -> 수억원

워크스테이션용 GPU : RTX PRO 6000, 5000 등, 수천만원

데스크탑용 GPU : RTX 5090 등 -> 수백만원

GPU구매 -> https://www.baroai.com/

1. VLA 논문

(1) Vision-Language-Action Models: Concepts, Progress, Applications and Challenges, 2025 

최근까지 VLA  연구동향을 정리한 서베이 논문

https://arxiv.org/pdf/2505.04769v1

리뷰사이트 https://seohyun00.tistory.com/33

(2) RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control,2023

Google DeepMind의 사실상 최초의 VLA 논문, 기존전용데이터셋외에 인터넷에 존재하는 방대한 데이터로 학습

RT-1 -> Robotics Transformer 1

RT-2 -> Robotics Transformer 2

https://arxiv.org/abs/2307.15818

https://robotics-transformer2.github.io/

리뷰사이트 https://seohyun00.tistory.com/7

(3) OpenVLA: An Open-Source Vision-Language-Action Model, 2024

이전모델들은 비공개였으나 오픈소스로 사용가능한 모델, 스탠포드대학에서 개발

https://arxiv.org/abs/2406.09246

https://openvla.github.io/

리뷰사이트 https://jaehoon-daddy.tistory.com/164

(4) π_0: A Vision-Language-Action Flow Model for General Robot Control, 2024

로봇제어분야의 범용모델, 오픈소스, 피지컬인텔리전스(줄여서 pi)에서 개발

https://arxiv.org/abs/2410.24164

https://www.pi.website/blog/pi0

리뷰사이트 https://seohyun00.tistory.com/11

(5) OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model, 2025

인간의 자연어 명령을 이해하고 자율주행하는 VLA 모델 논문

https://arxiv.org/abs/2503.23463

https://drivevla.github.io/

(6) GR00T N1: An Open Foundation Model for Generalist Humanoid Robots, 2025

NVIDIA Isaac GR00T N1 휴머노이드 논문

https://arxiv.org/abs/2503.14734

https://github.com/NVIDIA/Isaac-GR00T

https://blogs.nvidia.co.kr/blog/nvidia-isaac-gr00t-n1-open-humanoid-robot-foundation-model-simulation-frameworks/

(7) TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation, 2025

작고 빠른 추론속도를 가진 VLA 모델, 임베디드환경에서 사용가능한지?

https://arxiv.org/abs/2409.12514

https://tiny-vla.github.io/

리뷰 https://seohyun00.tistory.com/12

(8) Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail, 2025, Nvidia

-> Nvidia의 자율주행 모델 Alpamayo 을 다룬 논문, VLA기반 모델임, COT(chain of thought) dataset, SFT(self fine tuning), RLHF( reinforcement learning with human feedback) 이용한 학습, VLM 모델을 이용하여 액션의 판단근거를 텍스트로 설명해줌, 최신 ai기술을 총동원한 SOTA 모델

https://arxiv.org/abs/2511.00088

https://github.com/NVlabs/alpamayo

(9)  Gemini Robotics: Bringing AI into the Physical World, 2025

-> Google의 VLA 모델인 Gemini Robotics 모델에 관한 논문

https://arxiv.org/abs/2503.20020

https://blog.google/intl/ko-kr/company-news/technology/gemini-robotics-er-16-kr/

(10) SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics, Hugging Face, 2025

-> SmolVLA는 Hugging Face에서 개발한 경량 파운데이션 모델(VLA, Vision-Language-Action) 기존의 거대 모델들과 달리 저렴한 하드웨어와 제한된 연산 자원에서도 효율적인 시각-언어-행동(VLA) 제어가 가능하도록 설계되었으며, 특히 LeRobot 생태계와 긴밀하게 통합되어 데이터 효율성과 실시간 반응성을 극대화

https://arxiv.org/abs/2506.01844

2. Sim to Real

로봇제어용 AI모델 학습을 위해서 시뮬레이터를 많이 사용 -> 시뮬레이터와 현실차이 gap 발생 -> 이걸 최소하하는 방법에 관한 연구 필요

(1)  Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey, 2021

Sim-to-Real 기술 서베이 논문 

https://arxiv.org/abs/2009.13303

리뷰사이트 https://ropiens.tistory.com/182

(2) 추가예정...

3. 참고자료

Nvidia robotics

https://developer.nvidia.com/blog/category/robotics/

Figure Helix Humanoid

https://www.figure.ai/news/helix

Boston dynamics Atlas 

https://www.aparobot.com/robots/atlas-2026

https://blog.naver.com/simula/224143687495

Gemini Robotoics

https://deepmind.google/models/gemini-robotics/

ROBOTIS manipulator

https://www.robotis.com/shop/item.php?it_id=905-0042-000

LeRobot

https://smartstore.naver.com/roboseasy

Train an SO-101 Robot From Sim-to-Real With NVIDIA Isaac

https://docs.nvidia.com/learning/physical-ai/sim-to-real-so-101/latest/index.html

smolVLA, Huggingface

https://discuss.pytorch.kr/t/smolvla-450m-vision-language-action-feat-hugging-face/7226

VLA 논문리뷰 유튜브

www.youtube.com/@engiuniverse