[E2EAD] End-to-End Autonomous Driving

[Sungryul Lee]

0. 개요

- 지금까지는 자율주행의 3대기능 인지,판단,제어 중 인지기능을 E2E 모델로 구현하는 것을 주로 공부했으나 현재 추세는 판단, 제어기능까지 AI로 처리하는 완전한 End to End 자율주행 모델(센서데이터를 입력으로 받고 주행 경로 또는 액추에이터 제어신호를 생성-> 자율주행의 모든 기능을 AI로 처리하는 모델)  개발을 목표로 연구가 진행되고 있음

- 아래 논문의 내용을 Carla 시뮬레이터에서 구현해보고 새로운 아디디어를 반영하여 성능을 개선해보는 내용을 졸업작품으로 고려해볼것 -> 멀티모달과 트랜스포머를 기본적으로 알아야 해서 이걸 하고 나면 AI 최신기술까지 모두 경험해보는 기회가 될것임

- 대부분의 연구가 transformer 모델에 기반하고 있기 때문에 Transformer 모델에 대한 공부가 필요함 ->  [3DOD] 6. Multi-modal 3d object detection 주요 논문 게시글 참고

1. 서베이 논문

End-to-end Autonomous Driving: Challenges and Frontiers, 2024

https://arxiv.org/abs/2306.16927

https://github.com/OpenDriveLab/End-to-end-Autonomous-Driving

-> E2E 자율주행분야 서베이 논문

End-to-End Autonomous Driving in CARLA: A Survey, 2024

https://ieeexplore.ieee.org/document/10704612

-> Carla 기반의 E2E 자율주행분야 서베이 논문

Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey, 2023

https://arxiv.org/abs/2307.04370

-> E2E 자율주행분야 서베이 논문

2. 주요논문

CIL, TransFuser, TCP -> 3대 기초 모델(3 baseline models for E2EAD)

CIL : End-to-end Driving via Conditional Imitation Learning, 2018

https://arxiv.org/abs/1710.02410

TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving, 2022

https://arxiv.org/abs/2205.15997

https://github.com/autonomousvision/transfuser

-> E2E 자율주행 모델 논문으로 Carla 시뮬레이터를 이용하여 실험수행

TCP : Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline, 2022

https://arxiv.org/abs/2206.08129

-> 단순히 카메라 영상에서 바로 조향값(Control)을 예측하는 기존 엔드투엔드 방식과 달리, 먼저 미래 경로(Trajectory)를 예측하고 이를 기반으로 제어 명령(Steer, Brake, Throttle)을 생성, 해석가능성을 향상시킴

InterFuser: Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer, 2022

-> 경유점외에도 객체밀도맵, 교통신호정보까지 추론하여 미래궤적을 예측하고 제어수행함

https://arxiv.org/abs/2212.10156

https://github.com/opendilab/InterFuser

UniAD: Planning-oriented Autonomous Driving, 2023

->  인지, 예측, 계획, 제어 모듈을 독립적으로 설계하여 통합하는 모듈러 설계방식 제안

https://arxiv.org/abs/2212.10156

https://github.com/OpenDriveLab/UniAD

-> the pioneering work showcasing the potential of end-to-end autonomous driving, NAVSIM 이용 실험

TransDiffuser: Diverse Trajectory Generation with Decorrelated Multi-modal Representation for End-to-end Autonomous Driving, 2025

https://arxiv.org/abs/2505.09315

-> 주행 궤적 생성 논문,  NAVSIM 이용 실험

OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model, 2025

-> 인간의 자연어 명령을 이해하고 자율주행하는 VLA 모델 논문

https://arxiv.org/abs/2503.23463

https://drivevla.github.io/

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail, 2025

-> Nvidia의 자율주행 모델 Alpamayo 을 다룬 논문, VLA기반 모델임, COT(chain of thought) dataset, SFT(self fine tuning), RLHF( reinforcement learning with human feedback) 이용한 학습, 액션의 판단근거를 텍스트로 설명해줌, 최신 ai기술을 총동원한 SOTA 모델

https://arxiv.org/abs/2511.00088

https://github.com/NVlabs/alpamayo