https://kind-slip-86b.notion.site/InterFuser-TransFuser-UniAD-3558a2c2bfdb802da6d1e4ae1c79c327?source=copy_link
각 벤치마크 차이
TransFuser — Longest6
Longest6는 Town01~06에 걸쳐 36개의 긴 루트로 구성됨
약 1.5km 길이의 루트, 최대 교통 밀도, 사전 충돌 위험 시나리오를 특징으로 함
평가 지표: DS / RC / IS
InterFuser — 42routes + Town05Long
42routes.xml - Town01~06, Town10에 42개 루트
CARLA LB 1.0 공식 형식 - Longest6보다 루트 수는 많지만 길이는 짧음
Town05Long - Town05 단독 - 긴 루트 + 높은 밀도
Longest6의 Town05 구간과 유사한 난이도
UniAD — nuScenes val (원래) / Bench2Drive (v2.0)
nuScenes val (open-loop)
실도로 700개 scene - 차가 실제로 안 움직임 - GT trajectory와 L2 오차만 측정
Bench2Drive (closed-loop) - CARLA LB 2.0 기반
220개 루트, 39가지 시나리오, UniAD를 재학습시켜야 사용 가능
세 벤치마크의 핵심 차이
| Longest6 | 42routes | Bench2Drive |
| 루트 수 | 36개 | 42개 | 220개 |
| 루트 길이 | ~1.5km | 짧음 | ~200m (단위 루트) |
| CARLA 버전 | 0.9.10.1 | 0.9.10.1 | LB 2.0 |
| 시나리오 수 | 10가지 | 10가지 | 39가지 |
| 평가 방식 | Closed-loop | Closed-loop | Closed-loop |
| Town | 01~06 | 01~06, 10 | 더 다양 |
벤치마크 변경 시 뭘 바꿔야 하는가
Case 1: TransFuser에서 Longest6 → 42routes
제어 코드 변경 없음, 평가 결과만 달라짐
모델 자체는 동일하고, 리더보드가 다른 루트 파일을 읽어서 다른 경로로 차를 보내는 거인 듯
루트가 다르면 통과하는 시나리오 조합이 달라지므로 점수 자체는 다름
Case 2: TransFuser/InterFuser → Bench2Drive
제어 코드 변경 필요 없음, CARLA 버전을 변경해야 함
Bench2Drive는 CARLA Leaderboard 2.0 기반으로,
기존 Longest6나 Town05Long과는 다른 CARLA 버전에서 동작함
변경 필요한 것: CARLA 버전 업그레이드 (0.9.10.1 → LB 2.0), 루트/시나리오 파일 교체
Case 3: TransFuser/InterFuser → UniAD (nuScenes)
불가능. 평가 환경 자체가 다르기 때문임
CARLA closed-loop → 차가 실제로 움직이며 평가
nuScenes open-loop → 녹화된 영상에서 L2 오차만 측정
측정하는 것 자체가 다름 → 루트 파일 교체로 해결 X
Case 4: UniAD → Bench2Drive (CARLA)
모델을 재학습해야 성능 비교 가능
Bench2Drive의 좌표계가 BEVFormer/UniAD/VAD가 사용하는 좌표계와 다름
월드 좌표계, 자아 좌표계, 센서 좌표계를 모두 변환해야 함
또한 nuScenes는 2Hz 사용, Bench2Drive는 10Hz로 동작함
변경 필요한 것: 좌표계 변환 레이어 추가, 샘플링 주파수 맞춤 (2Hz → 10Hz), 주행 명령 체계 변경 (3가지 → 6가지),
PID 컨트롤러 추가 (UniAD는 원래 없음), CARLA 데이터로 재학습
첫댓글 나머지도 빨리 채우세요
end to end 자율주행 보고서 제목앞에 [E2EAD] 붙일것
모델별, 센서별로 측정주파수(hz) 작성할것