[자율주행 AI 챌린지] motion prediction finetuning(마지막)

[김위제]

https://cafe.daum.net/SmartRobot/RoVa/2777

Daum 카페

이전 보고서에서 회전 씬에서의 문제로 인해 회전 씬을 늘리고 과적합이 문제가 될꺼같아 agent 자체를 드롭아웃 하였는데

agent를 드롭아웃 하는게 아닌 agent에 state를 드롭아웃하는게 맞는 방법인거 같다고 생각하였다.

또한, 모델이 다음 움직임을 예측할 때, 지도나 다른 에이전트와의 상호작용 대신 자기 자신의 가장 최근 관측 상태(최근 위치·헤딩)에 과도하게 의존하여 등속으로 이어 그리는 방식 관성 외삽으로 학습될 위험이 있다고 생각하였다.

적용한 방식

1. state에 대한 drop out 

기존 무작위 마스킹과 별도로, 
확률 p로 가장 최근에 관측된 토큰 n개를 확실하게 가리는 장치를 추가했다. 
이것이 적용되면 그 에이전트는 해당 학습 스텝에서 "방금까지 어떻게 움직이고 있었는지"에 대한 자기 참조 기억이 완전히 끊긴 상태로 다음 토큰을 예측해야 하므로, 지도·상호작용 맥락에 더 의존하도록 유도하였다.

2. Overprediction 보조손실 추가

SMART의 기본 학습 손실은 매 시점에서 0.5초 뒤(바로 다음 토큰)만 맞히도록 설계되어 있어서

이로 인해 모델의 특징은 "바로 다음 스텝을 맞히는 데 필요한 정보"만 담아도 충분하며, 그보다 먼 미래에 대한 학습 신호가 전혀 존재하지 않기 때문에

특히 회전처럼 변화가 한 스텝 늦게 드러나는 상황에서는 약점으로 작용할수 있다고 생각하였다.

예를들어
교차로에서의 좌회전 같은 경우도 다음 스텝까지는 직진처럼 보이는 경우가 많기 때문에, 모델이 지도 곡률이나 차선 변화 같은 조짐을 미리 특징에 반영할 이유가 없기 때문이다.

DONUT(arXiv 2506.06854)의 overprediction 기법을 사용해서,
한 스텝 더 먼 미래(t+2)까지 맞히는 보조 헤드를 추가 하였다.

DONUT 원 논문에서도  45도 이상 급격한 회전 구간에서의 개선이, 이는 우리의 목표(회전 약점 보완)와 일치한다고 생각 했다.

https://arxiv.org/pdf/2506.06854

학습 진행중 15 epoch 30 epoch 까지 진행 예정