영상
https://www.youtube.com/live/3eVNlfKKpp4
개요
개요
주변 동적 객체의 과거 1초간 움직임 기반 향후 8초간 미래 궤적을 예측하는 인공지능 모델 개발
HD map을 이용해서 향후 30.1초 길이의 scene을 적절히 나눠서 사용
입출력
입력
과거의 1.0초와 현재 current status + HD map을 입력으로 받음
출력
주변 agent에 대해서 k(k=6)가지의 후보 궤적으로 출력을 하게됨
예측 대상
어떤 agent에 대해서 궤적 예측을 하는지는 json파일에 정의를 해놨음
평가
minADE_1 + minADE_6 + 추론속도 -> Error Score
데이터셋
하남,제주,세종으로 데이터셋 구성
waymo dataset과 거의 유사한 포멧을 가짐
자세한건 md파일에 적어놨다는거 보니 코드 공개되면 확인하면 될것같다.
train dataset
85,000개 이상의 GT를 포함한 scen을 제공해줌
test dataset
GT를 포함하지 않은 4,300개 정도의 scene을 평가 <- 하남과 제주에 대해서만 평가를 진행할 예정
challenge data 비교
roadgraph를 표현하는 방식이 waymo dataset과는 다른부분이 있음 공개되면 확인해보면 될꺼같다
dataset의 loadgraph 차이가 있는부분
load type별로 시각화 하면 다 이어져있는것 처럼 보이지만
loadgraph_id 별로 시각화를 해보면 load segment가 나눠져있는것을 확인해 볼수 있다.
그렇기 때문에 id와 type을 적절하게 섞어서 사용하면 풍부하게 사용이 가능할 것이다.
dataset 가공
data_preprocess.py를 통해 데이터셋을 가공해줌
Baseline - SMART
움직임이나 지도를 언어모델처럼 token화 해서
그다음에 올 움직임을 추론하는 모델
SMART모델이 무거운 경향이 있지만 정확도에서 괜찮은 성능을 보여 선택
원본 SMART에서 수정한 부분
SMART 모델의 경우
Candidate Trajectory를 (k=6) 6개를 뽑는 부분이 기존 모델엔 없었지만 추가 함
평가방법
Error score 기준으로 리더보드에 오름
minADE_k
minADE_1:
어떤 에이전트에 대해서 미래 궤적을 추론한것
minADE_6:
어떤 에이전트가 어디로 갈것이다라고 후보 궤적을 6개 만들어 낸것
그 6개에서 GT와 가장 가까운것 하나만 선택
model 0 = 가장 자신 있는 예측 나머지
model 1~5 = 서로다른 가능성
1/2(minADE_1+minADE_6)이
두 능력을 동시에 요구
Error Score
T_infer : 인퍼런스 걸린 시간
개선 여지
다 토큰화가 되기도 하고 장면을 6개를 예측하는 부분에서 최적화를 하는 기법을 사용한다면
발전의 여지가 있을것이라 생각
제출 포맷