[자율주행 AI 챌린지] 점수

[한윤지]

Center-based 논문: https://arxiv.org/pdf/2006.11275

Center-based 논문에 FLOPs는 나와있지 않음

--> 1차 평가 계산 불가능

논문에는 Cyclist mAP 점수가 빠져있음

--> 따라서 Openpcdet에 나와있는 점수 사용함

공식점수로 Vehicle L2 mAP = 62.18, Pedestrian L2 mAP = 65.06, Cyclist L2 mAP = 62.98 이다.

공식: (62.18+65.06+62.98)/3

결과: 63.4 (소수 둘째 자리 반올림)

추론시간표

추론 시간은 Titan RTX GPU + Intel i7 CPU 환경에서, 프레임 단위 latency(ms/frame)로 측정

T_inf=T_proposal(Stage1(proposal network) 추론시간)+T_refine(Stage2(refinement network) 추론시간)

--> First Stage만 쓸때 T_inf=56ms (속도↑ )

--> Refine 모듈 붙을 때 T_inf=56ms+6~8ms=62~64ms (성능↑, 속도↓)

refine단계?

• First Stage가 뽑은 후보 박스를 한번 더 보정하는 2단계 구조
• 각 proposal box 안에서 중심점(Box Center), 표면점(Surface Center), 혹은 Dense Sampling으로 포인트를 다시 뽑아 더 정밀하게 피처를 추출 → classification & box regression을 한 번 더 수행

논문에서는 추론속도를 Titan RTX GPU를 사용해 구하였는데, 이것을 RTX 4090으로 변환하겠다.

Titan RTX: FP32 16.3 TFLOPS, BW 672 GB/s

RTX 4090: FP32 82.6 TFLOPS, BW 1008 GB/s

<단순연산량 기준성능 비율>

비율이 5.1이므로 Titan RTX에서 추론속도가 First Stage만 쓸 때 56ms, Refine 모듈 붙을때 62~64ms이므로

RTX 4090 추론속도는

First Stage=56ms/5.1=11ms

Refine 모듈=62~64ms/5.1=12~12.5ms 

점수공식

점수공식으로 최종점수 계산해보면 First stage만 쓸때와 Refine 모듈 붙을때 모두 20ms를 넘기지 않으므로 추론속도 패널티가 없어 mAP점수 그대로 나온다.

최종점수=mAP(63.4)

근데 성능이 5.1배 차이날리가 없으니 추론속도 공식은 잘못되었다. 다른 방법을 찾아보겠다

<test.py 코드 분석>

https://www.notion.so/test-py-24e2480fddb1802fa4acd8dfb4ce885f?source=copy_link

[Sungryul Lee]

올해 score 공식으로 구해야지 다시하세요

[한윤지]

수정완료하였습니다

[Sungryul Lee]

추론시간을 어떻게 측정한건지 설명할것
3090에서 측정한 Tinf를 4090으로 환산할것
Tinf 단위 확인할것 ms or sec ?
어제 얘기한 형식에 맞춰 정리해줄것

[한윤지]

게시글에 수정완료하였습니다.
추론시간은 Titan RTX을 사용하여 측정하였고, T_inf단위는 ms입니다