<![CDATA[
<div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/6dd567e8ecf355cd4fe142d66188a15b569a020c" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/6dd567e8ecf355cd4fe142d66188a15b569a020c" data-origin-width="1288" data-origin-height="550"><div class="figcaption">2025년 자율주행 AI 챌린지평가기준</div></div><p>이번대회에 작년과 다르게 베이스라인 대비 FLOPs(연산)가 2배 초과하는 모델은 탈락이라는 기준이 있다.</p><p>베이스라인 모델은 Centerpoint-pillars이므로 CenterPoint-Pillars의 연산량과 추론속도를 알아야 다른 모델과 비교하여 더 좋은 모델을 고를 수 있기 때문에 한번 훈련을 시켜 연산량과 추론속도를 구하기로 해보았다.</p><p>일단 평가기준은  Waymo 3D object Detection 지표를 사용한다고 하였다.</p><p> </p><p style="text-align: start;"><span style="background-color: #ffc9af;"><b><waymo 지표 계산 방식></b></span></p><p style="text-align: start;"><b>1. 클래스별 성능 측정</b></p><p style="text-align: start;">- Vehicle, Pedestrian, Cyclist (3종)</p><p style="text-align: start;">각 클래스마다 <b>mAP</b>과 <b>mAPH</b>를 계산</p><ul style="list-style-type: disc;" data-ke-list-type="disc"><li><b> mAP (mean Average Precision)</b><br>: 클래스별로 <b>3D IoU (Intersection over Union) 기준</b>을 만족하는 검출이 얼마나 정확한지 평가</li><li><b>mAPH (heading 고려한 mAP)</b><br>: mAP에 <b>방향(orientation) 정확도</b>까지 포함한 지표.<br>→ 검출된 bounding box가 올바른 위치/크기일 뿐 아니라 차량의 앞뒤 방향(yaw)까지 제대로 예측했는지 평가</li></ul><p style="text-align: start;">- IoU 기준: Vehicle ≥ 0.7, Pedestrian ≥ 0.5, Cyclist ≥ 0.5</p><p style="text-align: start;"> </p><p style="text-align: start;"><b>2. 거리 구간별 성능 분리</b></p><p style="text-align: start;">0–30m, 30–50m, 50m+ (3개 구간)</p><p style="text-align: start;"><span style="color: #333333; background-color: #ffffff;" data-ke-size="size16">→ </span> 각 구간마다 mAP, mAPH 계산</p><p style="text-align: start;"><b>3. 난이도 기준</b></p><p style="text-align: start;">LEVEL 1: 라벨 포인트 ≥ 5</p><p style="text-align: start;">LEVEL 2: 라벨 포인트 ≥ 1 (<b>더 어려움</b>)<br>→  즉, L2가 더 난이도가 높음 (희미하게 보이는 객체도 포함)</p><p style="text-align: start;"><span style="color: #333333; background-color: #ffffff;" data-ke-size="size16">→ </span> 모든 지표(mAP, mAPH)는 L1, L2로 나눠서 별도로 보고됨</p><p style="text-align: start;">→  리더보드 최종 점수는 <b>LEVEL 2 기준</b></p><p style="text-align: start;"> </p><p style="text-align: start;"><b>4. 최종 점수(mAPH @ LEVEL 2)</b></p><p style="text-align: start;">클래스 3개 × 거리 3개 = 총 9개 성능 지표</p><p style="text-align: start;">각 지표의 <b>mAPH</b>를 평균 내서 최종 점수로 사용</p><p style="text-align: start;"> </p><p style="text-align: start;"><span style="color: #ee2323;"><b>최종수식</b></span></p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/5a45668b556942c56f10331feaee60a1636eb34c" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/5a45668b556942c56f10331feaee60a1636eb34c" data-origin-width="1242" data-origin-height="142"></div><p><span style="background-color: #ffc9af;"><b><waymo 지표와 KITTI지표의 비교></b></span></p><div class="table-wrap"><table data-ke-type="table" data-ke-align="alignLeft" style="width: 100%; height: 278px;" border="1"><tbody><tr style="height: 18px;"><td style="width: 20.0505%; height: 18px; text-align: center;"><b>항목</b></td><td style="width: 25.3467%; height: 18px; text-align: center;"><b>KITTI</b></td><td style="width: 54.4767%; height: 18px; text-align: center;"><b>Waymo Open Dataset</b></td></tr><tr style="height: 18px;"><td style="width: 20.0505%; height: 18px;"><b>평가 클래스</b></td><td style="width: 25.3467%; height: 18px;">Car, Pedestrian, Cyclist (3종)</td><td style="width: 54.4767%; height: 18px;">Vehicle, Pedestrian, Cyclist (3종)</td></tr><tr style="height: 54px;"><td style="width: 20.0505%; height: 54px;"><b>IoU 기준</b></td><td style="width: 25.3467%; height: 54px;">Car: 0.7<br>Pedestrian: 0.5<br>Cyclist: 0.5</td><td style="width: 54.4767%; height: 54px;">동일 (Vehicle: 0.7, Pedestrian: 0.5, Cyclist: 0.5)</td></tr><tr style="height: 36px;"><td style="width: 20.0505%; height: 36px;"><b>거리 구간</b></td><td style="width: 25.3467%; height: 36px;">없음 (전체 대상)</td><td style="width: 54.4767%; height: 36px;">0–30m, 30–50m, 50m+ (multi-range 평가)<br>→ KITTI와 다르게 <b>거리 구간별(multi-range)</b> 성능을 별도로 측정</td></tr><tr style="height: 44px;"><td style="width: 20.0505%; height: 44px;"><b>난이도 구분</b></td><td style="width: 25.3467%; height: 44px;">Easy, Moderate, Hard (occlusion, truncation 기준)</td><td style="width: 54.4767%; height: 44px;">LEVEL 1 (≥ 5 points), LEVEL 2 (≥ 1 point)</td></tr><tr style="height: 36px;"><td style="width: 20.0505%; height: 36px;"><b>지표 종류</b></td><td style="width: 25.3467%; height: 36px;">AP (Average Precision)</td><td style="width: 54.4767%; height: 36px;"><b>mAP (mean Average Precision), </b><b>mAPH (heading 고려한 mAP)</b></td></tr><tr style="height: 36px;"><td style="width: 20.0505%; height: 36px;"><b>방향(Heading) 평가</b></td><td style="width: 25.3467%; height: 36px;">없음</td><td style="width: 54.4767%; height: 36px;">포함 (mAPH: 박스 방향까지 정확히 맞췄는지 평가)</td></tr><tr style="height: 36px;"><td style="width: 20.0505%; height: 36px;"><b>최종 리더보드 점수</b></td><td style="width: 25.3467%; height: 36px;">AP (Car Moderate, etc.)</td><td style="width: 54.4767%; height: 36px;">mAPH (LEVEL 2, 전체 거리 평균)</td></tr></tbody></table></div><p> </p><p> </p><p> </p><p><span style="background-color: #ffc9af;"><b><훈련></b></span></p><p>작년 자율주행 AI 챌린지의 3D 동적객체 데이터셋으로 훈련진행</p><p>--> 작년꺼 베이스라인 코드 다운받아 훈련 진행</p><p><a href="https://epretx.etri.re.kr/dataDetail?lang=ko&id=411" target="_top" class="ke-link">ETRI 기술체험 플랫폼</a></p><div class="figure-open" contenteditable="false" data-ke-type="opengraph" data-ke-align="alignCenter" data-og-type="website" data-og-title="ETRI 기술체험 플랫폼" data-og-description="[자율주행 인공지능 챌린지] 3차원 동적객체 검출 데이터셋 자율주행" data-og-host="epretx.etri.re.kr" data-og-source-url="https://epretx.etri.re.kr/dataDetail?lang=ko&id=411" data-og-url="https://epretx.etri.re.kr/dataDetail?id=411&lang=ko" data-og-image="https://scrap.kakaocdn.net/dn/PqkoI/hyZDQ3MsvH/Fc8XHwQFoRHeICosAfFcb1/img.png?width=1711&height=867&face=0_0_1711_867,https://scrap.kakaocdn.net/dn/VFVTY/hyZCXoTNTU/RsFOeP3LJL7EwCM458o9JK/img.png?width=997&height=688&face=0_0_997_688,https://scrap.kakaocdn.net/dn/oR1jo/hyZC6F7SVc/BVQF1lUQQGLDOKhQac3wZ1/img.png?width=1044&height=588&face=549_419_659_529"><a href="https://epretx.etri.re.kr/dataDetail?lang=ko&id=411" target="_blank" data-source-url="https://epretx.etri.re.kr/dataDetail?lang=ko&id=411"><div class="og-image"><img class="thumb_img" src="https://scrap.kakaocdn.net/dn/PqkoI/hyZDQ3MsvH/Fc8XHwQFoRHeICosAfFcb1/img.png?width=1711&height=867&face=0_0_1711_867,https://scrap.kakaocdn.net/dn/VFVTY/hyZCXoTNTU/RsFOeP3LJL7EwCM458o9JK/img.png?width=997&height=688&face=0_0_997_688,https://scrap.kakaocdn.net/dn/oR1jo/hyZC6F7SVc/BVQF1lUQQGLDOKhQac3wZ1/img.png?width=1044&height=588&face=549_419_659_529" alt="" xxxxonerror="this.src="//img1.kakaocdn.net/thumb/C200x200/?fname=https%3A%2F%2Ft1.daumcdn.net%2Fcafe_image%2Fcafe_meta_image_190529.png""></div><div class="og-text"><p class="og-title">ETRI 기술체험 플랫폼</p><p class="og-desc">[자율주행 인공지능 챌린지] 3차원 동적객체 검출 데이터셋 자율주행</p><p class="og-host">epretx.etri.re.kr</p></div></a></div><p> </p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/940ee5ec129d7ffc31a04e6db941b63520eb0186" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/940ee5ec129d7ffc31a04e6db941b63520eb0186" data-origin-width="1110" data-origin-height="1432"><div class="figcaption">작년 자율주행 AI 챌린지 가이드라인</div></div><div class="figure-file" data-ke-type="file" data-file-src="https://t1.daumcdn.net/cafeattach/1RgNt/00835f95ee4a8f5a75f6cc168d8498da45fa799c?download" data-file-name="3D 객체 검출 모델(차량) 활용 메뉴얼.docx" data-file-size="573456" data-mimetype="application/vnd.openxmlformats-officedocument.wordprocessingml.document" data-ke-align="alignCenter"><a href="javascript:checkVirus('grpid%3D1RgNt%26fldid%3DRoVa%26dataid%3D2328%26fileid%3D10%26regdt%3D20250825140035&url=https%3A%2F%2Ft1.daumcdn.net%2Fcafeattach%2F1RgNt%2F00835f95ee4a8f5a75f6cc168d8498da45fa799c')"><div class="image"></div><div class="desc"><div class="filename"><span class="name">3D 객체 검출 모델(차량) 활용 메뉴얼</span><span class="type">.docx</span></div><div class="size">560.02KB</div></div></a></div><p>활용 메뉴얼 대로 따라하면 훈련 가능함</p><p>pre-trained 모델은 따로 사용하지 않았고, CenterPoint-Pillars로 훈련을 진행중임.</p><div class="figure-img" data-ke-type="image" data-ke-style="alignLeft" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/6d851c24aabfd321af4110a4a6c870d91dd593c6" class="txc-image" width="500" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/6d851c24aabfd321af4110a4a6c870d91dd593c6" data-origin-width="4032" data-origin-height="3024"><div class="figcaption">epoch 80. 총 훈련시간 1977시간</div></div><p>훈련이 끝난 후 val.py를 돌릴때 --infer_time 옵션을 주면 추론시간 기록해줌</p><div class="figure-img" data-ke-type="image" data-ke-style="alignLeft" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/b1151cc1f987495484ed6aca200eae99e03ab7b8" class="txc-image" width="500" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/b1151cc1f987495484ed6aca200eae99e03ab7b8" data-origin-width="1154" data-origin-height="230"><div class="figcaption">여기에 --infer_time만 붙여주면 됨</div></div><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/ce8e5654c9aa4b30e7e25ac87c2648f17a1e2180" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/ce8e5654c9aa4b30e7e25ac87c2648f17a1e2180" data-origin-width="1656" data-origin-height="38"><div class="figcaption">val.py에 나와있음</div></div><p>--infer_time 옵션을 주면 eval‎_utils.py에서 추론시간 기록용 AverageMeter 준비한다.</p><div class="figure-img" data-ke-type="image" data-ke-style="alignLeft" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/802d695b2498c4ed5243bd95142171d71065a511" class="txc-image" width="500" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/802d695b2498c4ed5243bd95142171d71065a511" data-origin-width="852" data-origin-height="142"></div><p>그다음 각 배치마다 time.time()으로 시작/끝을 기록해서 ms 단위로 저장한다.<br>→ 현재 배치 시간(val)과 평균 시간(avg)을 tqdm 프로그레스바에 표시</p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/3c5c62dc61027ed4b8967ff8aedc0a8b2bacc1c2" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/3c5c62dc61027ed4b8967ff8aedc0a8b2bacc1c2" data-origin-width="1464" data-origin-height="522"></div><p>결과적으로 eval‎uation 끝나면 평균 추론 시간이 로그에 찍힌다.</p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/1RgNt/df21af93df48aec6e8918584d7436e40a4202aeb" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/1RgNt/df21af93df48aec6e8918584d7436e40a4202aeb" data-origin-width="1374" data-origin-height="84"></div><p> </p><p> </p><p>추론시간은 베이스라인코드가 알아서 구해주는데 FLOPs(연산량)은 직접 구하는 코드를 작성해야함.</p><p> </p>
<!-- -->
]]>
카페 게시글
과제게시판
[자율주행 AI 챌린지] CenterPoint-Pillars
한윤지
추천 0
조회 98
25.08.25 14:00
댓글 5
다음검색
첫댓글 1. FLOPs 논문에 나와있는지 조사해볼것
2. 논문에 나와있는 mAP, FLOPs를 찾아서 점수 계산해볼것
3. 설마 1977시간을 기다릴건지 어떻게 할건지 답해볼것
4. 텐서보드로 실시간 모니터링 확인가능한지?
5. 작년에 최종점수구하는 코드를 소스분석할것
6. 오늘내로 모두 완료할것
3. pre-trained모델로 백본 freeze 해 훈련을 돌릴겁니다.
4. 실시간 모니터링 가능합니다
왜 빨리 안하냐?
해서 새로운 게시글로 올린겁니다!
@한윤지 새로운 게시글은 어디있는데?