자율주행 인공지능 챌린지 10.06~10.11

[이승현]

컴퓨터 환경

Os:wsl ubuntu-20.04 LTS

CPU:i7-12700 2.10 GHz

RAM: 32GB

GPU: RTX 3070

모델백본 설정

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117

CLASS_NAMES: ['Vehicle', 'Pedestrian', 'Cyclist']   DATA_CONFIG:     _BASE_CONFIG_: cfgs/dataset_configs/custom_infra_dataset.yaml       POINT_CLOUD_RANGE: [-50.0, -50.0, -4.0, 50.0, 50.0, 4.0]     DATA_PROCESSOR:         -   NAME: mask_points_and_boxes_outside_range             REMOVE_OUTSIDE_BOXES: True           -   NAME: shuffle_points             SHUFFLE_ENABLED: {                 'train': True,                 'test': True             }           -   NAME: transform_points_to_voxels             VOXEL_SIZE: [ 0.25, 0.25, 8.0 ]             MAX_POINTS_PER_VOXEL: 20             MAX_NUMBER_OF_VOXELS: {                 'train': 150000,                 'test': 150000             }     MODEL:     NAME: CenterPoint       VFE:         NAME: PillarVFE         WITH_DISTANCE: False         USE_ABSLOTE_XYZ: True         USE_NORM: True         NUM_FILTERS: [ 64, 64 ]       MAP_TO_BEV:         NAME: PointPillarScatter         NUM_BEV_FEATURES: 64       BACKBONE_2D:         NAME: BaseBEVBackbone         LAYER_NUMS: [ 3, 5, 5 ]         LAYER_STRIDES: [ 1, 2, 2 ]         NUM_FILTERS: [ 64, 128, 256 ]         UPSAMPLE_STRIDES: [ 1, 2, 4 ]         NUM_UPSAMPLE_FILTERS: [ 128, 128, 128 ]       DENSE_HEAD:         NAME: CenterHead         CLASS_AGNOSTIC: False           CLASS_NAMES_EACH_HEAD: [             ['Vehicle', 'Pedestrian', 'Cyclist']         ]           SHARED_CONV_CHANNEL: 64         USE_BIAS_BEFORE_NORM: True         NUM_HM_CONV: 2         SEPARATE_HEAD_CFG:             HEAD_ORDER: ['center', 'center_z', 'dim', 'rot']             HEAD_DICT: {                 'center': {'out_channels': 2, 'num_conv': 2},                 'center_z': {'out_channels': 1, 'num_conv': 2},                 'dim': {'out_channels': 3, 'num_conv': 2},                 'rot': {'out_channels': 2, 'num_conv': 2},             }           TARGET_ASSIGNER_CONFIG:             FEATURE_MAP_STRIDE: 1             NUM_MAX_OBJS: 500             GAUSSIAN_OVERLAP: 0.1             MIN_RADIUS: 2           LOSS_CONFIG:             LOSS_WEIGHTS: {                 'cls_weight': 1.0,                 'loc_weight': 2.0,                 'code_weights': [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0]             }           POST_PROCESSING:             SCORE_THRESH: 0.1             POST_CENTER_LIMIT_RANGE: [-60, -60, -10.0, 60, 60, 10.0]             MAX_OBJ_PER_SAMPLE: 500             NMS_CONFIG:                 NMS_TYPE: nms_gpu                 NMS_THRESH: 0.7                 NMS_PRE_MAXSIZE: 4096                 NMS_POST_MAXSIZE: 500       POST_PROCESSING:         RECALL_THRESH_LIST: [0.3, 0.5, 0.7]           EVAL‎_METRIC: waymo     OPTIMIZATION:     BATCH_SIZE_PER_GPU: 4     NUM_EPOCHS: 80       OPTIMIZER: adam_onecycle     LR: 0.003     WEIGHT_DECAY: 0.01     MOMENTUM: 0.9       MOMS: [0.95, 0.85]     PCT_START: 0.4     DIV_FACTOR: 10     DECAY_STEP_LIST: [35, 45]     LR_DECAY: 0.1     LR_CLIP: 0.0000001       LR_WARMUP: False     WARMUP_EPOCH: 1       GRAD_NORM_CLIP: 10   Colored by Color Scripter

cs

기존 백본: 2D백본은 BaseBEVBackbone , 3D백본은 설정없음

3D백본은 기존에 조사한 SECOND Backbone, PV-RCNN Backbone 두가지 중에 비교하여 선택

2D 백본은 PointPillars Backbone, BaseBEVBackbone을 비교

전이학습

위 사진을 보면 공개된 Pre-trainedModel은 사용가능하다고 명시되어있으나

주최측 댓글을 보니 "이번 대회를 위해 공개된 Pre-trained모델은 사용할 수 없습니다"라고 명시되어있음 

하이퍼파라미터

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

OPTIMIZATION:     BATCH_SIZE_PER_GPU: 4     NUM_EPOCHS: 80       OPTIMIZER: adam_onecycle     LR: 0.003     WEIGHT_DECAY: 0.01     MOMENTUM: 0.9       MOMS: [0.95, 0.85]     PCT_START: 0.4     DIV_FACTOR: 10     DECAY_STEP_LIST: [35, 45]     LR_DECAY: 0.1     LR_CLIP: 0.0000001       LR_WARMUP: False     WARMUP_EPOCH: 1       GRAD_NORM_CLIP: 10

cs

BATCH_SIZE_PER_GPU: GPU당 사용할 배치 크기-->4~10이 적당하므로 조정하여 학습할 예정

NUM_EPOCHS:  학습할 총 에포크 수 주최측에서 80으로 설정 조정하여 학습할 예정

OPTIMIZER: Adam 옵티마이저를 사용하고 있으며, 'onecycle' 학습률 스케줄링을 적용하고 있음

LR (Learning Rate): 학습률 현재 0.003으로 설정 

WEIGHT_DECAY: 가중치 감쇠 값으로 과적합을 방지하는데 도움을 줌

MOMENTUM: 모멘텀 학습시 이전 경사 정보를 얼마나 반영할지 결정함 현재 0.9

MOMS: 'onecycle' 스케줄에서 모멘텀의 상한과 하한을 설정하는 역할 현재[0.95,0.85] 주최측에서 설정(기존 github에는 없음)

PCT_START: 학습률을 높이는 구간 현재 40%지점으로 설정

DIV_FACTOR: 초기 학습률을 기본 학습률의 1/10로 설정하게 하는 코드 

DECAY_STEP_LIST: 특정 에포크에서 학습률을 감소시키는 역할 현재 35~45로 설정 

LR_DECAY: 학습률 감소 비율을 나타냄 현재 0.1로 설정

LR_CLIP: 학습률의 최소값을 설정 --> 너무 작음 학습률로 학습이 멈추는 것을 방지 현재0.0000001로 설정

LR_WARMUP: 학습 초기에 학습률을 천천히 증가시키는 warmup을 사용할지 설정 현재 False

WARMUP_EPOCH: warmup을 사용할 경우 애포크 설정한 애포크 동안만 학습률을 증가시키는 역할

GRAD_NORM_CLIP: 기울기가 너무 커서 학습이 불안정해지는 것을 방지하는 역할

3D백본으로 기존에 조사한 SECOND Backbone, PV-RCNN Backbone을 사용하려고 파일을 보았으나

존재하지 않는 것을 확인 구글링을 통해 코드를 찾아보기로 함 

현재 2D는 base_bev_backbone, 3D는 spconv_backbone, pointnet2_backbone, spconv_backbone_voxelnext2d, spconv_backbone_focal

이 존재하는 것을 확인함

베이스 라인 코드 그래도 학습을 돌린 결과 

<모델 학습>

1. AP (Average Precision) - 평균 정밀도

• 모델이 얼마나 정확하게 객체를 탐지했는지를 나타내는 지표
• AP 값이 높을수록 모델이 객체를 잘 탐지
• 계산 방식: Precision과 Recall의 곡선 아래 영역(Area Under Curve, AUC)을 계산하여 평균 정밀도

2. APH (Average Precision with Heading)

• AP와 비슷하지만, 가려짐(Occlusion)과 Truncation(잘려진 곳) 같은 조건을 고려한 평균 정밀도
• APH 값이 AP보다 낮을 가능성이 크며, 이는 가려진 상태에서도 객체를 얼마나 잘 탐지하는지를 보여줌

3. APL (Average Precision for Long Range)

• 장거리에서의 평균 정밀도
• 장거리 객체가 일반적으로 작은 크기나 불명확한 조건에서의 탐지 성능을 나타냄

<모델 검증>

bash scripts/torch_val.sh 1 --cfg_file cfgs/custom_infra/centerpoint_pillar_1x_long_epoch.yaml --ckpt ../output/custom_infra/centerpoint_pillar_1x_long_epoch/default/ckpt/checkpoint_epoch_80.pth

<테스트 결과>

result.pkl 파일이 생성됨을 확인 

파이썬 코드로 result.pkl파일을 읽은 결과

차량의 경우 0.8~0.9 사이의 score를 보여주고 있지만 Pedestrain,Cyclist 들은 값이 대부분 낮은 것을 확인

솔루션: Pedestrain,Cyclist 부분 증식을 강화하여 부족한 데이터셋을 증식으로 커버

Waymo open Dataset 3D detection 평가지표 조사

[Sungryul Lee]

- 훈련결과, 로스, 정확도 수치, 그래프 어디있냐?
- 훈련조건 제시, 에퍽, 배치, 걸린시간 등
- 예측결과를 시각화해줄것