[자율주행 AI 챌린지] 3D 후보 모델 논문 증강 확인 및 제안

[신민서]

# PV-RCNN++

1. Random Scene Flipping

> 전체를 무작위로 좌우 또는 상하로 뒤집는 증강

2. Global Scaling

> 전체 크기를 0.95배에서 1.05배 사이의 비율로 무작위로 조절함

3. Global Rotation

> Z축 기준으로 전체를 -45~+45도 각도로 무작위 회전

4. GT-Sampling

> 실제 객체를 복사해서 현재 학습 중인 데이터에 붙여넣음

++ 또한 voxel size를 0.1m, 0.1m, 0.15m로 설정

https://arxiv.org/pdf/2102.00463

# SECOND

1. GT-Sampling

2. 객체 노이즈 (Object Noise)

> 각각의 GT 객체와 그 내부 포인트 클라우드에 독립적으로 적용 (회전, 이동)

> 이동: 각 객체의 위치를 평균 0, 표준편차 1.0의 정규분포를 따르는 값만큼 미세하게 이동시킴

3. Global Rotaion & Scaling

# Part-A2-Anchor

1. Random Flipping

2. Global Scaling

3. Global Rotation

4. GT-Sampling

https://arxiv.org/pdf/1907.03670

# DSVT-Pillar

Fade Strategy (페이드 전략) 사용

> 전체 에폭 중 마지막 에폭에서는 증강 기법을 비활성화함

학습 초기와 중반에는 GT-Sampling을 통해 모델의 성능을 높임

일반 데이터에 대해서는 없는 인위적인 데이터가 되므로 모델이 과적합 될 수 있음

따라서 마지막 에폭에서는 증강을 끄고 원본 데이터로만 미세 조정함

모델이 실제 데이터에 적응하도록 해서 최종 성능이 올라간다고 한다...

https://arxiv.org/pdf/2301.06051

https://arxiv.org/pdf/2207.10035

# PV-RCNN

1. Random Flipping

2. Global Scaling

3. Global Rotation

4. GT-Sampling

https://arxiv.org/pdf/1912.13192

# Voxel R-CNN

1. Random Flipping

2. Global Scaling

3. Global Rotation

4. GT-Sampling

https://arxiv.org/pdf/2012.15712

# PointPillars

1. GT-Sampling

2. 개별 객체 증강 (Object-level Augmentation)

> 전역이 아니라 개별 객체 (GT)를 -9~+9도 사이로 회전시키거나 이동시킴

3. 전역 증강 (Global Augmentation)

https://arxiv.org/pdf/1812.05784

# 제안

포인트 클라우드에서 어렵고 불완전한 객체(hard data)의 포인트를 채워주는 증강 기법 모색

PV-RCNN++ 적용해볼 예정임 - 위제 진행

1. Point Cloud Completion - PCN: Point Completion Network

https://arxiv.org/pdf/1808.00671

> 전체적인 골격을 나타내는 결과물을 만들어내고 이를 바탕으로 조밀한 결과물을 만드는게 핵심

적용하려면 사전 학습 모델 찾아야 할 듯

https://github.com/qinglew/PCN-PyTorch

GitHub - qinglew/PCN-PyTorch: Implementation of PCN(Point Completion Network) in PyTorch.

위 모델로 가지고 있는 학습 데이터 스캔

GT 박스 내에 포인트 수가 많이 적은 것들을 hard case로 인식해서 이를 저 모델의 입력으로 넣음

출력으로 나온 포인트 클라우드를 저장하고 기존 데이터에서 교체해서 적용하는 방법으로 진행해볼 예정

문제는 위에 사전학습된 모델의 class가 대회에서 사용할 class에 맞는게 car 밖에 없음

일단 시도해보고 결과 보고할 예정

현재는 hard case로 인식하는 부분 로직 구성하고 있음

어려운 케이스를 학습 데이터에 늘려서 사용하는 기법 > 이는 증강이 아니라 백본 추가하는 형식

PV-RCNN++ 적용해볼 예정임 - 민서 진행

2. Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling

https://arxiv.org/pdf/2111.14819

사전 학습된 모델

https://github.com/Julie-tang00/Point-BERT

GitHub - Julie-tang00/Point-BERT: [CVPR 2022] Pre-Training 3D Point Cloud Transformers with Masked Point Modeling

사전 학습된 백본 모델 가중치 로드해서 백본 교체 및 가중치 이어 받는 식

교체한 백본 쪽을 freeze하고 훈련 돌렸다가 중간부터 다시 unfreeze하는 식(two stage) 고려함

[Sungryul Lee]

50시리즈에서 cuda 11.8설치방법은 전혀 없는거냐?

[신민서]

설치할 수는 있는데 코드 돌리면 쿠다 호환성 문제가 생깁니닷.. 50시리즈에서 cuda 11.8 사용은 불가능할 것 같습니다