[DaconAIContest] Inception_resnet_v2

[한윤지]

<수정사항>

1. 증식수정

증식 수정

증식결과

- 데이터셋 중에서 20개를 랜덤으로 뽑아 데이터 증식 확인

2. 손실함수 수정

Cross Entropy Loss에 label_smoothing 방식 적용

label_smoothing의 값은 정답 라벨에 대해 soft target을 주는 기법으로, 모델이 지나치게 확신하는 것을 방지하여 과적합을 완화시킴

--> 예: 정답이 class 2일 때, one-hot은 [0,0,1,0,0]이지만, 스무딩을 넣으면 [0.025, 0.025, 0.9, 0.025, 0.025]처럼 됨

(스무딩 정도에 따라 달라짐)

3. optimizer 수정

weight_decay 추가

--> 학습 과정에서 모델의 파라미터(가중치)가 지나치게 커지는 것을 억제하기 위해 추가적인 패널티 항을 손실 함수에 더해주는 방식

--> 과적합 방지, 일반화 성능 향상

<전체코드>

DaconAIContest/0510/test_0510.py at main · GitHub-hanyunji/DaconAIContest

DaconAIContest/0510/test_0510.py at main · GitHub-hanyunji/DaconAIContest

훈련 결과

<리더보드 결과>

Inception_resnet_v2은 매우 복잡하고 파라미터 수가 많은 모델로, 작은 데이터셋이나 비교적 간단한 분류 문제에서는 과적합되기 쉽고 추론 속도도 느림.

모델을 바꿔서 훈련할 예정

[Sungryul Lee]

25에퍽(과적합발생전)의 pth파일로 추론 후 성적확인 해볼것

[한윤지]

0.7100657226로 원래 점수보다 더 낮게 나옵니다