Dacon 건설용 자갈 암석 종류 분류 AI 경진대회 - 훈련

[한윤지]

가상환경

- python 버전 3.10

conda create -n 가상환경이름 python=3.10   (가상환경 생성)

- cuda 버전에 맞게 torch 설치 ( 현재 컴퓨터는 cuda 12.6임 )

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126

- allbumentations, pandas, numpy, opencv-python, scikitlearn, timm, tqdm 설치 (torch와 충돌 안일어나게 버전 주의해 설치)  

pip install albumentations==1.3.1 pandas==1.5.3 numpy==1.23.5 opencv-python==4.8.0.76 scikitlearn==1.2.2 timm==0.9.2 tqdm==4.65.0

requirements.txt

1.53KB

위의 requirements.txt를 다운받아 활성화한 가상환경에 requirements.txt 파일을 pip install -r reuirments.txt으로 적용

--> 한번에 설치 가능, requirments.txt는 현재 실행하는 경로에 저장해야함.

훈련

- epoch당 30분 소요, 총 epoch 5번 돌림

- train_loss는 감소하나 val loss는 감소하지 않고 뒤죽박죽임. 오히려 epoch 4부터 올라감.

- Val Macro F1에서 F1 score는 Precision(정밀도)과 Recall(재현율)의 조화 평균으로 값이 1에 가까울수록 모델이 잘 예측하고 있다는 뜻

--> 분류(classification) 문제에서 정답률보다 더 정밀한 성능 척도로 자주 씀.

- Val Macro F1도 0.78에서 0.80으로 별로 올라가지 않음.

<Train loss, Val loss 손실 그래프 기능 추가>

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88

def train(model, optimizer, train_loader, val_loader, scheduler, device):     model.to(device)     criterion = nn.CrossEntropyLoss().to(device)          best_score = 0     best_model = None       os.makedirs("./output", exist_ok=True)     best_model_save_path = "./output/best_model.pth"       plt.ion()     print("Start training")     x_arr=[]     rec_valid = [[],[]]     fig, ax = plt.subplots(figsize=(8, 4))            start_time = time.time()       for epoch in range(1, CFG['EPOCHS'] + 1):         model.train()         train_loss = []         model_save_path = f"./output/model_epoch{epoch}.pth"           for imgs, labels in tqdm(iter(train_loader), desc=f"Epoch {epoch}"):             imgs = imgs.float().to(device)             labels = labels.to(device).long()               optimizer.zero_grad()             output = model(imgs)             loss = criterion(output, labels)               loss.backward()             optimizer.step()               train_loss.append(loss.item())           _val_loss, _val_score = validation(model, criterion, val_loader, device)         _train_loss = np.mean(train_loss)           # epoch 마다 model.pth 저장         print(f'Epoch [{epoch}], Train Loss: {_train_loss:.5f}, Val Loss: {_val_loss:.5f}, Val Macro F1: {_val_score:.5f}')            torch.save(model.state_dict(), model_save_path)           rec_valid[0].append(_train_loss)         rec_valid[1].append(_val_loss)           if scheduler is not None:             scheduler.step(_val_score)           if best_score < _val_score:             best_score = _val_score             best_model = model                            # 모델 가중치 저장             torch.save(model.state_dict(), best_model_save_path)             print(f"Best model saved (epoch {epoch}, F1={_val_score:.4f}) → {best_model_save_path}")             to_numpy_valid = np.array(rec_valid)                         # 길이 자동 추정         x_arr = np.arange(len(rec_valid[0]))                  # 실시간 그래프 업데이트         ax.clear()         # 손실 그래프         ax.plot(x_arr, to_numpy_valid[0], '-', label='Train val', marker='o')               ax.plot(x_arr, to_numpy_valid[1], '--', label='Valid val', marker='o')         ax.legend(fontsize=15)         ax.set_title('Loss')         ax.set_xlabel('Epoch', size=15)         ax.set_ylabel('Loss', size=15)                  # 그래프 갱신         plt.draw()  # 그래프 업데이트         plt.pause(0.1)  # 0.5초 대기 (실제 학습 환경 시뮬레이션)          plt.ioff()  # 인터랙티브 모드 종료                   # 그래프를 파일로 저장 (PNG 형식)     plt.savefig("graph.png")     plt.show()     total_time = time.time() - start_time     total_time_str = str(datetime.timedelta(seconds=int(total_time)))       print(f"Training time {total_time_str}")       return best_model Colored by Color Scripter

cs

train loss는 감소하나 val loss가 증가하는 형상을 띔

< 클래스 별 정확도 추가>

클래스 7개

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

def validation(model, criterion, val_loader, device):     model.eval‎()     val_loss = []     preds, true_labels = [], []       with torch.no_grad():         for imgs, labels in tqdm(iter(val_loader)):             imgs = imgs.float().to(device)             labels = labels.to(device).long()                          pred = model(imgs)                          loss = criterion(pred, labels)                          preds += pred.argmax(1).detach().cpu().numpy().tolist()             true_labels += labels.detach().cpu().numpy().tolist()                          val_loss.append(loss.item())                  _val_loss = np.mean(val_loss)         _val_score = f1_score(true_labels, preds, average='macro')           # 🔍 클래스별 정확도 계산         cm = confusion_matrix(true_labels, preds)  # shape: (num_classes, num_classes)         class_accuracy = cm.diagonal() / cm.sum(axis=1)  # 각 클래스별 accuracy          return _val_loss, _val_score,class_accuracy   Colored by Color Scripter

cs

[Sungryul Lee]

best_model_save_path 뭔가요?
클래스별로 정확도 계산이 따로 가능한가요?
50회정도 돌려서 그래프 볼것

[한윤지]

best_model_save_path는 best_model을 .pth로 저장해줄때 사용되는 경로입니다. best_model.pth 저장하는 코드는 기존 코드에 작성되어 있는 코드입니다.

[Sungryul Lee]

기능추가사항
1. Train macro F1 출력할것
2. 그래프에 훈련/검증 정확도도 추가할것
3. GPU 사양 정리해줄 것
4. Train data와 validation data를 어떻게 분할한건지 코드에서 설명할것