[딥러닝] 7. 영상분류

[신민서]

실습 과제

• 훈련결과를 실시간으로 시각화
  • https://kind-slip-86b.notion.site/7-19e8a2c2bfdb8025a4cbe657133c7d8a?pvs=4  < train.py
  • https://github.com/mxnseo/LivePlottor < liveplot.py

• 최종 모델 파일을 이용하여 테스트하는 파이토치 코드 my_test.py를 작성하시오.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77

import torch from PIL import Image import matplotlib.pyplot as plt import torchvision.transforms as transforms import numpy as np import cv2 import time import os   class_label = ['cat', 'dog']   # load pth model model = torch.load(r"C:\Users\2\minseo\work\dataset1\output\model.pth", weights_only=False)   # set model to inference mode model.eval‎()   # print(model)   transform = transforms.Compose([               transforms.Resize(256),              transforms.CenterCrop(224),           transforms.ToTensor(),                 transforms.Normalize(                  mean=[0.485, 0.456, 0.406],           std=[0.229, 0.224, 0.225]) ])   #os 패키지로 호출 test_dir = r"C:\Users\2\minseo\work\dataset1\test" os.chdir(test_dir) list = os.listdir(test_dir)   file_num = 20 acc_num = 0 all_img = plt.figure() rows = 4 cols = 5 number = 0   for file in list:     start_time = time.time()     print(file)     test_image = Image.open(file)       img = transform(test_image)          print(img.shape)       img = img.to('cuda')          with torch.no_grad():         pred = model(img.unsqueeze(0))         print(pred)         y_pred = torch.argmax(pred)         print(y_pred)         print(class_label[y_pred])              using_time = time.time() - start_time     print(f"using_time : {using_time}")          if 'cat' in file and class_label[y_pred] == 'cat':         acc_num = acc_num + 1     elif 'dog' in file and class_label[y_pred] == 'dog':         acc_num = acc_num + 1     number += 1          sub = all_img.add_subplot(rows, cols, number)     sub.set_title(file)     sub.imshow(test_image)     sub.set_xlabel('y_pred : ' + class_label[y_pred])     sub.set_xticks([]), sub.set_yticks([])     sub.text(0,100,class_label[y_pred]+':'+f'{pred[0][y_pred]:.3f}',size=15,color='red')   plt.show() print(f"right_result : {acc_num}") print(f'acc : {acc_num / file_num}')   Colored by Color Scripter

cs

• 전이학습이란 무엇인가?
  • 전이학습은 이미 학습된 모델을 새로운 문제에 재사용하는 기술임. 기존 모델에서 학습된 가중치를 가져와 새로운 문제에 맞게 조금만 학습시키면 됨. 데이터가 부족하거나 학습 시간이 오래 걸리는 경우 유용.

• 전이학습을 하는 이유는 무엇인가?
  • 데이터가 부족하거나 학습 시간이 많이 들 때 기존 모델을 재사용해서 효율적으로 학습하고 성능을 높이기 위함.

• 전이학습에서 훈련하는 웨이트는 컨벌루션레이어와 완전연결레이어중 어느것인가?
  • 완전연결 레이어.컨벌루션 레이어는 고정하고, 새로운 문제에 맞는 완전연결 레이어만 훈련시킴.

• 훈련결과를 이용하여 과적합을 판단하는 방법을 설명하라
  • 훈련 데이터에서는 정확도가 높고 검증 데이터에서는 정확도가 낮을 때 과적합으로 봄.
  • 훈련 손실은 계속 줄어드는데 검증 손실은 늘어날 때도 과적합이 발생한 것으로 봄.

• 파이토치 예제에서 사용한 증식방법을 설명하고 증식결과영상을 출력하여 잘 동작하는지를 확인하라
  • https://kind-slip-86b.notion.site/7-19e8a2c2bfdb8025a4cbe657133c7d8a?pvs=4

• 사용한 증식 > preset.py에 정의되어 있음
  • ClassificationPresetEval‎
  • ClassificationPresetTrain

• 0-9 손글씨 분류
  • 증식 수정 > 기존 증식에 있던 resize, crop 삭제
  • 그래프 업데이트 동영상 > LivePlot 클래스에서 그래프 사진을 저장하는 것으로 대체
  • 2가지 이상의 백본 사용해서 훈련 수행 > resnet50, resnet101
  • 모델별 정확도 비교
• 데이터셋 MNIST 사용 -> jpg 형식으로 바꾸고 3차원인 RGB의 속성을 가지게 해야 예제 코드에서 돌아감
• jpg로 변환 후, 각 레이블에 맞게 파일에 넣어주는 코드

1 2 3 4 5 6 7 8 9 10 11 12

import os from torchvision import datasets   dataset = datasets.MNIST(root=r"D:\work\Pytorch\mnist", download=False)   for i in range(10):     os.makedirs(f"{i}", exist_ok=True)   for idx, (img, label) in enumerate(dataset):     img_rgb = img.convert('RGB')     label_dir = str(label)     img_rgb.save(os.path.join(label_dir, '{:05d}.jpg'.format(idx)))

cs

• train과 val로 나누는 코드

1 2 3

import splitfolders   splitfolders.ratio(r"D:\work\Pytorch\mnist\MNIST_FINAL", output=r"D:\work\Pytorch\mnist\tt", seed=42, ratio=(.8, .2))

cs

• train.py -> 클래스 개수 변경해야 함 
• test.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

import torch from PIL import Image import matplotlib.pyplot as plt import torchvision.transforms as transforms import cv2 import os   class_label = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']   # load pth model model = torch.load(r'C:\Users\2\minseo\work\MNIST_TEST\output\model.pth')   # set model to inference mode model.eval‎()   #print(model)     test_image_name = r"C:\Users\2\minseo\work\MNIST_TEST\2.jpg"   # check test image test_image = Image.open(test_image_name)   plt.figure(figsize=(5,5))   plt.imshow(test_image)   #plt.show()     # apply transform to test image transform = transforms.Compose([               transforms.Resize(256),               transforms.CenterCrop(224),           transforms.ToTensor(),                 transforms.Normalize(                 mean=[0.485, 0.456, 0.406],           std=[0.229, 0.224, 0.225]) ])   img = transform(test_image)   #print(img.shape) #plt.figure(figsize=(5,5))   #plt.imshow(img.permute(1, 2, 0)) #plt.show()     with torch.no_grad():         pred = model(img.unsqueeze(0).cuda())         print(pred)         y_pred = torch.argmax(pred)         print(y_pred)         #print(class_label[y_pred])     plt.text(0,-10,class_label[y_pred]+':'+f'{pred[0][y_pred]:.4f}',size=20,color='blue') plt.xticks([]) plt.yticks([]) plt.show() Colored by Color Scripter

cs

• 모델 훈련
  • 증식 건들지 않음

• 나아질 기미가 안 보임...

• 증식 삭제 > crop, resize

• 증식을 건들지 않은 것보다 train 정확도와 손실값이 좋아짐
• 훈련이 끝난 모델로 테스트를 할 때 28*28 크기가 아니면 분류를 잘 못하는 상황이 생김
• resize는 건들지 않고 다시 훈련

이미지 크기 28*28 일 때

28*28 아닐 때

• 증식 삭제 > crop

추가 작성 내용

1. 파이토치 예제에서 사용한 증식방법이 무언인지 찾아서 설명하라.

1 2 3 4 5 6 7 8

'train': transforms.Compose([     # 데이터 증강 적용     transforms.RandomAffine(degrees=20, translate=(0.1,0.1), scale=(0.9, 1.1)),  # 랜덤 회전, 이동, 확대/축소     transforms.ColorJitter(brightness=0.2, contrast=0.2),  # 밝기 및 대비 조정     transforms.Resize((224,224)),  # 이미지 크기 조정     transforms.ToTensor(),  # 텐서 변환 ]),   Colored by Color Scripter

cs

• transforms.RandomAffine(degrees=20, translate=(0.1,0.1), scale=(0.9, 1.1))
  → 최대 20도 회전, 10% 내에서 이동, 0.9~1.1 배율로 확대/축소
• transforms.ColorJitter(brightness=0.2, contrast=0.2)
  → 밝기 및 대비를 20% 범위 내에서 조정
• transforms.Resize((224,224))
  → 이미지 크기를 224x224로 고정
• transforms.ToTensor()
  → 이미지를 PyTorch 텐서로 변환

2. 증식을 사용하려면 변환해야 하는 부분

아래 코드는 기존 코드에서 진행한 classification의 train.py 내에 있는 증식 사용한 부분

위 코드에서 사용할 때 presets에서 가지고 오는 걸 확인할 수 있음

classification에 presets.py 코드 내부에 보면 증식 사용하는 함수를 정의한 걸 볼 수 있음

- presets.py 코드에서 수정하거나 위의 train.py에서 함수 호출을 안하면 됨

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120

import torch from torchvision.transforms.functional import InterpolationMode     def get_module(use_v2):     # We need a protected import to avoid the V2 warning in case just V1 is used     if use_v2:         import torchvision.transforms.v2           return torchvision.transforms.v2     else:         import torchvision.transforms           return torchvision.transforms     class ClassificationPresetTrain:     # Note: this transform assumes that the input to forward() are always PIL     # images, regardless of the backend parameter. We may change that in the     # future though, if we change the output type from the dataset.     def __init__(         self,         *,         crop_size,         mean=(0.485, 0.456, 0.406),         std=(0.229, 0.224, 0.225),         interpolation=InterpolationMode.BILINEAR,         hflip_prob=0.5,         auto_augment_policy=None,         ra_magnitude=9,         augmix_severity=3,         random_erase_prob=0.0,         backend="pil",         use_v2=False,     ):         T = get_module(use_v2)           transforms = []         backend = backend.lower()         if backend == "tensor":             transforms.append(T.PILToTensor())         elif backend != "pil":             raise ValueError(f"backend can be 'tensor' or 'pil', but got {backend}")           transforms.append(T.RandomResizedCrop(crop_size, interpolation=interpolation, antialias=True))         if hflip_prob > 0:             transforms.append(T.RandomHorizontalFlip(hflip_prob))         if auto_augment_policy is not None:             if auto_augment_policy == "ra":                 transforms.append(T.RandAugment(interpolation=interpolation, magnitude=ra_magnitude))             elif auto_augment_policy == "ta_wide":                 transforms.append(T.TrivialAugmentWide(interpolation=interpolation))             elif auto_augment_policy == "augmix":                 transforms.append(T.AugMix(interpolation=interpolation, severity=augmix_severity))             else:                 aa_policy = T.AutoAugmentPolicy(auto_augment_policy)                 transforms.append(T.AutoAugment(policy=aa_policy, interpolation=interpolation))           if backend == "pil":             transforms.append(T.PILToTensor())           transforms.extend(             [                 T.ToDtype(torch.float, scale=True) if use_v2 else T.ConvertImageDtype(torch.float),                 T.Normalize(mean=mean, std=std),             ]         )         if random_erase_prob > 0:             transforms.append(T.RandomErasing(p=random_erase_prob))           if use_v2:             transforms.append(T.ToPureTensor())           self.transforms = T.Compose(transforms)       def __call__(self, img):         return self.transforms(img)     class ClassificationPresetEval‎:     def __init__(         self,         *,         crop_size,         resize_size=256,         mean=(0.485, 0.456, 0.406),         std=(0.229, 0.224, 0.225),         interpolation=InterpolationMode.BILINEAR,         backend="pil",         use_v2=False,     ):         T = get_module(use_v2)         transforms = []         backend = backend.lower()         if backend == "tensor":             transforms.append(T.PILToTensor())         elif backend != "pil":             raise ValueError(f"backend can be 'tensor' or 'pil', but got {backend}")           transforms += [             T.Resize(resize_size, interpolation=interpolation, antialias=True),             T.CenterCrop(crop_size),         ]           if backend == "pil":             transforms.append(T.PILToTensor())           transforms += [             T.ToDtype(torch.float, scale=True) if use_v2 else T.ConvertImageDtype(torch.float),             T.Normalize(mean=mean, std=std),         ]           if use_v2:             transforms.append(T.ToPureTensor())           self.transforms = T.Compose(transforms)       def __call__(self, img):         return self.transforms(img)   Colored by Color Scripter

cs

3. 예제코드에서는 검증 로스는 출력해주지 않는다. 검증로스를 추출하는 방법을 설명하라.

학습 후 평가를 진행하는 함수 -> eval‎uate

여기에서 임의의 변수를 지정한 뒤, 정확도 값을 업데이트 할 때 item() 함수로 값을 받아옴

def eval‎uate(model, criterion, data_loader, device, print_freq=100, log_suffix=""):     model.eval‎()          metric_logger = utils.MetricLogger(delimiter="  ")     header = f"Test: {log_suffix}"       # 평가 과정에서 사용할 변수 초기화     num_processed_samples = 0  # 처리한 샘플 개수     epoch_loss = 0  # 전체 평가 손실     epoch_acc1 = 0  # Top-1 정확도 합계     epoch_acc5 = 0  # Top-5 정확도 합계       with torch.inference_mode():         for image, target in metric_logger.log_every(data_loader, print_freq, header):             image = image.to(device, non_blocking=True)             target = target.to(device, non_blocking=True)               # 모델의 예측값 계산 (순전파 수행)             output = model(image)               # 손실 함수 계산             loss = criterion(output, target)               # Top-1 및 Top-5 정확도 계산             acc1, acc5 = utils.accuracy(output, target, topk=(1, 2))               # 현재 배치 크기             batch_size = image.shape[0]               # 로그 업데이트 (손실 값 추가)             metric_logger.update(loss=loss.item())               # 정확도 값 업데이트             metric_logger.meters["acc1"].update(acc1.item(), n=batch_size)             metric_logger.meters["acc5"].update(acc5.item(), n=batch_size)               # 처리한 샘플 개수 업데이트             num_processed_samples += batch_size               # 손실 및 정확도 값 누적             epoch_loss += loss.item() # item() -> tensor에 하나의 값만 존재한다면, item() 함수를 사용해 텐서 형식이 아닌 값을 반환 받음             epoch_acc1 += acc1.item()             epoch_acc5 += acc5.item()       # 평균 손실 및 정확도 계산 (배치 개수로 나눠서 평균값 구하기)     epoch_loss /= len(data_loader)     epoch_acc1 /= len(data_loader)     epoch_acc5 /= len(data_loader)       metric_logger.synchronize_between_processes()     print(f"{header} Acc@1 {epoch_acc1:.3f} Acc@5 {epoch_acc5:.3f}")       # 최종 손실, Top-1 정확도, Top-5 정확도를 반환 -> 후에 실시간 검증 그래프를 그리기 위함     return epoch_loss, epoch_acc1, epoch_acc5     Colored by Color Scripter

cs

[Sungryul Lee]

1. 파이토치 예제에서 사용한 증식방법이 무언인지 찾아서 설명하라.
2. 증식을 추가하려면 어느 부분을 수정해야 하는지 설명하라
3. 예제코드에서는 검증 로스는 출력해주지 않는다. 검증로스를 추출하는 방법을 설명하라.

[신민서]

수정했습니다

[Sungryul Lee]

테스트 과제 다시할것 문제를 다시 읽어볼것