GPU, CPU 할당되는 위치

[신민서]

# 전체 코드

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170

import torch import torch.nn as nn import torchvision from torchvision import transforms from torch.utils.data import DataLoader, Subset from torch.utils.tensorboard import SummaryWriter   # Device 설정 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')   # 데이터 전처리 def get_smile(attr):     return attr[31]  # 웃음 레이블 추출   transform_train = transforms.Compose([     transforms.RandomCrop([178, 178]),     transforms.RandomHorizontalFlip(),     transforms.Resize([64, 64]),     transforms.ToTensor(), ])   transform = transforms.Compose([     transforms.CenterCrop([178, 178]),     transforms.Resize([64, 64]),     transforms.ToTensor(), ])   # 데이터셋 로드 image_path = './'   celeba_train_dataset = torchvision.datasets.CelebA(     image_path, split='train',     target_type='attr', download=False,     transform=transform_train, target_transform=get_smile )   celeba_valid_dataset = torchvision.datasets.CelebA(     image_path, split='valid',     target_type='attr', download=False,     transform=transform, target_transform=get_smile )   celeba_test_dataset = torchvision.datasets.CelebA(     image_path, split='test',     target_type='attr', download=False,     transform=transform, target_transform=get_smile )   # 데이터셋 서브셋 가져오기 celeba_train_dataset = Subset(celeba_train_dataset, torch.arange(16000)) celeba_valid_dataset = Subset(celeba_valid_dataset, torch.arange(1000))   # 데이터로더 작성 batch_size = 32 train_dl = DataLoader(celeba_train_dataset, batch_size, shuffle=True) valid_dl = DataLoader(celeba_valid_dataset, batch_size, shuffle=False) test_dl = DataLoader(celeba_test_dataset, batch_size, shuffle=False)     # CNN 모델 정의 model = nn.Sequential(     nn.Conv2d(3, 32, kernel_size=3, padding=1),     nn.ReLU(),     nn.MaxPool2d(kernel_size=2),     nn.Dropout(p=0.5),     nn.Conv2d(32, 64, kernel_size=3, padding=1),     nn.ReLU(),     nn.MaxPool2d(kernel_size=2),     nn.Dropout(p=0.5),     nn.Conv2d(64, 128, kernel_size=3, padding=1),     nn.ReLU(),     nn.MaxPool2d(kernel_size=2),     nn.Conv2d(128, 256, kernel_size=3, padding=1),     nn.ReLU(),     nn.AvgPool2d(kernel_size=8),     nn.Flatten(),     nn.Linear(256, 1),     nn.Sigmoid() ) model.to(device)  # 모델을 GPU로 이동   import numpy as np import matplotlib.pyplot as plt   def train(model, num_epochs, train_dl, valid_dl):     loss_fn = nn.BCELoss()     optimizer = torch.optim.Adam(model.parameters(), lr=0.001)          loss_hist_train = []     accuracy_hist_train = []     loss_hist_valid = []     accuracy_hist_valid = []     x_arr = []          # plt.ion() 호출 추가 (인터랙티브 모드 활성화)     plt.ion()       fig = plt.figure(figsize=(12, 4))     ax1 = fig.add_subplot(1, 2, 1)     ax2 = fig.add_subplot(1, 2, 2)       for epoch in range(num_epochs):         model.train()         loss_tmp = 0         accuracy_tmp=0         for x_batch, y_batch in train_dl:             x_batch, y_batch = x_batch.to(device), y_batch.to(device)  # 데이터 GPU로 이동             optimizer.zero_grad()  # gradient 초기화             pred = model(x_batch)[:, 0]  # 모델 예측             loss = loss_fn(pred, y_batch.float())  # 손실 계산             loss.backward()  # 기울기 계산             optimizer.step()  # 파라미터 업데이트               loss_tmp += loss.item()*y_batch.size(0)             is_correct = ((pred>=0.5).float() == y_batch).float()  # 정확도 계산             accuracy_tmp += is_correct.sum()           loss_hist_train.append(loss_tmp / len(train_dl.dataset))         accuracy_hist_train.append(accuracy_tmp / len(train_dl.dataset))                        # 검증 루프         model.eval‎‎()         with torch.no_grad():             loss_tmp = 0             accuracy_tmp=0               for x_batch, y_batch in valid_dl:                 x_batch, y_batch = x_batch.to(device), y_batch.to(device)  # 데이터 GPU로 이동                 pred = model(x_batch)[:, 0]                 loss = loss_fn(pred, y_batch.float())                 loss_tmp += loss.item()*y_batch.size(0)                  is_correct = ((pred>=0.5).float() == y_batch).float()                 accuracy_tmp += is_correct.sum()           loss_hist_valid.append(loss_tmp / len(valid_dl.dataset))         accuracy_hist_valid.append(accuracy_tmp / len(valid_dl.dataset))                  ax1.clear()         ax2.clear()         x_arr.append(epoch)         # Loss 그래프         ax1.plot(x_arr, loss_hist_train, '-o', label='Train loss')         ax1.plot(x_arr, loss_hist_valid, '--<', label='Validation loss')         ax1.set_xlabel('Epoch', size=15)         ax1.set_ylabel('Loss', size=15)         ax1.legend(fontsize=15)              # Accuracy 그래프         ax2.plot(x_arr, accuracy_hist_train, '-o', label='Train acc.')         ax2.plot(x_arr, accuracy_hist_valid, '--<', label='Validation acc.')         ax2.set_xlabel('Epoch', size=15)         ax2.set_ylabel('Accuracy', size=15)         ax2.legend(fontsize=15)              plt.draw()  # 그래프 갱신         plt.pause(0.1)  # 0.1초 대기         print(f'에포크 {epoch+1} 정확도: {accuracy_hist_train[epoch]:.4f} 검증 정확도: {accuracy_hist_valid[epoch]:.4f}')       plt.show()  # 마지막 그래프 출력          return loss_hist_train, loss_hist_valid, accuracy_hist_train, accuracy_hist_valid       torch.manual_seed(1) num_epochs = 30 hist = train(model, num_epochs, train_dl, valid_dl)   Colored by Color Scripter

cs

- pytorch 교재의 예제 진행을 GPU로 돌리기 위해 코드를 약간 수정함

에러난 지점

-> matplotlib으로 그래프를 그리려고 할 때 에러가 남

에러 내용: GPU에 할당한 텐서를 matplotlib으로 그리려고 할 때 생기는 에러라고 함

# 에러가 난 지점 코드

코드에 plot() 내부에 어디에서 에러가 나는지 확인이 안 됨 (x_arr이 문제인지 accracy_hist_train 문제인지)

왜 ax1.plot()에서는 에러가 안 나고 ax2.plot()에서 에러가 나는지?

# plot() 내부에 어디에서 에러가 나는지 확인

x_arr

단순 리스트 정의를 했기 때문에 CPU에 할당됨

= 에러 나는 지점이 아님

accuracy_hist_train

이 위치에서는 모두 단순 리스트로 정의해주는 과정이기 때문에 CPU에 할당됨

= 에러 나는 지점이 아님

아래 각 에포크를 돌 때의 과정

여기에서 문제가 생긴다는 건데 왜 loss_hist_valid에서는 문제가 안 생기고 accuracy_hist_valid에서 문제가 생기는지?

1. loss_hist_train:
   • loss.item()을 통해 얻은 값은 이미 Python의 float 값으로 반환되며, 텐서가 아님.
     loss_hist_train에 저장되는 값은 이미 CPU에 할당되는 숫자임.
   • loss.item()이 반환하는 값은 이미 float이기 때문에 GPU에 있지 않아서 별도의 cpu() 변환 없이 바로 저장되고, matplotlib에서 그래프를 그릴 때도 문제없이 그려질 수 있다고 함.
2. accuracy_hist_train:
   • is_correct는 torch.Tensor 형태로 저장되며, 이 텐서는 GPU에서 계산되고 저장됨.
     accuracy_hist_train[epoch]에 누적된 값은 GPU 상의 텐서라고 함.
   • 그럼 accuracy도 float로 반환하는데 왜 텐서로 들어가는지???
   • float()를 사용해도 여전히 텐서는 GPU에 저장된다고 함
     • float()는 함수가 텐서의 값을 형변환하는 것 뿐, 텐서 자체를 CPU로 이동시키진 않음
   • is_correct = ((pred >= 0.5).float() == y_batch).float()
     • pred >= 0.5는 텐서의 각 원소에 대해 조건을 적용한 후, torch.Tensor 형태로 True 또는 False 값을 반환
     • .float()는 이 True/False 값을 1.0과 0.0의 부동소수점 값으로 변환함. 그래서 여기서 생성된 is_correct 텐서는 GPU에 그대로 저장됨

# 해결 방법

1. 그래프를 그리는 과정에서 CPU로 옮기기

2. 훈련할 때 값을 바로 CPU로 옮기기

# python 변수가 GPU에 할당되는지 CPU에 할당되는지 어떻게 결정?

1. • 모델과 입력 데이터를 GPU나 CPU로 명시적으로 이동시키는 방법은 to(device) 또는 .cuda()와 같은 메서드를 사용하여 결정
   • device는 일반적으로 "cpu" 또는 "cuda"로 설정되며, 모델이나 텐서를 GPU에 올리려면 torch.device('cuda')를 사용하고, CPU에서 실행하려면 torch.device('cpu')를 사용함
2. • x = torch.tensor([1, 2, 3]) # 기본적으로 x는 CPU에 할당
   • x = torch.tensor([1, 2, 3]).cuda() # x는 GPU에 할당

# GPU 메모리에 명시적으로 할당된 변수가 아닌데 대입되는 값에 따라 할당되는 위치가 바뀔 수 있는지?

• GPU 메모리에 명시적으로 할당되지 않은 변수가 대입되는 값에 따라 할당 위치가 바뀌는 일은 없음
  • 대입되는 값에 따른 동작:
    • 만약 이미 CPU에 있는 텐서에 GPU에서 생성된 텐서를 대입한다고 해도, 기존 텐서는 여전히 CPU에 있고, 대입된 값이 GPU에 할당된다면 GPU에 할당된 새 텐서로 대체됨.
    • 즉, 기존의 텐서는 여전히 CPU에 남아 있고, 대입되는 텐서가 GPU로 할당된 상태로 변할 수 있음.

→ GPU에 할당된 객체를 다른 객체에 대입하면, 대입된 객체도 GPU에 할당됨

• 메모리 참조의 개념과 관련성
  • 대입할 때 실제로는 객체의 값이 복사되는 것이 아니라 객체의 참조가 복사됨
  • 대입된 변수는 원래 객체와 같은 메모리 공간을 참조함. 따라서 대입된 객체도 원래 객체와 같은 GPU 메모리를 참조하게 됨

# 실시간 그래프 확인

[Sungryul Lee]

매우 좋은 정보입니다. 모두들 읽어보세요