[머신러닝] Pytorch 6장

[조건우]

<6장> 모델 평가와 하이퍼파라미터 튜닝의 모범 사례

• 머신 러닝 모델 성능 평가하기
• 머신 러닝 알고리즘에서 일반적으로 발생하는 문제 분석하기
• 머신 러닝 모델 세부 튜닝하기
• 여러 가지 성능 지표를 사용하여 모델의 예측 성능 평가하기

1. 파이프라인을 사용한 효율적인 워크플로

• 테스트 데이터셋에 있는 별도의 샘플처럼 새로운 데이터의 스케일을 조정하고 압축하기 위해 훈련 데이터셋에서 학습한 파라미터를 재사용해야 됨.
  => 사이킷런의 Pipeline 클래스 사용.
• 여러 개의 변환 단계를 포함한 모델을 학습하고 새로운 데이터에 대한 예측을 만들 수 있음.

① 위스콘신 유방암 데이터셋 / ② 파이프라인으로 변환기와 추정기 연결

1. 악성(M)과 양성(B)인 종양 세포 샘플 569개의 데이터셋 불러오기.
   0, 1 열(label): 샘플의 고유 ID 번호와 진단 결과(M, B)
   2~31열(data): 세포 핵의 디지털 이미지에서 계산된 30개의 실수 값 특성
2. 데이터 전처리(⑴ 범주형 데이터 인코딩, ⑵ 데이터셋 분류(train, test))
3. 파이프라인(변환기, 추정기 연결)
   • 스케일 조정: 다양한 스케일로 측정된 입력 특성을 표준화
   • 특성 추출: 차원 축소(데이터 압축) (PCA(주성분 분석), LDA(선형 판별 분석))

파이프라인 객체의 작동 방식

2. k-겹 교차 검증을 사용한 모델 성능 평가

참고: https://yngie-c.github.io/machine%20learning/2020/05/01/val_eval‎/

• 교차 검증 기법: 모델의 일반화 성능(test data에 모델이 얼마나 잘 작동하는지) 신뢰할 만한 추정.
  ① 홀드아웃 방법
  ② k-겹 교차 검증

① 홀드아웃 방법 (Holdout)

• 모델 선택
  · Test data에 대해 예측 성능을 높이기 위해 하이퍼파라미터를 튜닝하고 비교하는 과정.
  · 주어진 분류 문제에서 튜닝할 하이퍼파라미터의 최적값을 선택하는 것.
• 훈련을 할 때 test data를 사용하게되면 모델은 과대적합됨.
• <데이터 분류>
  • 훈련 데이터셋: 여러 가지 모델을 훈련하는데 사용.
  • 검증 데이터셋: 반복적으로 다른 파라미터 값에서 모델을 훈련한 후 성능을 평가.
  • 테스트 데이터셋
• 단점
  1. 훈련 데이터를 훈련 데이터셋(test data)와 검증 데이터셋(val data)으로 나누는 방법에 따라 성능 추정이 민감함.
  2. 학습 데이터에 손실이 있기 때문에 데이터가 적은 경우에는 사용하기 힘듦.
  3. 검증을 한 번 밖에 할 수 없음.

② k-겹 교차 검증 (K-fold CV)

1. 중복을 허용하지 않고 훈련 데이터셋을 k개의 폴드로 랜덤하게 나눔.
2. k-1개의 폴드(훈련 폴드)로 모델을 훈련
   나머지 하나의 폴드(테스트 폴드)로 성능 평가
3. 위 과정을 k번 반복하여 k개의 모델과 성능 추청을 얻음.
4. 서로 다른 독립적인 폴드에서 얻은 추정 성능(E_i)을 기반으로 모델의 평균 성능(E)을 계산.

• => 만족스러운 하이퍼파라미터 값을 찾은 후에는 전체 훈련 데이터셋을 사용하여 모델을 다시 훈련.
• 독립적인 테스트 데이터셋을 사용하여 최종 성능 평가.

• k-겹 교차 검증 후에 전체 훈련 데이터셋으로 모델을 학습하는 이유
  ⑴ (k개의 개별 모델이 아니라) 하나의 최종 모델이 필요하고
  ⑵ 훈련 샘플이 많을수록 학습 알고리즘이 더 정확하고, 안정적인 모델을 만들기 때문
• k-겹 교차 검증이 중복을 허용하지 않는 리샘플링 기법이기 때문에 각 반복에서 샘플이 정확히 한 번만 사용되며
  훈련 폴드와 테스트 폴드가 중첩되지 않음. (또한, 모든 테스트 폴드가 중첩되지 않음)
• <홀드아웃 방법과의 차이점>
  
  • 홀드아웃 방법에 비해 훈련 데이터셋의 분할에 덜 민감한 성능 추정
    (즉, 테스트 데이터셋에서 모델의 성능을 평가할 때 만족할 만한 일반화 성능을 내는 최적의 하이퍼파라미터 값을 찾기 위해 사용됨)
  • 이로인해 홀드아웃 방법보다 모델 성능의 추정에 분산이 낮음.
  • 모든 데이터 포인트가 평가에 사용되기 때문에 검증 세트를 사용하는 홀드아웃 방법보다 데이터셋을 더 잘 활용함.

• 폴드 계수(k)값의 변화가 미치는 영향
  • k값 증가
    · 각 반복에서 더 많은 데이터가 훈련 데이터로 사용되며, 테스트 데이터는 줄어듦.
    · 많은 훈련 데이터 사용(훈련 폴드가 서로 많이 비슷해짐)으로 모델 성능을 평균화하여 일반화 성능을 추정할 때 더 낮은 편향을 만듦. 
  • k값 감소
    · 훈련 데이터의 크기가 줄어들고, 테스트 데이터의 크기가 커짐.
    · 모델이 데이터의 패턴을 충분히 학습하지 못해 높은 편향 상태가 됨.

	k값 증가	k값 감소
데이터 증/감	훈련 데이터↑, 테스트 데이터↓	훈련 데이터↓, 테스트 데이터↑
편향/분산	편향↓, 분산↑	편향↑ , 분산↓

<계층적 교차 검증>

• 클래스 비율이 동등하지 않을 때는 전체 훈련 데이터셋에 있는 클래스 비율을 대표하도록 유지할 수 있도록
  StratifiedKFold 클래스의 shuffle 매개변수를 True 지정하면 폴드를 나누기 전에 샘플을 섞어 놓음. (기본값 False)

3. 학습 곡선과 검증 곡선을 사용한 알고리즘 디버깅

• 분석 도구: 학습 알고리즘의 성능 향상에 도움. (과대적합(높은 분산)되는지 or 과소적합(높은 편향)되는지 분석)
  1. 학습 곡선: 학습 데이터의 양에 따른 훈련 정확도(train)와 테스트 정확도(val)를 그래프에 나타낸 것.
  2. 검증 곡선: 모델의 하이퍼파라미터 값에 따른 모델의 성능 지표를 그래프에 나타낸 것.

① 학습 곡선으로 편향과 분산 문제 분석

• 과대적합을 줄이려면 훈련 샘플을 더 모으면 도움이 되지만 실전에서는 불가능한 경우가 많음.
• 모델의 훈련 정확도와 검증 정확도를 훈련 데이터셋의 크기 함수로 그래프를 그려보면
  모델에 높은 분산의 문제가 있는지 / 높은 편향의 문제가 있는지 쉽게 감지할 수 있음.

편향-분산 트레이드오프

• 왼쪽 위 그래프
  • 편향이 높은 모델. 훈련 정확도와 교차 검증 정확도가 모두 낮아 훈련 데이터에 과소적합된 것.
  • 해결 방안: 모델의 파라미터 개수를 늘리기, 추가적인 특성 수집 or 만들기
    (+ 서포트 벡터 머신(SVM)이나 로지스틱 회귀 분류기를 통한 규제 강도 줄이기)
    참고: https://cafe.daum.net/SmartRobot/RoVa/2063
• 오른쪽 위 그래프
  • 분산이 높은 모델. 훈련 정확도와 교차 검증 정확도 사이에 큰 차이가 있는 것. (과대적합)
  • 해결 방안: 더 많은 훈련 데이터를 모으기 (과대적합 가능성을 줄이는 것임)
    모델 복잡도를 낮추거나 규제 증가시키기. (규제가 없는 모델은 특성 선택, 특성 추출을 통해 특성 개수를 줄이기)
    참고: https://cafe.daum.net/SmartRobot/RoVa/2067

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84

import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline import matplotlib.pyplot as plt from sklearn.model_selection import learning_curve import numpy as np   # 1단계: 데이터 불러오기 df = pd.read_csv('https://archive.ics.uci.edu/ml/'                  'machine-learning-databases'                  '/breast-cancer-wisconsin/wdbc.data', header=None)   # 2단계: 데이터 전처리리 # 인코딩 X = df.loc[:, 2:].values y = df.loc[:, 1].values le = LabelEncoder() y = le.fit_transform(y) le.transform(['M', 'B']) # 데이터셋 분류 (8:2) X_train, X_test, y_train, y_test = \     train_test_split(X, y,                      test_size=0.20,                      stratify=y,                      random_state=1)   # # 3단계: 파이프라인 # pipe_lr = make_pipeline(StandardScaler(),     # 변환기: 표준화 #                         PCA(n_components=2),  # 변환기: 차원 축소: 주성분 분석(PCA) #                         LogisticRegression()) # 추정기   # pipe_lr.fit(X_train, y_train) # 학습 # y_pred = pipe_lr.predict(X_test) # 예측 # # test_acc = pipe_lr.score(X_test, y_test) # 테스트 정확도       # k-겹 교차 검증(k-fold cross-validation)을 내부적으로 사용하여 학습 곡선을 그리기 위해 데이터 평가 pipe_lr = make_pipeline(StandardScaler(),                         LogisticRegression(penalty='l2', max_iter=10000))   train_sizes, train_scores, test_scores =\                 learning_curve(estimator=pipe_lr,                                X=X_train,                                y=y_train,                                train_sizes=np.linspace(0.1, 1.0, 10),                                cv=10,                                n_jobs=1)   train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) test_mean = np.mean(test_scores, axis=1) test_std = np.std(test_scores, axis=1)   plt.plot(train_sizes, train_mean,          color='blue', marker='o',          markersize=5, label='Training accuracy')   plt.fill_between(train_sizes,                  train_mean + train_std,                  train_mean - train_std,                  alpha=0.15, color='blue')   plt.plot(train_sizes, test_mean,          color='green', linestyle='--',          marker='s', markersize=5,          label='Validation accuracy')   plt.fill_between(train_sizes,                  test_mean + test_std,                  test_mean - test_std,                  alpha=0.15, color='green')   plt.grid() plt.xlabel('Number of training examples') plt.ylabel('Accuracy') plt.legend(loc='lower right') plt.ylim([0.8, 1.03]) plt.tight_layout() plt.show() Colored by Color Scripter

cs

훈련 샘플 개수에 따라 훈련 세트와 검증 세트의 정확도를 보여주는 학습 곡선

② 검증 곡선으로 과대적합과 과소적합 조사

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline import matplotlib.pyplot as plt from sklearn.model_selection import validation_curve import numpy as np   # 1단계: 데이터 불러오기 df = pd.read_csv('https://archive.ics.uci.edu/ml/'                  'machine-learning-databases'                  '/breast-cancer-wisconsin/wdbc.data', header=None)   # 2단계: 데이터 전처리리 # 인코딩 X = df.loc[:, 2:].values y = df.loc[:, 1].values le = LabelEncoder() y = le.fit_transform(y) le.transform(['M', 'B']) # 데이터셋 분류 (8:2) X_train, X_test, y_train, y_test = \     train_test_split(X, y,                      test_size=0.20,                      stratify=y,                      random_state=1)   # # 3단계: 파이프라인 # pipe_lr = make_pipeline(StandardScaler(),     # 변환기: 표준화 #                         PCA(n_components=2),  # 변환기: 차원 축소: 주성분 분석(PCA) #                         LogisticRegression()) # 추정기   # pipe_lr.fit(X_train, y_train) # 학습 # y_pred = pipe_lr.predict(X_test) # 예측 # # test_acc = pipe_lr.score(X_test, y_test) # 테스트 정확도     # k-겹 교차 검증(k-fold cross-validation)을 내부적으로 사용하여  # 검증 곡선을 그리기 위해 데이터 평가 pipe_lr = make_pipeline(StandardScaler(),                         LogisticRegression(penalty='l2', max_iter=10000))   param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0] train_scores, test_scores = validation_curve(                 estimator=pipe_lr,                 X=X_train,                 y=y_train,                 param_name='logisticregression__C',                 param_range=param_range,                 cv=10) # 10-겹 교차 검증   train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) test_mean = np.mean(test_scores, axis=1) test_std = np.std(test_scores, axis=1)   plt.plot(param_range, train_mean,          color='blue', marker='o',          markersize=5, label='Training accuracy')   plt.fill_between(param_range, train_mean + train_std,                  train_mean - train_std, alpha=0.15,                  color='blue')   plt.plot(param_range, test_mean,          color='green', linestyle='--',          marker='s', markersize=5,          label='Validation accuracy')   plt.fill_between(param_range,                  test_mean + test_std,                  test_mean - test_std,                  alpha=0.15, color='green')   plt.grid() plt.xscale('log') plt.legend(loc='lower right') plt.xlabel('Parameter C') plt.ylabel('Accuracy') plt.ylim([0.8, 1.0]) plt.tight_layout() # plt.savefig('figures/06_06.png', dpi=300) plt.show() Colored by Color Scripter

cs

SVM 하이퍼파라미터 C(규제 역수)에 대한 검증 곡선

4. 그리드 서치를 사용한 머신 러닝 모델 세부 튜닝

• 파라미터 조합 샘플링
  ① 그리드 서치: 완전 탐색. (리스트로 지정된 하이퍼파라이터 값들을 모두 적용시킨 후 최적의 조합을 찾는 것)
  ② 랜덤 서치: 하이퍼파라미터로 설정될 수 있는 범위 내에서 랜덤한 값을 뽑아 조합을 찾는 것.

아홉 개의 하이퍼파라미터 설정을 샘플링

① 그리드 서치를 사용한 하이퍼파라미터 튜닝

• 완전 탐색: 리스트로 지정된 여러 가지 하이퍼파라미터 값 전체를 모두 조사.
• 문제점: 하이퍼파라미터 그리드 설정이 크면 그리드 서치 비용이 많이듦.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC   # 1단계: 데이터 불러오기 df = pd.read_csv('https://archive.ics.uci.edu/ml/'                  'machine-learning-databases'                  '/breast-cancer-wisconsin/wdbc.data', header=None)   # 2단계: 데이터 전처리리 # 인코딩 X = df.loc[:, 2:].values y = df.loc[:, 1].values le = LabelEncoder() y = le.fit_transform(y) le.transform(['M', 'B']) # 데이터셋 분류 (8:2) X_train, X_test, y_train, y_test = \     train_test_split(X, y,                      test_size=0.20,                      stratify=y,                      random_state=1)   # # 3단계: 파이프라인 # pipe_lr = make_pipeline(StandardScaler(),     # 변환기: 표준화 #                         PCA(n_components=2),  # 변환기: 차원 축소: 주성분 분석(PCA) #                         LogisticRegression()) # 추정기   # pipe_lr.fit(X_train, y_train) # 학습 # y_pred = pipe_lr.predict(X_test) # 예측 # # test_acc = pipe_lr.score(X_test, y_test) # 테스트 정확도       # 그리드 서치를 사용한 하이퍼파라미터 튜닝 pipe_svc = make_pipeline(StandardScaler(),                          SVC(random_state=1)) # 선형 SVM의 경우 규제 매개변수 C만 튜닝 param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]   param_grid = [{'svc__C': param_range,                'svc__kernel': ['linear']},               {'svc__C': param_range,                'svc__gamma': param_range,                'svc__kernel': ['rbf']}]   gs = GridSearchCV(estimator=pipe_svc,                   param_grid=param_grid,                   scoring='accuracy',                   refit=True,                   cv=10) # 10-겹 교차 검증                          # (서로 다른 하이퍼파라미터 설정으로 훈련된 모델을 비교하기 위해) gs = gs.fit(X_train, y_train) print(gs.best_score_) print(gs.best_params_) Colored by Color Scripter

cs

테스트 정확도: 0.984 / 그에 따른 하이퍼파라미터

② 랜덤 서치로 하이퍼파라미터 설정을 더 넓게 탐색하기

• 그리드 서치는 완전 탐색이기에 사용자가 지정한 파라미터 그리드에 최적의 하이퍼파라미터가 포함되어 있다면 무조건 찾을 수 있음.
• 그러나 그리드 서치 비용의 문제로 랜덤 서치를 사용.
• 랜덤 서치: 분포에서 랜덤하게 하이퍼파라미터 설정을 샘플링함.
  (하이퍼파라미터 공간에 대해 완전 탐색을 수행하지 않기에 비용과 시간 측면에서 더 효율적으로 넓은 범위의 하이퍼파라미터 값을 탐색할 수 있음)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72

import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline import scipy.stats from sklearn.model_selection import RandomizedSearchCV from sklearn.svm import SVC import numpy as np   # 1단계: 데이터 불러오기 df = pd.read_csv('https://archive.ics.uci.edu/ml/'                  'machine-learning-databases'                  '/breast-cancer-wisconsin/wdbc.data', header=None)   # 2단계: 데이터 전처리리 # 인코딩 X = df.loc[:, 2:].values y = df.loc[:, 1].values le = LabelEncoder() y = le.fit_transform(y) le.transform(['M', 'B']) # 데이터셋 분류 (8:2) X_train, X_test, y_train, y_test = \     train_test_split(X, y,                      test_size=0.20,                      stratify=y,                      random_state=1)   # # 3단계: 파이프라인 # pipe_lr = make_pipeline(StandardScaler(),     # 변환기: 표준화 #                         PCA(n_components=2),  # 변환기: 차원 축소: 주성분 분석(PCA) #                         LogisticRegression()) # 추정기   # pipe_lr.fit(X_train, y_train) # 학습 # y_pred = pipe_lr.predict(X_test) # 예측 # # test_acc = pipe_lr.score(X_test, y_test) # 테스트 정확도       # 랜덤 서치를 사용한 하이퍼파라미터 튜닝 # 선형 SVM의 경우 규제 매개변수 C만 튜닝 #param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0] #이전 그리드 서치 데이터(가능한 하이퍼 파라미터 범위) param_range = scipy.stats.loguniform(0.0001, 1000.0)  # 로그 균일 분포를 따르는 파라미터 범위 설정   np.random.seed(1) param_range.rvs(10)  #10개의 랜덤 수 생성   pipe_svc = make_pipeline(       StandardScaler(),     SVC(random_state=1))   param_grid = [{'svc__C': param_range,                'svc__kernel': ['linear']},               {'svc__C': param_range,                'svc__gamma': param_range,                'svc__kernel': ['rbf']}]   rs = RandomizedSearchCV(estimator=pipe_svc,  # 랜덤 서치를 위한 파이프라인 설정                         param_distributions=param_grid,  # 탐색할 파라미터 분포 설정                         scoring='accuracy',  # 평가 지표 설정                         refit=True,  #재학습 여부 설정                         n_iter=20,  #하이퍼파라미터 조합을 몇 번 탐색할지 설정                         cv=10,  #f-교차 검증에서 fold의 수 설정                         random_state=1,                          n_jobs=-1)    rs = rs.fit(X_train, y_train) print(rs.best_score_)   print(rs.best_params_)   Colored by Color Scripter

cs

테스트 정확도: 0.978 / 그에 따른 하이퍼파라미터

③ 중첩 교차 검증을 사용한 알고리즘 선택

• 중첩 교차 검증
  바깥쪽 k-겹 교차 검증 루프가 데이터를 훈련 폴드와 테스트 폴드로 나누고,
  안쪽 루프가 훈련 폴드에서 k-겹 교차 검증을 수행하여 모델을 선택한다.
  바깥 루프에 다섯 개의 폴드를 사용하고, 안쪽 루프에 두 개의 폴드를 사용하는 중첩 교차 검증의 개념을 보여 주고 있음.
• 계산 성능이 중요한 대용량 데이터셋에서 유용함.

5. 여러 가지 성능 평가 지표

• 일반적으로 분류 모델의 성능을 정량화하는데 유용함. (성능 지표를 통해 주어진 문제에 모델이 적합한지 측정할 수 있음)

① 오차 행렬: 학습 알고리즘의 성능을 펼쳐놓은 행렬.

오차 행렬 / 유방암 데이터셋의 오차 행렬

② 분류 모델의 정밀도와 재현율 최적화

• 예측 오차(ERR)와 정확도(ACC) 모두 얼마나 많은 샘플을 잘못 분류했는지는 일반적으로 알려줌.
  • 예측 오차(ERR): 잘못된 예측의 합을 전체 예측 샘플 개수로 나눈 것.
  • 정확도(ACC): 옳은 예측의 합을 전체 예측 샘플 개수로 나눈 것.
• 거짓 양성 비율(FPR)과 진짜 양성 비율(TPR)은 클래스 비율이 다른 경우 유용한 성능 지표임.
  • 거짓 양성 비율(FPR) = FP/N(FP+TN)
  • 진짜 양성 비율(TPR) = TP/P(FN+TP)
• 정밀도(PRE)와 재현율(REC) 성능 지표는 진짜 양성과 진짜 음성 샘플의 비율과 관련있음.
  • 정밀도(PRE)  = TP/(TP+FP)
  • 재현율(REC) = TPR = TP/P(FN+TP)