머신러닝 파이토치편 6장

[한윤지]

6장 요약정리

1. 파이프라인을 사용한 효율적인 워크플로

★ 데이터 압축을 위해 주성분 분석을 적용.

★ 새로운 데이터의 스케일을 조정하고 압축하기 위해 훈련데이터셋에서 파라미터를 재사용함.

==> 사이킷런의 Pipeline 클래스

1.2. 파이프라인으로 변환기와 추정기 연결

★ 최적의 성능을 위해 입력 특성이 같은 스케일을 가져야함.

• 위스콘신 유방암 데이터셋을 주성분 분석을 통해 초기 30차원에서 2차원 부분 공간으로 데이터 압축한다고 가정.

1 2 3 4 5 6 7 8 9 10 11 12

from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline   pipe_lr = make_pipeline(StandardScaler(),                         PCA(n_components=2),                         LogisticRegression())   pipe_lr.fit(X_train, y_train) y_pred = pipe_lr.predict(X_test) test_acc = pipe_lr.score(X_test, y_test)

cs

• make_pipline 함수: 여러 개의 사이킷런 변환기(입력에 대해 fit 메서드와 transform 메서드를 지원하는 객체)와 그 뒤에 fit메서드와 predict 메서드를 구현한 사이킷런 추정기를 연결할 수 있음.
• Pipeline 객체의 fit 메서드를 호출하면 데이터가 중간 단계에 있는 모든 변환기의 fit 메서드와 ftransform 메서드를 차례대로 거쳐 추정기 객체(파이프라인의 마지막 단계)에 도달함.                                                                                                                ==> 추정기는 변환된 훈련데이터셋을 사용하여 학습하고 변환된 데이터에 대한 예측 반환.
  •  파이프라인의 중간 단계는 횟수 제한이 없으나 파이프라인을 예측 작업에 사용하려면 파이프라인의 마지막 요소는 추정기가 되어야함.

파이프라인 객체의 작동방식

2. k-겹 교차 검증을 사용한 모델 성능 평가

2.1. 홀드 아웃 방법

• 초기 데이터셋을 별도의 훈련 데이터셋(모델 훈련에 사용)과 테스트 데이터셋(일반화 성능을 추정하는데 사용)으로 나눔.
• 처음 본 데이터에서 예측 성능을 높이기 위해 하이퍼파라미터를 튜닝하고 비교해야함                                                            ==> 모델 선택: 주어진 분류 문제에서 튜닝할 파라미터(또는 하이퍼파라미터)의 최적 값을 선택해야 하는것

<모델선택에 홀드아웃 방법 사용하는 가장 좋은 방법>

훈련 데이터셋(여러 가지 모델 훈련 하는 데 사용), 검증 데이터셋(모델 선택에 사용), 테스트 데이터셋 세 개의 부분으로 나눈다!

---> 훈련과 모델 선택 단계에서 모델이 만나지 못한 테스트 데이터셋을 분리했기 때문에 새로운 데이터에 대한 일반화 능력을 덜 편향되게 추정할 수 있는 장점이 있음.

---> 훈련 데이터를 훈련 데이터셋과 검증 데이터셋으로 나누는 방법에 따라 성능 추정이 민감할 수 있다는 것이 단점임.

훈련 세트, 검증 세트, 테스트 세트 사용방법

• 그림에서 보듯이 검증데이터셋을 사용하여 반복적으로 다른 파라미터 값에서 모델을 훈련한 후 성능을 평가함.
• 만족할 만한 하이퍼파라미터 값을 얻었따면 테스트 데이터셋에서 모델의 일반화 성능을 추정함.

2.2. k-겹 교차 검증

① k-겹 교차검증

1. 중복을 허용하지 않고 훈련 데이터셋을 k개의 폴드로 랜덤하게 나눔.
2. k-1개의 폴드(훈련폴드)로 모델을 훈련하고 나머지 하나의 폴드(테스트 폴드)로 성능을 평가.                                                  => 이 과정을 k번 반복하여 k개의 모델과 성능 추정을 얻음.
3. 서로 다른 독립적인 폴드에서 얻은 성능 추정을 기반으로 모델의 평균 성능을 계산.                                                                 => k-겹 교차 검증이 중복을 허용하지 않는 리샘플링 기법이기 때문에 테스트 폴드간 중복되는 샘플이 없어 모델 성능의 추정에 분산이 낮아 홀드 아웃 방법에 비해 훈련 데이터셋의 분할에 덜 민감한 성능 추정을 얻을 수 있음.

• 일반적으로 모델 튜닝에 주로 사용되는데 테스트 데이터셋에서 모델의 성능을 평가할 때 만족할 만한 일반화 성능을 내는 최적의 하이퍼파라미터 값을 찾기 위해 사용함.  
• k-겹 교차 검증 후에 전체 훈련 데이터셋으로 모델을 다시 훈련함.
  • (k개의 개별 모델이 아니라) 하나의 최종모델이 필요하기 때문
  • 훈련 샘플이 많을 수록 학습알고리즘이 더 정확하고 안정적인 모델을 만들기 때문

k-겹 교차 검증(모든 데이터 포인트가 평가에 사용되기 때문에 검증 세트를 사용하는 홀드 아웃방법보다 더 잘 활용됨)

<k값>

• k값이 증가하면 더 많은 훈련 데이터가 각 반복에 사용되고 모델 성능을 평균하여 일반화 성능을추정할 때 더 낮은 편향을 만들음.
• k값이 아주 크면 교차 검증 알고리즘의 실행시간이 늘어나고 분산이 높은 추정을 만듦                                                           ==> 훈련 폴드가 서로 많이 비슷해지기 때문 
• 비교적 작은 훈련 데이터셋이면 폴드 개수를 늘리고 대규모 데이터셋으로 작업하면 k=5와 같이 작은 k값 선택해도 됨.               => 가장 좋은 기본값은 k=10임.

② 계층적 k-겹 교차검증

--> k-겹 교차검증이 클래스 비율이 동등하지 않을 때 사용

--> 각 폴드에서 클래스 비율이 전체 훈련 데이터셋에 잇는 클래스 비율을 대표하도록 유지.

1 2 3 4 5 6 7 8 9 10 11

from sklearn.model_selection import cross_validate   scores = cross_validate(estimator=pipe_lr,                         X=X_train,                         y=y_train,                         scoring=['accuracy'],                         cv=10,                         n_jobs=-1) print('CV 정확도 점수: %s' % scores['test_accuracy']) print('CV 정확도: %.3f +/- %.3f' % (np.mean(scores['test_accuracy']),                                  np.std(scores['test_accuracy'])))

cs

• cross_val_score(사이킷런 함수) : 각 폴드의 평가를 컴퓨터에 있는 복수 개의 CPU 코어에 분산할 수 있음.
  • n_jobs 매개변수
    • n_jobs=1로 설정: 하나의 CPU 코어만 성능평가에 사용
    • n_jobs=2로 설정: 두 개의 CPU 코어에 교차 검증을 10회씩 분산
    • n_jobs=3로 설정: 컴퓨터에설정된 모든 CPU 코어를 사용하여 병렬 처리 

3. 학습 곡선과 검증 곡선을 사용한 알고리즘 디버깅

3.1. 학습 곡선으로 편향과 분산 문제 분석

	훈련 정확도와 교차 검증 정확도가 모두 낮음 ==> 과소적합 <과소적합 해결방법> 1. 모델의 파리미터 개수를 늘린다. 2. 추가적인 특성을 수집하거나 만든다. 3. 서포트 벡터 머신(SVM)이나 로지스틱 회귀 분류기에서 규제 강도를 줄인다.
	훈련 정확도와 교차 검증 정확도 사이에 큰 차이가 있음 ==> 과대적합 <과대적합 해결방법> 1. 더 많은 훈련 데이터를 모은다. 2. 모델 복잡도를 낮춘다. 3. 규제를 증가시킨다. --> 규제가 없는 모델에서는 특성 선택이나 특성추출을 통해 특성 개수를 줄여 과대적합을 감소시킨다.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

import matplotlib.pyplot as plt from sklearn.model_selection import learning_curve     pipe_lr = make_pipeline(StandardScaler(),                         LogisticRegression(penalty='l2', max_iter=10000))   train_sizes, train_scores, test_scores =\                 learning_curve(estimator=pipe_lr,                                X=X_train,                                y=y_train,                                train_sizes=np.linspace(0.1, 1.0, 10),                                cv=10,                                n_jobs=1)   train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) test_mean = np.mean(test_scores, axis=1) test_std = np.std(test_scores, axis=1)   plt.plot(train_sizes, train_mean,          color='blue', marker='o',          markersize=5, label='Training accuracy')   plt.fill_between(train_sizes,                  train_mean + train_std,                  train_mean - train_std,                  alpha=0.15, color='blue')   plt.plot(train_sizes, test_mean,          color='green', linestyle='--',          marker='s', markersize=5,          label='Validation accuracy')   plt.fill_between(train_sizes,                  test_mean + test_std,                  test_mean - test_std,                  alpha=0.15, color='green')   plt.grid() plt.xlabel('Number of training examples') plt.ylabel('Accuracy') plt.legend(loc='lower right') plt.ylim([0.8, 1.03]) plt.tight_layout() # plt.savefig('figures/06_05.png', dpi=300) plt.show() Colored by Color Scripter

cs

• learning_curve(사이킷런 함수)
  • 계층별 k-교차 검증을 사용하여 분류기의 교차 검증 정확도를 계산한다.
  • train_sizes 매개변수를 통해 학습 곡선을 생성하는 데 사용할 훈련 샘플의 개수나 비율을 지정할 수 있음.

훈련 샘플 개수에 따라 훈련 세트와 검증 세트의 정확도를 보여주는 학습 곡선 모델 훈련에 250개의 샘플 이상을 사용할 때 훈련과 검증 데이터셋에서 잘 작동함.

3.2. 검증 곡선으로 과대적합과 과소적합 조사

• 검증 곡선
  • 과대적합과 과소적합 문제를 해결하여 모델 성능을 높일 수 있는 유용한 도구
  • 모델 파리미터의 값의 함수로 그림.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

from sklearn.model_selection import validation_curve     param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0] train_scores, test_scores = validation_curve(                 estimator=pipe_lr,                 X=X_train,                 y=y_train,                 param_name='logisticregression__C',                 param_range=param_range,                 cv=10)   train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) test_mean = np.mean(test_scores, axis=1) test_std = np.std(test_scores, axis=1)   plt.plot(param_range, train_mean,          color='blue', marker='o',          markersize=5, label='Training accuracy')   plt.fill_between(param_range, train_mean + train_std,                  train_mean - train_std, alpha=0.15,                  color='blue')   plt.plot(param_range, test_mean,          color='green', linestyle='--',          marker='s', markersize=5,          label='Validation accuracy')   plt.fill_between(param_range,                  test_mean + test_std,                  test_mean - test_std,                  alpha=0.15, color='green')   plt.grid() plt.xscale('log') plt.legend(loc='lower right') plt.xlabel('Parameter C') plt.ylabel('Accuracy') plt.ylim([0.8, 1.0]) plt.tight_layout() # plt.savefig('figures/06_06.png', dpi=300) plt.show() Colored by Color Scripter

cs

• validation_curve(사이킷런 함수)
  • 계층별 k-겹 교차 검증을 사용하여 모델의 성능 추정.
  • validation_curve 함수안에서 평가하기 원하는 매개변수 C를 지정.
    • C값이 바뀜에 따라 정확도 차이가 미묘하지만 규제 강도를 높이면(C값을 높이면) 모델이 데이터에 조금 과소 적합된다.
    • 규제 강도가 낮아지는 큰 C값에서는 모델이 데이터에 조금 과대적합되는 경향을 보인다                                             => 적절한 C값은 0.1.과 1.0 사이

4. 그리드 서치를 사용한 머신 러닝 모델 세부 튜닝

<머신러닝 종류>

① 훈련 데이터에서 학습되는 파라미터(ex 로지스틱 회귀의 가중치)

② 별도로 최적화되는 학습 알고리즘의 파라미터(= 모델 파리미터, 하이퍼파리미터, ex 로지스틱 회귀의 규제 매개변수)

4.1. 그리드 서치를 사용한 하이퍼파라미터 튜닝

1. 리스트로 지정된 여러 가지 하이퍼파라미터 값 전체 모두 조사
2. 이 리스트에 있는 값의 모든 조합에 대해 모델 성능을 평가하여 최적의 조합 찾음

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC   pipe_svc = make_pipeline(StandardScaler(),                          SVC(random_state=1))   param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]   param_grid = [{'svc__C': param_range,                'svc__kernel': ['linear']},               {'svc__C': param_range,                'svc__gamma': param_range,                'svc__kernel': ['rbf']}]   gs = GridSearchCV(estimator=pipe_svc,                   param_grid=param_grid,                   scoring='accuracy',                   refit=True,                   cv=10) gs = gs.fit(X_train, y_train) print(gs.best_score_) print(gs.best_params_) Colored by Color Scripter

cs

• GridSearchCV(사이킷런 클래스)
  
  • 서로 다른 하이퍼파라미터 설정으로 훈련된 모델을 비교하기 위해 k-겹 교차검증을 사용.
  • n_jobs=-1로 설정해 모든 CPU코어로 여러 폴드에서 병렬로 모델을 훈련하여 그리드 서치 속도를 높일 수 있도록 함.
  • best_score_ 속성: 훈련 데이터셋을 사용하여 그리드 서치를 수행한 후 최상의 모델 점수
  • best_estimator_ 속성: 테스트 데이텟을 사용한 최고 모델의 성능
  • refit 매개변수=true이면 전체 훈련 데이터셋에서 자동으로 gs.best_estimator_를 훈련

4.2. 랜덤 서치로 하이퍼파라미터 설정을 더 넓게 탐색하기

• 랜덤 서치: 분포(또는 이산적인 집합)에서 랜덤하게 하이퍼파라미터 설정을 샘플링함.

<그리드 서치> - 완전탐색 - 하이퍼파라미터 그리드 실정이 크면 그리드 서치 비용이 많이 소요됨 -사용자가 지정한 이산적인 옵션만 탐색하르모 탐색 공간이 너무 듬성듬성하면 좋은 하이퍼파라미터 설정을 놓칠 수 있음.	<랜덤 서치> - 공간에 대해 완전 탐색 수행하지 않음 - 비율과 시간 측면에서 더 효율적으로 넓은 범위의 하이퍼파라미터 값을 탐색할 수 있음.

랜덤 탐색을 사용하여 SVM 튜닝

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

import scipy.stats from sklearn.model_selection import RandomizedSearchCV   param_range = [0.0001, 0.001, 0.01, 0.1,                1.0, 10.0, 100.0, 1000.0]   param_range = scipy.stats.loguniform(0.0001, 1000.0)   np.random.seed(1)     pipe_svc = make_pipeline(     StandardScaler(),     SVC(random_state=1))   param_grid = [{'svc__C': param_range,                'svc__kernel': ['linear']},               {'svc__C': param_range,                'svc__gamma': param_range,                'svc__kernel': ['rbf']}]   # RandomizedSearchCV 객체 생성 rs = RandomizedSearchCV(estimator=pipe_svc,                         param_distributions=param_grid,                         scoring='accuracy',                         refit=True,                         n_iter=20,                         cv=10,                         random_state=1,                         n_jobs=-1) rs = rs.fit(X_train, y_train)

cs

• RandomizedSearchCV(사이킷런 클래스)
  • 분포를 파라미터 그리드의 일부로 지정하고 평가할 하이퍼파라미터 설정의 총 개수를 지정할 수 있음.
  • 범주형 하이퍼파라미터의 경우 파라미터 그리드에 사용한 입력처럼 이산적인 값 리스트를 받을 수 있음.                            => 이러한 리스트를 샘플링 분포로 대체할 수 있음.

4.3. SH 방식을 사용한 자원 효율적인 하이퍼파라미터 탐색

• SH 방식
  1. 랜덤 샘플링 통해 후보 설정의 집합 샘플링                                                                                                                             => 사이킷런 클래스 HalvingRandomSearchCV(랜덤탐색), HalvingGridSearchCV(그리드) 제공
  2. 제한된 자원, 예를 들어(전체 훈련 세트가 아니라) 훈련 데이터의 일부로 모델을 훈련
  3. 예측 성능을 기준으로 하위 50% 버림
  4. 가용한 자원 늘려 단계 2로 돌아감. 

4.4. 중첩 교차 검증을 사용한 알고리즘 선택

• 중첩 교차 검증
  • 바깥쪽 k-겹 고차 검증 루프가 데이터를 훈련 폴드와 테스트 폴더로 나누고 안쪽 루프가 훈련 폴드에서 k-겹 교차 검증을 수행하여 모델 선택
  • 모델이 선택되면 테스트 폴드를 사용하여 모델 성능 평가.

중첩 교차 검증 => 계산 성능이 중요한 대용량 데이터셋에서 유용

5. 여러 가지 성능 평가 지표

5.1. 오차행렬

오차행렬

--> 사이킷런 ConfusionMatrixDisplay 클래스를 사용하면 오차 행렬을 쉽게 그릴 수 있음.

5.2. 분류 모델의 정밀도와 재현율 최적화

• 예측 오차(ERR)와 정확도(ACC) 모두 얼마나 많은 샘플을 잘못 분류했는지 일반적인 정보를 알려줌.

예측오차
정확도

• 거짓 양성 비율(FPR)과 진짜 양성 비율(TPR)은 클래스 비율이 다른 경우 유용한 성능 지표임                                                       => FPR에 비해 TPR은 전체 중에 올바르게 분류된 샘플의 비율을 알려줌

거짓 양성 비율(FPR)
진짜 양성 비율(TPR)

• 정밀도와 재현율 성능지표는 진짜 양성과 진짜 음성 샘플의 비율과 관련이 있음.

재현율(REC) : 관련된 샘플(양성)을 얼마나 많이(진짜 양성으로)감지했는지 정량화
정밀도(PRE) : 예측된 샘플(진짜 양성과 거짓 양성의 합) 중 실제로 관련된 샘플(진짜 양성)의 수를 정량화

• PRE와 REC 최적화로 인한 장단점의 균형을 맞추기위해 PRE와 REC 조화 평균이 F1-점수를 자주 사용.

5.5. 불균형한 클래스 다루기

--> 한 개 또는 여러 개의 클래스 샘플이 데이터셋에 너무 많을 때 클래스 불균형이 일어남.

불균형한 클래스 다루는 방법

1. 소수 클래스에서 발생한 예측 오루에 큰 벌칙 부여
2. 소수 클래스의 샘플을 늘리거나 다수 클래스의 샘플을 줄임
3. 인공적으로 훈련 샘플을 생성