<p><b>* 하이퍼파라미터</b></p><p>- 각 층의 뉴런 수</p><p>- 배치 크기 </p><p>- 매개변수 갱신 시 학습률</p><p>- 가중치 감소</p><p><br></p><p><b>* 검증 데이터(Validation Data)</b> </p><p>- 하이퍼파라미터를 조정할 때는 하이퍼파라미터 전용 확인 데이터가 필요.</p><p>- <span style="font-size: 9pt;">하이퍼파라미터의 적절성을 평가</span></p><p>- 하이퍼파라미터의 성능을 평가할 때 시험 데이터를 사용하면 안됨 </p><p>- 시험 데이터를 사용하여 하이퍼파라미터를 조정하면 하이퍼파라미터 값이 시험 데이터에 오버피팅 됨.</p><p><br></p><p><b>* 하이퍼파라미터 최적화</b></p><p>- 하이퍼파라미터를 최적화할 때의 핵심은 하이퍼파라미터의 최적 값이 존재하는 범위를 조금씩 줄여간다는 것이다. </p><p>- 대략적인 범위를 설정하고 무작위로 하이퍼파라미터의 값을 샘플링 한 후 그 값으로 정확도를 평가한다. </p><p>- 최적화에 시간이 오래 걸리기 때문에 에폭을 작게하여 1회 평가에 걸리는 시간을 단축하는 것이 좋다. </p><p><br></p><p><b>0 단계 </b></p><p>- 하이퍼파라미터 값의 범위를 설정</p><p><b>1단계</b></p><p>- 설정된 범위에서 하이퍼파라미터의 값을 무작위로 추출한다. </p><p><b>2단계</b> </p><p>- 1단계에서 샘플링한 하이퍼파라미터 값을 사용하여 학습하고, 검증 데이터로 정확도를 평가한다. (단, 에폭을 작게 설정)</p><p><b>3단계 </b></p><p>- 1단계와 2단계를 특정 횟수(100회 등) 반복하여, 그 정확도를 보고 하이퍼파라미터의 범위를 좀힌다. </p><p><br></p>
<!-- -->
