교차검증(통계) - Cross-validation (statistics)

[dhleepaul]

교차검증(통계) - Cross-validation (statistics)

출처: Cross-validation (statistics)

교차 검증, [2][3][4] 회전 추정 [5] [6] [7] 또는 샘플 외 테스트라고도 하는 는 다양한 유사한 모델 검증 기술 중 하나입니다. 통계 분석의 결과가 독립적인 데이터 세트로 일반화되는 방법을 평가합니다. 교차 검증에는 데이터의 다른 부분을 사용하여 서로 다른 반복에서 모델을 테스트하고 훈련하는 리샘플링 및 샘플 분할 방법이 포함됩니다. 예측이 목표인 환경에서 자주 사용되며 예측 모델이 실제로 얼마나 정확하게 수행될지 추정하려고 합니다. 또한 적합된 모델의 품질과 해당 매개변수의 안정성을 평가하는 데 사용할 수 있습니다.

예측 문제에서 모델에는 일반적으로 학습이 실행되는 알려진 데이터의 데이터 세트(학습 데이터 세트)와 모델을 테스트하는 알 수 없는 데이터(또는 처음 본 데이터)의 데이터 세트(검증 데이터 세트 또는 테스트 세트라고 함)가 제공됩니다. [8][9] 교차 검증의 목표는 과적합 또는 선택 편향과 같은 문제를 표시하고[10] 모델이 독립적인 데이터 세트(즉, 실제 문제에서 알 수 없는 데이터 세트)로 일반화되는 방법에 대한 통찰력을 제공하기 위해 추정에 사용되지 않은 새로운 데이터를 예측하는 모델의 기능을 테스트하는 것입니다.

한 차례의 교차 검증에는 데이터 샘플을 상호 보완적인 하위 집합으로 분할하고, 한 하위 집합(학습 집합이라고 함)에 대한 분석을 수행하고, 다른 하위 집합(검증 집합 또는 테스트 집합이라고 함)에 대한 분석을 검증하는 작업이 포함됩니다. 변동성을 줄이기 위해 대부분의 방법에서는 서로 다른 파티션을 사용하여 여러 차례의 교차 검증을 수행하고, 검증 결과를 라운드에 걸쳐 결합(예: 평균화)하여 모델의 예측 성능을 추정합니다.

요약하면, 교차 검증은 모델 예측 성능에 대한 보다 정확한 추정치를 도출하기 위해 예측의 적합성 측정을 결합(평균)합니다. [11]

동기 부여

하나 이상의 알 수 없는 매개변수가 있는 모델과 모델을 피팅할 수 있는 데이터 세트(학습 데이터 세트)를 가정합니다. 피팅 프로세스는 모델이 학습 데이터를 최대한 잘 피팅할 수 있도록 모델 매개변수를 최적화합니다. 학습 데이터와 동일한 모집단에서 검증 데이터의 독립적인 표본을 추출하면 일반적으로 모델이 학습 데이터에 적합할 뿐만 아니라 검증 데이터에도 적합하지 않은 것으로 판명됩니다. 이 차이의 크기는 특히 학습 데이터 세트의 크기가 작거나 모델의 매개 변수 수가 클 때 클 수 있습니다. 교차 검증은 이 효과의 크기를 추정하는 방법입니다. [ 인용 필요 ]

예: 선형 회귀[편집]

선형 회귀 분석에는 실제 반응 값이 존재합니다

, 및 n개의 p차원 벡터 공변량 x1, ..., xn. 벡터 xi의 구성 요소는 xi1, ..., xip로 표시됩니다. 최소 제곱을 사용하여 초평면 ŷ = a + βTx 형태의 함수를 데이터 (x, i, y, i) 1 ≤ i ≤ n에 피팅하는 경우 평균 제곱 오차(MSE)를 사용하여 피팅을 평가할 수 있습니다. 훈련 세트 (x, i, y, i) 1 ≤ i ≤ n에서 주어진 추정 매개변수 값 a 및 β에 대한 MSE는 다음과 같이 정의됩니다.

모델이 올바르게 지정된 경우 학습 세트에 대한 MSE의 기대값이 검증 세트에 대한 MSE의 기대값의 < 1배임을 가벼운 가정하에 표시할 수 있습니다(기대값은 학습 세트의 분포를 인수함). 따라서 훈련 세트에 대한 적합 모델 및 계산된 MSE는 모델이 독립적인 데이터 세트에 얼마나 잘 맞는지에 대한 낙관적으로 편향된 평가를 생성합니다. 이 편향된 추정치를 적합치의 표본내 추정치라고 하는 반면, 교차 검증 추정치는 표본 외 추정치입니다. [ 인용 필요 ]

선형 회귀에서는 모델 사양이 유효하다는 가정 하에 학습 MSE가 검증 MSE를 과소평가하는 요인 (n − p − 1)/(n + p + 1)을 직접 계산할 수 있으므로 모델이 과적합되었는지 여부를 확인하기 위해 교차 검증을 사용할 수 있습니다, 이 경우 검증 세트의 MSE가 예상 값을 크게 초과합니다. (선형 회귀의 맥락에서 교차 검증은 최적으로 정규화된 비용 함수를 선택하는 데 사용할 수 있다는 점에서도 유용합니다.)

일반적인 경우[편집]

대부분의 다른 회귀 프로시저(예: 로지스틱 회귀)에는 예상되는 표본 외 적합도를 계산하는 간단한 공식이 없습니다. 따라서 교차 검증은 이론적 분석 대신 수치 계산을 사용하여 사용할 수 없는 데이터에 대한 모델의 성능을 예측하는 데 일반적으로 적용 가능한 방법입니다.

유형[편집]

교차 검증의 두 가지 유형, 즉 Exhaustive와 Non-Exhaustive 교차 검증을 구별할 수 있습니다.

철저한 교차 검증[편집]

Exhaustive Cross-validation 방법은 원본 샘플을 훈련 세트와 검증 세트로 나누기 위해 가능한 모든 방법을 학습하고 테스트하는 교차 검증 방법입니다.

Leave-p-out 교차 검증[편집]

LpO CV(Leave-p-out cross-validation)는 p 관측값을 검증 세트로 사용하고 나머지 관측값을 훈련 세트로 사용하는 것을 포함합니다. 이는 p 관측치의 검증 세트와 훈련 세트에서 원래 표본을 절단하기 위해 모든 방법으로 반복됩니다. [12]

LpO 교차 검증에는 모델 학습 및 검증이 필요합니다.

시간, 여기서 n은 원래 표본의 관측치 수이고, 여기서

는 이항 계수입니다. p > 1 및 적당히 큰 n의 경우에도 LpO CV는 계산이 불가능해질 수 있습니다. 예를 들어, n = 100이고 p = 30인 경우

leave-pair-out 교차 검증으로 알려진 p=2를 사용한 LpO 교차 검증의 변형은 이진 분류기의 ROC 곡선 아래 면적을 추정하기 위한 거의 편향되지 않은 방법으로 권장되었습니다. [13]

Leave-one-out 교차 검증

교차 검증은 변수 선택에도 사용할 수 있습니다. [36] 암 환자가 약물에 반응할지 여부를 예측하기 위해 20개 단백질의 발현 수준을 사용한다고 가정해 보겠습니다. 실질적인 목표는 최상의 예측 모델을 생성하는 데 사용해야 하는 20개의 기능 중 어떤 하위 집합을 결정해야 하는지 결정하는 것입니다. 대부분의 모델링 절차에서 샘플 내 오류율을 사용하여 기능 하위 집합을 비교하면 20개의 기능을 모두 사용할 때 최상의 성능이 발생합니다. 그러나 교차 검증에서 가장 적합한 모델에는 일반적으로 실제로 유용한 것으로 간주되는 기능의 하위 집합만 포함됩니다.

최근 의학 통계의 발전은 메타 분석에 사용되는 것입니다. 이는 메타 분석 요약 추정치의 통계적 타당성을 테스트하는 데 사용되는 검증 통계 Vn의 기초를 형성합니다. [37] 또한 메타 분석 결과의 가능한 예측 오류를 추정하기 위해 메타 분석에서보다 전통적인 의미로 사용되었습니다. [38]

더 많은 자료 -  교차 검증 (통계)

• 부스팅(기계 학습)
• 부트스트랩 집계(배깅)
  • Out-of-bag 오류
• 부트스트래핑(통계)
• 누출(기계 학습)
• 모델 선택
• 안정성 (학습 이론)
• 유효성(통계)

참고 및 참고 문헌[편집]

1. ^ 피리오네시, S. 마데; El-Diraby, Tamer E. (2020년 3월). "자산 관리의 데이터 분석: 포장 상태 지수의 비용 효율적인 예측". 인프라 시스템 저널. 26 (1). 도이 : 10.1061 / (ASCE) IS.1943-555X.0000512.
2. ^ 앨런, 데이비드 M (1974). "변수 선택과 데이터 응고의 관계와 예측 방법". 테크노메트릭스. 16 (1) : 125–127. 도:10.2307/1267500. JSTOR 1267500입니다.
3. ^ 스톤, M. (1974). "Cross-Validatory Choice and Assessment of Statistical Predictions(통계적 예측의 교차 검증 선택 및 평가)". 왕립 통계 학회 저널 시리즈 B : 통계 방법론. 36 (2): 111–133. 도이 : 10.1111 / j.2517-6161.1974.tb00994.x.
4. ^ 스톤, M (1977). "교차 검증에 의한 모델 선택의 점근적 동등성과 Akaike의 기준". 왕립 통계 학회 저널, 시리즈 B (방법론적). 39 (1): 44–47. 도이:10.1111/j.2517-6161.1977.tb01603.x. JSTOR 2984877.
5. ^ 가이저, 시모어 (1993). 예측 추론. 뉴욕, 뉴욕 : 채프먼과 홀. ISBN 978-0-412-03471-8.[페이지 필요]
6. ^ Jump up to:a b ↑ Kohavi, Ron (1995년 8월 20일). "정확도 추정 및 모델 선택을 위한 교차 검증 및 부트스트랩에 대한 연구"(PDF). 제14회 인공지능 국제공동학술대회 간행물. 권. 2. Morgan Kaufmann 출판사. 1137–1143쪽. ISBN 978-1-55860-363-9.
7. ^ 데비베르, 피에르 A.; 키틀러, 요제프 (1982). 패턴 인식: 통계적 접근 방식. 런던, GB : Prentice-Hall. ISBN 978-0-13-654236-0.[페이지 필요]
8. ^ ↑ Galkin, Alexander (2011년 11월 28일). "테스트 세트와 검증 세트의 차이점은 무엇입니까?". 교차 검증되었습니다. 스택 교환. 2018 년 10 월 10 일에 확인 함 .
9. ^ "초보자 질문 : 기차, 검증 및 테스트 데이터에 대해 혼란스러워합니다!" . 히튼 리서치. 2010년 12월. 2015년 3월 14일에 원본 문서에서 보존된 문서. 2013년 11월 14일에 확인함.[자체 출판 출처?]
10. ^ 콜리, 개빈 C.; 탤벗, 니콜라 LC (2010). "성능 평가에서 모델 선택의 과적합 및 후속 선택 편향에 관하여"(PDF). 기계 학습 연구 저널. 11 : 2079–2107.
11. ^ 세니, 조반니; ↑ Elder, John F. (2010년 1월). "데이터 마이닝의 앙상블 방법: 예측 결합을 통한 정확도 향상". 데이터 마이닝 및 지식 발견에 대한 종합 강의. 2 (1) : 1–126. 도이 : 10.2200 / S00240ED1V01Y200912DMK002.
12. ^ ↑ Celisse, Alain (2014년 10월). "L2-loss를 사용한 밀도 추정에서 최적의 교차 검증". 통계학 연보(The Annals of Statistics). 42 (5). arXiv : 0811.0802. 도이 : 10.1214 / 14-AOS1240.
13. ^ 아이롤라, 안티; 파히칼라, 타피오; 웨그만, 빌렘; 드 바에츠, 버나드; Salakoski, Tapio (2011년 4월). "ROC 곡선 아래 면적을 추정하기 위한 교차 검증 기술의 실험적 비교". Computational Statistics & Data Analysis(컴퓨터 통계 및 데이터 분석). 55 (4) : 1828–1844. 도:10.1016/j.csda.2010.11.018.
14. ^ 몰리나로, 아네트 M.; 사이먼, 리처드; ↑ Pfeiffer, Ruth M. (2005년 8월). "예측 오류 추정: 리샘플링 방법 비교". 생물정보학. 21 (15): 3301–3307. 도:10.1093/생물정보학/bti499. PMID 15905277.
15. ^ 마이크로어레이 유전자 발현 데이터 분석. 확률과 통계의 Wiley 시리즈. 윌. 2004. 도이 : 10.1002 / 047172842X. ISBN 978-0-471-22616-1.[페이지 필요]
16. ^ 통계 학습의 요소. 통계학의 Springer 시리즈. 2009. 도이 : 10.1007 / 978-0-387-84858-7. ISBN 978-0-387-84857-0.[페이지 필요]
17. ^ Vanwinckelen, Gitte; 블로킬, 헨드릭 (2012). "반복된 교차 검증을 통한 모델 정확도 추정". BeneLearn 2012: 기계 학습에 관한 제21회 벨기에-네덜란드 컨퍼런스 간행물. 39–44쪽. ISBN 978-94-6197-044-2.
18. ^ Soper, Daniel S. (2021년 8월 16일). "Greed is Good: Greedy k-fold Cross validation을 사용한 신속한 하이퍼파라미터 최적화 및 모델 선택". 전자 제품. 10 (16) : 1973. 도이 : 10.3390 / 전자 10161973.
19. ^ "교차 검증". 2012 년 11 월 11 일에 확인 함 .[자체 출판 출처?]
20. ^ 알로, 실뱅; 셀리스, 알랭 (2010). "모델 선택을 위한 교차 검증 절차에 대한 조사". 통계 조사. 4: 40–79. arXiv : 0907.4728. 도이 : 10.1214 / 09-SS054. 간단히 말해서 CV는 서로 다른 데이터 분할에 해당하는 위험에 대한 여러 보류 추정치의 평균을 구하는 것으로 구성됩니다.
21. ^ 쉬, 칭송; ↑ Liang, Yi-Zeng (2001년 4월). "몬테카를로 교차 검증". 화학 측정 및 지능형 실험실 시스템. 56 (1): 1–11. 도이 : 10.1016 / S0169-7439 (00) 00122-2.
22. ^ 사이먼, 리처드 (2007). "모델 평가 및 선택을 위한 리샘플링 전략". 유전체학 및 단백질체학에서 데이터 마이닝의 기초. 173–186쪽. 도:10.1007/978-0-387-47509-7_8. ISBN 978-0-387-47508-0.
23. ^ 쿤, 맥스; 존슨, 옐 (2013). 응용 예측 모델링. 도:10.1007/978-1-4614-6849-3. ISBN 978-1-4614-6848-6.[페이지 필요]
24. ^ Cantzler, H. 무작위 표본 합의(RANSAC) (PDF) (보고서).[자체 출판 출처?]
25. ^ Jump up to:a 비씨 Hoornweg, Victor (2018). 과학: 제출 중(PDF). Hoornweg Press. ISBN 978-90-829188-0-9.[페이지 필요][자체 출판 소스?]
26. ^ Jump up to:a b 에프론, 브래들리; Tibshirani, 로버트 (1997). "교차 검증 개선 : .632 + Bootstrap 방법" . 미국 통계 협회 저널(Journal of the American Statistical Association). 92 (438) : 548–560. 도이 : 10.2307 / 2965703. JSTOR 2965703. 씨 1467848.
27. ^ 스톤, 머빈 (1977). "교차 검증에 대한 점근법". 바이옴트리카. 64 (1): 29–35. doi:10.1093/biomet/64.1.29입니다. JSTOR 2335766. 씨 0474601.
28. ^ 시, L.; 외. (2010). "마이크로어레이 기반 예측 모델의 개발 및 검증을 위한 일반적인 관행에 대한 MicroArray 품질 관리(MAQC)-II 연구". 네이처 바이오 테크놀러지. 28 (8) : 827–838. 도이 : 10.1038 / nbt.1665. PMC 3315840. PMID 20676074.
29. ^ 버밍엄, M. L.; 퐁웡, R.; 스필리오풀루, A.; 헤이워드, C.; 루단, I.; 캠벨, H.; 라이트, A. F.; 윌슨, J. F.; 아가코프, F.; 나바로, P.; Haley, C. S. (2015년 5월 19일). "고차원 기능 선택의 적용: 인간의 게놈 예측을 위한 평가". 과학 보고서. 5 (1) : 10312. Bibcode:2015NatSR... 510312B. 도이:10.1038/srep10312. PMC 4437376. PMID 25988841.
30. ^ 바르마, 수디르; ↑ Simon, Richard (2006년 12월). "모델 선택을 위해 교차 검증을 사용할 때 오류 추정의 편향". BMC 생물정보학. 7 (1) : 91. 도:10.1186/1471-2105-7-91. PMC 1397873. PMID 16504092.
31. ^ 모스코비치, 아미트; 사하론 로셋 (2022년 9월). "비지도 전처리로 인한 교차 검증 편향에 관하여". 왕립 통계 학회 저널 시리즈 B : 통계 방법론. 84 (4): 1474–1502. arXiv : 1901.08974. 도이:10.1111/rssb.12537.
32. ^ 시간적, 공간적, 계층적 또는 계통발생학적 구조를 가진 데이터에 대한 교차 검증 전략 https://nsojournals.onlinelibrary.wiley.com/doi/10.1111/ecog.02881
33. ^ 베르그마이어, 크리스토프; Benítez, José M. (2012년 5월). "시계열 예측자 평가를 위한 교차 검증 사용". 정보 과학. 191 : 192–213. 도:10.1016/j.ins.2011.12.028.
34. ^ 폴리티스, 디미트리스 N.; Romano, Joseph P. (1994년 12월). "고정 부트스트랩". 미국 통계 협회 저널(Journal of the American Statistical Association). 89 (428): 1303–1313. 도:10.1080/01621459.1994.10476870. HDL:10983/25607입니다.
35. ^ 통계 학습의 요소. 통계학의 Springer 시리즈. 2009. 도이 : 10.1007 / 978-0-387-84858-7. ISBN 978-0-387-84857-0.[페이지 필요]
36. ^ 피카드, 리처드; 쿡, 데니스 (1984). "회귀 모델의 교차 검증". 미국 통계 협회 저널(Journal of the American Statistical Association). 79 (387) : 575–583. 도이 : 10.2307 / 2288403. JSTOR 2288403.
37. ^ 윌리스, 브라이언 H.; Riley, Richard D. (2017년 9월 20일). "임상 실습에서 사용하기 위한 요약 메타 분석 및 메타 회귀 결과의 통계적 타당성 측정". 의학 통계. 36 (21): 3283–3301. 도:10.1002/sim.7372. PMC 5575530. PMID 28620945.
38. ^ 라일리, 리처드 D.; 아흐메드, 이클라크; 데브레이, 토마스 P. A.; 윌리스, 브라이언 H.; 누르지지, J. 피터; 히긴스, 줄리안 P.T.; ↑ Deeks, Jonathan J. (2015년 6월 15일). "임상 실습에서 사용하기 위해 여러 연구에서 테스트 정확도 결과를 요약하고 검증하는 것". 의학 통계. 34 (13): 2081–2103. 도이 : 10.1002 / sim.6471. PMC 4973708. PMID 25800943.

추가 자료[편집]

• 벤지오, 요슈아; 그랜드발렛, 이브 (2004). "K-폴드 교차 검증의 분산에 대한 편향되지 않은 추정기 없음"(PDF). 기계 학습 연구 저널. 5: 1089–1105년.
• 김지현 (2009년 9월). "분류 오류율 추정: 반복된 교차 검증, 반복된 홀드아웃 및 부트스트랩". Computational Statistics & Data Analysis(컴퓨터 통계 및 데이터 분석). 53 (11): 3735–3745. 도:10.1016/j.csda.2009.04.009.
• 벨레이츠, 클라우디아; 바움가트너, 리처드; 보우먼, 크리스토퍼; 소모르자이, 레이; 슈타이너, 제럴드; 잘저, 라이너; ↑ Sowa, Michael G. (2005년 10월). "희소 데이터 세트를 사용하여 분류 오류 추정의 분산 감소" . 화학 측정 및 지능형 실험실 시스템. 79 (1-2): 91-100. 도이 : 10.1016 / j.chemolab.2005.04.008.
• 트리파, 로렌조; 월드론, 레비; 허튼하워, 커티스; Parmigiani, Giovanni (2015년 3월). "예측 방법의 베이지안 비모수 교차 연구 검증". 응용 통계 연보(The Annals of Applied Statistics). 9 (1). arXiv : 1506.00474. 도이 : 10.1214 / 14-AOAS798.

숨기다

• V
• T
• E

통계

• 개요
• 색인

• 카테고리
•  수학 포털
• 커먼즈
•  위키프로젝트

카테고리 : 

• 모델 선택
• 회귀 변수 선택
• 기계 학습