Fiannce와 Econometrics를 공부하다 보면 가설검증을 위한 통계적 Test (t, F등)를 하게 되는데, 실제의 데이터 규모가 매우 큰 경우 동시 검증(Composite/Multiple Hypothesis testing)을 하게 디는데 이 경우 Null Hypothesis를 잘못하여 기각시키는 경우 (Typoe 1 error,False Discovery, Famiywise Error rate)가 많이 발생한다고 한다. 사실 효율적 시장이론에 의하면 Alpha는 없는 것이고 따라서 모든 수익율은 Benchmark과 같아야 하는데, 사실 Fund들 수익율을 비교해 보면 초과이익을 내는 경우가 있다. 이론적으로는 Null Hypothesis인 There is no excess return을 기각하는 경우인데, 이것이 우연인지 아닌지를 검증하는 통계기법이 Data Snooping이다.
Data-Snooping Biases in Tests of Financial Asset Pricing Models
AW. Lo and A. MacKinlay, Review of Financial Studies, 1990
Data-Snooping, Technical Trading Rule Performance, and the Bootstrap
R. Sullivan, A. Timmermann, H. White, THE JOURNAL OF FINANCE, 1999
A Reality Check for Data Snooping
H. White, Econometrica, Vol 68, No. 5, 2000
A Test for Superior Predictive Ability
P. Hansen, Journal of Business & Economic Statistics, 2005
Stepwise Multiple Testing as Formalized Data Snooping
J. Romano and M. Wolf, Econometrica, 2005