가설검정
대립가설(alternative hypothesis, 대체가설, 연구가설)이란 연구자가 입증하고자 하는 목적을 말하고 귀무가설(null hypothesis, 영가설)이란 이에 반대되는 가설이다. 이를 이해하기 위해서는 연구자를 재판에서 검사로 생각하면 이해하기 쉽다. 검사는 재판에서 피고의 유죄를 증명하기 위해 많은 증거를 내놓는데 여기서 증거는 데이터이다. 만약 증거가 중분하지 못하면 검사의 주장은 무효가 된다. 여기서 피고가 유죄라는 주장이 대립가설이고 주장이 무효가 되는 상태를 귀무가설이라고 한다. 귀무가설이 옳은 데에도 잘못하여 귀무가설을 기각하고 대립가설을 채택(무죄인데 유죄라고 판단하는 것)하는 것을 제 1종 오류라고하고 반대인 경우를 제 2종 오류라고 한다. 우리가 가설 검정을 할 때 항상 조건은 귀무가설을 검정하는 것이다. 즉 항상 significance나 p-value가 기준을 0.05로 할 때 0.05보다 작으면 귀무가설을 기각하고 0.05보다 크면 받아들이는 것이다 귀무가설은 두 집단의 평균은 같다 또는 무슨, 무슨 분포를 한다 또는 두 집단은 동일하다 이렇게 된다. 그러므로 귀무가설을 기각하면 두 집단의 평균은 같지 않다. 즉 평균의 차이가 존재한다는 의미이고 무슨 분포를 하지 않는다는 의미이며 두 집단은 동일하지 않다는 의미이다.
제 1종 오류는 연구자가 조절할 수 있는 오류 이고 제 2종 오류는 연구자가 조절하기 어려운 오류이다. 그러므로 통계에서는 먼저 제 1종 오류를 범하는 확률
를 설정하고 제 2종 오류를 범하는
를 최소화시키는 과정을 갖게되기 때문에 먼저 제 1종 오류 수준이
의 정도의 범위를 정하는데 이를 유의수준(significance level, sig)이라고 한다. 이 유의수준은 정해진 것이 나라 문제의 심각성과 검정방식에 따라 달라진다. 문제의 심각성이란 1종의 오류를 범했을 때 그 결과의 심각성이 어떠한가를 가지고 유의수준이 결정된다. 심각성이 적다면 유의수준은 낮아지고(
는 커지고)심각성이 높다면 유의수준은 높아(
는 작아지고)질 것이다. 보통 0.05가 많이 사용되나 심각성이 높으며 0.01로 할 수도 있고 심각성이 낮으며 0.10으로도 할 수 있다. 그러나 0.10이상은 보통 허용되지 않는다. spss에서도 통계분석을 할 때 유의수준을 정할 수 있도록 하고 있고 아래 그림에서는 95% 즉 0.05로 정하고 있다.
P-값( p-value)은 통계량을 포함하는 가장 작은 기각영역에 대한 제 1종 오류의 확률을 의미한다. 즉 자료에서 얻어진 통계량이 통계적으로 유의하게 될 수 있는 수준을 말하며 귀무가설이 사실인 경우 연구결과가 우연에 의해 얻어질 확률이라고 보면 된다. p 값은 이항활률분포표와 통계량으로 구할 수 있다. p value가
보다 작으며 (p<
) 귀무가설은 기각되어 통계적으로 유의하게 되며
보다 크면(p>=
) 귀무가설을 채택하여 통계적으로 유의한 결과라고 판정한다. 그러나 유의하지 않은 차이가 곡 모집단에서 차이가 없다는 것을 의미하지는 않는다. 단지 샘플에서 관찰된 차이가 우연에 의해 일어날 수 있는 차이에 비해 확률적으로 작다라는 것을 의미한다. 또 하나가지 지금까지 말한 p 값은 양측 검정을 기준으로 말한 내용이며 만약에 단측검정으로 나온 p 값이 0.05일 경우 양측검정을 하면 0.1이 되니 해석에 주의하여야 한다.
예 어떤 논문에서 새로운 A라는 치료약제가 B라는 기존의 약제에 비해 만성사구체신염 환자의 단백뇨를 1.3배 더 줄였다고 하였으며 통계적 유의성으로 P 값이 0.09였다고 발표하였다. 여기서 0.09의 의미는 모집단에서 A라는 치료제가 B라는 치료제에 비해 차이가 없다고 하더라도 샘플에서 임의로 발생되는 무작위 오류에 의해 그러한 차이가 발생할 확률이 9%라는 의미이다. 여기서 유의수준을 0.05로 기준했으나 만약 연구자가 심각성이 낮다고 생각하여 유의수준을 0.10으로 잡았다면 결과가 통계적으로 유의하다고 보고 할 수도 있다. 이런 경우 비록 차이가 있음을 암시하고 있지만 연구결과는 통계적 유의수준에 미치지 못하였다고 라고 기술하는 것이 일반적이다. 보통 연구자는 논문에 P 값을 P<0.05또는 P<0.01이런 식으로 기술하는데 어떤 연구자는 P= 0.000001 또는 P=0.002이런 식으로 부등호를 안 쓰고 직접 등호를 써서 수치를 강조하는 연구자도 있다.