<일반 1,000명·한나라 대의원 500명 대상>
이번 조사의 최대 허용 표본오차는
95% 신뢰수준에서 일반국민 조사 ± 3.1%포인트, 한나라당 대의원 조사 ± 4.3%포인트이다.
====================================================================================
많은 통계조사를 보면 오차라는 것을 표시합니다. 오차란 대상을 측정해서 나온 관찰 값이
대상의 실재와 차이가 나는 불일치 정도를 의미합니다. 그러나 통계조사에서 쓰인 오차의
의미를 정확히 아시는 분이 많지 않아 통계 수치를 잘못 파악하는 경우가 종종 있습니다.
조사를 하는 목적은 조사 대상(모집단)의 상태(모수)를 알고자 하는 일련의 행위입니다.
대부분의 조사에서는 여건상 조사 대상을 모두 조사하는 전수조사를 하지 못합니다. 그래서
조사 대상 중 일부를 추출하여 조사하고 그 결과로 조사 대상의 상태를 추정하게 됩니다.
이 과정에서 크게 두 가지 오차가 생기는데 하나는 표본을 추출하면서 생기는 '표본오차'와
그 외의 다른 요인으로 생기는 '비표본오차'입니다. 우리가 보통 부르는 오차는 이 표본오차 를 말합니다. 비표본오차는 많은 원인(조사원의 실수, 응답자의 과오, 자료처리과정 등)에서
발생할 수 있고 이를 계산하는 것은 불가능합니다.
보통 조사결과를 말할 때 95% 신뢰 수준에서 최대 ± 3.1%의 표본오차를 갖는다는 형태를 말을
많이 들었을 겁니다. 신뢰 수준은 결과치를 어느 정도 오차까지 믿을 것인가를 나타내 주는
확률적 수준이라 할 수 있습니다.
즉, 95% 신뢰 수준이라는 것은 같은 조사를 1백번 반복했을 때 95번은 표본오차 한계 내에서
같은 조사 결과를 얻을 수 있다는 것입니다. 그리고 표본오차는 해당 신뢰수준에서 결과치가
가지는 오차 범위입니다. 이어 오차에 대한 잘못된 상식에 대해 말씀 드리겠습니다.
첫째, 표본수가 많을수록 표본오차는 그 비율만큼 줄어든다.
표본오차문제가 발생할 때 많은 사람들은 표본 수를 늘리면 되지 않느냐고 합니다. 표본수가
많으면 많을수록 표본오차를 줄일 수 있습니다. 그러나 무조건 표본수를 늘린다고 해서
표본오차가 그 만큼 줄어드는 것은 아닙니다.
표본수가 400일 때 95% 신뢰수준에서 표본오차 한계는 ± 4.9%인데 표본수를 6,400으로 늘려도
표본오차 한계는 1.2%로 감소되는데 그치게 됩니다. 따라서 표본수를 많이 확보한다고 자료의
정확성이 보장되거나 신뢰성이 높아지는 것은 아닙니다. 표본수보다 더 중요한 것은 어떤
방식으로 표집되었는가 입니다. 모집단의 모든 대상이 뽑힐 확률이 동등한 조건에서 편향없이
추출되느냐가 표본수 보다 더 중요한 것입니다.
둘째, 표본오차가 표본통계의 정확성을 대표한다.
보통 통계의 정확성을 이야기할 때 일반적으로 표본오차만을 이야기합니다. 표본조사에서
그 크기를 정확하게 추정할 수 있는 오차는 표본오차뿐이기 때문입니다. 그러나 실제로
그 크기를 정확하게 추정하기 힘든 비표본오차는 이보다 훨씬 클 수도 있습니다.
표본오차는 공식에 따라 산출되는 이론적 오차이고, 이 개념은 이론적 전제가 만족될 때
성립합니다. 따라서 조사과정에서 통제가 제대로 이루어지지 않는 등 비표본오차가 클 경우
표본오차의 설명력은 무의미해 질 수 있습니다.
셋째, 모집단의 크기에 따라 표본오차가 달라진다.
예를 들어 "특정지역을 대상으로 한 여론조사의 경우 표본이 500인데, 전국 여론조사 표본이
1천명에 불과하다고 표본을 같은 비율로 늘려야 한다"는 주장은 그럴듯해 보이는 주장이지만
실제로 모집단의 크기 자체는 표본수를 결정하는 데 별로 관계가 없습니다. 표본오차를
구하는 수학적 공식만 보면 표본오차는 오로지 표본수와 신뢰수준에 의해 결정되기
때문입니다.
넷째, 전체 표본오차로 하부집단(성별, 연령별, 소득별)에 적용할 수 있다.
분석을 하다보면 표본을 하부집단으로 쪼개어 비교하는 경우가 많이 있습니다. 성별이나
연령별로 나누어 보는 것이 대표적인데요. 만약 남녀 각 500명을 대상으로 조사를 실시해
표본 전체 표본오차가 95% 신뢰수준에 최대 표본오차 ± 3.1%라고 한다면 성별로 구분해서
결과를 분석한다면 최대 표본오차를 ± 4.4%가 적용되어야 합니다. 학력이나 지역 등
더 세부적인 하부집단으로 나눌 경우 표본오차 값은 더욱 커진다는 것을 주의해야 합니다.
모든 통계 조사에는 오차가 발생하기 마련입니다. 이 오차를 제대로 이해하고 결과를 본다면
보다 정확하고 유용하게 결과를 이용할 수 있다고 생각합니다.
<예>
노무현 후보는 득표율 48.2%를 얻을 것으로 예측돼 46.7%를 얻은 이회창 후보를 1.5%의
근소한 차이로 앞서 1위를 차지했습니다. 이번 조사의 오차범위는 ± 1.7%입니다."
이 보도는 SBS에서 의도했든 의도하지 않았든 간에 통계학적 측면에서 보면 분명히 노무현
후보에게 유리한 공정치 못한 보도이다. 분명히 오차범위가 1.7%임을 명기하였음에도 노무현
후보의 득표율과 이회창 후보의 득표율의 차이는 단지 1.5% 밖에 되지 않는다는 것이다.
즉, 오차범위 안에 두 후보의 득표율의 차이가 놓여 있다는 것이다.
즉, 귀무가설(H0) : 두 후보의 득표율은 같다.(노무현 후보 득표율 = 이회창 후보 득표율)
대립가설(H1) : 두 후보의 득표율은 다르다.(노무현 후보 득표율 ≠ 이회창 후보 득표율)
라고 가설을 설정했을 때, 노무현 후보의 구간 추정 값과 이회창 후보의 구간 추정 값을 뺐을
때의 오차 범위는 -1.7% ~ +1.7% 이며 오차범위 안에 1.5%가 포함되므로 귀무가설이
채택된다. 따라서 "두 후보가 1.5%의 근소한 차이로 보합 상태에 있다." 라고 표현하는 것이
가장 옳을 것이다.
일반적으로 설문조사의 신뢰수준은 95%를 사용한다. 따라서 표본크기가 동일할 경우 신뢰수준이 얼마인가에 따라 오차범위는 크거나 작게 된다. 그렇다면 신뢰수준이란 무엇인가?
신뢰수준(1-α(유의수준))은 표본 추출을 통하여 구간 추정을 했을 경우 모집단이 포함될
확률을 의미하며, 95% 신뢰수준이란 동일한 지역에서 100번 출구조사를 하였을 경우 95번은
동일한 결과를 나타낼 확률을 말한다.
만약, 각 후보의 득표율에 대한 신뢰수준을 95%가 아닌 90%로 설정하게 되면 그만큼
신뢰수준이 떨어지게 됨으로 오차범위는 1.7%보다 작아지게 된다. 이때 오차범위가 두 후보의
득표율 차인 1.5%보다 작게 된다면 위 보도는 어느 정도 공정성을 확보한 보도라고 볼 수
있을 것이다.
그러나, 노무현 후보가 앞선다는 보도의 10%만큼은 거짓일 가능성이 있음을 시청자들에게
인식시킬 수 있어야 할 것이다. 즉, 노무현 후보가 앞선다는 보도는 90%만큼 신뢰할 수
있다는 것이다. 이것이 바로 시청자에게 신뢰수준을 알려줘야 하는 이유인 것이다. 이와 같이
추출된 표본으로 모집단을 추정할 경우, 항상 오차범위를 고려하여 결론을 도출해야 할
것이다. 이러한 결론을 쉽게 도출할 수 있도록 여러 통계 S/W에서는 P-Value라는 용어로서
표현하고 있다.
=====================================================================================
신문이나 방송에서 여론조사 결과를 보도할 때 흔히 사용하는 문구입니다. 들어보았거나
읽은 적이 있으시죠. 그러나 이 문구의 의미를 제대로 이해하고 있는 사람을 만나기가
쉽지 않습니다. '95% 신뢰수준'이라고 하니까 그냥 조사의 신뢰도가 95% 정도 된다고
아는 사람들이 많습니다.
예를 들어 설명해 보겠습니다. 모집단에서 무작위로 표본을 1,000명 선정하고 95%
신뢰수준일 경우, 최대허용 표본오차는 ±3.1% 포인트입니다(모집단, 무작위, 표본 등의
용어에 대해선 다음 기회에 설명을 드리겠습니다. 표본오차를 계산하는 공식도 말씀
드리겠습니다).
정당지지도 조사에서 열린우리당 25%, 한나라당 30%가 나왔다고 가정하겠습니다. 만약
표본오차를 고려하지 않으면 "한나라당이 열린우리당을 5% 포인트 앞섰다"고 쓸 것입니다.
그러나 모집단(여기선 만 20세 이상 국민 전체가 되겠죠)의 일부인 표본(1,000명)을 대상
으로 했기 때문에 이 결과가 모집단에서도 그렇게 나올 수 있는지('일반화할 수 있는지'라고
표현하기도 합니다)에 대한 검증이 필요합니다.
그러한 검증 과정에서 표본오차가 사용되는 것입니다. 표본오차를 고려해서 조사결과를
읽을 경우 열린우리당의 지지도는 25%± 3.1% => 21.9%-28.1% 범위 안에, 그리고 한나라당
의 지지도는 30% ± 3.1% => 26.9%-33.1% 범위 안에 있을 가능성이 100번 중 95번이라는
얘기입니다.
결국 두 당의 지지도 범위 21.9%-28.1%와 26.9%-33.1%가 서로 겹치는 부분이 있기
때문에 한나라당이 열린우리당을 확실히 앞섰다고 말할 수 없습니다. 만약 표본이 2,000명
이었다면(이 때의 표본오차는 ± 2.2% 포인트입니다) 지지도 범위가 겹치지 않기 때문에
한나라당이 앞섰다고 보도할 수 있습니다.
두 응답의 차이가 근소할 경우 가급적 표본 수를 늘려야 한다는 것은 이런 이유 때문입니다.
만약 표본이 100명이라면(이 때의 표본오차는 ± 9.8% 포인트입니다) 두 당의 지지도가
최소한 20% 이상이어야 앞섰다고 할 수 있습니다.
모집단에서 표본을 선정하는 원리와 그 결과로 나타나는 표본오차 공식은 복잡하기만 할 뿐
설명하더라도 이해하기가 쉽지 않습니다. 그런 일은 통계학을 전공하는 학자에게 맡기면
됩니다. 우리는 표본을 뽑는 기본 개념을 이해하고 조사결과를 해석하는데 오류를 범하지
않으면 될 것입니다.
=======================================================================================
<신뢰도와 정확도>
일반인들이 흔히 접하는 통계 중 학교에서 배우는 통계와 가장 접근한 것이 여론조사의
신뢰구간 추정일 것입니다.
그러나 일반인은 물론 당연하지만 통계학을 전공하는 사람조차 신뢰도와 정확도가 의미하는
뜻을 잘 모르는 것 같습니다.
여기서 우리가 일상적으로 쓰는 말을 통해 신뢰도와 정확도의 뜻을 알아 보겠습니다.
광고 문구를 쓰는 사람들을 카피라이터(copywriter)라 하지요.
카피라이터가 광고 문구를 생각할 때도 문구의 다양한 특징(attributes, characteristic)들을
생각합니다.
[“문구가 간결한가?], [사람들의 의표를 찌르는가], [강력한 인상을 주는가?] 등등..
이런 식으로 우리가 쓰는 말에도 다양한 특징들이 있습니다.
통계학에서 보고자 하는 것은 말의 특징은 [신뢰도]와 [정확도]입니다.
A를 우리가 주장하고자 하는 명제라 합시다. 그러면 그 명제의 신뢰도와 정확도는 다음과
같이 정의됩니다.
신뢰도: 주장 A가 맞을 확률
정확도: 주장 A의 구체성
아직도 무슨 말이지 잘 이해가 되지 않는다고요? 그러면 다음의 예를 봅시다.
보기1)
100m 떨어진 곳에 어떤 물체가 보입니다. 이때 아래의 주장들을 비교해 봅시다
S1: 저건 사람이다.
S2: 저 사람은 여자이다
S3: 저 사람은 할머니이다.
이 상황에서 3개의 주장(명제)중 맞을 확률이 높은 명제는 무엇일까요? 당연히 S1이지요.
반면에 물체에 대한 S1의 묘사는 가장 불투명하고 S3가 가장 구체적입니다.
그래서 신뢰도는 S1이 가장 높고 정확도는 S3가 가장 높습니다. 즉
신뢰도: S1 > S2 > S3
정확도: S1 < S2 < S3
입니다.
보기 2)
또 다른 예를 들어 볼까요. 어떤 사람의 키에 대해서 우리가 이야기 한다고 생각해 봅시다.
S1: 저 사람 키는 150 cm 이상이다.
S2: 저 사람 키는 170 cm 이상이다.
S3: 저 사람 키는 190 cm 이상이다.
여기서 어떤 주장이 신뢰도가 가장 높을까요? 당연히 S1입니다.
반면에 정확도는 S3가 가장 높고 S1이 가장 낮습니다.
보기1)과 보기2)에서 보듯이 이 [신뢰도]와 [정확도]는 상충관계(trade-off)입니다.
즉 신뢰도를 높이려면 정확도는 어느 정도 희생하는 수밖에 없습니다.
정확도를 높이려면 신뢰도를 희생할 수밖에 없고요.
그러면 정확도와 신뢰도를 동시에 높이는 방법이 없을까요?
통계학에서는 표본 크기를 크게 하면 됩니다. 그러나 이 경우 시간과 돈이 문제가 되겠지요.
그러면 신뢰구간 추정에서 이야기는 주장(명제)는 어떤 것일까요?
통계학에서 이야기하는 주장은 모수 θ에 관한 것입니다.
여론조사의 경우 [모집단의 지지도 p]에 관한 주장(명제)입니다.
그러면 신문에서 흔히 보는 신뢰도 95%하에서 지지도 30% 그리고 표본오차 2.5% 라
가정합시다.
정확하게 이야기하면 표본오차가 아니고 [1.96*표준오차]입니다. 신문 방송에서 가끔
표본오차라는 말을 사용하는데 표준 편차라는 말은 있어도 이런 용어는 통계학에 없습니다.
또 최대 허용 오차라는 말도 사용하는데 좀 더 정확하게 표현하면 <1.96*최대 허용 오차>가
더 적합한 표현입니다. 이후부터 나오는 표준 오차 값은 정확한 값이 아닙니다.
사실 정확한 표준오차 값은 구하기 힘듭니다. 관심 있는 분은 동시추론(simultaneous
inference) 이론에 관해서 찾아보기 바랍니다.
신문에 나오는 이 표현은 도대체 무얼까요?
여기서 지지도 30% 는 표본의 지지도를 이야기합니다. 즉 r=0.3이라는 이야기이죠.
그래서
Pr(0.3-0.025< 모집단의 지지도(P) < 0.3+0.025 이다)=0.95 가 됩니다.
만약에 95% 신뢰도를 99%까지 올려서 이야기 하고 싶다면 어떻게 될까요?
당연히 정확도가 떨어져 모집단의 지지도 p에 관한 진술을 좀 더 넉넉하게 잡고 이야기해야 합니다.
그래서 예를 들면
Pr(0.3-0.035< 모집단의 지지도(P) < 0.3+0.035 이다)=0.99
가 되는 것이죠. 신뢰도를 자꾸 높일수록 정확도가 떨어져서 사실 쓸모가 없어져 버립니다.
예를 들어 [모집단의 지지도(P)가 0부터 1 사이다] 이 말은 신뢰도가 100%입니다.
그러나 이런 주장은 아무런 도움이 되지 않겠지요. 여론 조사한 돈만 아깝지요.
그러면 위에서 이야기 한 것처럼 신뢰도와 정확도를 동시에 높이려면 표본 크기를
올릴 수밖에 없는데 시간과 비용의 문제가 생깁니다.
현재 대통령 선거 같은 중요한 여론조사는 표본 수를 1500정도가 보통입니다.
그리고 표본 수하나 올리는데 2만원 정도의 추가 예산을 생각하면 될 것입니다.
===============================================================================
표본오차 해석(예)
모집단을 대표할 수 있는 표본이 추출되지 못하여 발생할 수 있는 오류.
전수조사에서는 발생할 수 없으며 표본조사에서만 존재합니다. 표본오차는 표본추출방법, 표본크기, 조사결과에서 나타난 응답률에 따라 달라집니다.
단순무작위추출법(Simple Random Sampling)을 가정했을 때의 표본크기별 최대허용 표본오차 한계(+/-%포인트, 95%신뢰수준)는 다음과 같습니다.
(예1) 표본크기가 1,500명인 조사에서 어떤 의견에 대한 지지율이 30%가 나왔다면,
이때 최대허용 표본오차 한계는 ± 2.3% 입니다. 이는 동일한 조사를 100번 실시했을 때
그 중 95번 정도는 지지율이 27.7%~32.3% 사이에 속하는 결과가 나타날 수 있음을 의미함.