대통령 여론조사는 이렇게 한답니다...

[앙분이]

여론조사는 정치권을 흔드는 힘을 갖고 있다. 화물연대 파업 강경 대응 이후 여론조사에서 지지율 상승을 맛본 윤석열 대통령은 그 뒤로도 노조 부패 방지. 노-노간 착취 타파 등 노조에 적대적 메시지를 내고 있다. 설을 며칠 앞두고 국정원이 민주노동합총연맹 사무실을 이어 경찰이 양대노총의 건설노조 사무실을 압수수색하기도 했다.

국민의힘 전당대회의 핵심 변수인 나경원 전 의원의 행보에도 여론조사는 지대한 영향을 미친다. 전당대회에 나가려면 정부직은 내려놔야 한다는 당내 비판에 직면한 나 전 의원이 저출산고령사회위원회 부위원장 사의를 표할 당시 그는 국민의힘 당 대표 지지도 여론조사에서 당심 1위를 기록 중이었다. 나 전 의원의 사의표명을 둘러싼 대통령실과의 갈등 이후 여론조사상 당심 1위는 윤심 당권주자 김기현 의원에게 넘어갔다.

이로 인해 나 전 의원의 입지는 줄어들고 있다. 앞으로도 지지율이 하락한다면 나 전 의원이 전당대회에 출마한다고 마음 먹기는 더 어려워질 것이다. 사정이 이러니 정치인들은 여론조사 결과에 민감하다. 때로 여론조사의 신뢰도 자체에 시비를 걸기도 한다. 최근에는 국민의힘 당권주자인 안철수 의원이 당심 1위 당 대표 후보는 김 의원이라는 여론조사 결과를 문제 삼았다. 전화면접에 비해 낮은 응답률을 보이는 ARS로 이뤄져 신뢰도가 떨어진다는 이유에서였다. 정치인들을 들었다 놨다 하는 여론조사는 어떤 방식으로 이뤄질까. 각 방식의 장단점은 무엇일까. 중앙선거여론조사심의위원회 조사 개요에 적시된 여론조사 방법 중 기관별로 차이가 있는 항목을 중심으로 이를 정리했다.

               2023년 1월 3주차 기준 최근 20주 대통령 직무 수행 평가 여론조사 그래프. ⓒ한국갤럽

조사 방식 : 전화면접과 ARS

안 의원의 문제 제기에도 나오듯 여론조사와 관련해 가장 말이 많이 나오는 분야는 조사 방식이다. 대부분 여론조사가 전화로 시행되는 상황에서 방식은 크게 두 가지다. 상담원이 직접 설문해 응답을 얻어내는 전화면접과 응답자가 미리 정해진 프로그램에 따라 질문에 대한 답을 입력하게 하는 ARS Automated Response System이다. 두 방식이 논쟁의 근원이 되곤 하는 가장 큰 이유는 응답률 차이다. 전화면접은 사람이 설문을 하기 때문에 조사 거절 이탈에 대한 심리적 부담이 생긴다. 반면 응답을 직접 입력해야 하는 ARS 조사는 거절 이탈이 쉽다. 이 때문에 ARS 조사의 응답률이 상대적으로 낮다.

일반적으로 정치 여론조사에서 응답률이 낮으면, 시간이 많은 사람이나 설문에 응하려는 의지가 높은 정치 고관여층의 의사가 많이 반영되고 부동층의 의사가 적게 반영되는 것으로 여겨진다. 다만 이를 여론조사의 신뢰도와 단순 연결하기에는 무리가 있다는 것이 전문가들의 지적이다. 여론조사에는 응답률 외에도 다른 여러 변수가 개입되기 때문이다. 리얼미터 대표는 프레시안과 한 전화 인터뷰에서 미국 여론조사협회인 AAPOR American Research for Public Opinion Research 홈페이지를 보면 인구 전수조사와 응답률에 따른 여론조사를 비교한 논문이 있는데 응답률이 낮을 때 더 정확하다는 결과가 나오는 논문도 많다고 통념과 다른 연구 결과를 소개한 뒤 실제로는 응답률보다 하우스 이펙트 House Effect 조사기관이나 의뢰자 성향에 따라 여론조사 결과가 달라지는 효과가 더 큰 조사 결과 영향 요인이라고 지적했다.

한국갤럽 연구위원은 응답률과 여론조사 신뢰도 사이에 상관관계가 있나라는 질문에 쉽게 이야기할 수 있는 내용은 절대 아니다라며 기본적으로 응답률이 100%가 아니면 응답률이 90%여도 나머지 10%가 특이한 사람이면 그만큼 편향이 생긴다. 응답률이 굉장히 낮아도 그런 영향이 별로 없으면 편향이 안 생길 수도 있다고 말했다. 장 위원은 응답률로 신뢰도를 판단하기 보다는 조사 과정이 잘 관리되느냐가 중요하다며 다만 응답률을 높여야 한다는 것이 기본 방향이라고 했다. 여론과 선거 예측은 다르다는 것도 염두에 둬야 할 대목이다. 장 위원은 여론은 그냥 여론이다. 선거에 참여하지 않는 사람도 의견은 갖는다고 지적했다. 통상적으로는 정치 저관여층의 투표율이 높을수록 전화면접 결과가 이들의 투표율이 낮을수록 ARS 결과가 실제 선거 결과에 가깝다고 여겨진다.

표본 크기 : 1000명 혹은 2000명으로 5174만 명을 대표할 수 있을까. 여론조사의 목적은 소수의 의견으로 모집단 전체의 생각을 추측하는 것이다. 중앙선거여론조사심의위 조사개요를 보면 전국 단위 정당 지지도 여론조사 표본은 통상 1000명 혹은 2000명 정도다. 미국에서도 여론조사 표본은 일반적으로 1000명 정도다. 1000명을 조사해 어떻게 5174만 명 2021년 기준 한국 인구의 의견을 추측할 수 있을까? 흔히 드는 비유는 국을 끓일 때 간을 보는 것이다. 국을 잘 저었다면 한 숟가락만 맛을 봐도 국 전체의 맛을 알 수 있다. 마찬가지로 성별 나이 지역 등 특성 비율이 모집단 비율과 비슷한 응답자를 선정할 수 있다면 이를 통해 모집단 전체의 의견을 추측할 수 있다는 것이다.

여기에는 확률표집에 따라 표본을 추출해야 한다는 단서가 붙는다. 확률표집의 기본 요건은 무작위 표본 선정이다. 이때 무작위는 주관적 의도의 개입 없이 객관적 방식에 따라 모집단의 모든 구성원이 표본으로 선정될 확률을 같게 만드는 것을 뜻한다. 남성이 선정될 확률이 높은 표본 추출방법을 쓰거나 조사원이 접근하기 쉬운 응답자만 표본으로 추출하면 조사 결과는 편향되기 마련이다. 예컨대 출구조사에서는 확률표집을 위해 투표장에서 7번째마다 나온 사람을 설문한다는 식의 원칙을 적용한다. 이렇게 하면 응답자 선정에 조사원의 의도가 개입할 여지가 사라지고 투표자가 표본으로 선정될 확률도 같아진다. 1000명이든 2000명이든 5174만 명에 비해 적은 수인 건 마찬가지인데 굳이 더 많은 수를 조사하는 여론조사기관이 있는 것은 왜일까? 조사 규모에 따라 표본오차에 차이가 생기기 때문이다.

확률표집을 했다면 수학적 원리에 따라 95% 신뢰수준에서 1000명 조사의 최대 표본오차는 ±3.1%포인트 2000명 조사의 표본오차는 ±2.2%P다. 이는 100번의 조사를 시행했을 때 95번의 조사에서 결과값의 변동폭이 각각 3.1%P 2.2%P 이내일 것이라는 뜻이다. 여론조사 규모를 늘리면 표본오차가 줄어 더 정확한 조사 결과를 얻을 수 있지만 표본 수와 표본오차는 1대1 비례 관계로 변하지 않는다. 예컨대 1만 명을 상대로 수행한 여론조사의 표본오차는 ±1%P다. 1000명 여론조사에 비해 표본 수는 10배로 늘었지만 표본오차는 1/3만 줄어든다. 표본 추출 방식 : RDD와 휴대전화 가상번호. 현재 대부분의 여론조사는 무선전화를 통해 시행된다. 무선전화 조사에서 확률표집에 가까운 표본 추출이 가능하다. 컴퓨터 기술의 발달로 난수 생성이 용이해지고 무선전화 보급 확대로 거의 모든 사람에게 개별적으로 설문할 길이 생겼다는 점을 활용해서다.

여론조사기관이 활용하는 표본 추출 방식은 크게 두 가지다. 먼저 RDD Random Digit Dialing다. 국번 휴대전화의 경우 가운데 네 자리를 입력하면 나머지 번호는 컴퓨터가 자동으로 번호를 생성해 전화를 거는 것이다. RDD에도 단점은 있다. 지역 성별 나이 등 특정한 특성을 가진 구성원만으로 표본 추출틀을 구성할 수 없다. 예컨대 특정 지역민을 대상으로 한 여론조사는 RDD 방식으로는 어렵다. 이런 문제의식에서 2016년 선거법 개정을 통해 도입된 표본 추출 방식이 휴대전화 가상번호다. 가상번호는 통신3사가 특정 기간에만 통화가 연결되도록 설정해 판매하는 임시번호다. 이를 통해 여론조사기관은 특정 성별 지역 연령대 구성원의 표본 추출 틀을 구입할 수 있게 됐다. 실제 2018년 지방선거에서 가상번호 여론조사는 이전에 비해 높은 적중률을 보였다.

가상번호의 단점은 통신 3사로부터 번호를 구매해야 하기 때문에 상대적으로 비용이 많이 들고 알뜰폰 사용자는 배제된다는 것이다. 2022년 한국 성인 휴대 전화 보급률이 97%이기 때문에 RDD 방식에서도 성인의 3%는 표본 추출 단계에서 배제되지만 2022년 기준 알뜰폰 가입자는 무선 전화 가입자의 16.4%에 달한다. 다만 한국갤럽은 2022년 1월 무선전화 RDD 가상번호 알뜰폰: 이용자 특성과 성향 분석 연구보고서에서 알뜰폰 이용자 중 여성 40대 이하 비경제활동자 전월세 거주자 주관적 중도층이 상대적으로 많지만 전체 인구의 구성과 차이가 크지 않아 가상번호 방식 여론조사를 문제시할 근거는 뚜렷하지 않다고 발표했다.

가중법 : 셀 가중과 림 가중 RDD나 가상번호 방식을 통해 표본을 추출해도 문제는 남는다. 확률표집을 통해 목표로 한 표본 수를 채웠는데 그 특성 비율이 모집단의 특성 비율과 다를 수 있다. 일례로 2, 30대는 60대 이상에 비해 여론조사 응답률이 낮다. 이번에는 표본의 특성 비율과 모집단의 특성 비율이 같아야 한다는 여론조사 원리에 문제가 생기는 것이다. 그렇다고 둘의 차이가 사라질 때까지 조사를 무한정 반복하기는 어렵다. 그렇게 해서 2 30대의 상대적으로 낮은 응답률 같은 문제가 해소될지도 의문이 남는다. 이 문제를 교정하는 방법은 수집된 여론조사 결과에 가중치를 부여하는 것이다. 선거관리위원회는 성 연령 지역 3개 변수에 가중치를 부여할 수 있게 허용하고 있다. 이에 따른 편향을 줄이기 위해 가중치는 0.7~1.5로 제한된다.

이때 서울에 거주하는 60대 이상 여성 같은 특정 특성 표본의 응답에 가중치를 부여하는 방식을 셀 가중 cell weighting. 광주 같은 기본 변수에 반복적으로 가중치를 부여하는 방식을 림 가중 rim weighting이라고 부른다. 셀은 세포를 림은 테두리를 뜻하는 영단어라는 점과 여론조사 표에서 특정 특성 표본의 응답이 특정 칸에 기본 변수가 테두리에 적힌다는 점을 떠올리면 명칭의 이유를 알 수 있다. 셀 가중을 하려면 특정 특성을 가진 응답자가 여론조사법 상 부여된 가중치 이내로 들어와야 한다. 예컨대 서울에 거주하는 60대 이상 여성의 모집단 구성 비율이 10%라고 가정하면 1000명 조사에서 최소 67명에서 최대 142명의 표본을 수집해야 할 것이다. 반면 림 가중은 이론적으로는 특정 특성 표본 응답이 0명이어도 가능하다. 다만 셀 가중과 림 가중 중 어떤 방식이 더 우월한지 확정된 결론은 없다.

  한국갤럽의 2023년 1월 3주차 정레 대통령 직무 수행 평가·정당 지지도 여론조사 응답자 특성표. ⓒ한국갤럽

[청담11]

광주 같은 기본 변수에 반복적으로 가중치를 부여하는 방식을 림 가중 rim weighting이라고 부른다. 셀은 세포를 림은 테두리를 뜻하는 영단어라는 점과 여론조사 표에서 특정 특성 표본의 응답이 특정 칸에 기본 변수가 테두리에 적힌다는 점을 떠올리면 명칭의 이유를 알 수 있다. 이는 어떤 방법이든 이것은 불공정한 일이다...

[한겨레3]

그렇다고 둘의 차이가 사라질 때까지 조사를 무한정 반복하기는 어렵다. 그렇게 해서 2 30대의 상대적으로 낮은 응답률 같은 문제가 해소될지도 의문이 남는다. 이 문제를 교정하는 방법은 수집된 여론조사 결과에 가중치를 부여하는 것이다. 선거관리위원회는 성 연령 지역 3개 변수에 가중치를 부여할 수 있게 허용하고 있다. 이에 따른 편향을 줄이기 위해 가중치는 0.7~1.5로 제한된다. 솔직히 기관마다 다른 이 수치를 신뢰할 게 없다...

[청담11]

선거관리위원회는 성 연령 지역 3개 변수에 가중치를 부여할 수 있게 허용하고 있다. 이에 따른 편향을 줄이기 위해 가중치는 0.7~1.5로 제한된다. 이때 서울에 거주하는 60대 이상 여성 같은 특정 특성 표본의 응답에 가중치를 부여하는 방식을 셀 가중 cell weighting. 광주 같은 기본 변수에 반복적으로 가중치를 부여하는 방식을 림 가중 rim weighting이라고 부른다. 셀은 세포를 림은 테두리를 뜻하는 영단어라는 점과 여론조사 표에서 특정 특성 표본의 응답이 특정 칸에 기본 변수가 테두리에 적힌다는 점을 떠올리면 명칭의 이유를 알 수 있다. 이는 어떤 방법이든 불공정한 일이다.

[한겨레3]

그렇다고 둘의 차이가 사라질 때까지 조사를 무한정 반복하기는 어렵다. 그렇게 해서 2 30대의 상대적으로 낮은 응답률 같은 문제가 해소될지도 의문이 남는다. 이 문제를 교정하는 방법은 수집된 여론조사 결과에 가중치를 부여하는 것이다. 선거관리위원회는 성 연령 지역 3개 변수에 가중치를 부여할 수 있게 허용하고 있다. 이에 따른 편향을 줄이기 위해 가중치는 0.7~1.5로 제한된다. 솔직히 기관마다 다른 이 수치를 신뢰할 게 없다...

[한겨레3]

일례로 2 30대는 60대 이상에 비해 여론조사 응답률이 낮다. 이번에는 표본의 특성 비율과 모집단의 특성 비율이 같아야 한다는 여론조사 원리에 문제가 생기는 것이다. 그렇다고 둘의 차이가 사라질 때까지 조사를 무한정 반복하기는 어렵다. 그렇게 해서 2 30대의 상대적으로 낮은 응답률 같은 문제가 해소될지도 의문이 남는다. 이 문제를 교정하는 방법은 수집된 여론조사 결과에 가중치를 부여하는 것이다. 선거관리위원회는 성 연령 지역 3개 변수에 가중치를 부여할 수 있게 허용하고 있다. 이에 따른 편향을 줄이기 위해 가중치는 0.7~1.5로 제한된다. 이 수치를 믿을 게 없다.