[분석] 여론조사는 과학…실증적 근거 제시, 오차범위라는 한계를 인식해야

여론조사는 과학
실증적 근거 제시,
오차범위라는 한계를 인식해야

SBS 현경보 부장
(여론조사 전문기자)

 

희비가 엇갈렸던 과거의 선거 여론조사

 

SBS 현경보 부장(여론조사 전문기자)

김대중 정부 중반기인 지난 20004월 실시됐던 16대 총선은 내 기억 속에 다시 떠 올리고 싶지 않은 선거다. 선거일 투표마감과 동시에 방송 3사가 일제히 정당별 의석수를 예측하는 조사결과를 발표했다. 조사결과는 당시 여당이었던 민주당이 야당인 한나라당보다 15석 가량 많은 지역구 의석을 차지해 제1당이 되는 것으로 예측했다. 하지만 개표 결과는 정반대로 나타났다. 한나라당이 오히려 민주당보다 지역구 의석을 16석 더 차지해 제 1당이 되고 말았다. 선거 여론조사가 방송 사상 최악의 오보사태를 초래한 것이다. “출구조사는 엉터리라는 오명도 뒤집어썼다.

총선에서 지역별 당선자와 정당별 의석수를 예측하는 일은 정말 어렵다. 96년에 치러진 15대 총선, 200016대 총선, 200417대 총선, 그리고 200818대 총선에서 선거 여론조사를 통해 정당별 의석수를 제대로 예측한 적이 아직 한 번도 없다. 9615대 총선에서는 전체 지역구 가운데 39곳에서 당선자 예측에 실패하면서, 당시 여당이었던 신한국당 의석수를 과대 예측했다. 200016대 총선에서는 출구조사(Exit Poll)를 처음 도입했지만, 여당인 민주당 의석수의 과대 예측으로 1당 예측도 실패하는 수모를 겪었다. 200417대 총선 때도 대통령 탄핵 후폭풍 속에 열린우리당 의석수를 20여석 과대 예측하는 오류를 범했다. 가장 최근에 실시된 200818대 총선에서도 선거 직전에 몰아친 친박연대 돌풍등의 변수를 치밀하게 분석하지 못해 여당인 한나라당을 과대 예측하는 뼈아픈 기억을 추가했다.

 

반면에 총선과는 달리 대통령선거와 지방선거 예측조사는 꾸준히 좋은 성과를 거두었다. 대통령 선거의 경우, 198714대 대선에서 한국갤럽이 국내에선 처음으로 대통령 당선자를 예측한 이후 지난 200717대 대선까지 네 번의 선거에서 대통령 당선자를 정확히 예측해 왔다. 지방선거에서도 방송사별로 16개 시도지사 당선자 예측에서 한두 곳 실패한 경우는 있었지만, 대체로 정확한 예측이 이루어졌다. 특히 지난 2010년 지방선거 때 실시한 방송 3사 공동 출구조사에서는 16개 시도지사 당선자들의 득표율을 거의 1%포인트 이내에서 족집게처럼 예측하면서 시청자들을 놀라게 했다. 하지만 20106.2 지방선거는 선거 여론조사로 인해 방송사들 사이에 희비가 엇갈렸다. SBS, KBS, MBC 방송 3사는 정확한 출구조사로 그 해 방송대상 특별상까지 수상하는 영예를 얻은 반면, 전화조사로 당선자 예측을 시도했던 YTNMBN은 예측실패로 시청자에 대한 사과방송을 하는 수모를 겪기도 했다.

출구조사와 전화조사의 결과가 어떻게 이렇게 큰 차이를 보일 수 있을까? 대표적인 예로 지방선거 직전에 서울시장 선거는 이미 끝난 선거로 봤다. 전화로 실시한 모든 판세분석 조사에서 오세훈, 한명숙 두 후보의 지지율 격차가 20%포인트 정도 차이나는 것으로 알려졌다. 선거 당일 발표한 YTNMBN의 예측에서도 오세훈 후보가 10% 포인트 이상 앞서는 것으로 나타났다. 하지만 개표결과 두 후보의 득표율 차이는 0.6%포인트였다. 출구조사는 놀랍게도 오세훈 후보의 실제 득표율을 47.4%를 정확히 맞췄다.(실제득표율 : 오세훈 47.4%, 한명숙 46.8% / 출구조사결과 : 오세훈 47.4%, 한명숙 47.2%)

지방선거 이후 전화조사에 대한 사회적 불신이 극에 달했다. 이제 여론조사는 믿을 수 없다는 것이다. 지난 20년 동안 수많은 선거에서 전화조사로 선거결과를 예측해 왔지만, 이제는 더이상 과거의 방식으로는 선거 여론조사를 실시하기 어려운 상황에 이르렀다. 여론조사 기관들도 반성하고, 조사전문가들도 새로운 조사방법을 모색하는 기회가 되었다.

정확한 여론조사를 향한 새로운 가능성 찾기

2010년 지방선거를 계기로 전화 여론조사의 오류를 설명하 는 다양한 사후분석들이 쏟아져 나왔다. 그 결과 조사응답자를 선정하는 표본의 대표성 문제가 가장 심각하다는 공통된 진단을 받았다. 지금까지 전화 여론조사는 KT 전화번호에 등재된 집전화로만 주로 조사해 왔는데, 알고 보니 집전화 가입률과 KT 전화번호 등재율이 급격히 하락하고 있었던 것이다. 최근 자료에 따르면 KT 전화번호 등재율은 전체 집전화의 50%에도 못 미치는 것으로 나타났다. 게다가 집전화 없이 휴대전화만 사용하는 사람들도 늘어나는 추세다. 이런 환경에서 KT 전화번호에 등재된 집전화만을 대상으로 조사하는 것은 조사결과에 심각한 오류를 초래한다는 연구결과들이 나타났다. 놀라운 사실은 KT 전화번호에 등재된 집전화 대상 조사와 등재되지 않은 집전화 대상 조사의 결과를 보면 여야 후보들에 대한 지지도가 정반대로 나타난다는 사실이다. 전자의 조사에서는 보수성향 후보의 지지도가 높게 나온 반면, 후자의 조사에서는 진보성향 후보의 지지도가 높게 나타났다.

기존 전화조사의 응답자 대표성 문제를 개선하기 위해 새롭게 도입된 조사가 바로 ‘RDD 전화조사방식이다. RDD‘Random Digit Dialing’의 약어다. 우리말로는 임의번호걸기로 해석하고 있다. ‘RDD 전화조사방식이란 말 그대로 임의로, 즉 무작위로 전화를 걸어 여론조사를 실시한다. 기존에는 KT 전화번호에 등재된 집전화만을 대상으로 조사했는데, 이 방식을 이용하면 지역별 국번만 정해놓고 무작위로 전화를 걸어가기 때문에 모든 집전화가 조사응답 대상이 될 수 있다는 논리다. ‘RDD 전화조사방식도 방송 3사가 가장 먼저 시도하면서 2011년 한 해 동안 가장 유명해진 조사방식으로 명성을 떨쳤다.

 

하지만 RDD방식의 전화조사도 한계가 있다. RDD방식으로 여론조사를 실시한다고 하더라도 060이나 070으로 시작하는 인터넷 전화번호 등 국번체계를 파악하기 어려운 집전화 번호까지 조사대상에 포함시킬 수 없다. 게다가 집전화를 대상으로 실시하는 모든 여론조사의 한계라고 할 수 있는데, 직장에 출근하거나 외출 중인 사람들을 대상으로 조사할 수 없다는 근본적인 문제점을 안고 있다. 서울지역 같은 경우 평일의 낮이나 오후 시간대에 집안에 있는 사람들은 주부나 무직자들이 대부분이다. 이런 환경에서 아무리 모든 집전화 번호를 망라해서 조사해 본들 직장인이나 외출자들을 조사할 수 없다면 문제는 심각 할 수밖에 없다.

이같은 RDD 전화조사의 한계를 극복하기 위해서는 휴대전화를 이용할 수밖에 없는 상황이다. 최근에 실시된 10.26 서울시장 보궐선거를 앞두고 새롭게 선보인 여론조사 방식이 바로 집전화와 휴대전화를 병행하는 전화조사 방식이다. 휴대전화를 이용하면 직장이나 외부에 있는 사람들을 대상으로 조사를 실시할 수 있다는 점에서, 응답자의 대표성을 확보할 수 있게 된다. 이러한 조사방식에 대해 아직 통용되는 명칭은 없지만, ‘이중 표집틀(dual sampling frame)’ 조사방식 또는 유무선 전화 병행조사방식으로 부르면 무방할 듯하다.

방송 3사의 공동연구팀인 KEP(Korea Election Poll) 위원회가 주도한 이중 표집틀을 사용한 조사방식은 10.26 서울시장 보궐선거에서 보다 진일보한 전화조사 방식으로 각광을 받았다. 아래 표는 서울시장 보궐선거를 엿새 앞둔 1020일자 <SBS 취재파일>나경원 vs 박원순, 여론조사 누가 이기나?”라는 제목으로 글을 실었던 내용이다.

선거 일주일 전후에 신문, 방송 등 언론매체를 통해 보도된 서울시장 선거 여론조사 결과를 보면 참으로 혼란스러웠다. 나경원, 박원순 두 후보의 지지율을 보면 도대체 누가 유리한지 알 수가 없었다. 같은 날 실시한 여론조사 결과가 서로 다른가하면, 동일한 언론사의 여론조사 결과에서 사흘 만에 지지율 순위가 달라지는 경우도 있었다. 하지만, 여론조사 결과들을 유심히 비교해 보면 규칙성을 찾을 수가 있다. 위의 표에서 보듯이 집전화만으로 조사한 결과와 집전화+휴대전화로 조사한 결과가 차이를 보였다. 조사방법에 따라서 조사결과가 다르다는 사실이다. 집전화만 이용한 조사에서는 나경원 후보의 지지율이 박원순 후보보다 높게 나오는데, ‘집전화+휴대전화조사에서는 박원순 후보의 지지율이 높았다. 서울시장 보궐선거는 결국 박원순 후보의 승리로 막을 내렸다. 논리적 비약이라고 할 수도 있겠지만, 사전 판세조사에서 박원순 후보의 지지율이 높게 나왔던 집전화+휴대전화조사방식이 집전화만 이용한 조사방식보다 우월했다고 평가하고 싶다.

선거 여론조사에 대한 사회적 불신이 아직 가시지 않았지만, RDD 조사방식에 대한 꾸준한 연구와 이중 표집틀을 이용한 유무선 전화 조사방식은 보다 정확한 여론조사를 향한 새로운 가능성을 보여 주고 있다.

 

조사의 한계를 파악하고 겸손하게 보도하는 자세 필요

다가오는 2012년 총선 예측조사는 방송사들에게 주어진 가장 큰 과제이자 도전이다. 앞서 보았듯이 총선 예측조사에서 정당별 의석수를 아직까지 한 번도 정확히 예측한 적이 없다. 그래서 내년 19대 총선은 선거 여론조사의 중요한 분수령이 될 전망이다. 방송 3사 공동연구팀인 KEP(Korea Election Poll)가 중심이 되어 시청자들에게 정확한 예측조사 결과를 보여주기 위해 꾸준히 연구 노력하고 있다. 특히 내년 총선에서는 방송 3사가 힘을 모아 전국 250개 가까운 전체 지역구에서 전면 출구조사를 실시할 계획이다.

하지만 총선에서 전면 출구조사를 실시하더라도 정당별 의석수를 일정 범위 내에서 정확히 예측하기란 결코 쉬운 일이 아니다. 과거 총선에서 지역별 후보들의 득표율을 분석해 보면 1,2위 후보가 득표율 격차가 3%포인트 이내인 지역이 전체 지역구의 10% 가량 되기 때문이다. 전체 지역구 수가 250개라면 그 10%에 해당하는 25개 지역구에서는 출구조사를 실시하더라도 사실상 오차범위 내에 들기 때문에 당락을 판정하기 쉽지 않다는 의미다. 또한 과거 총선 예측조사에서 계속적으로 나타났던 여당 과대예측이란 여론조사의 편향 문제를 어떻게 해결할 수 있을 지가 중요한 과제로 남아 있다. ‘여당 과대예측이란 그 동안 총선 예측결과를 보면 항상 여당이 더 많은 의석을 얻을 것으로 잘못 예측했던 경험에 주목할 필요가 있기 때문이다.

2012년 총선 예측조사는 96년 이후 다섯 번째 실시되는 총선 여론조사이며, 개인적으로는 네 번째 참여하는 예측조사 프로젝트다. 다가오는 19대 총선 예측조사는 지난 과거의 실패를 교훈 삼아 꼭 성공적으로 이루어졌으면 하는 것이 2012년 나의 소망이기도 하다.

이제 선거가 다가오면 어김없이 주위의 동료나 선후배 기자들 그리고 지인들로부터 똑같은 질문들을 받는다. “도대체 누가 당선되는 거야?”, “1당은 어디가 되는 거야?”, “예상 의석수는 얼마나 될까?” 이런 질문을 받으면 마치 점쟁이나 되는 것처럼 믿을 만한 근거도 없이 뭔가 아는 척 말할 때도 많다. 하지만, 지난 15년의 선거 여론조사 경험이 나에게 주는 소중한 교훈은 바로 겸손하라!”, 이 한마디다. 여론조사는 만능이 아니다. 출구조사든 전화조사든 여론조사를 실시하면 선거에서 모든 후보의 당락을 예측할 수 있는 것처럼 오만해져서는 안 된다. 여론조사로 선거결과를 예측하는 것은 점을 치는 것과는 다르다. 여론조사는 과학이다. 과학이기 때문에 점괘와는 달리 실증적 근거를 제시해야 하고 오차범위라는 한계를 인식해야 한다. 기자들이 여론조사를 토대로 기사를 쓸 때도 조사결과를 마치 진실처럼 보도해서는 안 된다. 조사의 한계를 파악하고 겸손하게 보도하는 자세가 무엇보다 중요하다는 것을 다시한번 강조하고 싶다.