특별기고_여론조사 임의번호걸기(RDD)와 응답률의 함정_김용찬 교수 (연세대학교 언론홍보영상학부)

대선이 끝났다. 더불어 대선 관련 여론조사들도 막을 내렸다. 우리 사회는 여론조사에 과도하게 의존한다. 그렇기 때문에 공정하고 정확한 여론조사를 진행할 수 있는 여건을 갖추는 것이 매우 중요하다. 그런 점을 염두에 두고 대선 여론조사에서 대부분의 조사회사들이 사용한 임의번호걸기(random digit dialing) 방식과 그 방식을 사용하면서 발표하는 응답률에 얽힌 몇 가지 문제들에 대해 생각해 보고자 한다.

임의번호걸기(RDD) : 대표성 확보 어려워
여론조사에서 가장 중요한 문제는 표본이 전체 집단(혹은 모집단)을 얼마나 대표하는가이다. 표본의 대표성을 확인하려 할 때 가장 중요한 전제 조건 중 하나는 그 표본이 소위 확률적 무선 표집 방법에 의해 수집돼야 한다는 것이다. 최근 국내 여론조사 회사들이 활용하는 임의번호걸기도 확률적 표집방법을 통해 전화조사를 하기위해 고안된 방법이다. 간단히 말하면 이런 식이다. 컴퓨터가 임의로, 즉 무선으로, 전화번호를 산출해서 전화를 걸어주면, 면접원이 전화를 받은 사람과 설문을 해서 데이터를 수집하는 방법이다.
임의번호걸기 방식의 전화조사를 제대로 하려면 상당한 비용이 든다. 내 경험을 이야기해 보겠다. 2000년대 초반 내가 속한 연구팀이 미국 로스앤젤레스 몇몇 지역에서 임의번호걸기 방식으로 대규모 전화조사를 수행한 적이 있다. 어떤 지역에서는 표본 수 250명 조사를 위해 한국 돈으로 1억 원이 넘는 비용이 들기도 했다. 왜 이렇게 비용이 많이 들까? 여러 가지 이유가 있지만 가장 큰 이유는 다시걸기(call-back)라는 절차 때문이다. 임의로 산출된 번호로 전화를 했는데 아무도 받지 않을 경우 그냥 그 번호를 버리고 다시 새 번호를 뽑아서 전화를 하는 것이라, 전화를 받을 때 까지 여러 번 다시 걸기를 한다. 조사비용은 다시 걸기 횟수를 얼마로 정하느냐에 따라 천정부지로 뛰어오른다. 다시걸기 횟수가 인건비로 바로 연결되기 때문이다. 다시걸기는 무응답 전화번호에만 해당되는 것이 아니다. 설문 조사 참여를 거절한 번호에도 다시걸기를 한다. 처음 걸었을 때 이런 저런 이유로 거절했을지라도 나중에 마음이나 상황이 바뀌었을 수 있기 때문이다. 다시걸기 때문에 250명 표본의 설문 조사도 한 달 이상 걸릴 수 있다. 값비싼 비용과 시간을 들여가며 다시 걸기를 하는 이유는 한 가지이다. 응답률을 높여서 설문 데이터의 질을 높이고, 표본의 대표성을 높이려는 것이다.
이제는 국내 여론조사 회사들이 대선 관련 여론조사에서 어떻게 임의번호걸기 방식의 전화조사를 했는지 살펴보자. 주목해서 볼 부분은 대부분의 경우 임의번호걸기 조사를 2~3일만에 끝낸다는 것이다. 여론조사를 요청한 측에서 요구한 비용과 일정의 한계 때문이다. 1000명 표본 규모의 설문조사를 2~3일 안에 진행하려면 다시 걸기를 제대로, 체계적으로 할 여유가 없다. 결국 1000명을 채울 때까지 계속 새로운 번호로 전화를 거는 수밖에 없다. 이렇게 하다보면 더 이상 이것을 확률표집에 의해 수집된 표본이라 부르기 어렵다. 성별, 지역, 등등의 항목에 할당된 숫자를 채우는 비확률적 표집이라 할 수 밖에 없다. 비확률적 표집방법의 가장 큰 문제점은 표본의 대표성을 확률적으로 측정하기 힘들다는 것이다.

협조율이 응답률로 둔갑
한국의 임의번호걸기 조사에서 가장 큰 문제는 응답률이 심각한 정도로 낮아질 수 있다는 것이다. 그래서 국내 여론조사 회사들은 응답률을 발표하지 않는다! “여론조사 회사들이 응답률을 발표하지 않는다.”라고 하면 놀라는 분들이 계실 것이다. 모든 조사회사들이 다음 공식에서 나온 수치를 ‘응답률’이라는 이름으로 발표하기 때문이다.

접촉 후 설문 완결 수÷(접촉 후 설문 완결 수 + 접촉 후 설문 거절 수)×100

쉽게 풀어 말하자면 전화를 받은 사람들 중에서 설문 응답을 해준 사람들의 비율이다. 그런데 사실 이것은 응답률이 아니고 소위 ‘협조율’이라 불리는 것이다. 응답률과 협조율을 비교할 때 가장 중요한 차이는, 응답률을 제대로 계산하려면 분모에 “접촉 실패 사례 수(전화를 했는데 안 받는 번호들의 수)”를 넣어야 하지만, 협조율은(위에 공식에서처럼) 넣지 않는다는 것이다.

 

‘접촉 실패 사례 수’를 넣느냐 안 넣느냐가 왜 중요한지를 실제 사례를 갖고 따져보자. 지난 4월 13일 한국갤럽이 중앙선거여론조사심의위원회에 보고한 설문조사 결과 중에서 무선전화로 한 결과를 보면 응답률이 25.1%이다. 요즘 기준으로 그리 나쁜 응답률 수치는 아니다. 이 수치는 위의 공식, 즉 여론조사 회사는 응답률이라 부르지만 실제로는 협조율을 구하는 공식을 사용해서 나온 것이라는 사실이다. 전화를 받은 3230명 중에서 812명이 설문에 응했다는 것만을 말하는 수치이다.
그런데 같은 날 갤럽 보고서 내용을 더 살펴보면 ‘접촉실패 사례 수’가 10,069번에 달한다는 것을 알 수 있다. 전화를 했는데도 받지 않는 번호가 이 정도였다는 것이다. 그러니 갤럽은 전화를 13,299번(3,230번이 아니라) 돌려서 812명의 설문을 받은 것이다. 접촉실패 사례 수가 분모에 들어가면 실제 응답률은 매우 낮아진다. 조사회사들이 응답률 대신 협조율을 쓰는 이유는 분명하다. 협조율 공식에는 ‘접촉실패 사례 수’를 넣지 않아도 되기 때문이다.

‘가성비’ 만 따지는 여론조사 지양해야
RDD 방식이 제대로 이루어져서 정정당당하게 응답률을 보고할 수 있는 여건, 궁극적으로 전체 모집단에 대한 대표성을 보장하는 질 높은 설문조사 데이터를 수집할 수 있는 여건이 만들어지기 위해 가장 중요한 조건은 무엇일까? 여론조사 회사들도 더 노력해야 하겠지만 충분한 비용을 지불하지 않고 헐값에 결과물만 얻으려 하는 조사 요청 기관들의 인식 변화가 먼저 필요하다고 생각한다. 무엇보다 여론조사를 제대로 한다는 것은 매우, 매우, 비싸다는 것을 알아야 한다. ‘여론조사 비용 공표제’ 같은 것도 있었으면 좋겠다. 내가 보는 통계 수치가 고급 명품 데이터에서 나온 것인지 싸구려 데이터에서 나온 것인지 정도는 알아야 하니까 말이다.

 

 

 

Posted in 2017년 5.6월호, 격월간 방송기자, 특별기고.