이택수 리얼미터 대표, “여론조사 예측실패, 브랜들리 효과와 미네르바 효과 때문”

조짐은 있었습니다. 여패야승 말이죠. 하지만 이 정도일 줄은 아무도 몰랐습니다. 민주당도 이럴줄 알았다면 진보신당 노회찬 대표에게 단일화 제안을 했을 거고, 노 대표도 지금처럼 욕 먹을 일 없었을 겁니다.

서론입니다.
먼저 여패야승 조짐부터 얘기해볼까요?

여패야승 조짐의 단초는 유시민 후보의 단일화 1막 때부터입니다. 민주당의 김진표 후보와의 단일화(5/13) 이후, 민노당 안동섭 후보와의 단일화(5/14)까지 성공시킨 유시민 후보의 약진은 김문수 한나라당 후보와의 격차를 좁혔고, 야당의 추격 기세는 서울과 인천 쪽으로 번지기 시작했습니다.

유 후보의 단일화 1막 직후인 5월 15일, 자동응답 전화조사(ARS)로 실시된 아시아경제-리얼미터 조사에서 김문수 후보와 유시민 후보는 5.7%p의 격차로 줄었고, 오세훈 후보와 한명숙 후보도 7.5%p 차이로 줄었습니다. 심지어는 송영길 후보는 43.6%로, 42.4%의 안상수 후보를 이기는 것으로 나왔습니다.

그런데 비슷한 시기에 발표된 주요 언론사의 조사결과를 보면 조금 다른 양상입니다. 먼저 조선일보-한국갤럽 조사는 같은 날 조사했는데, 경기도의 경우 김문수 42.4%, 유시민 30.2%로 격차가 10%p 이상이었고, 서울도 오세훈(47.0%), 한명숙(35.1%)의 격차가 비슷했으며, 인천도 안상수 44.0%, 송영길 33.8%로 수도권 세 지역 모두 10%p 이상의 격차였습니다.

동아일보-코리아리서치 조사도, 경기 김문수 44.1%, 유시민 33.2%, 서울 오세훈 49.7%, 한명숙 32.3%, 인천 안상수 40.8%, 송영길 31.7%로 격차가 조선일보와 비슷했습니다. 중앙일보 자체 조사팀의 결과도, 경기 김문수 40.1%, 유시민 24.5%, 서울 오세훈 50.8%, 한명숙 28%, 인천 안상수 40.1%, 송영길 29.8%로 역시 여야 격차가 매우 크게 나타났습니다.

리얼미터의 조사결과가 조선, 중앙, 동아일보의 여론조사 결과와 다소 다른 양상을 나타내자, 결국 조선일보는 18일 ''주요 여론조사 기관, ARS 조사 안해''라는 여론조사 전문기자의 보도로, ARS 조사를 실시한 한겨레-더피플, 아시아경제-리얼미터 조사에 대해 신뢰보다는 불신을 더 야기할 수 있는 기사를 게재했습니다. 아울러 한나라당 경기도당은 리얼미터에 조사를 의뢰한 ‘아시아경제’ 신문을 상대로 중앙지검에 수사를 의뢰했습니다. 조사결과가 다른 주요 신문사들의 결과와 다르다는 이유 때문에.

뿐만 아니라 방송3사의 조사결과도 전화면접 조사 위주로 보도되면서, 조선, 중앙, 동아일보의 조사결과와 함께 여야 격차가 큰 조사결과가 유권자의 상당수에게 전파되기 시작했습니다. 그러자 확실한 밴드왜권 효과가 나타나게 되었습니다. 어떻게 장담하냐구요? 공표금지 마지막 여론조사에서 저희 회사의 ARS 조사까지 격차가 크게 벌어지는 것으로 나타났으니까 말이죠. CBS-리얼미터 공표금지 마지막 조사결과, 경기 김문수 50.8% vs 유시민 36.0%, 서울 오세훈 56.3% vs 한명숙 32.4%, 인천 안상수 47.3% vs 송영길 41.7%로 여야간 큰 격차를 보이는 것으로 나타났습니다.IMAGE1

그리고는 여론조사 공표금지 기간(선거일 6일전)으로 접어들었고, 유권자들은 암흑 속에 갇히게 되었습니다. 그럼 그 사이 무슨 일이 벌어진 걸까요? 사실 6일 기간동안 16개 광역 단체장을 매일 매일 조사할 수는 없었지만, 일부 조사를 벌인 지역은 여야 격차가 줄었다가, 늘었다가 계속 여론이 급변하는 상황이었습니다. 게다가 경기도는 유시민, 심상정 막판 단일화까지 벌어졌습니다. 단일화 2막이었죠. 그로인해 여러 지역구에서 지지율 급변 조짐이 나타나기 시작했고, 수도권의 경우 불과 1일전과 당일 조사가 너무도 다르게 나타날 정도로 혼란스러운 상황이 연출됐습니다.

사실 이번에 전화면접으로 실시된 여론조사 결과, 즉 YTN-한국갤럽과 MBN-GH코리아/메트릭스의 예측결과가 실제 개표결과와 크게 다른 이유가 바로 여기에 있는 것입니다. YTN-한국갤럽은 대체로 선거 전날까지 조사를 했고, MBN-GH코리아/메트릭스는 선거 당일 조사를 전혀 하지 않았기 때문에, 조사결과가 크게 다르게 나타났습니다. 만일 양 방송사 모두 당일날 전 지역을 모두 조사했다면, 상당부분 예측방송보다 덜 틀릴 수 있었을 텐데, 그렇지 않았습니다.

지난 총선 당시 SBS 예측방송의 105개 지역을 ARS로 정확히 조사했던 리얼미터는 이번에 아쉽게도 어느 방송사로부터도 예측조사를 의뢰받지 못했고, 그래서 일부 지역만 자체비용으로 당일 조사를 하고, 나머지 지역은 며칠 전까지 외부 의뢰로 조사한 결과를 활용하여 예측할 수밖에 없었습니다. 방송3사야 이번에 전지역 현장 출구조사를 시행하여 어쩔수 없었지만, 전화조사로 예측방송을 보도한 언론사들로부터도 채택이 되지 못한 주된 원인은, 첫 번째 ARS 조사가 여전히 여론조사 업계 및 방송계에서 낮은 응답률 때문에 여전히 신뢰를 받지 못하고 있기 때문이고, 두 번째는 충격적이게도 야당의 지지율이 다른 주요 여론조사 기관들보다 높다는 이유 때문이었습니다.

먼저 응답률 얘기부터 언급을 할까요? 저희 리얼미터는 이번 선거 기간 동안 한나라당과 자유선진당 등 여러 정당으로부터 여론조사를 수주하였고, 매출액 대비 전화면접 조사 70%, ARS 조사 30% 가량으로 양 조사 방법을 모두 채택하여 사용했는데, 대략 전화면접 조사는 15% 안팎의 응답률, ARS 조사는 5~10% 사이로 나타났습니다. 물론 여론조사 선진국인 미국조사협회에서는 응답률이 최근 조사의 신뢰도와 무관하다는 쪽으로 의견을 모으고 있지만, 굳이 따지자면 예전보다는 양 조사의 격차가 크게 줄었습니다. 게다가 투표의사층은 공교롭게도 응답률이 낮은 ARS 조사에 더 많이 잡히기 때문에, 오히려 ARS 조사가 더 정확한 결과를 도출할 수 있고, 이번 조사가 사실 그랬습니다. 때문에 전화면접 조사와 ARS 조사의 응답률 논쟁은 이제 자제할 때가 된 것으로 보입니다. 그 근거는 잠시 후에 실례를 보여드리면서 설명을 드리지요.

두 번째, 다른 조사기관들보다 야당의 지지율이 높기 때문에 리얼미터에게 예측조사를 맡길 수 없다는 모 언론사의 거절 이유에 대해서는 사실 많이 안타깝습니다. 물론 언론사 입장에서는 충분히 이해가 갑니다. 여야 격차가 줄어든 여론조사 결과를 보도했다는 이유로 여당으로부터 검찰에 고발되는 상황에서, 야당의 지지율이 상대적으로 높게 나타나는 ARS 여론조사를 인용하지 못하거나, 예측조사를 의뢰하지 못하는 현실을 충분히 이해할 수 있는 것입니다. 하지만 막상 그 이유 하나만으로 거절당할 때의 기분은 착잡하지 않을 수 없었습니다. 야당 지지율이 다른 조사기관보다 높다는 이유 때문에 말이죠. 차라리 ‘예측조사할 예산이 없다’는 다른 이유를 대던가 말이죠.

서론이 길었습니다. 이제 본론입니다. 짧게 하지요.
이번 선거의 출구조사와 전화조사를 비교해 보도록 하겠습니다.

이번 방송3사의 출구조사는 정말 훌륭했습니다. 16개 광역단체장 조사에 있어서 당선자는 물론, 득표율까지 오차범위 내에서 정확히 맞췄으니까요. 그런데 아래의 기사를 보면 격세지감이 드실 겁니다. 언제 기사인지 맞춰보실래요?

위의 사진은 2008년도 총선 당시 출구조사 무용론이 나왔던 관련기사이고, 아래 사진은 2004년과 2002년도에 보도된 출구조사 관련 무용론 기사입니다. 기사 검색을 해보면 유사한 과거 기사를 계속 검색해 보실 수 있습니다.

돌이켜보면 이번 선거 전까지 출구조사는 지금까지 단 한번도 칭찬을 받은 적이 없는 듯 보입니다. 사실 선거만 끝나면 여론 뭇매 맞고 사과 방송하는게 늘 익숙한 일이었었죠. 여론조사 무용론이라고 포털에서 검색하시면 매년 선거가 있는 해에 엄청난 기사를 확인해볼 수 있을 정도니까요. 그런데 이번에는 아주 정확하게 예측했습니다. 조시기관은 코리아리서치, 미디어리서치, TNS였습니다.

이번 출구조사의 정확성과 관련하여 사실 밸럿 메서드(Ballot Method), 즉 비밀투표 방식이기 때문이라는 보도가 많았지만, 이번 선거에 처음된 것이 아니라서 정확한 설명이 될 수는 없습니다. 그 보다 정확한 진단은 샘플수의 증가가 가장 큰 원이이라고 생각합니다. 지난 지방선거의 2배에 가까운 18만명 유권자들을 대상으로 조사했고 투표소도 600여개라고 하니, 전체 투표자의 1% 가량을 조사한 것으로서, 정확하지 않으면 오히려 큰일 날 뻔 했습니다.

반면 전화면접 조사로 진행된 YTN, MBN의 조사를 맡았던 한국갤럽과 GH코리아, 메트릭스는 아쉽게도 전체 16개 시도지사 중에서 5개의 당선자가 빗나갔고, 오차의 범위도 매우 커서 전화조사 무용론의 빌미를 제공하게 되었습니다. 사실 따지고 보면 방송3사의 출구조사를 했던 코리아리서치, 미디어리서치도 여론조사 공표금지 직전 동아일보, 한국일보으로부터 의뢰를 받아 전화면접 조사를 하여, 여야 격차가 큰 것으로 조사결과를 제공한 조사기관이라는 점에서 전화조사 무용론으로부터 자유롭지 못한 것이 사실입니다.

그렇다면 ARS 조사는 어떨까요? 사실 현장 출구조사의 밸럿 메서드(Ballot Method)와 가까운 것이 ARS 조사라는 점에서 투표행위를 예측하는 데 있어서는 전화면접 조사보다 정말 유용하다고 생각합니다.

실제 아래 표를 볼까요? 리얼미터는 조사당일 5개 지역(서울, 경기, 인천, 충남, 경남) 조사를 자체 비용으로 ARS로 조사했습니다. 전화면접 조사와 비교하고자 하는 순수한 실험정신에서, 외부 의뢰없이도 말이죠. 나머지 지역은 조사일 전에 외부에서 의뢰한 조사를 활용(엄밀히 말하면 재활용)했습니다. 그런데도 YTN, MBN 보다 1개 적은 4개 지역만 틀렸고, 4개 지역의 경우에도 당선자 예측이 2개지역은 오차범위 내였으며, 나머지 2개 지역도 오차범위를 약간 벗어난 오차였습니다. 조사규모가 출구조사의 10분의 1밖에 안되는 점을 감안하더라도 상당히 정확한 조사결과였습니다. (아래 표 참조)

IMAGE2정리를 하자면 현장 출구조사는 선거 당일날 조사를 하였고, 조사 규모도 역대 최대로 시행하면서 정확한 조사를 도출할 수 있었고, YTN, MBN 조사는 여론 급변을 예상하지 못한 채, 선거 전날까지 다수의 지역구를 조사 마감하면서 예측을 틀리게 할 수 밖에 없었던 것입니다. 또한 전화면접으로 당일 조사를 했던 지역구도 현장 출구조사에서 쓰는 밸럿 메서드(Ballot Method), 즉 비밀투표 방식이 아니었다는 점에서 ARS 조사보다도 당선자 오차가 꽤 크게 나타난 것입니다.

정리를 하겠습니다.

이번 여론조사 예측 실패에는 여러 원인들이 있는데 첫 번째 원인은 브래들리 효과입니다. 야권의 숨은 표가 10%p 이상이라는 점에서 향후 전화면접 조사만 신뢰하는 여론조사 기관, 언론사와 정치인들의 자성이 필요합니다. 야권의 지지율이 높게 나오는 ARS 조사도 주요 언론과 방송에서 보도해 주시면 정말 좋겠습니다. 저희 리얼미터도 전화면접 조사가 주된 수입원이지만, 정확한 조사를 위해서는 매출이 줄어도 ARS 조사가 정확한 조사에서는 ARS 조사를 사용해야 한다고 생각을 합니다. 장기적으로 여론조사 기관이 신뢰를 받으려면 말이죠. 여론조사 회사를 ‘여론조사 전문기관’이라고 감히 ‘전문기관’이라는 호칭을 괜히 부여한 것은 아니라고 생각합니다. 영리보다는 사회적 책임감을 더 중요하게 여겨야 한다고 생각을 합니다.

두 번째 원인은 미네르바 효과입니다. 아시아경제-리얼미터 조사결과 보도만 봐도 어디 겁나서 야당 지지율 높은 조사결과 발표할 수 있겠습니까? 야당 지지율 높다고 검찰 수사의뢰를 하는 여당에 문제가 있다는 것입니다. 검찰 수사의뢰할 시간에 여야 격차 줄게 된 원인 파악하고 전략을 세웠다면, 개표방송 보면서 그렇게 안 놀랐을 겁니다. 마지막으로 여론조사를 선거일 6일전부터 못하게 하는 선거법이 문제입니다. 6일동안 깜깜한 암흑 속에 있으면서 여당은 자만하고, 야당은 단일화의 기회를 놓친 것입니다. 엄한 노회찬 진보신당 대표만 불쌍하게 된 것 아니겠습니까?

마지막으로 당부 드리고 싶은 말이 있습니다. 개그맨들이 하는 말이 있지요? “개그는 개그일 뿐 따라하지 말자~.” 여론조사는 여론조사 일뿐 과도한 해석은 삼갔으면 좋겠습니다. 그리고 정확한 여론조사가 보도될 수 있도록, 유권자, 정치인, 언론사가 편견을 버렸으면 정말 좋겠습니다. 지금 상태가 계속되면 여론은 계속 왜곡될 수밖에 없고, ‘여론조사 전문기관’이 향후 ‘여론형성 전문회사’로 전락할 수밖에 없을지 모릅니다. 정말이지 저희 아들의 학생기록부 아빠 직업란에 여론조사 전문기관 대표라고 계속 쓸 수 있으면 좋겠습니다. 긴 글 읽어 주셔서 감사합니다.

여의도에서 리얼미터 이택수 대표.