How to lie with Statistics

재미있는 통계이야기
더렐 허프 / 청아출판사 / 1994년 1월

사람들은 '나는 여론조사에 속지 않는다'고 흔히 착각한다.그러나,주간동아(제367호)에 실린 기사를 보면 심지어 전문가라는 사람들조차 얼마나 쉽게 여론조사의 함정에 빠지는지 알 수 있다. 노당선자가 이후보를 역전한 결정적 계기는 국민통합21 정몽준 대표와의 여론조사를 통한 후보단일화였다. 통합21측은 단일화 여론조사에서 이후보 지지율이 그 무렵 각 언론사 여론조사의 이후보 평균 지지율(35%) 아래로 나올 경우 단일화 여론조사를 무효로 한다는 데 합의했다. 그런데 갑자기 통합21측은 이후보 지지율이 이후보 최저 지지율(30%) 아래로 나올 경우에만 무효로 하자며 훨씬 완화된 조건을 제시했다.
통합21측은 노무현, 정몽준 후보 간 양자 TV토론 직후 실시된 여론조사에서 정후보가 토론을 더 잘했다는 답변이 많이 나오자 조건을 완화한 것이었다. 민주당은 통합21측 제의를 수용했다. 토론회 다음 날 실시된 여론조사에선 노후보가 토론을 더 잘했다는 답변이 더 많이 나왔기 때문이다. 노-정 TV토론에 대해 다음 날 조간신문들이 “노후보가 안정감을 보였다”고 평가한 점이 시청자들 판단에 영향을 준 것이다. 민주당은 '시청자들은 다음 날 신문의 보도 경향을 참고해 TV토론에 대한 최종평가를 내린다’는 점에 주목했다.

여론조사는 '언제 조사하느냐?'에 따라서 매우 유의미한 결과의 차이를 보인다. '여론조사는 기껏해야 어느 한 시점에서 나타난 태도를 보여주는 유효한 측정치일 뿐이다. (315p)' 설문문항을 결정하기 위해 민주당 측과 국민통합21 측은 밤샘 설전을 벌였다. 김행씨는 “한나라당 이회창 후보와 대항할 후보로서 노무현 후보와 정몽준 후보 중 누구를 지지하십니까”를 설문문항으로 해야 한다고 주장했다. 당시 단순지지도에선 노후보와 정후보는 백중세였고, 이후보와의 경쟁력에선 정후보가 앞서고 있었다. 민주당측은 김행씨의 설문문항을 이후보와의 경쟁력을 묻는 질문으로 보고, 강하게 반대했다. 이때 김한길 본부장이 김행씨에게 “설문문항을 직접 글로 써보라”고 했다. 김행씨가 쓰자, 김본부장이 “그걸로 하자”며 협상을 끝냈다. 김본부장은 김행씨가 제시한 설문문항은 여론조사 응답자들 입장에선‘뒷문장이 강조되는'쪽으로 들리기 쉽다는 점을 간파했다. 이 설문문항은 사실상 단순지지도를 묻는 문항이라는 것이다.

이 또한, wording(묻는 방식, 묻는 순서 등을 포함하는 개념) 이라고 부르는 질문지 작성이 얼마나 중요한지 나타내는 단적인 사례였다. '복잡하게 기술된 질문을 포함하여 응답자에게 너무 낳은 것을 요구할 경우 -(중략)- 응답자들이 체계적으로 영향을 받게 된다. (323p)'

여론조사 시기 협상에서도 민주당은 통합21보다 한 수 위로 드러났다. 통합21은 샘플 수를 5000명으로 하자고 요구했고, 민주당은 이를 수용했다. 5000명을 대상으로 여론조사를 하려면 낮 시간대부터 할 수밖에 없으며, 이 경우 주부층에서 압도적 우위를 보이고 있는 정후보가 절대 유리한 상황이었다. 민주당은 11월26일 언론사의 마지막 여론조사 발표 때 단일후보가 이후보를 앞서고 있다는 조사결과가 나와야 후보단일화 효과가 극대화된다는 논리를 폈다. 맞는 말이었지만 여기엔 다른 의도가 깔려 있었다. 26일 언론 효과를 위해선 25일 단일후보가 결정돼야 하고, 그러기 위해선 24일 후보단일화를 위한 여론조사가 실시돼야 한다는 얘기였다. 여론조사 날짜를 월요일인 25일에서 일요일인 24일로 하루 앞당기려는 의도였다. 일요일은 노후보의 주 지지층인 20, 30대 직장인 남성이 집에 있을 확률이 가장 높은 요일이었다. 결국 이런 지략 대결 끝에 24일 노당선자는 여론조사 승리자가 됐다.

마지막으로 이 사례는 '어떠한 표본도 완벽할 수는 없다는 것'을 보여주고 있다. '이런 표본은 겉으로는 과학적 정확성을 지닌 것처럼 착각되기 쉬우나 권유할 만한 일은 못된다.(28p) 그렇다고,노무현 당선자 측이 거짓말을 했다는 뜻이 아니다. 단지 그 쪽이 여론조사의 고유 맹점을 좀 잘 활용했을 따름이다.