노르망 바야르종의 <촘스키처럼 생각하는 법> 기사를 스크랩하며 생각난 기사이다. 얼마전 북한의 김정은 3대 세습관련 여론 조사 내용인데, 북한 세습문제가 핵심이 아니라 그것과 관련된 '여론조사'가 주제이다. 신문과 뉴스에 나오는 '통계'수치와 관련된 아주 좋은 내용이라고 생각한다.
---------------------------------------------------------------------------------------
공정하지 못한 민노당의 3대 세습 여론조사
민주노동당 부설 새세상연구소는 10월18일 흥미로운 여론조사 결과를 발표했다. 북한의 3대 세습 및 그와 관련된 민노당의 '중립적'인 논평을 두고 진보 진영 내부의 논란이 가라앉지 않던 시점이었다(< 시사IN > 제161호 기사).
새세상연구소는 리서치앤리서치에 의뢰한 여론조사 결과, "응답자 중 54.6%가 김정은 후계 체제 구축을 용인하고 있으며, 응답자의 50.7%가 민노당의 신중한 접근이 바람직하다는 의견을 냈다"라고 밝혔다. 새세상연구소는 "대다수 국민은 남북 관계가 상호 체제를 존중하면서 평화롭게 진행되기를 바라고 있고, 민노당의 태도도 긍정적으로 본다"라고 조사에 의미를 부여했다.
의도하든 아니든, 질문의 미묘한 뉘앙스 차이만으로도 결과가 확 달라지는 것이 여론조사다. < 시사IN > 은 조사의 신뢰성을 따져보기 위해 여론조사 질문지를 받아, 서로 다른 유력 여론조사 업체에 종사하는 전문가 세 명과 여론조사를 전공한 대학교수 한 명(강흥수 국민대 교수)에게 보내 평가를 받아봤다. '동종업계'를 평가하는 일이니만큼 현직 종사자들은 익명 처리를 요청했다. 가장 뜨거운 관심을 모았던 두 문항, 즉 3대 세습에 대한 평가와 민노당의 대응에 대한 평가 항목을 대상으로 했다.
먼저 3대 세습에 대한 평가를 묻는 항목은 다음과 같다.
문제:김정은 후계 작업에 대해 어떻게 평가하십니까?
보기
:있어서는 안 되는 일이라고 생각한다 / 북한이 스스로 결정할 일이다 / 체제가 살아남기 위한 불가피한 결정이라고 생각한다.
결과
:39.4% / 30.8% / 23.8%
네 전문가는 아래와 같은 의견을 보내왔다.
A 실장
:해당 선택지 3개는 서로 의미하는 차원이 다르다. 북한이 스스로 결정할 일이면서 체제가 살아남기 위해 불가피한 선택이지만 동시에 있어서는 안 될 일일 수도 있는데, 마치 셋이 서로 배타적인 양 나눠놓은 것은 부적절하다.
B 팀장
:첫 문항은 긍정적인 태도 보기가 둘, 부정적인 태도 보기가 하나다. 만약 본 설문이 두 가지 상반된 입장이 아니라 각각의 세 가지 시각으로 보는 경우라면 세 보기가 모두 가치 중립적·배타적이어야 하는데 그렇지 않다.
C 대표
:1번은 북한에 비판적인 보기이고, 2·3번은 북한에 우호적인 보기다. 이럴 경우 보기의 수가 많은 쪽으로 (결정이) 기울어진다. 공직선거 관련 여론조사였다면 이처럼 대등하지 않은 보기는 공직선거법 위반으로 처벌받을 수 있다.
강흥수
(국민대 정치대학원 외래교수):언뜻 보면 '북한이 스스로 결정'이라는 보기가 중립점이고 그 좌우에 반대와 찬성 보기가 주어진 것처럼 생각되지만, 사실은 '반대함' 보기 하나에 '반대하지 않음' 보기가 두 개로 불균형이다.
네 명이 입을 모아 보기 구성이 공정하지 않다고 지적했다. 민노당 새세상연구소는 '북한이 스스로 결정할 일'과 '체제가 살아남기 위한 불가피한 결정' 두 응답을 합쳐 '54.6%가 3대 세습을 용인했다'는 결론을 내린 바 있다.
다음으로 3대 세습에 대응하는 민노당의 태도를 평가하는 항목은 다음과 같다.
문제:민주노동당은 정부의 허가를 받아 북한의 조선사회민주당과 공식 교류를 하고 있습니다. 민주노동당은 이러한 정당 교류와 남북 화해를 고려하여 북한의 후계 문제에 대해 공개적으로 비판하지 않고 있습니다. 이에 대해 어떻게 생각하십니까?
보기
:남북 문제는 신중하게 접근해야 하므로 바람직한 태도이다 / 남북 관계가 더 악화되더라도 공개적으로 비판해야 한다.
결과
:50.7% / 35.1%
전문가 네 명은 아래와 같은 답을 보내왔다.
A 실장
:질문에서 과도한 정보 제공으로 응답자가 독립적 선택을 하지 못하게 한다. 선택지에서 '신중하게 접근해야'라고 한 것은 응답자가 이른바 '사회적으로 바람직한 답'을 고르도록 유도한다. 남북 문제는 신중하게 접근하는 것이 늘 옳으니만큼 그 보기를 고를 수밖에 없도록 했다.
B 팀장
:질문은 민노당의 현재 입장이나 상황에 대한 사실만을 제시하여 그 입장에서 응답할 우려가 있다. 두 번째 선택지에서 '남북 관계가 악화되더라도'라는 문구는 부정 상황이어서 응답자가 선택하기를 주저할 수 있다.
C 대표
:질문에 '허가' '공식 교류' '남북 화해'라는 용어가 응답자로 하여금 이미 첫 번째 보기를 선택하도록 절반은 유도한다고 할 수 있다. 두 번째 보기 역시 '신중·바람직'이라는 표현과 '악화·비판'이라는 표현을 대조시켜 전자 쪽으로 유도한다.
강흥수
:질문 중 '정부의 허가를 받아' '공식 교류' '남북 화해를 고려하여'와 같은 표현은 민노당의 방침이나 언행에 대해 '긍정적인 분위기'를 깔아준다. 사안을 민노당의 입장에서만 보도록 프레이밍한다.
역시 네 명 모두 보기가 적절하지 않게 구성되었다는 의견이었다. 질문지의 유도 효과를 지적하는 의견이 많았고, 보기 역시 마찬가지라고 판단했다.
이번 조사에 대한 총평도 부탁해보았다.
A 실장
:특정 방향을 노리는 의도가 보인다. 여론조사의 속성을 잘 알수록 이런 시도를 하곤 한다. 진보적 조직에서 오히려 그럴 때가 많다.
B 팀장
:전체적으로 보았을 때 조사 자체가 대단히 무리가 있거나 큰 오류를 가졌다고 하기에는 모호한 부분이 있다.
C 대표
:여론조사 결과를 통해 논거를 뒷받침하는 수단으로 활용하고자 기획된 것으로 판단된다. 사실 의뢰처보다 조사업체인 리서치앤리서치가 더 문제가 있어 보인다. 의뢰처를 위해서라도 설문 구성을 바로잡아주어야 했다.
강흥수
:이 문제에 관심 없는 사람의 의견을 걸러내고, 의견의 강도나 주목도도 잡아내야 한다. '무관심층'의 응답이 많을수록 이번 질문지와 같은 프레이밍에 잘 걸려든다. 3대 세습에 대한 민노당의 대응 문제를 관심 갖는 시민이 사실 얼마나 되겠나.
문항의 적절성에 대해 조사업체인 리서치앤리서치는 "질문지는 새세상연구소가 보내왔고, 내부 토론을 거쳐 큰 문제는 없다고 판단해 미세 조정만 했다"라고 밝혔다.
여론조사에서 조금이라도 유리한 결과를 뽑아내도록 '마사지'를 한 질문지는 정치권에서 종종 눈에 띈다. 단어 한두 개를 긍정적이거나 부정적으로 바꾼다거나, 보기 제시 순서를 유리하게 정한다거나, 핵심 질문에 앞서 선입견을 심어줄 수 있는 질문을 먼저 한다거나 하는 등 방법도 무척 다양하다. 특히 1~2% 포인트 차이로 희비가 엇갈리기 일쑤인 단일화 협상 테이블에서는, 사소한 문구 하나 때문에 협상이 완전히 엎어지기도 한다. 여론조사 경험이 많은 선거통들이라면 새로울 것이 없는 얘기다.
하지만 이번 새세상연구소의 조사 문항은 이런 관행을 '살짝' 넘어섰다는 점에서 논란을 낳고 있다. 민주노동당의 한 기획통은 설문 문항을 두고 "그거 '선수들'이 보면 한눈에 무리수인 거 아는데, 왜 엉터리 조사를 해서 긁어 부스럼을 만드는지 모르겠다"라고 말했다.
시사INLive | 천관율 기자 yul@sisain.co.kr | 입력 2010.10.29 10:37