여론조사는 틀릴 수 밖에 없다.

낱낱이 파헤치는 여론조사의 모든 것
마크 팩 지음, 김문주 옮김 / 이사빛 / 2024년 3월

 뉴스나, 각종 시사프로그램에서 여론조사는 항상 주요 소재거리다. 여론조사는 현 상황을 보여주기도 하지만 그 자체가 뉴스거리가 되기도 하고 시국을 이끌기도 한다. 최근 탄핵된 대통령의 여당의 지지율이 크게 오른 여론조사가 나왔는데 이걸로 인해 정국이 요동친게 그 예다. 직관적으로는 말이 되지 않는 상황이라 많은 설왕설래가 언론에서 있었다. 

 여론조사는 미국에서 시작되었다. 미국은 건국 초기 개별적인 주 의회에서 그 주의 전국 선거인단을 선발했다. 하지만 시간이 지나면서 그 선거인단의 구성을 일반국민의 투표로 선발하는 것이 대세가 되었다. 1800년 미 16개 주에서 겨우 5개 주만 일반투표를 했지만 1824년엔 24개 주에서 18개 주가 1836년에는 사우스캐롤라이나 한 개 주만 일반투표를 하지 않을 정도로 일반화 되었다. 상황이 이렇다보니 대중의 다수 생각을 미리 아는 것이 정치적으로 중요하게 되었고 이것이 여론조사의 시발점이 되었다. 

 초기 여론 조사는 주먹구구였다. 독립기념을 같은 다양한 행사에 참여한 사람들을 대상으로 누구를 지지 하는지 물었고, 공공장소에 책을 두고 거기에 지지하는 후보를 쓰게 하기도 했다. 한편 민병대 소집일에 조사하기도 하였다. 이런 엄격한 통계적 표본추출이 없는 것을 밀짚조사라 한다. 밀짚마냥 바람 가는데로 영향을 받는다는 비유에서다.

 20세기 들어 미국에서 전국지인 리터러시 다이제스트가 현대적인 여론 조사를 수립한다. 이들은 1930년대 금주령에 대해 5백만명에게 설문조사를 하였고 1916년에서 1932년의 5번의 대선 결과를 성공적으로 예측했다. 하지만 여전히 밀짚 여론조사를 벗어나지 못했다. 

 다이제스트는 1936년 대선에서 무려 천만명에게 편지를 송부했고 이중 220만에게 답신을 받았다. 결과는 57:43으로 공화당 후보의 승리가 점쳐졌다. 하지만 실제 결과는 터무니 없게 달랐다. 무려 39:61로 민주당 루스벨트가 승리한 것이다. 이는 엄청난 실패였다. 답신 수가 상당했음에도 이런 결과가 나온 것은 당시 잡지가 부유층 위주로 조사를 했고 당연히 부유층은 공화당 지지자가 많았다. 또한 공화당 지지자 측이 당시 더 적극적으로 답신했기 때문이었다.

 하지만 리터러시 다이제스트와는 다르게 겨우 5만개의 조사로 예측에 성공한 사람이 있었다. 바로 그 유명한 조지 갤럽이다. 그는 응답자 수보다는 대표성이 중요하다고 보았다. 그는 이 성공으로 1935년 미여론연구소를 설립했고 이것이 지금도 존재하는 갤럽이 된다. 갤럽이라는 이름은 전세계로 퍼져 여론 조사 기관의 대표처럼 느껴진다. 조지 갤럽은 1940년과 1944년의 대선도 정확히 예측한다. 1948년에는 예측에 실패해 여론조사 업계가 잠시 위축되었지만 그야말로 잠시 뿐이었다. 

 현대 여론 조사에는 두 가지 필수 기법이 있다. 하나는 표본 추출이다. 전체 인구를 대표할 다양한 집단의 사람들을 정확히 선발하는 것이다. 표본이 올바르기만 하다면 표본의 크기는 많지 않아도 된다. 다음은 가중법이다. 표본은 절대로 완벽하게 설정되지 않기에 그것의 보완을 위해 결과를 보정하는 것이다. 

 표본을 무작위로 확보하는 방법중의 하나는 할당이다. 성별이나 나이, 직업 등을 기준으로 정하고 그에 해당하는 수가 응답할 때까지 여론 조사를 실시하는 것이다. 하지만 할당을 채우는 과정에서 다른 편향이 개입할 수 있다. 가령 여론 조사는 비용절감과 정확성을 위해 특정 시간 안에 행해져야 하는데 조사원이 이를 하기 위해 일부로 사람이 많은 곳이나 한가해 보이는 사람들만을 찾는다면 그 행위 자체가 특정 집단에 편향된 표본을 구성하게 된다. 

 여론 조사에는 4가지 방법이 있다. 대면조사, 우편조사, 전화조사, 온라인 조사다. 대면조사는 오랜 과거의 것이고 우편조사가 20세기 초만해도 많이 시행되었다. 다만 우편 조사는 편지를 송부하고 수신하는 과정에서 시간이 오래 소요되며 그 사이 사람들의 심리와 정치적 상황이 변화되는 것을 감지못하는 단점이 있다. 반면 전화조사는 즉각적인 조사가 가능하며 사람들의 지역 및 떨어진 거리와 무관한 조사가 가능하여 소위 무작위 조사가 가능하다. 다만 전화에 적극적으로 응하는 사람과 그렇지 않은 사람들의 차이로 인해 역시 편향될 가능성이 있다. 온라인 조사는 무작위성이 가장 커질 수 있다. 비용도 저렵하고, 시간과 장소에 구애받지 않는다. 하지만 전화처럼 온라인 조사도 실제 클릭하여 참여하는 의지가 필요하며, 인터넷 접근성도 하나의 제약이자 편향으로 작용할 수 있다. 또한 공개 여론 조사를 실시해버리면 특정 집단이나 사람들이 마음먹고 대거 참여해 여론을 크게 오염시킬 여지도 있다. 다만 인터넷 조사는 성문제 같은 논쟁적 주제에 대해 사람들의 비교적 솔직한 답변을 얻을 수 있다는 장점이 있다. 

 여론조사가 잘못되는 경우는 다음과 같다. 우선 시기가 잘못되는 경우다. 둘째는 대표성과 아주 거리가 먼 표본이 추출 된 경우, 셋째는 표본이 체계적 결함이 있는 경우다. 가령 과거 표본에서 가구원 수는 문제가 되지 않았지만 지금처럼 4인 가족과 1인 가족 간의 상황이 크게 달라진 경우 이는 중요한 변인이 된다. 시대변화에 따른 이 변화를 잡아내지 못한 표본은 체계적 문제가 된다. 넷째는 무응답 편향이다. 응답이 없었던 사람도 새로운 후보나 정치적 상황이 등장하면 강하게 지지성향이 드러날 수 있으며 대개 자기 편이 유리하면 적극적으로 응답하고 그렇지 않으면 응답하지 않는 경향이 있다. 다섯 번째는 표현법이 잘못된 경우다. 실제로 질문은 단순이 앞뒤가 바뀌거나 맥락이 들어가서 같은 질문임에도 상당히 다른 결과가 도출 될 수 있다. 여섯 번째는 승자를 잘못 예측하는 경우다. 여론 조사에서 높게 나오더라도 자신의 지지층이 실제 투표장에 나가지 않는 것을 고려치 못한다면 패배할 수 있다. 또한 미국처럼 선거인단으로 대선승자가 결정된다면 지지율이 높아도 경합주에서 패배해 선거인단에서 져서 낙선할 수 있고 실제로 그런 사례는 두 번이나 있었다. 

 패널설문조사는 한 집단의 사람들을 표본으로 추출해 오래 기간동안 지속적으로 중요한 질문을 하는 방식이다. 이는 한 집단에서의 정치적 변화 패턴을 추적할 수 있는 장점이 있다. 하지만 초기 패널을 잘못 구성하면 모든 것이 무의미해지는 단점이 있으므로 좋은 패널 조사를 위해서는 사전에 패널을 잘 수집해야 하고 위험을 방지하기 위해 집단자체가 커질 필요가 있다. 

 MRP라는 최근의 여론 조사 기법이 있다. 이는 다단계 회귀 및 사후 계층화다. 인간이 투표하는데 영향을 미치는 요인(성별, 나이, 과거 투표이력, 직업, 선거구, 지역 등)의 특정한 조합이 선거에 미치는 영향을 분석하는 방법이다. 이 방식은 각 선거구의 모든 유권자를 모델화하고 그 결과를 종합해서 선거구의 결과를 예측하며 확률로 값을 제시한다. 가령 대졸에 민주당 지지 이력이 있고, 유색인종이며 직업이 전문직이라면 해당 선거구에서 공화당 지지 확률은 30%, 민주당 지지 확률은 70%형태로 제시하는 형식이다. 이런 방식으로 지지율을 조사해낸다. 이 방식에는 최소한 5만명 안팎의 표본이 필요하다. 많은 것 같지만 전구단위로 크게 조사하는 경우라면 오히려 경제적일 수 있다. 현대 여론 조사는 1000명 정도의 표본을 요구하는데 각 선거구마다 1000명을 확보해야 하는 경우라면 MRP방식이 경제적이다. 이 방식은 이번 선거에 성공적인 예측을 보였어도 다음번엔 그러리란 보장이 없다. 왜냐하면 투표에 영향을 미치는 요인 자체가 매우 가변적이기 때문이다. 이 조사가 전통적인 방식에 비해 아직 정확하다는 증거는 부족한 편이다. 

 현대의 여론 조사를 규제해야 한다는 주장도 꽤 있다. 우선 여론조사는 반드시 틀릴 수 밖에 없고 따라서 그것이 선거토론과 보도를 오염시킬 수 있다는 것이다. 다음은 여론 조사 자체가 주객이 저도되어 투표 결과에 영향을 미치고 그런 것을 옳지 못하다는 것이다. 

 또한 정치 여론 조사도 문제가 있다. 대개의 정치 여론 조사는 대중매체가 여론 조사 기관에 의뢰하여 실시한다. 의뢰인 자체가 기사거리를 원하는 곳이다 보니 이들은 흥미진진한 결과를 원하게 된다. 그리고 이들은 자기네가 의뢰하여 얻은 결과는 드러내고 남의 것을 깎아내리고 싶어한다. 때문에 정치 여론 조사는 의뢰단계에서부터 편향과 왜곡으로 의도성을 갖고 시작될 수 있다.