숫자의 덫을 빗겨갈 구구한 방법(들)

여론 조사에서 사회 조사로 ㅣ 책세상문고 우리시대 68
이성용 지음 / 책세상 / 2003년 3월

설문 조사는 지식 권력의 배출구다. 숫자의 마력들은 객관성을 뽐내면서, 사회 실태와 삶의 패턴 그리고 사람들의 머릿속을 대변하려 한다. 흔히 사회과학방법론에서 양적 방법으로 분류되는 설문조사는 경험적 증거를 통해 어떤 현상을 일반화하고자 하는 시도다. 정치인들의 가상 대결부터 잠자리 체위의 경향까지 우리는 설문조사의 통계치 속에서 세상을 읽도록 강제당한다. 곧 보게 될 테지만, 무지와 악의에 얹혀, 숱한 설문조사들이 최소한의 방법적 절차를 무시하고 엉터리 숫자들을 쏟아내고 있다.『여론조사에서 사회조사로』는 그 허접 쓰레기같은 숫자들로부터 덜 오염되고, 주체적으로 설문조사를 사용할 수 있는 구체적인 검증 잣대들을 알려주는 ‘실용교양서’다.   

설문 조사의 질을 총체적으로 평가할 수 있는 잣대를, 미국의 사회학자 그루브스는 사회 조사의 ‘총오차’라는 개념으로 체계화했다. 이것은 우선 크게 설문 조사 과정에서 관찰해야 할 것을 관찰하지 못해 생기는 ① ‘비관찰 오차’와 ② 관찰 과정에서 일어나는 ‘관찰오차’로 나뉜다. 비관찰 오차에는 배제 오차, 표집오차, 무응답오차가 있으며, 관찰 오차에는 설문지에 의한 오차, 면접자에 의한 오차, 응답자에 의한 오차, 자료 수집 방법에 의한 오차 등이 있다. 그루브스가 제시한 일곱 가지 오차에 들어가기 전에 추가로 응답자의 주관적인 생각을 객관적인 수치로 바꾸는 과정을 설명하는 개념화, 조작화 과정에서 고려할 사항들을 먼저 살펴보겠다.

설문지 작성뿐만 아니라 표본추출도 조사 목적이 명확해야 본격적인 작업에 들어갈 수 있다. 그런데, 가령, 한국사회의 남녀평등을 측정하려는 목적으로 설문지를 작성한다면, 당연스레 남녀평등의 개념 정의에 따라 조사 항목이 달라지기 마련이다. 인구학자이자 페미니스트인 캐런 메이슨은 여성의 지위를 위세, 권력, 자원의 통제 등에 의거해 개념화했다. 만약 어떤 주부클럽에서 행한 설문 항목이 위세와 권력에만 치중하고, 자원의 통제를 반영하지 않았다면, 그 결과치는 캐런 메이슨이 작성한 남녀평등의 결과와는 매우 다르게 나올 게 분명하다. 그러니, 설문조사는 그 목적성에 걸맞는 명확한 개념 정립으로부터 출발해야 한다.

설문지 자체에서 발생하는 오차부터 살펴보자. 이것은 설문 항목 표현으로 인한 어긋남, 설문 구조로 인한 어긋남, 설문지 번역에서 생길 수 있는 어긋남으로 크게 나눌 수 있겠다.   

 

1) 어긋남 설문지 조사
 *  설문 항목 표현으로 인한 어긋남
똑같은 내용이라도 어떤 식으로 표현하느냐에 따라 설문 조사 결과는 달리 나온다. <<ex>>“여론 조사기관인 갤럽과 미국의 한 연구소인 NORC는 1951년 미국의 한국 전쟁 파병에 대한 미국인의 여론을 알아보기 위해 서로 다른 형태의 질문으로 설문 조사를 한 바 있다. 갤럽의 질문은 “미국이 한국을 방어해주는 것은 잘하는 일입니까 아니면 잘못한 일입니까?”였다. 이 질문에 대해 응답자의 49%는 잘못하는 일이다, 38%는 잘하는 일이다. 그리고 나머지 13%는 잘 모르겠다로 응답했다. 한편 NORC가 사용한 질문은 “미국이 공산주의자의 남한 침략을 막기 위해 미군을 파병하는 것은 잘하는 일입니까 아니면 잘못하는 일입니까?”였다. 이 질문은 갤럽과 상반된 결과를 가져왔다. 응답자의 36%는 잘못하는 일이다, 55%는 잘하는 일이다, 4%는 잘 모르겠다로 응답했다....이런 차이를 발생시킨 원인은 무엇인가? 그것은 ‘공산주의자 침략’이라는 말이다. 은연중에 미군 파병을 정당화하는 쪽으로 응답자를 유도한 것이다.”(p.81~2)

*  설문 구조로 인한 어긋남
설문 항목은 설문지 내의 위치나 순서에 따라 응답자들에게서 다른 반응을 이끌어낼 수 있다. 흥미로운 것은 일반 질문의 응답은 특정 질문의 위치에 영향을 받지만, 특정 질문의 응답은 일반 질문의 위치에 영향을 받지 않는다는 점이다. 따라서 설문지의 항목은 일반적인 내용들을 먼저 질문하는 게 마땅하다. <<ex>>“호주제 존속에 대한 찬성률이 1999년보다 2000년도에 무려 17.8%나 증가했다....1999년도 조사는 성차별과 남아 선호 사상에 관해 먼저 질문 한 후에 호주제에 관해 물었다. 반면 2000년도 조사에서는 호주제 관련 문항들이 설문지의 맨 앞에 있었다.”(p.86~7)

또 하나 응답 범주들은 상호 배타적이고 망라적으로 구성되어야 한다. <<ex>>“예를 들어 종교를 묻는 질문에서 응답 범주를 ① 불교 ② 기독교 ③ 천주교 ④ 무교로 구성한다면 이슬람교나 천도교를 믿는 사람은 응답할 수 없게 되므로 망라성에 위배된다....‘기타’라는 항목을 응답 범주로 넣음으로써 그런 위배를 방지하고 있다. 응답 범주가 상호 배타적이어야 한다는 곳은 응답자가 응답 범주들 가운데 단 한 곳만을 선택하게끔 만들어야 한다는 것....종교를 묻는 질문에서 응답 범주를 ① 불교 ② 기독교 ③ 천주교 ④ 장로교 ⑤ 무교 ⑥ 기타로 구성했다고 하자. 기독교와 장로교는 중복된 의미를 갖고 있기 때문에 기독교와 장로교 중에서 어느 것을 선택해야 할지 혼란을 일으킬 것이다. 상호 배타성에 위배되는 것이다.”(p.89)

* 설문지 번역에서 생길 수 있는 어긋남
요즘은 국가 간 비교를 위해 외국의 설문 항목들을 번역해 자국의 국민들에게 사용하곤 한다. 이럴 때, 단어의 의미를 조사 목적에 연계시키지 않고 기계적으로 번역하면 황당한 결과가 나오기 십상이다. <<ex>>“2001년 3월에 《타임》은 한국, 태국, 홍콩, 싱가포르, 필리핀 5개국을 대상으로 설문조사를 실시한 결과 한국 남성의 65%, 여성의 41%가 혼외 정사 경험을 갖고 있는 것으로 나타났다는 놀라운 기사를 실었다. 5개국 비교에서 한국의 혼외 정사율은 남녀 모두에서 가장 높았다....당시 한국 조사를 담당한 기관은 홍콩에 본사를 둔 ‘아시아 마켓 인텔리전스(AMI)’ 한국지사였다. 그 기관은《타임》측이 요청한 설문 항목인 “Have you ever been unfaithful?”을 “귀하는 배우자나 파트너(애인)에게 충실하지 않은 적이 있으신가요(외도 등)?”로 번역해 설문 조사를 실시했다....사실 ‘배우자에게 충실하지 않다’는 말은 ‘부정한 일’의 의미보다 ‘배우자에게 잘해주지 못한다’는 의미로 해석되기 쉽다....따라서 한국의 혼외 정사 설문 조사 결과를  다른 아시아 국가들의 혼외 정사 결과와 비교하는 것은 사과와 오렌지를 비교하는 격이다.”(p.95~7)

이러한 오차를 방지하기 위해서는 단순, 직접 번역 방법 보다는 번역, 역번역 방법으로 행해야만 한다. “번역, 역번역은 네 단계로 이루어진다. 편의상 영어로 된 설문 항목을 우리말로 번역한다고 가정하자. ① 영어 설문지를 한국어로 번역한다. ② 한국어로 된 번역 문항을 미국인이 다시 영어로 번역한다. 이때 역번역 작업을 하는 미국인은 전 단계의 번역 작업에 대해 전혀 아는 바가 없는 사람이어야 한다. ③ 원래의 영어 문항을 만든 사람이 재번역된 영어 문항과 자신의 원래 문항을 비교 검토한다. ④ 만약 둘 사이에서 의미가 차이난다면, 그 의미 차이를 제거하기 위해 다시 번역 작업을 한다.”(p.97)

2) 어긋남 면접자 오차
면접자가 누군가에 따라 설문결과가 달라지기도 한다. 특히, 응답자가 면접자에 대해 사회적 거리를 크게 느낄 경우, 대개는 면접자와의 불필요한 긴장을 피하고자 응답자 자신의 의견을 솔직하게 대답하기 보다는 면접자가 좋아할만한 방향으로 대답하는 경향을 보인다. <<ex>> “인종문제에 대한 설문조사에서 백인 응답자는 백인 면접자일 경우보다 흑인 면접자에게 우호적인 응답을 할 가능성이 높다. 가사와 육아 분담에 대한 설문 조사에서, 남성 응답자는 남성 면접자보다 여성 면접자를 대할 때 가사와 육아의 공동 분담에 더 많은 공감을 표한다.”(p.109)

3) 어긋남 응답자 오차
응답자 오차는 면접 과정이나 조사 과정에서 응답자가 일으킬 수 있는 오차를 말한다. 설문 조사자는 응답자가 질문 내용을 정확하게 인지하고 있고, 응답 행위에 충실할 정도로 동기화되어 있다고 가정하기 쉽다. 하지만 꼭 그렇지만은 않다. 인간은 망각의 동물이고, 거짓말을 할 줄 아는 존재다. <<ex>> “KBS1 텔레비전의 <2002 금연 전쟁. 담배, 사라질 것인가>라는 프로그램에서는 자기 기입식 설문지를 통해 남자 고등학생 72명에게 흡연 여부를 물었다. 72명 중23명이 담배를 피운다고 답했다. 그러나 학생들의 소변을 검시한 결과 36명이 담배를 피우는 것으로 드러났다. 흡연자의 3분의 1이 거짓 대답을 한 것이다.”(p.113~4)

4) 어긋남 자료 수집 방법 오차
만약 학교 선생님이 학생들에게 ‘아버지가 어머니를 때리는 것을 본 사람 손들어 보라’고 해 봐라, 누가 저요!저요! 하고 손을 들겠는가. 이처럼 성행위나 마약과 같은 민감한 사항을 묻는 설문조사에서는, 응답자가 실제 사실과 달리 사회적으로 용인되는 방향에 맞추어 응답할 가능성이 상당히 높은 편이다. 이럴 경우에는 응답자에게 익명성을 확실히 보장해줄 수 있고 면접자에 대한 사회적 거리감을 덜 느끼게 하는 자료 수집 방법을 사용해야만 자료 수집 방법으로 인한 오차를 줄일 수 있다.

5) 어긋남 표집오차
화장품 샘플이 본 상품을 대표하듯 설문조사의 표본은 모집단을 대표해야 한다. 표본 오차란, 샘플이 좋아서 샀는데 본 상품이 다른 것과 마찬가지다. “모집단의 개별 요소들이 표본에 추출될 확률이 알려져 있고 그 확률이 0이 아닌 표집 방법에 의해 표본이 추출되었을 경우에만 표본의 대표성을 말할 수 있다. 그런 표본을 확률표본이라 부른다. 무작위 표본은 확률 표본의 한 예로, 이 역시 모집단의 개별 요소들이 표본에 추출될 확률이 ‘동일한 것’으로 알려진 한 확률 표집 방법에 의해 추출된 표본이다. 그렇다해서 모든 확률 표집 방법에서 모집단의 개별 요소들이 표본에 추출될 확률이 동일한 것은 아니다. 비비례층화 표본과 같이 추출 확률이 동일하지 않지만 알려진 경우도 있으며, 이때 모집단의 모수는 가중치를 사용하여 추론할 수 있다. 반면 비확률 표집 방법으로 추출된 표본은 대표성을 보장할 수 없다....할당 표집 방법은 비확률 표집 중 확률표집과 가장 유사한 접근 방식을 가지며, 그래서 연구자조차 확률 표집 방법으로 혼동한다. 할당표집에서는 모집단의 구성원들을 하위 집단들로 나누고, 하위 집단의 구성비에 비례해 응답자들을 할당한다.”(p.120~123) 이 부분은 조금 복잡한데, 특히 확률 표본과 비확률 표본 중 하나인 할당표본 사이의 구별이 책의 내용만으론 선명하게 잡히지 않는다. 짐작컨대, 모집단의 세부적인 개별 요소를 표본에 추출했느냐, 아니면 모집단을 (개별요소들 보다는 큰 분류 방식인) 하위 집단으로 나누고서 표본을 추출했느냐는 차이로 여겨진다. 

그래서, 설문조사 소비자는 표본이 실제로 추출된 모집단과 연구자가 조사 결과를 해석하고 일반화한 모집단이 일치하는지를 검토할 필요가 있다. 아니면, 다음 사례와 같이 어처구니없는 결과가 발생한다. <<ex>>“2001년 1월《타임》의 혼외 정사 설문조사 : 조사대상(표본크기)-만 18~39세 남녀 100명씩, 조사지역-서울 길거리, 조사결과-남:65%, 여:41%. 한국인의 혼외 정사에 대해 조사했다고 발표했지만 실제로는 조사 지역을 서울로 국한했다.....게다가 이 조사는 표본에 기혼자 뿐만 아니라 미혼자까지 포함시켰다. 혼외정사란 배우자 이외의 사람들과의 성관계를 의미하므로 응답자, 즉 정보 제공자를 조사 목적에 부합하는 기혼자롤 국한해야 했다. 심지어 《타임》의 조사 표본에는 기혼자보다 미혼자가 더 많이 포함되어 있었다. 남자 응답자의 70%와 여자 응답자의 56%가 미혼자였다.”(p.126) [그 다음에 언급됐던 어긋남 배제 오차는 다소 중복되는 내용이라 생략했다]

6) 어긋남 무응답 오차
무응답 오차는 틀 모집단에서 추출된 표본의 요소들이 관찰되지 못한 결과다. 무응답자는 응답자와 다른 특성을 갖고 있기 쉽기 때문에 무응답률이 높으면 설문 결과에 심각한 오류가 생기고 만다. 예를 들면, <<ex>>“미국에서 이혼한 남편은 법정이 정한 금액의 자녀 양육비를 전부인에게 주게 되어 있다. 이러한 금액에 대한 사회 조사는 무응답한 이혼남은 응답한 이혼남보다 부양비를 덜 주는 경향이 있고, 또 무응답한 이혼남의 평균 부양 금액이 응답한 평균 부양 금액보다 적음을 밝히고 있다.”(p.140) 이럴 경우, 무응답률을 무시하고 응답률을 토대로만 결과치를 뽑을 때 실제 보다 남편의 양육비 부담률이 높아지게 되는 결과를 초래한다. 

이 책을 완독하면, 틀림없이 당신도 나처럼 언론에 기사화되는 설문 결과치의 허술함이 현미경으로 변소를 들여다보듯 도드라져 보일 것이다. 그런데 황당함은 잠시, 더 짙은 먹구름이 몰려 올 것인데, 설문조사 대부분이 그 결과를 검증해볼 판단의 잣대를 댈 수 있는 설문조사 절차를 아예 제시하지 않고 있는 것. (칼을 갈아도, 벨 게 없다!) 이런 어처구니들에 냉소하지 않고 "의심의 심연에서 가장 악의적인 곁눈질을 해야 할 의무"(니체)를 포기할 수 없는 까닭은, 더 많은 걸 알 수 없더라도 더 잘못 아는 것을 줄일 수 있는 유일한 방법이기 때문이다.  

삶은 역설로써 기어이 조화롭다

자전거여행 2
김훈 지음, 이강빈 사진 / 생각의나무 / 2004년 9월

 모든 풍경은 어떤 상처인데, 인간만이 풍경 밖에서 서성이며, 그것을 필요로 하는 까닭이다. 광릉 숲 속의 저 푸른 것들처럼 제 뿌리와 육신만으론 자존할 수 없는, 태생적으로 결핍된 존재들의 정직한 운명. 그 인간들이 짓고 부수며 제 삶을 비볐던 풍경은 그래서 온통 상처투성이다. 걸어가는 자들만이 뒤꿈치의 상처를 가질 수 있다는 것. 생은 영원히 수공업의 존재양식을 벗을 수 없다고도 말해질 수 있겠다. 허나 설령 욕망의 왕성한 촉수들이 제 둘레의 산 것들을 무참하게 뒤틀어도, 아무리 그러해도 인간은 끝내 순정한 단독자이지 못한다. 오직 그것만이 선악 너머 ‘본래 그러함’으로 풍경의 틈새를 비집고 인간의 표정으로 떠오른다.

김훈의 자전거는 그 풍경들을 찾아 헤맨다, 인간이 까놓은 상처를 만난다. 이번에 그가 밟은 땅들은 이 늙은 글쟁이가 저 젊은 한철 내내 제 밥을 벌어먹던 터전의 언저리다. 이들 서울, 경기 지역은 노쇠한 한반도와 신생의 숨결들이 가장 짙고 깊게 중첩되어 있는 곳이다. 마치 혹한의 바람을 일상으로 여기며 자란 나무의 나이테마냥. 남한산성의 치욕과 분단조국의 아픔이 공존하고 일산 신도시의 수직과 남양만 갯벌의 수평이 겹친다. 김포 전류리 포구의 노동과 광릉 수목들의 자존이, 수원화성의 정돈된 꼼꼼함과 모란시장의 활기찬 무질서가 기어이 조화롭다. 이 모두는 삶 안에서 하나로 통일되지 않고 외려 그 역설(逆說)과 부조화의 힘으로 삶을 천천히 밀어간다.

남한산성은 치욕은 삶의 일부라고 말하지만, 또한 실천 불가능한 정의가 실천 가능한 치욕을 긍정하게 하는 밑자락임을 빼먹지 않고 일러준다. 모든 등대는 저 자신의 이름을 부르며 깜박일 뿐이지만, 밤바다를 떠도는 선박의 가야할 길을 제공해주는 것과 같다. 서로의 상대성은 긍정하는 게 아니라 그렇게 긍정되어지는 것이다. 이 사태는 억겁의 시간을 집어삼켜도 바뀌지 않는다. “나는 어디에 있는가”라는 질문은 살고자 하는 자들에게 또 다시금 새롭게 태어나기 때문이다. 이것은 세속의 슬픈 운명이지만 삶에게 허락되어진 초월은 세속의 그늘 속에서야 마침내 싹을 틔운다. 

제 스스로를 부양하는 복 받은 나무들마저 홀로 우뚝할 수 없다. 나무들은 개체 안에 세대를 축적한다. 지나간 세대는 동심원의 중심으로 이동하여 무위와 적막의 힘으로 나무의 전 존재를 수직으로 버티어준다. 거죽의 젊음은 그 뼈대에 기대어 물을 빨아들이고 호흡을 하고 열매를 영글어간다. 하지만, 나무의 싱싱한 자존에 10만년 일산의 퇴적층을 딛고 치솟은 인간의 신도시 빌딩과 네온사인 사이의 수용과 단절을 빗대기는 부끄러운 일이다, 삶이든 역사든 오로지 온전할 수 없을 지라도. 인간이 숲을 내내 그리워하는 것은 계몽의 자부심, 그 빛의 세례 속에서도 종교를 품고 사는 이유와 그리 멀지 않아 보인다. 

다시 풍경이 상처라면, 나 밖의 타인들만큼 꼭 그만치 무수한 상처다. 내 존재의 위치를 탐지하러 떠나는 도정은 기필코 너와의 소통을 조건으로 한다. 하지만, 너와의 섞임이 기껏 타인을 거울삼아 제 상처를 거듭 확인하는 자폐적 동선은 아니다. 굴뚝 청소부가 동료의 검댕이 얼굴을 보고 제 얼굴을 부지런히 닦는 것과 같은 짓. 달리 말해, 타인의 이해는 겸허한 무지의 자기고백만으론 되지 않는다. 오히려, ‘벌거벗은 임금님'의 발기된 자지가 쪼그라드는 순간, 바로 그때서야 풍경 속의 상처는 모습을 드러낸다. 그렇게 세상의 풍경과 만나 자신이 온전히 부서질 때 겨우 삶은 새로운 긍정의 물꼬를 틔울 수 있다. 김훈의 문장이 정직한 이유는 너의 상처를 대면하는 나의 힘겨움을 숨기지 않아서다. 그 보다 더 나은 진실은 끝끝내 여기 세상이 그의 문장만큼 아름다울 수는 없을 거라는 사실.