통계는 어떻게 사실을 왜곡하나?

통계라는 이름의 거짓말
조엘 베스트 지음, 노혜숙 옮김 / 무우수 / 2003년 3월

통계는 우리 사회에 깊숙히 들어와 있습니다. 과학발전의 기본이 되는 많은 수의 논문이 통계를 바탕으로 씌여지며, 대중들은 정치인이나 운동가, 미디어에 의해 여러 경로로 다양한 통계를 접합니다. 통계는 사회를 파악하는 강력한 도구이며 통계를 못본 체하는 식의 현실도피는 대가가 너무 큽니다. 그런 중요성은 수많은 통계를 낳았고, 필연적으로 수많은 엉터리 통계를 낳았습니다. 그런 통계들이 혼재하는 현실 속에서 저자는 통계를 제대로 알고 받아들어야 한다고 조언합니다.

사람들에게 신뢰를 얻고 그에 동조하기 시작하면서 통계는 큰 힘을 발휘하게 됩니다. 하지만 통계가 사회제도의 변화를 주도하게 되자 보수주의 우파와 진보주의 좌파에게서, 부유한 회사와 일부 사회운동가들에게서, 그리고 강력한 정부기관에게서 엉터리 통계들이 나오게 됩니다. 그것은 통계가 객관적 진실이 아닌, 사회적 목적을 가지고 사용하는 도구이기 때문입니다. 통계가 불확실한 이유는, 그 측정방식 자체에 있습니다. 어떠한 과학적 방법을 동원하더라도 통계를 만든 주체, 동기, 방법, 정의(定義) 등에 대해 수많은 변수가 생기고, 그것은 암수(통계의 기록과 실제의 차이)를 만들어냅니다. 또한 대부분의 통계는 표본추출이기 때문에 일반화 과정이 필연적입니다.

세상에는 세 가지 거짓말이 있다. 선의의 거짓말, 새빨간 거짓말 그리고 통계 

통계는 동기에 따라 변화합니다. 1995년에 루이스 파라칸이 지도한 정치적 집회가 열리자 조직자들은 군중이 100만명이 참가했다고 주장한 반면, 공원경찰은 군중의 수를 40만명으로 추정했습니다. 집회 예상숫자가 논란이 되자 보스톤 대학의 항공사진분석가는 87만명의 분석을 내놓았습니다. 같은 사진임에도 불구하고 다른 통계들이 나온 것은, 그 추정값을 만든 사람들의 동기에 따라 통계는 변화한다는 것을 입증합니다. 또한 얼마나 많은 여성이 매춘을 하느냐는 통계 또한 종교인 혹은 개혁가들은 통계를 부풀리는 경향이 있던 반면, 경찰들은 매춘을 실제보다 낮게 어림하는 경향이 있었습니다. 이는 큰 숫자는 문제가 크다는 의미이기 때문에 종교인과 개혁가들은 조치가 취해져야 한다는 동기를 보였고, 경찰은 그들이 일을 잘 하고 있다는 표시로서의 동기를 보여줍니다.

통계는 방법의 차이에 의해서도 변화합니다. 대부분의 섹스가 결혼에 제한된다는 정설에 도전한, 그 유명한 킨제이 보고서는 많은 사람들이 마스터베이션과 혼전 섹스와 같은 경험을 함을 알려줬습니다. 하지만 킨제이 보고서는 표본을 선택하는 방법에서 실수를 저질렀는데, 일반 대중보단 대학교육을 받은 사람의 비율이 훨씬 높았고, 광범위하고 다양한 성경험을 찾기 위해 의도적으로 동성애자 및 감옥 수감자들과 인터뷰를 했습니다. 이 의심스러운 통계는 이것을 인용하는 자료들이 계속 이어지면서 중복오류의 사례가 됩니다. 이런 오류는 전체 인구의 10%는 동성애자라는 자료가 되기도 했습니다.

수학자 존 앨런 파울로스는 수학에 약한 사람들이라는 뜻으로 수학문맹자라는 말을 썼는데, 통계를 받아들이는 대중도 그런 경향을 보입니다. 수학을 몰라서 저지르는 오류중 큰 숫자를 구별하지 못하는 것이 포함되는데, 1,000원과 10,000원의 차이엔 민감하게 느껴지지만 100억과 1000억과 같은 큰 단위 앞에선 상상력이 무너지기 시작합니다. 그런 큰 숫자를 잘 구별하지 못하기 때문에 사회통계를 아무 비판 없이 받아들이는 경향이 있으며 그 결과는 많은 수의 코믹한 엉터리 통계를 용인하는데 영향을 끼칩니다.

 어떤 문화에서는 사람들이 마법의 힘을 지닌 사물들이 있다고 믿는다. 인류학자들은 그런 것들을 주물이라고 부른다. 우리 사회에서는 통계가 일종의 주물이다. 우리는 통계를 마치 마술처럼, 단순한 숫자가 아닌 것처럼 여기는 경향이 있다. 통계가 진실을 강력하게 대표하고 있는 것처럼 취급한다. 하지만 통계는 마법이 아니다. 항상 진실도 아니고 항상 거짓도 아니다. 비판적인 태도를 취하면 우리가 접하는 숫자에 적절하게 대응할 수 있다. 그렇지 않으면 우리가 듣는 통계는 마법이 된다. - p.180

혹은 훌륭한 방법으로 만들어진 통계임에도 불구하고 그것을 해석하는 방법에 따라 엉터리 결론이 나오기도 합니다. 통계를 바탕으로 미래를 예측하는 방법, 장소의 차이를 무시하는 경우, 그룹의 차이를 무시하는 경우, 사회문제간의 비교 등에서 그런 문제가 제기될 수 있습니다. 가난한 사람들 중에 대부분이 백인이다(전체 인구는 백인수가 더 많기 때문에)라는 주장이 나오거나, 차가 충돌했을 때 차 밖으로 튕겨져 나오면 살 수 있지만 안전벨트에 묶여 있으면 죽을 수 있다는 주장 등이 나오기도 합니다.

이런 통계를 보며 순진하게 받아들이거나, 반대로 냉소적으로 무시하는 것은 옳지 못한 선택이라고 말합니다. 엉터리 통계 문제에 대한 해결책으로 모든 통계를 무시해 버리거나 모든 숫자가 허위라고 생각하는 것은 옳지 못합니다. 엉터리 통계도 있지만 훌륭한 통계도 있으며, 우리가 어떤 사회문제에 대해 조리 있게 설명을 하자면 통계가 필요합니다. 그렇다면 해결책은 통계를 포기하는 것이 아니라 우리가 접하는 숫자들에 대해 좀더 나은 판단을 내리는 것입니다. 통계는 불가피하며 동시에 결함이 있기 때문입니다. 저자는 신중하게 통계를 받아들이고, 훌륭한 통계와 엉터리 통계를 구별하려고 노력하며 수많은 질문을 통계에게 말해야 한다고 권고합니다.