1954년 출간된 책입니다. 최근에 개정판이 출간되었습니다. 이 책은 빌 게이츠가 강력 추천한 책이자 워런 버핏의 동업자 찰리 멍거의 추천도서이기도 합니다. 두 분 다 독서광입니다. 200p의 짧은 책이지만 유용한 지식을 담고 있고 무엇보다 쉽고 재밌게 읽을 수 있습니다. 저자의 풍자와 유머 덕분에 더욱 쉽고 재밌게 읽을 수 있습니다.
아래부터 이 책에서 좋았던 내용들을 소개해보겠습니다.
추출한 표본의 크기가 충분히 크다면 그리고 그 표본을 선택하는 방법이 적절하다면, 대부분의 경우 그 표본은 모집단 전체를 대표하는 것으로 볼 수 있다. 그러나 이 두 조건 중 어느 하나라도 어긋나면 오히려 머리를 굴려 눈짐작으로 판단하여 추측하는 것이 훨씬 더 정확할지도 모른다. 하지만 사이비 과학이라면 모를까 이는 결코 추천할 만한 방법이 아니다. 그럼에도 불구하고 표본추출방법이 잘못되어 심하게 왜곡하거나 또는 크기가 너무 작기 때문에 표본이 잘못 얻어지고, 또 이렇게 잘못 얻어진 표본에서 나온 결론들이 우리가 읽거나 잘 알고 있다고 생각하는 여러 사실 뒤에 너무나 많이 숨겨져 있다는 사실은 참으로 불행한 일이다. -p14~15
표본, 모집단 등의 용어가 낯설 수 있습니다. 모집단이란 우리가 알고싶은 집단이고 표본은 모집단을 모두 검사하기에는 시간과 비용이 많이 걸리니 모집단 중에서 임의로 선정한 하위집단을 표본이라 합니다. 예를들어 여론조사 같은 경우입니다. 모든 국민을 상대로 인터뷰를 할 수는 없는 노릇입니다. 그래서 전화 등을 통해 무작위로 혹은 모집단과 유사한 집단을 만들어서 좀 더 소규모로 조사를 합니다. 이 과정에서 오류가 발생할 수 있습니다.
임의추출인가 아닌가의 판정은 다음과 같다. 즉 모집단 안에 있는 개체들이 표본에 선택될 기회가 동일한가라는 질문을 해 보는 것이다. -p26
이와 같은 결과는 피면접자가 항상 면접자의 호감을 사는 응답을 하려는 경향이 있기 때문에 생기는 왜곡으로 볼 수가 있다. 이런 경향은 여론조사의 결과를 해석할 때 항상 염두에 두어야만 한다. -p32
질문 방식, 단어 하나에 따라서도 다른 결과가 나올 수 있습니다. 특히나 성에 관련된 조사일 경우 그 차이가 뚜렷하다고 합니다. 자신이 동성애자임을 밝히고 싶어하는 사람은 많지 않을 것입니다. 하지만 인터넷은 속일 수가 없습니다. 인터넷 기록에 따르면 여론조사에서 응답하는 비율보다 훨씬 많이 동성애 성인동영상을 검색한다고 합니다.
"너무 늦기 전에 서둘러서 새 치료법을 써봅시다" 라는 식으로 의사들은 말한다. 그러나 이를 의사만의 책임으로 돌릴 수는 없다. 사회적 압력과 성급한 저널리즘이 아직도 그 효과가 확증되어 있지도 않은 치료법을 채택하도록 강요하는 경우가 가끔 있다. 특히 통계학적 근거가 희박하면서 그 치료법에 대한 요구가 강할 때는 더욱 그러하다. 몇 년 전 상당한 인기를 끌었던 감기 백신이 그러했고, 또 최근에 와서는 항히스타민제의 경우가 그러하다. 이와 같이 별 효과도 없는 '치료법' 들이 상당한 인기를 끌고 있다는 것은 감기란 것이 변덕스러운 병이라는 점과 논리의 결여에서 비롯된 현상이다. 감기란 놈은 시간이 지나면 저절로 낫는 병이니까. -p55~56
통계학적 근거가 희박하면서 그 치료법에 대한 요구가 강할 때. 지금이 딱 그런 시점이 아닌가 싶습니다.
흥미 있는 것은 어떤 유행병의 발병률을 재는 척도로서는 환자수보다는 사망률 또는 사망자 수가 더 정확하다는 사실이다. 사망시의 보고가 그 내용이나 기록 면에서 훨씬 더 정확하기 때문이다. 따라서 위의 경우, 이 병과 비슷한 질병의 발병률을 모두 포함한 것으로 생각되는 환자 수보다는 그 결과를 나타내는 사망자 수가 더 정확한 통계이다. -p120
윗 글은 1952년에 소아마비가 대유행한 최악의 해였다는 뉴스에 대한 글입니다. 1952년에 보고된 환자 수가 그 이전의 어느 해보다도 더 많다는 근거를 바탕으로 한 것이었습니다. 하지만 전문가들이 이 숫자를 더 깊이 들여다보니, 실제로는 그렇게까지 비관적인 것은 아니었다는 몇 가지 사실을 밝혀냈습니다. 첫번째로 그 해에 소아마비에 걸리기 쉬운 아동의 수가 월등히 많았습니다. 그리고 소아마비에 대한 일반 사람들의 인식이 높아져 의사에게 진단을 받는 횟수가 늘어나 경미한 환자마저도 기록에 남겨지게 되었습니다. 마지막으로 소아마비 보험의 가입자 수의 증가 및 소아마비 전국기금으로부터의 원조금액 증대 등과 같은 재정적 지원도 환자 수 증가의 한 요인이 되었습니다. 실제로 그 해의 총 사망자 수를 확인해보니 환자 수 증가는 사망자 수에 큰 영향을 끼치지 않았습니다.
20년 21년 코로나 사망자수도 좀 더 깊숙이 들여다보아야 합니다. 감기, 독감으로 인한 사망자수는 어떻게 변했는지. 총 사망자수의 변화는 어떠했는지. 암, 심혈관계 질환 등의 사망자수는 어떻게 변했는지 검토해봐야 합니다. 암, 심혈관계 질환 등의 사망자가 코로나 사망자로 둔갑하진 않았는지 꼭 검토해봐야합니다.
대학에는 두 종류의 학생이 들어오는데 그 수는 제각기 다르지만 하나는 머리가 좋은 학생이고 또 하나는 집안이 부자인 학생이다. 머리가 좋은 학생은 대학에 다니지 않아도 높은 소득을 얻을 능력이 있는 것 같다. 한편 집안이 부자인 학생의 경우에는 돈이 돈을 낳는 세상이니, 대학에 가건 안 가건 부잣집 집안의 아들들은 저소득층에 속하지는 않을 것이다. -p134
윗 글은 대학 졸업자가 그렇지 않은 사람보다 평균 소득이 높다는 통계에 대한 맹점을 이야기한 글입니다. 빌게이츠, 스티브잡스는 대학을 졸업하지 않았습니다. 과연 통계에 넣을 때 이들을 대학졸업자로 분류했는지 비졸업자로 분류했는지 궁금합니다. 어떻게 분류하느냐에 따라서 결과가 많이 달라질 것입니다. 그리고 윗 글에서 볼 수 있듯이 미국은 대학 등록금이 우리나라보다 더 비쌉니다. 대학을 입학하는 사람 중에는 부잣집 집안의 아들들이 많을 것입니다. 그리고 그들은 대학을 졸업하건 하지 않건 높은 소득(금융소득 등)을 올릴 가능성이 높습니다. 뭐 저는 이런 맹점들을 생각하더라도 평균적으로는 고학력자일 수록 평균연봉이 높아질 거라고는 생각합니다. 하지만 통계나 평균은 개개인에 대해 아무것도 이야기해주지 않습니다. 통계 때문에 미리 주눅들 필요는 전혀 없습니다.
마지막으로 이 책의 핵심이라고 할 수 있는 통계의 속임수를 피하는 다섯 가지 열쇠를 소개하면서 글을 마치겠습니다.
첫째 열쇠 -> 누가 발표했는가? 출처를 캐 봐야 한다.
둘째 열쇠 -> 어떤 방법으로 알게 되었는지 조사 방법에 주의해야 한다. (ex: 표본의 왜곡여부 등)
셋째 열쇠 -> 빠진 데이터는 없는지 숨겨진 자료를 찾아 보아야 한다.
넷째 열쇠 -> 내용이 뒤바뀐 것은 아닐지 쟁점 바꿔치기에 주의해야 한다. (ex: 전후관계와 인과관계의 오류 등)
다섯째 열쇠 -> 상식적으로 말이 되는 이야기인가 살펴 봐야한다. 석연치 않은 부분은 조사해라. (ex: 외삽법의 오류: '현재 추세가 계속된다면 앞으로' 등)