숫자에 속지 않고 숫자 읽는 법

숫자에 속지 않고 숫자 읽는 법 - 뉴스의 오류를 간파하고 세상을 제대로 이해하기 위한 가이드
톰 치버스.데이비드 치버스 지음, 김성훈 옮김 / 김영사 / 2022년 3월

'뉴스의 오류를 간파하고 세상을 제대로 이해하기 위한 가이드'라는 소제목이 붙어 있는 책이다. 뉴스 기사에 숫자가 자주 등장하는 것은 하루 이틀이 아니다. 2000년 봄 우리를 당황하게 만든 코로나19로 인해 매일 같이 여러 숫자가 뉴스에 등장했다. 

그러나 뉴스에 등장하는 숫자는 이 책에서 말하는 것처럼 보여주고 싶은 정보만 공개하는, 또는 기자도 정확히 내용을 모르는 상태에서 옮겨 적는 경우가 있다. 뉴스를 읽다가 도대체 무슨 말을 하는지 이해가 안 될 때도 있기 때문이다. 세상을 이해하기 위해 수학을 잘 할 필요는 없다. 그러나 숫자가 어떻게 사용되는지는 이해하면 살아가는 데 도움이 될 수 있다. 

이 책은 겉으로 단순해 보이는 숫자가 어떻게 본질을 호도하고 오류를 낳는지 설명하며, 뉴스 속 숫자들을 대할 때 어떤 점을 주의해야 하고, 숫자 이면의 숨은 의도를 어떻게 간파할 수 있는지를 다룬다. 숫자는 보여 싶은 것만 뽑아서 쓸 수도 있고, 특정한 출발점을 이용하거나, 원하는 결론을 얻을 때까지 데이터를 쪼개기가 가능하다. 단순한 상관관계에 불과한 것을 인과관계가 있는 것처럼 만들어 놓아버려도 알아차리리가 쉽지 않다. 아니 어렵다.

통계적인 마인드를 갖춘 양심적인 연구자와 경험 많은 과학기자들이 완싱크의 행동을 밝히는 데는 몇 달의 시간이 걸렸다. 과학에 대한 기사를 쓰는 기자들은 대부분 언론을 대상으로 나오는 보도자료의 뉴스거리를 그때그때 받아서 쓴다. 그래서 이들이 데이터 세트를 확보한다고 해도 p-해킹을 찾아낼 수 없다. 그리고 보통은 데이터 세트를 확보하지도 못한다. p-해킹을 한 연구는 불공평한 이점을 누린다. 연구 결과가 참일 필요가 없기 때문에 흥미진진한 내용으로 채우기가 더 쉽고, 그렇다 보니 뉴스에서도 잘 다뤄준다. 독자들이 뉴스를 보고 이런 p-해킹을 찾아내기는 쉽지 않다. 하지만 무언가가 통계적으로 유의하다고 해서 그것이 곧 의미 있고 중요하다거나 진실이라는 의미는 아님을 유념해야 한다. P. 65

수가 얼마나 커야 큰 수일까? 사실 그런 기준은 존재하지 않는다. 사실 수의 크기나 다른 속성은 맥락에 따라 달라진다. 100은 집 안에 들어갈 사람의 수로는 아주 큰 수지만, 은하에 있는 항성의 수로는 아주 작은 수다. 2는 머리카락 개수로는 작은 수지만, 평생 받은 노벨상, 혹은 복부에 맞은 총상의 개수 로는 큰 수다. 하지만 뉴스에 등장하는 수는 맥락 없이 제시될 때가 많아 서 이것이 큰 수인지 아닌지 스스로 파악해야 한다. 맥락에서 가장 중요한 부분은 분모다. 분모는 분수의 가운데 선 아래의 수다. 3?4에서 4, 5?8에서 8이 분모다(선 위의 수는 분자라고 한다). 학교에서 수학을 배우던 시절 이후로 분모라는 용어를 사용할 일이 많지는 않았을 테지만, 뉴스에 나오는 수를 이해할 때는 대단히 중요한 부분이다. 어떤 수가 크고 작은지 알아내는 일은 결국 가장 적당한 분모가 무엇인지 알아내는 일로 귀결된다 P. 92

예를 들어 이 책의 저자 중 한 명인 데이비드 치버스가 공부한 맨체스터대학교는 세계 대학 순위에서는 27위였지만, 〈가디언〉의 영국 대학 순위 목록에서는 40위를 했다. 이것은 분명 터무니없는 결과다. 영국에서 맨체스터대학교보다 나은 대학교가 39개나 된다면 전 세계적으로 맨체스터대학교보다 나은 대학이 26개밖에 없을 수는 없다. 영국도 전 세계에 포함되니까 말이다. 또 한 명의 저자 톰 치버스가 다닌 킹스칼리지런던King’s College London의 경우도 이상하다. 영국에서는 63위를 했는데 전 세계에서는 31위를 차지했다. 이렇게 직관에 어긋나는 결과가 나오는 이유는 어떤 항목을 포함시킬 것인지, 그리고 어떤 항목에 가중치를 둘 것인지에 대한 판단이 다르기 때문이다. ‘학문적 평판’보다 ‘학생의 만족’을 더 중요하게 여긴다면 결과가 다르게 나올 것이다. 무엇을 고려할 것인지에 대한 자의적 판단에 따라 상황이 아주 크게 달라진다. 그렇다고 이런 순위 매기기가 모두 틀렸다는 이야기는 아니지만, 순위를 신성불가침의 진리로 보아서는 안 된다. P. 129

평가 기준이란 다면적이고 복잡해서 정의하기는 힘들지만, 실제로 존재하는 어떤 특성을 파악하기 위해 사용하는 대용물에 불과하다. 정말로 중요한 것은 그 특성이다. 언론 종사자들도 그런 점을 쉽게 잊어버린다. 그래서 언론에는 개인 보호 장비 물품이 몇 개나 생산되었는지에 관한 이야기가 나올 뿐, 그 각각의 물품이 N95 등급 마스크인지, 고무장갑 한 짝인지에 대해서는 별로 신경 쓰지 않는다. 굿하트의 법칙을 어느 정도 피해갈 수 있는 방법이 존재한다. 평가 기준을 자주 바꿔주거나 다중의 평가 기준을 이용해서 평가하면 완화할 수 있다. 하지만 그 어떤 측정법도 밑바탕 현실을 온전히 포착할 수는 없을 것이다. 현실이 항상 더 복잡하기 때문이다. 작가 윌 커트는 트위터에서 이렇게 말한 적이 있다. “완벽한 요약 통계를 찾는 것은 책을 읽지 않고도 그 내용을 알 수 있는 책 표지 카피를 찾는 것과 같다.” P. 218 

저자는 중간중간에 농담도 섞어서 독자에게 말을 건넨다. 믿을 만한 숫자가 어떤 것인지 더 나은 판단을 내릴 수 있도록 돕고 싶다고 한 저자는 "이 박스 글은 반드시 읽거나 이해할 필요는 없지만 00를 알고 싶다면 계속 읽어보자."라는 단서까지 달아 다정하게 독자를 유혹한다. 읽지 않아도 된다는 내용도 열심히 읽었다. 통계에 재미를 느끼고 있고, 평소에 관심을 가지고 있는 내용이었기 때문이다. 그러나 통계에 관심이 없거나 숫자 자체에 거부감을 느끼고 있는 사람은 읽기가 쉽지 않은 책이다.