[마이리뷰] 신호와 소음

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

원래 총선전에 읽어보려고 구입한 책이다. 여러가지 우여곡절 끝에 여당의 승리로 끝났지만, 막판 유시진 작가의 멘트를 이용해 보수결집을 유도한 전략에 말려 개헌선을 확보하지 못한 결과가 몹시 아쉽다. 유시민 작가님의 잘못은 아니지만 이제 선거판이 통계의 흐름과 아울러 정보전으로 흘러감을 의미있게 보여준 사건이 아닌가 싶다. 마지막까지 선거조작을 외치는 일부 잡것들의 외침은 그냥 무시하자...

저자인 네이트 실버는 미국의 역대 선거결과를 상당히 정확하게 예측한걸로 유명세를 얻은분이다. 대학에서 경제학을 전공하고 KPMG라는 글로벌 회계법인에서 근무하다가, 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타PECOTA를 개발했다. 이후 저자는 통계확률기법을 카지노에서 전략적으로 이용해 많은 수익을 얻고 회사를 그만뒀다.

이어서 온라인 포커판에서 플레이어로 활약하며 역시 많은 금액을 획득하게 된다. 온라인 포커판의 미래를 어둡게 전망한 네이트 실버는 그동안 쌓인 통계학과 예측의 노하우를 활용해, 정치 예측을 하는 블로그인 파이브서티에이트FIVETHIRTYEIGHT.COM를 2008년에 개설하고 정치컨설턴트 및 통계학자로 활약하게 된다. 그리고 그의 역량을 입증해주는 이 책을 출간하고 다시 한 번 명성을 획득한다.

제목인 신호와 소음은 통계학적으로 유의미한 사인을 신호로 보고 버려야할 메세지는 소음을 지칭한다. 결국 수 많은 정보중 어떻게 신호와 소음을 구분하느냐가 이 책의 핵심주제라고 할 수 있다. 책에서 자주 언급되는 베이즈 확률을 알아보는게 이해에 도움이 된다.

˝베이즈 확률론(Bayesian probability)은 확률을 ‘지식 또는 믿음의 정도를 나타내는 양‘으로 해석하는 확률론이다.[1] 확률을 발생 빈도(frequency)나 어떤 시스템의 물리적 속성으로 여기는 것과는 다른 해석이다. 이 분야의 선구자인 18세기 통계학자 토머스 베이즈의 이름을 따서 명명되었다.

존 이어먼(John Earman)[2] 에 따르면, 베이즈 확률에는 두 가지 시점이 있는데 그 하나는 객관적 관점에서 베이즈 통계의 법칙은 이성적 보편적으로 증명될 수 있으며 논리의 확장으로 설명될 수 있다. 한편 주관주의 확률 이론의 관점으로 보면 지식의 상태는 개인적인 믿음의 정도(degree of belief)로 측정할 수 있다. 많은 현대적 기계 학습 방법은 객관적 베이즈 원리에 따라 만들어졌다.

베이즈 확률론은 확률에 대한 여러 개념 중 가장 인기있는 것 중의 하나로 심리학, 사회학, 경제학이론에 많이 응용된다. 어떤 가설의 확률을 평가하기 위해서 사전 확률을 먼저 밝히고 새로운 관련 데이터에 의한 새로운 확률값을 변경한다. 베이즈 정리는 이러한 확률의 계산에 있어 필요한 절차와 공식의 표준을 제시하고 있다.˝

좀더 세부적으로 주관주의 확률이론에 대해 알아보자면,

˝주관주의 확률 이론에 따르면 확률이란 어떤 사람이 특정한 순간에 주어진 명제나 사건에 대해서 갖는 믿음의 정도(degree of belief)이다.따라서 어떤 단일 사건이나 명제에 대한 확률값을 세울 수 있다. 예를 들어 ˝이번 선거에서 아무개가 당선된다˝는 명제의 사실 확률값은 고전적 확률이론이나 상대빈도 이론으로는 확률로 취급하기가 어렵다.

그러나 실생활에서 이러한 믿음에 대한 확률은 주관적으로 평가된다. 사실 주관주의 확률은 어떤 확정된 확률값을 주는 것이 아니라 그 사건에 대해 각기 사람마다 다른 확률값을 가질 수 있다. 여기서 아무개가 당선할 확률이란 사실 그 명제에 대한 자신의 믿음의 정도가 X%란 것과 같다.˝

저자는 베이즈 정리에 대해 다음과 같이 요약한다.

˝베이즈 정리의 핵심은 사건이 일어날 가능성에 대한 확률적 표현이다. 베이즈 정리는 세상은 본질적으로 불확실한 대상이 아니라고 말한다. 그러나 세상에 대해 당신이 보이는 주관적 인식이 사실은 진리에 대한 어림짐작에 지나지 않음을 인정하라고 요구한다.
​
베이즈주의적 사고방식의 확률적 요소가 처음에는 불편할 수도 있다. 카드게임처럼 승산을 확률로 다투는 여러 게임에 익숙하지 않다면, 아마도 이러한 확률적 사고가 낯설 것이다. 학교에서도 수학 시간에 확률이나 통계보다 기하나 대수를 더 많이 배운다. 많은 사람들이 불확실성을 받아들이는 것은 자기가 약하다는 사실을 인정하는 일이라 오해한다.˝

˝당신이 이 확률적 추정을 한다고 치자. 그런데 처음 시작할 때는 그 추정이 변변찮을 수밖에 없다. 그렇지만 이는 그저 출발점일 뿐이다. 베이즈 정리에서는 새로운 정보를 확보할 때마다 기존의 추정을 수정해서 조금씩 더 나아지게 한다. 베이즈 정리는 우리를 발전시킨다. 예컨대 군대에서도 이를 활용해 병사들을 훈련시키는데, 상당히 훌륭한 결과를 낳는다. 또, 의사들이 진단을 내릴 때에도 베이즈주의적 추론을 한다. 시끄럽고 확신에 찬 만물박사보다는 베이즈주의적으로 생각하는 의사가 더 도움이 된다.˝

˝베이즈주의 원칙을 가장 쉽게 적용하는 방법은 수없이 많은 예측을 하는 것이다. 어쩌면 당신은 그 많은 예측에 당신의 직장이나 삶을 걸고 싶지 않을 수도 있다. 특히 처음으로 하는 예측에는 더더욱 그럴 것이다(아마도 맨 처음엔 자료가 풍부하며 또한 자기 예측 기법을 검증하기에 더할 나위 없이좋은 스포츠 분야에서 실력을 연마하고 싶을 것이다). 비록 첫 예측이 터무니없을 만큼 형편없다 해도, 무수한 시행착오는 더 나은 예측을 위해 반드시거쳐야 하는 과정이다.˝

역자는 다음과 같이 매우 간결하게 책의 성격을 정리한다.

˝이 책의 저자인 네이트 실버가 독자에게 전하고 싶은 것을 요약하자면, 베이즈 정리, 베이즈주의, 베이즈주의적 세계관이다. 기존의 통계학이멈춰 있는 과녁을 맞히는 것이라면 베이즈주의 통계학은 움직이는 과녁을 맞히는 것이다. 세상이 끊임없이 변하고 상황이 끊임없이 변함에 따라, 또 정보가 수도 없이 많이 쏟아짐에 따라, 기존의 방법론은 실용적결과를 얻어낼 수 있는 표본을 아우르지 못하는 낡은 그릇이 되고 말았으므로, 새로운 접근법을 모색해야 한다. [신호와 소음]은 그 해답을 베이즈정리에서 찾는다.˝

비교적 젊은 학문인 통계학의 중요도는 점차 높아지고 있다. 이 책은 베이즈주의를 바탕으로 이론을 나열하지 않고 철저하게 실용적으로 현상을 분석하고 방향을 제시한다. 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 미래를 제대로 예측하는 방법에 대해서 설명하고 있다. 다소 두껍지만 한번쯤 꼭 읽어볼만한 책이다. 추천드린다.