베이즈 통계학, 미래를 예측하다.

[신호와 소음]을 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

'신호와 소음'을 예측하다. 

 이 책은 정보, 기술 그리고 과학의 진보에 관한 책이다. 경재, 시장, 그리고 사상의 진화에 관한 책이기도 하다. 이 책은 우리를 컴퓨터보다 똑똑하게 만들어주는 방법과, 인간이 저지르는 실수에 관한 책이다...(중략) 이 책은 이 모든 것이 교차하는 지점에 놓여 있는 예측을 다루는 책이다. 우리가 지금보다 더 통찰력을 가질 수 있어서 실수를 조금이라도 덜할 수 있다면 얼마나 쫗을까. 이 책은 이런 물음에 대한 고민이다. 

-p.13, '들어가며'에서

 저는 지난번 신간 평가 도서 『어떻게 그들은 한순간에 시장을 장악하는가』에서 미래예측이 이제 전문가들의 전유물이 아니며, 개인부터 국가에 이르기까지 모든 이들이 익히고 활용해야 할 기술이라고 말한 바 있습니다. 그리고 운명처럼 이번에 예측에 관한 것을 다룬 신간『신호와 소음』과 만나게 되었습니다. 이 책의 저자 네이트 실버는 메이저리그 야구선수의 성적을 예측하는 시스템을 개발해 명성을 얻었고, 통계확률기법을 카지노에서 전략적으로 이용해 막대한 돈을 벌기도 했습니다. 결정적으로 그는 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 2013년에도 오바마의 승리를 맞춤으로써 명실상부한 예측의 대가가 되었습니다.     

 이런 저자의 이력을 바탕으로 저는『신호와 소음』이 전문가가 아닌 평범한 사람들도 쉽게 일상생활에서 적용할 수 있는 "예측의 비법"을 알려주는 책이 아닐까 조심스레 예측했습니다. 하지만 막상 책을 받아보니, 764페이지라는 방대한 분량 어디에도 그런 비기는 존재하지 않았습니다. 적지 않은  실망감을 안고, 저는 복잡하고 낯선 분야의 사례들 속에서 악전고투하며 진도를 나아갈 수 밖에 없었습니다. 그 과정에서 저의 부족한 능력 때문에 많은 것을 얻지는 못했지만, 그래도 약간의 소득을 얻을 수는 있었습니다. 그 결과를 이제 나누어 보려 합니다. 

베이즈 통계학, 미래를 예측하다. 

 이 책의 저자인 네이트 실버가 독자에게 전하고 싶은 것을 요약하자면, 베이즈 정리, 베이즈주의, 베이즈주의적 세계관이다. 기존의 통계학이 멈춰 있는 과녁을 맞히는 것이라면 베이즈주의 통계학은 움직이는 과녁을 맞히는 것이다. 세상이 끊임없이 변하고 상황이 끊임없이 변함에 따라, 또 정보가 수도 없이 많이 쏟아짐에 따라, 기존의 방법론은 '실용적'결과를 얻어낼 수 있는 표본을 아우르지 못하는 낡은 그릇이 되고 말았으므로, 새로운 접근법을 모색해야 한다. '신호와 소음'은 그 해답을 베이즈 정리에서 찾는다.

-p.660, 옮긴이의 말에서 

 흔히 요즘을 빅데이터 시대라고들 합니다. 하지만 이 책은 예측을 가능하게 하는 '신호'는 그대로 이지만, '소음'만이 늘어났을 뿐이라고 말합니다. 대부분의 관련 종사자들이 빅데이터의 놀라운 가능성에 주목하고 있는 요즘의 추세와는 사뭇 다른 주장입니다. 저자는 이런 자료를 다루는 방법론 또한 문제로 지적하고 있습니다. 지금까지는 관찰자가 '잘 설계된' 실험을 통해 구한 빈도를 를 기반으로 한 빈도주의 예측이 일반적이었습니다. 우리가 학창 시절, 모집단에서 표본을 추출해서 표준편차를 포함한 확률을 구한 바로 그 방법입니다. 빈도주의는 이런 빅데이터라는 막대한 정보의 양(반대로 소수의 사례 역시도)과 시시각각 변화하는 환경에 제대로 대처하지 못한다는 것이 저자의 지적입니다. 

 저자가 제시하는 대안은 베이즈 정리, 베이즈주의, 베이즈주의적 세계관입니다. 이 방법론은  빈도주의와는 반대로 (관찰자의 주관적인) 사전 확률을 미리 가지고, 데이터를 분석해서 확률을 새롭게 계산하는 방식을 취하고 있습니다. 따라서 이 방식은 빈도주의가 가지는 약점, 데이터의 양이나 변화에 대해 보다 유연하게 대처할 수 있다는 장점이 있습니다. 문제는 관찰자의 주관이 개입되는 사전 확률에 따라서 결과가 크게 변화한다는 점입니다. 저자는 이 점을 충분히 경계하고, 데이터를 충분히 수집하고 이를 계속 반영해 나간다면 결과적으로 우리가 원하는 진실에 다가갈 수 있다고 낙관하고 있습니다. 

관찰자가 되기보단 참여자가 되자.

 우리는 여전히 불확실한 세상에 살고 있는 불완전한 존재다. 우리가 한 예측이 빗나간다면, 이것이 우리의 잘못 때문인지 아닌지, 또는 우리가 운용하는 모델에 오류가 있는 건지, 아니면 우리가 단지 운이 없었기 때문인지 우리는 결코 확신할 수 없다. 우리가 해결책에 가장 가까이 다가서는 어림값은, 신호와 소음 모두 우리 우주에서 뺄 수 없는 요소임을 깨닫고서 이 신호와 소음에 대해 전혀 흔들림 없는 마음의 평정 상태를 유지하며, 각각의 실체를 파악하고 평가하는 데 온 힘을 기울이는 것이다. 

-p.486에서

 사실 빈도주의 통계학에 대한 비판은 아주 오래전부터 있었습니다. 마크 트웨인은 "세상엔 세 가지 거짓말이 있다. 거짓말, 새빨간 거짓말, 그리고 통계"라고 말한 바 있습니다. 저서로는 고전인 『새빨간 거짓말 통계(How to Lie with Statistics, 1954)』부터 최신작인 『벌거벗은 통계학(2013)』에 이르기까지 다양합니다. 이들이 지적하는 것 또한 저자와 마찬가지입니다. 어떠한 방법론을 쓰든 결국 사람의 주관은 개입되기 마련이므로, 이를 철저하게 인식하고 개선해야 한다고 말입니다. 그런 점에서 볼 때, 끊임없는 개선이 가능한 베이즈주의는 우리가 취할 수 있는 최선임에 분명합니다. 

 책을 읽어가면서 힘들고 괴로웠던 점은 개인적으로나 지역적으로 맞지 않는 다양하고 복잡한 사례였습니다. 저자가 다루고 있는 체스, 포커, 지진, 테러 등의 사례는 흥미롭기보다는 과연 내가 이런 확률을 사용할까라는 의구심이 저를 붙잡았습니다. 동시에 구태여 이런 확률을 통한 예측보다 더 간단하고 확실한 방법이 자꾸 떠올랐습니다. 아무리 확실한 확률에도 되도록이면 도박은 피하고, 자연재해나 테러의 확률을 구할 시간과 비용을 이에 대비하는 데 사용하는 것입니다. 당선자를 예측하기보단 열렬한 지지와 응원을, 경제위기를 예측하기보다는 경제위기를 발생시키는 탐욕을 줄이는 것이 훨씬 현명하지 않을까요? 

* 알라딘 공식 신간평가단의 투표를 통해 선정된 우수 도서를 출판사로부터 제공 받아 읽고 쓴 리뷰입니다.