빅데이터 시대, 베이즈 정리가 해결책? <신호와 소음>

[신호와 소음]을 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

와우~ 소음으로 가득찬 세상에서 의미 있는 신호를 찾는 법을 담고 있다는 <신호와 소음 The Signal and The Noise>. 아주 흥미로운 책이다. 어느 정도냐 하면, 올해 읽은 경제관련 서적 중 최고라 해도 될 만한 수준이더라. 이 책에 관심을 가진 것은 2012년 '뉴욕타임스'에서 15주 연속 베스트셀러에 올랐으며, <아마존>에서는 '올해의 책(논픽션 부문)'으로 선정되었다는 카피를 보고서였다. 읽어보니 명불허전(名不虛傳)일세. 진짜 슈퍼 베스트셀러라는 느낌이 들었다. 지식적 측면에서 뭔가 큰 배움이 있었다기보다는 '베이즈 정리'를 근저로 일상사의 통계학적 영역을 이렇게 부담 없이 재미있게 설명한 책이 또 어디 있으랴. 방대한 분량_총 763쪽, 주석만 100쪽이다_으로 보나 내용_언급되는 사례들이 전부 생생하고 허튼 게 없더라_으로 보나 대단하기 짝이 없다. 완전 캡이다.

저자 네이트 실버(Nate Silver)는 통계분석가인데, 2008년 미국 대통령 선거 당시 50개 주 가운데 49개 주에서 누가 이길지 정확하게 예측했으며, 미국 상원의원의 전체 35개 선거구 당선자도 정확하게 예측했단다. 뿐만 아니라 득표율 차까지 엇비슷하게 예측하였고, 2012년 미국 대선에서는 50개주 결과를 정확히 예측하였다고 한다._이거 뭐 접신의 경지이구먼_ 빅데이터의 활용하여 통계분석기법의 하나인 '회귀분석'으로 예측하였다는데 실제 결과와 0.6% 밖에 차이가 나지 않았다고 한다._돗자리 펴고 앉아도 무방할 듯_ 이 분의 영향력은 당연히 급상승하여 2013년 <패스트컴퍼니>선정 '가장 창조적인 인물' 1위_이때 2위가 누구였느냐하면 삼성전자의 장동훈 부사장이었다. http://www.intelligenthq.com/innovation-management/100-most-creative-people-in-business-2013-by-fast-company/참조_, 타임지 선정 '전세계에서 가장 영향력 있는 100인'에 뽑힐 정도로 세계가 주목하는 통계학과 미래예측의 슈퍼스타가 되신 분이다. 그러고 보니 2013년 Phi Beta Kappa Award in Science 상을 받기도 했구나._일명 아이비리그 수재클럽이라고도 하는 파이베타카파협회에서 수학·과학에 주요한 업적이 있는 저서의 저자에게 주는 상이다. 이 책엔 이런 사실이 기재 되어있지 않은데, 아마 번역 당시엔 수상을 안했기 때문이겠지. 가수 박정현이 이 클럽에 가입되었다고 했던가_.

이 책이 다루고자 하는 내용은 산더미 같은 데이터 속에서 나에게 유용한 '신호'를 걸러내는 방법이다. 알다시피 정보의 양은 그 정보로 어떻게 해야 할지 이해하는 깨달음의 증가 속도보다, 또 유용한 정보와 그렇지 않은 정보를 가려내는 역량의 증가속도보다 훨씬 빠르게 증가했다. 정보화의 시대를 넘어 가히 빅데이터의 시대가 온 것이다. 그런데 빅데이터 시대에 예측은 잘 맞지 않는다는 사실이다. 왜 대부분의 예측은 빗나가고 몇몇은 적중하는가? '정보가 지나치게 많은 상황'에서 우리가 본능적으로 취할 수 있는 대응책은 정보를 선별하는 일인데, 거의 언제나 예측가의 주관적 관점_나름의 믿음과 편견_에 의해 정보가 오염된다는 사실에서 그 해답을 찾을 수 있을 것이다. 잘못된 확신으로 정밀한 예측이 정확한 예측으로 가장되니 빗나갈 수밖에 없는 것이다._저자는 여기서 '여우와 고슴도치'의 예를 들어 정말 흥미롭게 설명(91쪽)하고 있다. '여우'스럽다는 것은 확률적으로 생각하고, 날마다 새로운 예측을 하고, 집단지성을 활용한다는 의미이다_  사람들은 보고 싶은 대로 본다고 하지 않던가. 어떤 예측모델이든 될 수 있으면 많은 신호를(그리고 될 수 있으면 적은 소음을) 포착하는 것을 목적으로 하지만, 소음을 신호로 잘못 인식하는 실수_과잉적합 overfitting_는 늘상 일어나는 일이다. 이런 과잉적합은 후쿠시마의 핵 원자로 폭발처럼 때때로 실제 현실에서 엄청난 결과를 빚어내기도 한다.

그래서 이 책이 억수로 어렵느냐? 전혀 그렇지 않다. 일상 속 다양한 분야_정치, 경제, 야구, 기상, 지진, 전염병, 체스, 포커, 주식, 지구온난화, 테러 등_를 다루지만 그 핵심은 아주 간단하다. "확률적으로 사고해야 한다."는 거다. 이걸 조금 고상하게 포장하면 베이즈 정리, 베이즈주의, 베이즈주의적 세계관이다. 즉, 베이즈 정리의 핵심은 사건이 일어날 가능성에 대한 확률적 표현이다._부언설명하면 베이즈 정리는 어떤 사건이 일어났다는 전제 하에 이론이나 가설이 참일 확률, 즉 조건부 확률에 대한 정리이다. 베이즈 정리가 제시하는 지침을 따른다는 것은, 확률적 믿음 또는 예측이라는 차원에서 미래를 생각한다는 뜻이다(490쪽)_ 베이즈 정리는 세상은 본질적으로 불확실한 대상이 아니라고 말한다. 그러나 세상에 대해 당신이 보이는 주관적 인식이 사실은 진리에 대한 어림짐작에 지나지 않음을 인정하라고 말하면서(650쪽), 우리에게 사건에 대한 증거를 평가하기 전에 그 사건이 일어날 가능성을 어느 정도 믿는지(사전확률) 구체적으로 밝히라고 요구한다._주관성의 필터를 통해 현실의 실체나 진리를 깨달아라는 거겠지_  베이즈주의 원칙을 가장 쉽게 적용하는 방법은 수없이 많은 예측을 하는 것이고, 새로운 정보가 나타날 때마다 기존의 예측을 업데이트하라고 주문하네._베이즈주의의 한 가지 특성은 우리에게 더많은 증거와 자료들이 주어지면 우리가 가진 믿음들은 저절로 진리를 향해 수렴한다고 보는데 있다_. 하긴 무수한 시행착오는 인지적 지름길 cognitive shortcut에서 벗어나 더나은 예측을 위한 과정인 것은 삶의 경험에서 볼 때 충분히 공감된다.

"예측은 아주 중요하고, 그 때문에 더욱 어렵다. 소음에서 신호를 분리하려면 과학적 지식과 자기 인식을 동시에 갖추어야 한다. 즉, 객관적 실체와 주관적 실체를 교차시켜야 한다. 우리가 예측할 수 없는 것에 대한 겸손함과 예측할 수 있는 것을 예측할 수 있는 용기, 그리고 이 둘 사이의 차이를 아는 지혜가 필요하다."(656쪽)

전체적으로 보면 1, 2부는 예측문제를 진단하고, 3, 4부는 베이즈주의적 해법을 적용하고 탐구하는 얼개이다. 책의 분량이 너무 많아 지레 질리는 미래의 독자가 있다면 이 책에서 다루는 다양한 분야 중 관심이 가는 부분부터 읽어도 아무런 문제가 없어 보인다. 개인적으론 포커와 주식 챕터가 너무 흥미롭더라. 특히 차트를 믿지말아야 하는 이유나 효율적 시장가설, 지나친 자신감 등의 인지편향cognitive bias, 그리고 얼마 전에 읽은 <비이성적 과열>도 소개되고 있는데 읽고 마음에 새길 만 하였다._투자금 잃고 깡통 한번 차고나면 보수주의가 보이는 법이다_ 또한 굉장히 바쁜 분은 에필로그(나오며) '예측은 어떻게 가능한가'만 읽어도 대충 이 책이 말하고자 하는 요지는 알 수 있겠구나 싶다. 그리고 이 책은 주요한 명사나 문장에 강조고딕체를 쓴 것이 아니라 관형사나 형용사_예를 들어 '어떤','~전에', '날마다'_에 볼드체를 사용했는데, 처음엔 조금 어색하였으나, 읽어갈수록 저자의 의중이 무엇인지 더욱 정확하게 알게 해주는 양념 같은 역할을 하더라.  
어쨌거나 넘치는 소음 속에서 의미 있는 신호를 분리해 정확한 예측의 경지에 오른다는 것이 어찌 쉽겠는가. 결국은 열린 자세_편견이나 독단에서 벗어나라는_로 신호들을 바라보고, 모든 행위는 증거에 따라 지속적으로 재평가하라는 메시지_사실 이런건 평범한 진리아냐? 뭔가 더 있을 듯하지만 이 책은 이 정도 바탕만 이야기 하는구나_만 기억에 남는다. 일주일 넘게 손에 잡고 있는데도 지루하지 않았으니 장점이 참 많은 책이라 하겠다.