소음 가운데 확실한 신호를 포착하라

[신호와 소음]을 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

“신호와 소음”은 “이 책은 정보, 기술, 그리고 과학의 진보에 관한 책이다. 경쟁, 시장, 그리고 사상의 진화에 관한 책이기도 하다. 이 책은 우리를 컴퓨터보다 똑똑하게 만들어주는 방법과, 인간이 저지르는 실수에 관한 책이다.”로 시작한다.

저자 네이트 실버(Nate Silver)는 2008년 미국 대통령선거에서 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞히고, 2012년 오바마 재선 당시에는 50개 주의 결과를 모두 정확하게 예측해낸 통계학의 세계적 슈퍼스타다. 그런 저자가 자신의 예측 방법론을 총 정리하여 공개한 책이다.

이 책은 산더미 같은 데이터 속에서 유용한 신호를 걸러내는 방법을 알려준다. 자연과학, 사회과학, 스포츠, 게임 등에서 뽑은 좀 더 직접적이고 구체적인 사례로 채워져 있다. 그래서 재미있다. 일단 저자는 정밀한 통계방법의 발전과 ‘빅 데이터’의 존재에도 불구하고 왜 그렇게 많은 예측들이 빗나가는지 묻는다. 엄청난 정보망을 자랑하는 미국은 왜 진주만 공습과 9·11테러, 더 나아가 2008년 경제 위기를 예측하지 못했을까? 선거 결과는 왜 항상 언론과 전문가의 예측을 벗어날까?

우리는 통계학자들이 연구실에서 개발한 여러 예측 모델을 순진하게 신봉해왔고, 우리가 여러 가설을 설정하고 선택하는 데서 얼마나 형편없는지를 제대로 깨닫지 못 하는 바람에 엄청난 결과를 감수해야 했다.

정보가 많다고 예측이 쉬워지는 것은 아니다. 이는 정확한 정보인 ‘신호’와 이를 방해하는 ‘소음’을 잘 분리해 잡아내지 못하기 때문이다. 그는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 ‘베이즈 정리’를 핵심으로 자신이 개발한 예측 비법을 소개하고 이를 활용하는 법도 자세히 설명한다.

이때 가장 중요하게 다뤄져야 할 개념이 ‘불확실성’이라고 말한다. 불확실성이야말로 가장 두려운 대상이다. 입찰에 성공할까, 음모를 들키지 않을까, 손해를 보게 되지 않을까... 하여간 우리가 불확실성을 매우 싫어하는 것 하나는 확실하다. 그 불확실성에 대응하여 이 책은 이 세상에 대한 추정치와 가정들을 제시하면서 불확실성의 위험에서 벗어날 것을 제시하고 있다.

저자는 예측을 위해 ‘소음’이 아닌 진짜 ‘신호’에 귀를 열라고 충고한다. 자잘한 것을 무시한 채 커다란 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하고 복잡한 상황과 정보를 잘 견디며 이론보다는 관찰을 중시하는 사람이 더 정확하게 미래를 예측할 수 있다고 말한다.

* 알라딘 공식 신간평가단의 투표를 통해 선정된 우수 도서를 출판사로부터 제공 받아 읽고 쓴 리뷰입니다.