빅데이터의 시대, 통계학자의 지혜를 배우자!

[신호와 소음]을 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

 책을 처음 봤을 때, 2가지 점에서 꽤 인상이 깊었다. 첫째는 주석의 양이었다. 책을 본 사람은 알겠지만 이 책은 주석만 100페이지 가량이 된다. 그만큼 저자는 다양한 분야의 내용을 인용하고 있으며, 저자의 지적 범위가 상당하다는 것을 알 수 있다. 둘째는 책의 표지였다. 다른 사람들은 어떻게 느꼈을지 모르겠짐나 "금융위기", "나비효과" 등 이 책에서 다루고 있는 토픽들이 나열되어 있고, 책의 제목인 "신호와 소음"만이 굵고, 검은 글씨로 적혀 있는데 책 표지만으로도 이 책이 무엇을 이야기 하고 싶어하는지 알 것만 같은 기분이 들었다.

 책 표지에서 알 수 있듯이 이 책은 수많은 소음 속에 중요한 신호를 탐색하고, 찾는 방법에 대해 이야기하고 있다. 빅데이터라는 단어가 이제는 식상해질 정도로 우리는 매일 같이 엄청나게 생산되는 정보에 둘러쌓여 살아가고 있다. 과거에 비해 정보가 더욱더 넘쳐나고 있는 지금, 과연 우리는 과거보다 더 나은 선택을 하고 있다고 장담할 수 있을까? 아마 대부분의 사람들이 그렇다고 말하지 못할 것이다. 우리가 감안하고, 수용할 수 있는 한계를 넘어선 데이터의 양은 오히려 우리의 판단을 방해하고 있다. 저자는 이런 환경의 데이터들을 소음이라고 규정한다. 간단하게 말해 우리에게 유용하지 않은 정보들 말이다.

 이 책의 저자는 "패스트컴퍼니"가 선정한 '가장 창조적인 인물 1위', "타임스" 선정 '전 세계에서 가장 영향력 있는 100인'에 선정된 네이트 실버이다. 사실 이 책을 접하기 전까지 그에 대해 전혀 알지 못했으나 그는 지난 미국 대선의 선거 결과를 전 지역에서 맞추는 등 현재 통계학과 미래 예측 분야에 있어서 대단한 영향력을 지니고 있다고 한다. 이런 저자는 앞서 말한 소음과 반대되는, 즉 우리에게 현재와 미래를 판단함에 있어 유용한 정보를 제공하는 신호라는 진리를 찾는 방법을 제시한다.

 저자는 미래를 예측함에 있어 가장 중요한 방법으로 베이즈주의에 익숙해질 것을 이야기한다. 저자가 이야기 하는 베이즈주의는 통계학자인 토마스 베이즈의 태도를 말하는데 베이즈는 18세기 인물로 저자에 따르면 그는 "신의 완벽함과 무결성을 믿었"고, "뉴턴의 저작도 신봉"하였으나 가장 중요한 것은 그는 "증거를 더 많이 모을수록 진리에 조금씩 또 조금씩 더 가까이 다가갈 수 있다"고 믿었다는 점이다. 다시 말해 "베이즈주의적 관점은 합리성을 개연성(확률)과 관련된 문제"로 바라보는 것이다. 즉 모든 사건을 예측함에 있어 확률적으로 사고하고, 표현하는 것을 의미한다.

 이러한 베이즈주의적 태도는 우리에게 100%의 확신을 주지는 못할 것이고, 자신의 확률적 추정이 얼마나 부실한지 깨닫게 해줄 것이다. 그러나 저자는 이러한 것은 그저 출발점이라고 이야기 한다. 새로운 정보를 접할 때마다 기존의 추정을 조금씩 보완하고, 수정해서 더욱더 미래에 가까운 예측을 하도록 만들어 나간다면 예측 정확성의 확률은 점점 높아질 것이다.

 저자는 이런 베이즈주의적 태도에 있어 편견을 줄여가는 것이 매우 중요하다고 강조한다. 대부분의 사람들이 자신의 과거 경험을 토대로 사회를 바라 볼 수밖에 없다. 특히 기업의 마케팅 부서에 속해 있다든지 미래를 예측하고, 그 예측의 플레이어로 활동해야 하는 사람이라면 더더욱 자신의 편견이 강할 수밖에 없을 것이다. 편견이 전혀 없을 수 없으며, 나의 예측은 불완전하다는 것을 인정하는 겸손함과 용기 그리고 지혜가 필요하다고 이야기한다.

 이 책은 경제, 정치, 기상 등 다양한 주제에서 통계적 사고에 대해 이야기를 하고 있다. 그리고 그 모든 토픽을 관통하는 것은 앞서 말한 베이즈주의적 사고와 행동이다. 지금도 우리가 사는 시대는 2.5퀸틸리언(100경) 바이트의 데이터를 생산하고 있다. 그리고 사물인터넷이 구현되고, 웨어러블 기기가 상용화가 되는 미래에는 이러한 데이터의 양은 다시 한 번 폭발적으로 증가하게 될 것이다. 이런 데이터의 소음 속에서 정신을 차릴 수 있는 것은 올바른 신호를 찾으려는 태도일 것이다. 저자가 강조한 것처럼 나는 편견을 가지고 있으며, 완벽할 수 없다는 겸손함과, 용기 그리고 지혜를 바탕으로 확률적으로 사고하고, 행동하는 습관을 기를 수 있도록 노력해야 할 것이다!

* 알라딘 공식 신간평가단의 투표를 통해 선정된 우수 도서를 출판사로부터 제공 받아 읽고 쓴 리뷰입니다.