빅 데이터의 시대, 소음을 제대로 걸러내자! - 신호와 소음

[신호와 소음]을 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

저자 네이트 실버는 예측 전문가다. 그는 시카고 대학에서 경제학을 전공했다. 그는 졸업 후 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다.

그가 좋아했던 메이저리그 야구선수의 성적을 미리 예측하는 시스템인 PECOTA를 개발한 것이다. 그런데 놀라운 적중률을 보이기 시작한다. 실버는 카지노에서 통계확률기법을 활용해 단번에 15,000달러를 따기도 했다. 이후 포커판에서 수십만 달러를 긁어모았다.

마침내 그는 2008년 그 동안 쌓인 노하우를 활용, 정치 예측을 하는 블로그인 파이브서티에이트(FiveThirtyEight.com)를 개설했다.

그리고 그해 미 대선에서 미국의 50개 주 중 49개 주 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞췄다. 실버의 이름이 널리 알려지게 된 직접적인 계기였다!

바야흐로 빅데이터의 시대다. 빅데이터가 각광을 받게 된 것은 인간의 행동에 관해 더 예측가능성을 높이고 합리적 의사결정을 향상시키기 위해서다. 그렇다면 데이터가 늘어난다고 해서 예측가능성이 더 높아질까?

실버는 단연코 아니라고 주장한다. 정보가 하나둘 많아지면 그만큼 불필요한 소음도 증가한다. 이제 수많이 쏟아지는 온갖 정보에서 ‘신호’를 제대로 포착하기 위해서는 소음을 걷어내야 한다.

저자는 자료를 다루고 통계 기법을 사용하는데 남다른 재능이 있는 것으로 보인다. 이것만 갖고는 하루가 멀다하면서 엎치락뒤치락 하는 정치 판세를 정확하게 읽어낼 수는 없다. 실버에게는 분석된 자료를 토대로 해석하고 정세를 읽어내는 남다른 눈이 있는 것이 분명하다. 우리가 이 책에 열광하는 이유도 바로 이런 노하우를 배워보고자 함이 아닐까?

그가 이 책에서 다루는 분야는 다양하다. 경제, 정치, 스포츠, 기상과 전염병 그리고 체스와 포커까지 아우른다. 우리가 예측이 필요한 거의 전반에 다룬다고 해도 과언이 아닐 것이다.

예측에 관한 저자의 통찰력이나 혜안을 급히 엿보고자 한다면 조금 실망할 수도 있겠다. 제법 두툼한 책을 인내를 갖고 읽다보면 깨닫게 되는 것이 있다. 예측에 관한 신의 경지와 같은 통찰력은 없다는 것이다. 오히려 쏟아지는 정보를 꼼꼼하고 성실하게 분석하고, 그 자료를 토대로 자신의 편견이나 프레임에서 벗어나 새로운 관점을 찾으려는 겸손한 자세가 중요하다는 것을 배운다.

이런 자세가 결국 예측의 성공을 높이고, 이를 토대로 현실 여건과 융합하여 아이디어를 낼 수 있게 되는 것이지 싶다. 말 그대로 신호도 중요하지만 소음을 걸러내는 능력이 중요하다. 심리학자들은 우리는 주관편향에 빠지는 오류가 있다고 한다. 같은 자료라도 자신이 보고 싶고, 믿고 싶은 것만 보게 된다는 것이다. 이를 극복하는 대안이 실버의 책을 통해 배울 수 있다면 큰 보람이지 않을까?

분야는 다양할지언정 응용되는 맥락이나 큰 원칙은 마찬가지일 것이기 때문이다. 정치 판세를 잘 분석하게 되면 기상 변화의 이변도 제때 알아챌 수 있을 것이다. 왜냐하면 여론 조사 결과나 기상 변화 추이의 단서를 찾고 해석하는 것은 일맥상통할 것이기 때문.

내 전문이기도 한 7장 전염병 분야를 보면, 신종플루부터 에이즈까지를 다룬다. 실버는 1976년 당시 미국에서 발생한 독감에 정부가 어떻게 오판했는지를 자세하게 분석한다. 포드 대통령은 1918년 스페인 독감의 악몽을 떠올리고 과대평가하여 경고 수준을 높였다. 하지만 실제 사망자는 평년치보다 조금 밑돌았을 뿐이었다.

저자는 이를 토대로 다음과 같이 조언한다. “어떤 전문가가 정확한 예측을 할 수 없고 또 이런 사실을 알고 있음에도 예측할 할 수 있는 척하면 많은 사람들이 위험해진다. 역학자나 여러 의료계 종사자들도 이런 사실을 잘 알고 있을 것이다. ‘남에게 해를 끼치지 말라’라는 히포크라테스 선서가 꼭 필요한 상황이다.” 충분히 공감한다.

잘못된 예측이나 정책 판단의 오류는 수많은 피해와 부작용을 초래할 수 있다. 우리는 신호를 잘 포착하고 분석하는 능력도 중요하지만, 소음을 잘못 해석해서 평가 오류에 빠지는 것을 경계해야겠다. 이를 위해 이 책은 좋은 사례를 알려 준다. 이제 소음을 제대로 읽어내자!

* 알라딘 공식 신간평가단의 투표를 통해 선정된 우수 도서를 출판사로부터 제공 받아 읽고 쓴 리뷰입니다.