시카고대학에서 경제학을 전공한 네이트 실버는 2002년 회계컨설팅회사인KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다. 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타PECOTA를 개발한 것이다. 놀라은 적중률로 명성을 얻은 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만 5000달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모았고, 그동안 쌓인 통계학과 예측의 노하우를 활용해, 정치 예측을 하는 블로그인 파이브서티에이트FiveThirtyEight.com를 2008년에 개설했다.
《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는, 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당신자 35명 전원을 맞혔다. 이 때문에 네이트 실버는 엄청난 유명세를 탔고 많은 사람들이 그의 예측에 주목하기 시작했다. 그러다 보니 2012년 미국의 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 그 뒤엔 여론조시기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 50개 주의 결괴를 모두 맞힌 그의 승리로 끝났다.
그가 대선 직전에 자신의 통계학과 예측 철학을 담아 출간한 《신호와 소음》 역시, 《뉴욕타임스》 15주 연속 베스트셀러에 오르고 (이마존 ‘올해의 책(논픽션부문)에 선정되는 등 슈퍼 베스트셀러가 되었다.
그 결과 네이트 실버와 함께 일하려는 매체들의 경쟁이 치열해졌고 그는 2013년에 결국 《뉴욕타임스 고위층의 만류에도 불구하고 ESPN으로 소속을 옮겼다.
그는 현재 ESPN뿐만 아니라 자매 채널인 ABC에서 정치, 경제, 스포츠 등 여러분야에서 자신만의 예측 비법을 펼쳐나가고 있으며, 정치인과 경제 전문가를비롯해 많은 사람들이 그의 예측 하나하나에 귀를 기울이고 있다.
예측이 실패하는 이유는 데이터의 부족이 아니다. 정보가 많다고 해서예측이 쉬워지는 것은 아니다. 정보가 하나둘 많아지면 오히려 불필요한소음의 양도 늘어난다는 점을 간과해선 안 된다. 《신호와 소음》은 넘치는정보에서 쓸모 있는 정보를 가려내기, 신호‘에서 소음‘을 제거해 의미를발견하는 것의 중요성을 역설한다.
현재 빅 데이터big data‘ 라는 용어는 첨단 유행어다. 우리는 지금 날마다.
2.5퀸틸리언quintillion(조의 1만 배, 100경 -옮긴이) 바이트나 되는 자료를생산하고 있다고 IBM은 추정한다. 그런데 이 중 90퍼센트는 최근 2년 동안 생산된 자료라고 한다.
월드와이드웹www 같은 복잡한 체계는 이 같은 속성이 있다. 복잡한체계는 단순한 체계보다야 오류가 덜 생기겠지만, 생겼다 하면 엄청난낭패를 초래한다. 자본주의와 인터넷은 정보를 확산하는 데 믿을 수 없으리만큼 효율성 있는 기제라서, 좋은 생각뿐 아니라 나쁜 생각 또한 빠르게 퍼트릴 잠재력이 있다. 나쁜 생각들은 불균형 효과disproportionateeffect를 유발할 수 있다. 금융위기 이전에 세계의 경제체제가 워낙 고도로편향되어 있던 바람에, 신용평가기관이 가동하는 모델들이 가정을 단 하나만 느슨하게 설정한다더라도 이 가정이 전 세계의 경제체제를 무너뜨릴 수 있을 정도였다.
|