[리뷰] 신호와 소음 : 신뢰성과 타당성 그리고 베이즈 정리

신호와 소음 - 미래는 어떻게 당신 손에 잡히는가
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2014년 7월

 이 책은 모든 것이 교차하는 지점에 놓여 있는 예측을 다루는 책이다. 우리가 지금보다 조금 더 통찰력을 가질 수 있어서 실수를 조금이라도 덜할 수 있다면 얼마나 좋을까. 이 책은 이런 물음에 대한 고민이다(p13)... 신호는 진리다. 소음은 우리가 진리에 다가서지 못하게끔 우리의 정신을 산만하게 한다. The signal is the truth. The noise is what distracts us from the truth. 이 책은 이들에 관한 이야기다.  

 _ 네이트 실버, <신호와 소음>, p36 

 네이트 실버(Nate Silver)의 <신호와 소음 The Signal and the Noise: Why So Many Predictions Fail ? but Some Don't>은 미래 예측과 예측을 위한 강력한 도구 베이즈 정리(Bayes' theorem)에 대한 내용이 담긴 책이다. 예측을 위해 우리는 신호와 소음을 구별할 수 있어야 한다. 저자는 본문에서 신호(signal)는 진리(truth)로, 소음(noise)은 우리가 진리에 다가서지 못하도록 방해하는 것이라 정의한다. 문제는 진리가 옳거나(true), 소음이 절대적으로 틀린 것(false)은 아니라는 점이다. 여기서 진리는 절대적 진리가 아닌 상대적 적합성에 따른 진리일 뿐이다. 어쩌면 우리에게 펼쳐진 수많은 정보는 각각 저마다 의미있는 데이터, 파편일 수 있다. 이런 점에서 사실의 나열 대신 의미있는 데이터의 선별은 정확한 예측의 출발점이라 하겠다. 

 이 책이 설정하는 중심 전제는, 더 정확한 예측을 하고자 한다면 지금 내리는 판단이 잘못된 것일 수 있음을 먼저 인정해야 한다는 점이다. 여러 시장은 우리의 총체적 판단이 반영된 것인 만큼 그 시장들 역시 잘못되었을 수 있다. 사실, 시장을 통해 완벽한 예측을 한다는 건 논리적으로도 모순이다. _ 네이트 실버, <신호와 소음>, p493

 이 지점에서 언급되는 것이 베이즈 정리다. 정확한 예측을 위한 도구로서 사전확률로부터 사후확률의 도출. 수많은 데이터를 통해 얻어낼 수 있는 확률데이터와 의사결정을 위한 데이터는 구별되어야 한다는 베이즈 정리를 통해, 저자가 강조하는 것은 데이터의 수집이 아닌 해석이다. 사전 확률에서 사후 확률로 변환하는 과정에서 등장하는 새로운 사건(event)에 대한 의미부여는 우리의 행동에 타당성(validity)을 부여한다. 그렇지만, 타당성은 주관적 합리성을 보장해주지만, 객관적 합리성까지 보장하는 것은 아니다. 타당하면서도 신뢰성(reliability)있는 데이터와 결론을 도출하기 위해서 우리에게 필요한 것은 바로 보편과 상식에 부합하는 가치관이다. 

 베이즈 정리의 철학적 토대는 놀라우리만큼 풍부하지만, 그 수학적 형식은 굉장히 간단하다. 가장 기본적인 형태로 보자면, 베이즈 정리는 알려진 3개 변수와 알려지지 않은 1개  변수가 동원된 대수적 표현이다. 하지만 이 간단한 공식이 우리를 엄청나게 거대한 통찰력으로 이끌어준다. 베이즈 정리는 조건부확률 conditional probability과 관련이 있다. 즉, 어떤 사건이 일어났다는 전제 아래 이론이나 가설이 참이나 거짓일 확률을 따진다는 말이다. _ 네이트 실버, <신호와 소음>, p365 

 수많은 빅데이터(Big data) 속에서 숨겨진 의미를 발굴하는 데이터 마이닝(Data Mining)을 위해서 우리에게 필요한 것은 보편적 기준에 부합하는 해석 능력이라 할 것이다. 저자 네이트 실버는 <신호와 소음>의 수많은 예시를 통해 이러한 원리가 우리 삶에 얼마나 밀접하게 적용될 수 있는가를 말한다. 개인적으로 <신호와 소음> 속에서 우리나라 언론이 만들어 내는 수많은 소음에 대해 생각하게 된다. 수많은 단순 사실(심지어는 거짓사실)을 나열하면서 공익(公益)에 대한 올바른 신호 대신 소음을 만들어내는 우리나라의 언론 현실을 떠올리며, 저마다의 신념 타당성에 기반한 행동이 사회 전체적 관점에서 신뢰성있는 결과로 이어지길 기원해본다... 

 당신이 경제 예측의 도움을 받고 싶다면, 유명한 경제 전문가의 예측 하나가 아니라 여러 사람의 평균적 예측이나 총합적 예측에 눈을 돌려야 한다. 총합적 예측 aggregate forecast이 특정 개인의 예측보다 GDP 성장률 예측에서는 20퍼센트, 실업률 예측에서는 10퍼센트, 인플레이션 예측에서는 30퍼센트 더 정확했다. 집단의 예측이 개인의 예측보다 더 낫다는 사실은 연구가 진행된 거의 모든 분야에서 이미 증명된 진실이다. _ 네이트 실버, <신호와 소음>, p298

순수한 객관성은 바람직하긴 하지만 이 세상에서 그러한 객관성을 획득할 수는 없다. 우리는 예측을 할 때 여러 방법론 가운데서 하나를 선택한다. 이들 방법론 가운데 몇몇은 여론조사 같은 순전히 계량적 변수만 고려한다. 반면, 와서먼이 동원하는 접근법들은 계량적 변수 또한 함께 고려하기도 한다. 하지만 어떤 방법론이건 간에 예측가가 하게 되는 판단과 가설 설정을 낳는다. 인간의 판단이 개재되는 곳에는 언제나 편향이 있게 마련이다. - P119

베이즈 정리에서 유용한 결과를 얻어내려면, 여기에 정보 특히 사전확률 추정치를 입력해야 한다. 베이즈 정리는 또한 우리 주변 세상에 대해, 특히 사람들이 확률이나 가능성의 문제로 좀처럼 생각지 않는 문제들까지 확률적으로 생각하라고 요구한다. 그렇다고 세상은 본질상 ‘형이상학적으로‘ 불확실하다는 의미를 담은 건 아니다. - P373

우리가 지식이 불완전하다는 점 때문에 예측을 아예 하지 않는다면, 오히려 문제가 발생한다. ‘알려지지 않은 미지‘의 사건은 우리가 생각조차 하지 않는 일이다. 우리는 여기에 정신적 저항감을 가지거나, 아니면 경험이 부족해서 쉽게 상상하지 못한다. 그렇기에 우리는 그런 사건은 세상에 존재하지 않고 앞으로도 없을 것으로 생각한다. 이런 점이 특히 심각한 위험을 야기한다 - P614

정보량은 기하급수적으로 늘어나고 있다. 그러나 유용한 정보는 상대적으로 적다. 즉, 소음에 대한 신호의 비율이 점점 작아지고 있다. 우리에게는 이 둘을 구분할 수 있는 더 나은 방법이 필요하다. 중요한 것은 ‘우리가 아는 것‘이 아니라 ‘우리가 아는 것과 우리가 안다고 생각하는 것 사이의 차이‘다. 이 책은 지금까지, 이 둘 사이의 간극을 좁힐 수 있는 방법을 제안한다. 처음엔 도약을 크게 하고 그 다음부터는 작은 발걸음을 부지런히 놀려라. ‘큰 도약‘이란 바로 예측과 확률에 대해 베이즈주의적으로 생각하는 것이다. - P650