데이터가 지배하는 세상에서 귀를 쫑긋 세우고 살아남는 방법

신호와 소음 - 불확실성 시대, 미래를 포착하는 예측의 비밀, 개정판
네이트 실버 지음, 이경식 옮김 / 더퀘스트 / 2021년 1월

신호와 소음 : 데이터가 지배하는 세상에서 귀를 쫑긋 세우고 살아남는 방법

 

숫자라는 데이터가 무서운 점은 양이 늘어날 수록 과거의 경험으로 미래를 예측할 수 있는 확률이 점점 늘어난다는 사실이다.

적은 수의 숫자는 불규칙적인 현상으로 도출되므로 제한적인 가능성을 제시하는 수준이지만, 요즘 각광받는 빅 데이터는 예외 변수를 통제할 수 있을 정도의 집단성을 통한 대표성을 통계로 뽑아내는 수준에 이른다.

덕분에 구글의 검색 량만으로도 서울의 독감환자가 늘어나는 사항을 확인하여 시민들에게 예방접종을 알리는 선 경보 시스템이 구현될 수 있고, 노트북 구매 검색 량이 늘어나면 쇼핑몰 사업자들은 재고를 150% 확보하고 있다.

 

데이터는 숫자로 신호를 보내오고 먼저 빨리 감지하는 자는 미래에 대한 충분한 대비와 넉넉한 소득을 얻을 기회를 거머쥔다.

다만 반복되는 정보에서 걸러내야 하는 부분, 그리고 패턴이 변화되는 부분도 동시에 감지할 수 있어야 큰 변화는 물론 순간적인 변화에도 기민한 대처가 가능하다.

 

"기민함(agile)"은 어쩌면 이 시대 최고의 비즈니스 화두일지도 모르겠다.

신상품을 개발하여 시장에서 출시되기 전까지 단점을 보완하고 소비자 조사를 하다가 때를 놓치는 우를 범하지 말고 일단 출시한후 <기민하게> 고객의 불편함과 평가를 피드백 받아 <기민하게> 수정하여 다시 내놓은 Fast전략이 유효한 최근의 사업 동향을 보라.

 

당연하게도 데이터가 많을수록 쓰레기 정보도 늘어간다.

인터넷 바다에서 좌표를 잃고 표류하기 쉬운 세상이다. 엄청난 데이터의 홍수에서 유용한 정보보다는 오히려 해가 되거나 아무 의미 없는 정보가 떠다닌다. "소음"으로 표현되는 무의미한 정보들을 어떻게 걸러내는 프로세스를 만드느냐는 대기업부터 자영업자에게도 치명적인 결과를 피할 수 있는 방법이기도 하다.

 

무분별하게 생성되는 정보들에 치여 정작 할 일도 제대로 하지 못하다 곤란에 처하는 경우는 기업의 규모와 상관없이 자주 발생하는 일이다. 실무자들이 은근슬쩍 깊숙이 묻어 놔서 발견이 안될 뿐.

 

신호와 잡음을 감지하는 일은 일상생활 도처에서 필요하다. 평상시에 훈련이 되어 있어야 하고 중요성을 인식해야 한다. 수많은 리더들이 교육과 경험을 통해 복잡한 신호 속에서 바른 길을 찾기 위해 귀를 쫑긋 세우고 주시하고 있지만 보다 고차원적이고 체계적인 훈련과 사례분석을 하지 않고 서는 쉽게 판별할 수 없다. 통계학자들에게 조언을 구하고 실무와의 커뮤니케이션도 강화해야한다. 금융위기, 스포츠의 결과 예측, 날씨나 지구 온난화, 테러 등 수많은 영역에서 신호와 잡음이 들려온다. 책에 소개되는 다양한 사례에서 배워야 할 내용들에게서 우리는 어떤 인사이트를 얻어야 할 지 판단이 필요하다.

 

미래 예측을 위한 베이즈 정리는 어떻게 보면 뻔한 결말에 이르는 확률을 냉정한 인식과 구조적 사고를 통해 숫자로 뽑아내는 신통한 계산법을 알려준다.

 

3가지 변수 값으로 확률을 계산한다.

 

1.가설이 참인 조건 아래 확률 추정

2. 가설이 거짓인 조건 아래 확률 추정

3.사전확률 : 상황에 대한 직관인데, 사전확률 어떻게 설정하느냐에 따라 사후확률이 크게 달라지게 된다.

최근 정보에 가중치를 높게 주는 편향은 주의할 부분이다.

 

항상 확률적 결과와 실제 사이에는 간극이 발생하지만, 그래도 공식을 통해 도출된 확률은 현실적인 대처에 대한 경우의 수를 줄여줄 수 있기에 조금 더 나은 대응과 결과를 유도하기에 필요한 조치가 된다.

 

책의 내용을 간단하게 정리하면 이렇다.

 

예측을 잘하기 위해서는 정보에 대해 유연해야 한다. (신호)

정보 안에 갇혀 있으면 안된다. (소음)

 

결국 세상 모든 일이 그렇지만 이 두 가지 요소는 상충되는 듯 보일 수 있지만 결국 하나의 연대를 통해 밸런스를 맞춰야 한다는 이야기다.

어려운 일이지만 이렇게 하지 않으면 버틸 수 없는 세상이 왔다.

 

수많은 경고의 신호가 울렸지만 신호를 무시하거나, 인지하지 못하거나 소음에 정신이 팔린 결과가 어땠는지 우리는 잘 알고 있다.

나라가 망해버린 1997년의 IMF는 그 이후의 대한민국의 경제 상황을 송두리째 바꿔 놓았다.

성공적으로 IMF를 졸업했다고 우리는 자찬했지만, 사실 일본의 잃어버린 10년이 30년이 되었듯, IMF 이후의 대한민국은 그 이전과는 전혀 다른 존재가 되었다는 사실을 간과하면 안된다. 중산층이라는 안전보호막은 사라지고 고령화 사회에서도 마지막 숨을 거두는 순간까지 노동을 해야 하는 시대로의 전환이 되었음을 기억해야 한다.

위정자와 경제를 이끄는 지도자들에게 신호를 국민들도 보내야 한다.

 

통계로 세상을 예측하는 힘이 개인에게도 도움이 될 수 있다. 두꺼운 분량에 놀라지 말고 이 사실을 읽는 내내 떠올려야 한다.

 

*출판사에서 도서를 제공받았습니다.