슈퍼크런처

슈퍼크런처 - 불확실한 미래를 데이터로 꿰뚫는 힘
이언 에어즈 지음, 안진환 옮김 / 북하우스 / 2009년 3월

세상은 항상 이원적인 구조로 움직이는 것 같다. 하나는 요즘 세상에서 중요시 여기는 창조력이다. 그리고 또 하나는 논리성인데, 회사든 학교이든 모두가 창조력과 상상력을 강화시키겠다고 떠들썩한 상황에서 인간머리의 지력이 아닌 컴퓨터를 활용한 숫자분석이 중요하다고 주장하는 사람이 있다. 쉽게 말하면 판단하기 상황들을 정확한 정보도 없이 머리만 같고 판단하지 말고 실제 현장에서 얻어진 자료를 통해 결론을 내리라는 것이다.

이 책을 보면 오랜 시간동안 와인을 감정하면서 그 바닥에서 도가 튼 사람들, 우수한 선수를 스카웃하는 것을 업으로 한 평생 살아온 사람들이 컴퓨터의 예측프로그램에 완패당하는 이야기가 나온다. 그들이 알고 있는 지식보다 더 방대한 지식과 정보를 한 곳에 모아놓고 이들을 회귀분석공식을 통해 분석하면 그들의 예상보다 더 정확하게 미래예측을 해 낼 수 있다는 것이다. 물론 회귀분석 공식은 인간이 만든다는 가정 하에서.

저자는 이와 같은 정확성의 이유를 두 가지로 들고 있다. 하나는 방대한 자료, 즉 테라바이트의 수준을 넘어 페타바이트(1,000테라바이트)의 데이터를 갖고 분석을 하게 되면 인간의 머리로는 상상할 수 없는 고도로 정확한 예측 값을 도출할 수 있다는 것이다. 이는 통계를 조금만 아는 사람이라면 능히 가능하고도 남을 일이라고 말할 수 있는 상황이다.

또 하나는 무작위추출에 의한 검사다. 숫자가 얼마 안 되는 자료나 모집단에서는 무작위추출이란 것이 큰 힘을 발휘하지 못하지만, 위에서 말한 수준의 엄청난 자료에서 무작위추출한 표본이라면 이는 거의 모집단을 정확하게 설명한다고 규정지을 수 있기 때문이다.

저자는 이와 같은 상황 속에서 인간의 두뇌가 가진 역할은 상상력과 착안이라는 측면에서는 아직도 유효하지만, 자료에 근거한, 즉 기준을 설정하고 그들 간의 관계를 도출함으로써 결론을 얻는 일에서는 컴퓨터의 분석능력을 따라갈 수 없다고 한다. 특히 컴퓨터의 단점이자 장점인 감정이 없다는 것이 이를 더욱 공고히 한다는 것이다.

이들은 오로지 주어진 자료를 갖고 프로그램 된 대로 분석하여 결과를 도출할 뿐이며 선입관이나 감정이나 편견은 존재하지 않는다. 그러다보니 결과 자체가 무척 객관적일 수밖에 없다. 물론 어떤 것을 분석할 것인지, 어떤 내용을 비교할 것인지는 당연히 인간 머리 속에서 나와야 하겠지만 말이다.

책을 읽다보면 이제 세상에서 전문가는 없어져야 하는 게 아닌가 하는 두려움이 생기기도 한다. 실상 과거에는 전문가 중에서도 전문가처럼 보였던 의사의 모습을 상기해 보라. 요즘에는 환자가 의사보다 더 많은 것을 아는 경우도 있고, 의사의 진단이 잘못 되어 병을 키우는 경우도 종종 발생한다. 왜냐하면 의사 역시 자신의 경험, 학교나 현장에서 배운 지식을 통해 진단을 하는데, 이와 같은 지식이 한계가 있기 때문이다.

하지만 지구상에 존재하는 무수히 많은 의료정보와 사례를 한 곳에 모아놓고 이들을 통해 진단한다고 생각해 보라. 복잡다단한 인간의 몸에서 생길 수 있는 수도 없는 다양한 증상을 나열해 놓고, 이들 간의 관련성을 확률로 분석한 자료가 진단한 결과가 더 정확할 수밖에 없지 않겠는가.  

저자는 이제 세상은 엄청난 자료를 통해 즉각적인 현상을 분석하는 슈퍼크런처 시대가 온다고 말한다. 사람이든 기업이든 항상 궁금한 것은 어떤 현상에 대한 예측인데 이런 것을 이들이 해 낼 수 있기 때문이다. 이들은 기업의 문제를 기존의 자료를 통해 순식간에, 그것도 개인적인 감이나 느낌이 아닌 명백한 자료에 근거해 “이런 결론이 나왔습니다.”라고 한다면 누가 그 말을 거부할 수 있겠는가.

저자는 컴퓨터와 저장 공간의 혁명에 따라 모아둔 자료를 삭제하고 새로운 자료를 저장할 필요가 없어졌으며, 이와 같은 현상은 슈퍼크런처의 출현을 더욱 부추기고 있다고 한다. 방대한 자료. 그것도 현장에서 모은 살아있는 자료들이 있다면 당연히 그것을 활용해 미래를 예측하고자 하는 욕구가 생길 수밖에 없다.

이제 세상은 두 군데에서 자라고 있는 것 같다. 하나는 인간만이 가진 감성이라는 놀라운 능력, 또 하나는 이와 같은 감성을 통해 찾아낸 가설을 검증해 줄 수 있는 자료중심의 합리적인 세상이다. 어찌 보면 상반된 개념 같지만 이 둘은 서로가 서로를 필요로 하는 동전의 양면인지도 모르겠다. 그리고 이런 세상은 나에게는 무척 즐거운 곳이다. 양 쪽 모두 나에게 무척 익숙한 부분들이기 때문이다.