빅데이터의 한계는?

여기에 당신의 욕망이 보인다 - 빅 데이터에서 찾아낸 70억 욕망의 지도
송길영 지음 / 쌤앤파커스 / 2012년 11월

빅데이터 분석에 대해 생각할 바를 많이 제공하는 좋은 책이다. 다만 이 책은 빅데이터 자체의 한계(혹은 빅데이터 분석의 한계?)에 대해서는 언급하고 있지 않아 아쉽다.

빅데이터가 가지고 있는 한계는 소비능력과 데이터 생산량 사이의 불균형이다. 예를 들어 소비자로서는 한 대의 자동차를 사지만 데이터는 수십, 수백 명 만큼의 분량을 만들어 낼 수 있다. 소비자 중 일부가 온라인에 자신이 소비할 수 있는 분량 이상의 글을 쓰면 분석할 빅데이터 자체가 왜곡되어 분석 결과도 실제 여론과는 차이가 생긴다. 이것은 빅데이터의 한계이자 빅데이터 분석의 난점일텐데 이 책에는 이렇다 할 설명이 없다.

빅데이터의 또 다른 한계는 온라인의 글을 쓰는 사람의 심리에서 데이터 왜곡이 발생한다는 점이다. 온라인에 글을 쓰는 사람은 누군가엔가 자신을 표현하려는 욕망을 가지고 있어서 알게 모르게 과대포장하는 경향이 있는데, 빅데이터 분석은 이 점을 지나치기 쉽다. 즉, 온라인의 글은 그래서 잘 알지 못하는 것을 잘 아는 것처럼, 잘 아는 것은 실제보다 과장해서 쓰는 경우가 많고 아예 모르는 것에 대해서는 관심이 있더라도 잘 쓰지 않는다.

이 책의 저자는, 예전의 캠핑은 멋있고 섹시한 것이었으나 요즘의 캠핑은 즐거운 것이라고 한다(225쪽 이하). 캠핑에 대한 대중의 인식 내지 트렌드가 변했다는 것이다. 정말 그럴까? 캠핑을 즐기지 않는 90% 사람은 여전히 캠핑을 즐겁다기 보다 멋지다고 생각한다. 하지만 이들은 온라인에 캠핑에 대한 글을 쓰지 않기에 빅데이터 분석에 반영되지 않는다. 빅데이터가 분석하는 글은 캠핑을 즐기는 10% 사람이 쓴 것이다. 그런데 그들은 캠핑이 아이들 때문에 괴로웠더라도, 아이가 떼를 써서 다시는 캠핑을 가기 싫었다고 쓸 수 없으니, 트위터와 블로그에는 즐거운 캠핑이었다고 쓰기 마련이다. 빅데이터 분석으로 이런 왜곡을 어떻게 보정할 것인지, 보정할 수는 있는지 의문이다.

이 두 가지에 대한 언급과 해결방법에 대한 설명이 없다는 점에서 이 책은 빅데이터 분석에 대한 완전히 객관적인 책은 아니며, 빅데이터 분석 산업을 활성화하기 위한 책, 다시 말해 저자가 소속되어 있는 다음소프트 등의 빅데이터 분석회사의 마케팅을 위한 책으로 봐야겠다.