도대체 빅데이터를 어떻게 이용한다는 거야?

빅데이터를 지배하는 통계의 힘 : 입문 편 - 통계학이 최강의 학문이다 ㅣ 빅데이터를 지배하는 통계의 힘 시리즈
니시우치 히로무 지음, 신현호 옮김 / 비전비엔피(비전코리아,애플북스) / 2013년 7월

요즘의 화두는 빅데이터다.

나도 요즘 데이터양이 엄청 증가한다는 것은 알고 있고 그것을 데이터베이스화해 효율적으로 사용한다는 것도 알고 있었다.

그래서 빅데이터가 어떻게 이용될 수 있는지 알기 위해 <빅데이터가 만드는 세상>이라는 책을 읽게 되었다.

책은 두꺼웠지만 초심자가 빅데이터가 무엇인지 파악하기에 적절한 내용을 다루고 있어 흡족했다.

책의 본문을 인용하자면...

"빅 데이터란 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 새로운 형태의 가치를 추출해내는 일이다. 그리고 이 과정에서 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일이다. 하지만 이것은 시작에 불과하다. 빅 데이터 시대는 우리가 사는 방식, 세상과 소통하는 방식에 도전한다. 그중에서도 가장 두드러진 부분은 사회가 인과성cauality에 대한 그동안의 집착을 일부 포기하고 단순한 상관성correlation에 만족해야 할 것이라는 점이다. 즉 '이유'는 모른 채 '결론'만 알게 되는 것이다. 이것은 수백 년간 이어져온 관행을 뒤집는 일이며, 우리는 의사 결정 방식이나 현실에 대한 이해 방식을 아주 기초적인 부분부터 다시 생각해야 할지도 모른다." -19

책의 내용은 위에 인용한 부분에 집약되어 있었다. 그것을 풀어주는 것이 이 책의 내용이다. 

하지만 그 많은 사례들을 다루면서 이해를 높여줌에도

어떻게 빅데이터를 가공하여 그런 결과를 도출해내었는지 알 수 없었다.

그 과정이 무지 궁금해지기 시작했다. 어떻게 그런 결과가 나오게 된거야?

누구에게라도 묻고 싶은 심정이었다. 궁금한 걸 참지 못하는 성격이라서...

그러다 만나게 된 책이 <빅데이터를 지배하는 통계의 힘>이었다.

그러나 데이터를 가공하려면 통계학에 대한 기초지식이 있어야하지...

읽기 전부터 걱정되기 시작했다.

숫자가 많이 나오면 머리에 쥐가 나고 전공자들처럼 알아듣지 못해 어렵지는 않을까 싶어서...

예상대로 어느정도 어려웠다.

하지만 이해하기 어려운 정도는 아니었다. (어려운 용어들에 대한 설명은 여러번 읽어둔다면 기억에서 사라지지 않을 정도)

그리고 이 책의 유익한 점은 사례별로 어떤 방식을 사용하여 데이터를 가공하는 것이 유리한지 초보자들도 노력만한다면 알 수 있다는 것이다. 그리고 그런 방식으로 접근하지 않아도 차례대로 읽기만 해도 기초적인 통계학지식과 우리의 화두인 빅데이터를 가공할 수 있는 방법들을 맛 볼수있다는 점이다. 간단한 예로 월마트에서 빅데이터를 통해 얻어낸 결과인 <기저귀와 맥주>의 상관관계에 대한 분석마저 상세히 나와 있었다. (그전에는 기저귀와 맥주의 관계가 그저 신기하긴 했지만 어떤 수치를 통해 그런 결과를 도출해냈는지 알지 못했었다.) 

지금까지의 빅데이터에 대한 개론서들은 흐름과 현상에 대해서만 알려주었지만

이 책은 빅데이터가 실질적으로 어떻게 이용되는지 상세히 알려준 책이라 달랐다. 

마치 소경이 눈을 떠서 빅데이터의 실체를 본 것만 같았다.

그리고 피상적으로 알고 있었던 빅데이터를 실제 삶에서 응용할 수 있을 것만 같았다.

빅데이터를 가공하는 법을 더 깊게 알고자 하는 사람들에게 적극 추천하고 싶다.