빅데이터를 지배하는 통계의 힘

빅데이터를 지배하는 통계의 힘 : 입문 편 - 통계학이 최강의 학문이다 ㅣ 빅데이터를 지배하는 통계의 힘 시리즈
니시우치 히로무 지음, 신현호 옮김 / 비전비엔피(비전코리아,애플북스) / 2013년 7월

요즘 가장 핫한 용어가 빅데이터가 아닐까. 어느 순간 부터 빅데이터라는 용어가 들리기 시작하더니 지금은 너무나도 익숙한 말이 되어버렸다. 책에 따르면 빅데이터란 규모와 주기, 형식등이 너무 크고 복잡해 수집과 저장, 분석이 난해한 데이터를 일컷는다. 우리나라도 2013년 10대 트렌드를 발표하면서 이 빅데이터를 넣었다. 컴퓨터-인터넷-스마트폰으로 이어지는 통신문화의 급격한 발달로 인해 예전엔 정부기관, 기업 등등 큰 단체가 정보의 생산자였다면 이제는 개인이 모두 정보를 생산할 수 있게 되었다. 당신이 매일 사진찍고 글을 올리고 사이트에 접속하는것을 몃 십억 인구가 한다고 생각해 보라. 이런 빅데이터는 각 데이터 마다 속성이 다르고 많은 서버에 퍼져있어 그냥 놔두면 쓸모없는 0,1의 조합에 불과하지만 '효과적인 분석방법'을 통해 각 자료의 연결고리를 찾고 유용한 '정보'로 다가오게 된다. 이 효과적인 분석방법' 바로 '통계'이다.
결국 통계학적 사고를 가져야만 비지니스에서 우위를 차지 할수 있음을 뜻한다.
 통계에 대해 배우기 전에 먼저 중요한 개념 하나를 알고 가야한다. '리터러시'가 그것이다. 일반적으로 읽고 쓰는 능력을 가리키는 말이지만 여기서는 통계를 읽고 이용할 수 있는 기본능력을 말한다. 통계라고 하면 거창한것이 아니라 가까운 곳에서 부터 통계학적 사고를 하는것을 말한다. 결국 리터러시를 내 것으로 만들어야 많은 데이터를 분석해서 해답을 일끌어 내는 통계학적 추론이 가능하고 의사결정의 순간에도 합리적인 선택을 할 수 있어 비지니스 업무에서 성공할 수 있다고 한다.
 다음으로 중요한것은 경제성이다. 통계를 잘 모르는 사람은 무작위 표본 추출방식에 의문을 표한다. 저자는 이 부분을 과거 있었던 미국의 선거 조사를 예로 든다. 무작위 추출 방식을 사용해 정보를 모았을 당시 일각에선 믿을 수 없다는 의견이 있었다. 모든 표본을 조사해야 정확하다는 것이다. 단순히 생각해봐도 그 말이 틀리지 않는거 같다. 하지만 사실도 이와 같을까? 결론을 말하자면 '아니오' 다. 나중에 기술이 발전하 후 다시 조사를 했을경우 그당시의 결과와 크게 차이가 나지 않음을 알 수 있다. 만약 모든 표본을 조사하고자 했다면 막대한 자금과 시간, 노력이 필요했을 것이다. 때문에 우리는 그 약간의 오차때문에 잃는것이 너무나도 많다. 여기에서 정확한 정보도 중요하지만 그 정보를 얻는것이 과연 '이익'인가 또한 통계를 하는 사람은 항상 염두해 두어야 한다.
 얼마전 구글이 접소자들이 클릭하는 정보를 토대로 그 사람의 성향을 파악해 좋아할만한 기사만 보이게 하는 방식을 사용하다 네테즌의 큰 반발을 산 적도 있다. 이는 바로 빅데이터를 이용한 좋은 예이면서 이미 우리가 알게 모르게 데이터 전쟁이 벌어지고 있는것을 뜻한다. 이런 현실에 대응하기 위해 통계를 공부해 보려 하지만 통계학 이란 학문 자체가 쉽게 이해하기 어려운 측면도 있거니와 익숙하지 않은 용어들이 많기 때문에 처음 통계학을 접하는 하사람들은 많은 고생을 하는것이 사실이다. 이 책 또한 그냥 한 번 읽어서 이해될만큼 가벼운 내용은 아니다.하지만 다양한 예시와 도표, 그림을 통해 설명을 하고 있어 여타 통계학 책에 비해선 접근성이 높다고 평가한다. 이해안되는 부분은 차근차근 되짚어 보면서 읽는다면 통계적인 마인드를 기르는데 분명 도움이 되는 책이라 생각한다.