빅데이터, 승리의 과학

빅데이터, 승리의 과학 - 빅데이터는 당신이 무엇을 선택할지 알고 있다
고한석 지음 / 이지스퍼블리싱 / 2013년 4월

6월에 대학원 선배와 같이 컨퍼런스에 참석할 예정인데, 문득 이 책을 읽고 발전 방향에 대한 아이디어가 떠올랐다. 발표 논문은 음원 분석에 대한 내용인데, 샘플링 데이터의 수가 많지 않았기 때문에, 많은 데이터 즉, 빅데이터를 활용하면 조금 더 의미있는 자료, 아니면 신뢰성이 높은 자료가 나올 수 있겠다는 생각이 들었기 때문이다. < 빅데이터 승리의 과학 >(이코노미스트, 2013)은 빅데이터를 활용한 대선 성공을 매우 심도있게 다루고 있는데 매우 좋은 인사이트를 제공하기 때문에 강연까지 챙겨들은 책이다. 빅데이터 기술을 다들 보유하고 있지만 어떻게 활용할지에 대해서는 아직 다양화되지 못한 시점에서 발빠르게 선점할 수 있는 좋은 분야이다. 2013년이 단연 빅데이터의 시대로 보이고, 내년에는 성장기를 맞이할 것으로 전망되는 가운데, 개인적으로도 빅데이터를 다루는 툴을 운영해보고 있으나 아직은 서툴다. 저자의 말대로 빅데이터가 의미를 갖기 위해서는 기술도 중요하지만 통찰력을 통해 어떻게 활용할까가 중요하다. 오바마 대선 사례를 통해 정말 많은 아이디어를 얻을 수 있다는게 이 책의 최대 장점이다.

[데이터 분석팀의 수석 과학자인 라이드 가니는 한 인터뷰에서 "우리는 다양한 접근방식을 실험하였고 각기 다른 모델을 위해 다른 방법론을 사용하였다. 예를 들면 회기분석, SVM(Support Vector Machine), 군집분석, 그래프 분석(네트워크 분석, 노드 분석이라고도 한다), 의사 결정 나무(decision tree) 기법 등을 사용하였다."고 말했다.] 127p

빅데이터 기술은 실시간 데이터 흐름이나 대용량 데이터베이스를 효율적으로 처리하는 기술이 주이며, 결국은 통계 관련 분석 방법으로 의미있는 자료 도출이 가능한 영역이라 할 수 있다. 따라서 통계적 지식과 최신 기술을 활용할 수 있는 응용력, 어떻게 의미를 찾을 수 있을까라는 창의력이 결합되어야 성공할 수 있는 분야이다. 일반적으로 전자공학을 전공하면 이 세가지를 모두 활용할 수 있는데, 단편적인 학습만 했다면, 창의성이 부족해 제대로 보는 눈을 갖기 힘들 것이다. 지금의 대학생들이 과연 이를 생각할 수 있을까가 걱정되지만, 대학에서는 이미 연구를 하고 있으리라 기대되고, 기업에서도 관련 제품이 상용화되고 있기 때문에 개인적으로도 분발하고 싶다.

그런데 도서에서 주목할 점은 개인정보에 대한 공개 문제도 누락하지 않았다는 것이다. 개인들의 직접 식별정보나 간접 식별정보를 분석해 온라인 뿐만아니라 오프라인으로도 접근했다는 것이다. 빅데이터가 아닌 빅브러더가 되었다는 문제가 제기되었고, 또한 사람은 오프라인 접근에 대해서 상당히 감정적으로 반응할 수 밖에 없다는 증명을 이루어낸 셈이다. 다행이도 국내에는 정보 수집에 대한 활용 방식이 동의가 이루어진 후에 사용되도록 되어있지만, 이미 개인정보 유출이 심하고, 자의적 동의보다는 임의적 동의가 만연하고 있어 안심하고만 있을 수는 없다. 도서의 사례가 좋은 방향으로만 사용된다면 문제 없겠지만, 다단계, 사이비 종교의 홍보 전략으로 사용된다면 매우 위험한 지경에 이를 수 있다는 예측도 가능하다.

[데이터 리더십이란 모든 의사결정에 데이터 분석을 강조하는 것이다. 그렇다고 리더가 회귀분석이나 데이터 마이닝 같은 분석 기법에 능통해야 한다는 말은 아니다. 데이터 리더는 분석한 결과로 나온 수치가 무엇을 의미하는지 이해할 수 있고 그것을 전략에 어떻게 응용할 수 있는지만 알면 된다. 데이터 리더십은 오히려 자신보다 똑똑한 데이터 분석가들을 많이 채용하여 적재적소에 배치하는 것에서 발휘된다.] 270p

지금 시간이 없다는 핑계로 빅데이터 툴을 활용한 분석을 진행하고 있지 못하고 있다. 무한한 데이터와 도전과제들이 기다리고 있는데, 착수하고 있지 못한 것에 대해 계속 늦고 있다고 생각하고 있다. 하지만 아직 기획이 덜 끝난 상태로 생각해볼 수도 있다. 명확한 시나리오와 계획이 나오면 거침없이 해당 기술을 활용한 멋진 결과를 도출할 수 있을 거라 기대한다. 도서는 너무 기술에 치우치지않고 매우 좋은 정보와 사례를 제공한다. 후반부에 분석팀 구조도까지 제공해 스타트업이나 TFT에서 이를 참고해 팀을 구성할 수 있도록 돕는다. 조만간 다가올 빅데이터 활용 시대를 준비하기 위한 필독서로 영순위가 되지 않을까 한다.

www.weceo.org