[빅데이터의 충격] 거대한 데이터의 파도가 사업 전략을 바꾸게 된다는 것을 말하고 있다.

빅데이터의 충격 - 거대한 데이터의 파도가 사업 전략을 바꾼다!
시로타 마코토 지음, 김성재 옮김, 한석주 감수 / 한빛미디어 / 2013년 1월

[빅데이터의 충격] 거대한 데이터의 파도가 사업 전략을 바꾸게 된다는 것을 말하고 있다.

빅데이터가 가져온 충격의 본질을 이해해야 한다는 것을 말해주는 책이다. 이책은 '2012년 한일 IT세미나'를 통한 논의의 내용을 더 성숙시킨 저자의 고민을 담아내고 있다고 말하고 있다. 넓은 의미의 빅데이터라고 하는 것은 대용량의 데이터들을 가치있는 지식과 통찰로 바꾸는 모든 범주들을 말하고 있다. 특히 여기에서 중요한 것은 가장 큰 비중을 가지고 있는 비정형데이터가 중심이 되고 있다는 것이다. 또한 기존의 대기업 들을 중심으로 진행되는 것이 아니라 소셜미디어기업을 중심으로 진행되고 있다는 사실이다. 특히 미국은 '데이터는 새로운 석유다'라는 말을 할 정도로 이 분야를 중요하게 생각하고 있다. 

빅데이터는 3V(양,다양성,속도)의 측면에서 관리가 힘든 데이터를 말한다. 현재 관련기술은 하둡, NoSQL, 기계학습, 통계분석 등이 사용되고 있다. 특히 하드웨어의 성능은 향상되고 소프트웨어의 처리가 빨려졌다는 상황과 클라우드 시스템의 도입이 이 분야를 빠르게 발전시키는 요인이다. 특히 구글의 만든 맵리듀스를 구현한 하둡의 프로그램과 스키마정의를 단순화시키는 NoSQL은 관련 기업을 빠르게 발전시키는 요인이다. 하둡의 처리방식과 NoSQL과 결합하여 스트림데이터처리의 방식은 실시간처리를 가능하게 하여 기술적발전을 향상시키고 있다. 

현재 이러한 빅데이터를 잘 활용하는 기업은 구글이나 아마존, 링크드인, 페이스북, 넷블릭스, 이베이 등이다. 일반 기업의 활용 예를 들어보면 굴삭기업체인 코마츠가 굴삭기의 GPS정보를 결합하여 관리하는 형태, 리쿠르트가 IT부서와 마케팅팀을 결합하여 온라인미래전략사업을 만들어내고 있는 모습이나 GREE가 데이터와 결합하여 소셜게임전략을 성공의 예, 맥도널드가 쿠폰을 1:1마케팅을 통해 발행하는 예들이다. 

현재 빅데이터의 활용 예는 고객의 성향을 분석하여 상품이나 서비스를 추천하거나 행동마케팅을 통한 광고, GPS마케팅, 부정사용예의 검출, 고객이탈분석, 고장의 예측, 이상의 검출, 서비스개선, 차량정체 예측, 전력수요 예측, 감기 등의 질병예측, 주식시장의 예측, 연료비용의 최적화 등이다. 빅데이터의 주요 패턴은 과거와 현재의 현상을 분석하여 패턴화함으로서 새로운 상황을 예측하여 그 상황에 맞는 행동을 만들어내는 것이다. 

현재 빅데이터와 관련하여 문제가 되는 상황은 개인정보의 유출에 대한 문제이다. 온라인의 계정에 대해 잊혀질 권리를 보장하는 것, 명확한 동의, 데이터 이동에 대한 책임, 책임있는 설명 등이다. 여기에서 가장 중요한 것은 개인의 정보에 대한 투명한 사용과 더불어 고객과의 소통을 통해 접점을 찾는 일이다. 이것과 관련하여 중요한 시장이 LOD(Linked Open Data)시장이다. 오픈데이터의 활용을 통한 새로운 가능성은 열린 정부의 탄생과 새로운 데이터마켓플레이스의 등장이다. 

 

앞으로 빅데이터 시장이 성장할 것은 당연하다. 이 시장에서 중요한 역할을 하는 사람이 데이터분석가와 오프라인의 접점에서 데이터를 만들어내는 데이터어그리게이터이다. 이 부분의 설정을 어떻게 하느냐가 향후 빅데이터사업자의 중요한 승부가 될 것이다.

빅데이터산업의 성장에 걸림돌은 관련 기술자의 확보이다. 이미 이러한 기술자를 양성하기 위해 미국에서는 대학원과정을 만드는 등 발빠른 대처를 하고 있다. 빅데이터기술자에게 필요한 기술은 컴퓨터공학, 수학,통계,데이터마이닝, 데이터가시화등 관련기술뿐만이 아니라 소통의 능력, 기업가정신, 호기심 등 부가적인 능력도 가져야 한다. 데이터주도형기업이 앞으로 새로운 시장을 선도할 것이라는 너무나도 당연한 사실이 되고 있는 것이다.

빅데이터시장을 생각하는 기업들이나 개인들에게 매우 유익한 책이다. 현재의 기술동향과 발전방향뿐만이 아니라 관련산업의 문제까지 지적한 이 책은 많은 관련자들에게 유익함을 가져다 줄 것이다. 특히 한일양국 IT산업의 분석을 통해 폭넓은 시각을 갖게 한다는 의미도 가지고 있다.