-
-
세상을 읽는 새로운 언어, 빅데이터 - 미래를 혁신하는 빅데이터의 모든 것 ㅣ 서가명강 시리즈 6
조성준 지음 / 21세기북스 / 2019년 8월
평점 :
빅데이터 수없이 들어본 단어이다. 내가 굳이 알려고 하지 않아도 수시로 알게 모르게 듣게 되고 말하게 되는 단어 중 하나이다. 막상 빅데이터를 설명하자고 하면 쉽게 설명할 수가 없다. 추상적인 개념 정도로 알고는 있지만 구체적으로 무엇이라고 말할 정도의 수준으로 빅데이터를 알고 있지 못한 것이다. 그런 궁금증에서 이 책을 보게 되었다. 조금 더 구체적으로 빅데이터에 대해서 알고 싶은 마음으로 말이다.
빅데이터라 함은 일반적으로 데이터의 양(volume), 데이터의 생성 속도(velocity), 데이터의 다양성(variety) 세 가지 요소를 말한다고 한다. 그래서 첫 영문자를 따서 ‘VVV’, 즉 3V라고도 한다. 데이터의 양에 대한 개념으로 양의 기준은 상대적이며 기존의 설비로 감당하기 어려운 정도의 양이면 많다고 할 수 있겠다.
데이터의 생성 속도와 다양성의 개념은 많은 정보들이 다양하게 생성되고 있다는 의미인데 카드 결제정보, 내비게이션 이동정보, 영화평, 제품 사용후기, 보고서, 기안서, 연설문, CCTV 영상, 블랙박스 영상, 인터넷 접속정보, 구매이력등 찾아보면 끝도 없이 다양한 정보들이 실시간으로 생성되고 있고 특정한 경우 실시간으로 분석되고 있다는 것이다. 이렇게 수 많은 데이터들이 쏟아지고 있다. 문제는 이러한 데이터를 처리해야 하는데 그것을 감내할 기계들의 성능이 필요한 것이다. 10년 전만 해도 사실 빅데이터를 처리함에 하드웨어의 성능 및 가격 때문에 빅데이터를 처리하는 효용이 낮았지만 현재는 빅데이터를 이용함에 있어서 상대적으로 효용가치가 만들어지고 있다고 한다.
빅데이터를 활용하기 위해선 단순히 데이터를 수집하고 분석하는 것만으로는 불가능하고 그것을 처리할 수 있는 기계와 함께 발달해야 한다는 것이 저자의 말이다. 단순히 빅데이터를 소프트웨어적인 관점에서 바라볼 것이 아니라 하드웨어의 성능이 빅데이터를 처리할 수 있는 수준에 도달해야 의미 있는 빅데이터 활용이 가능하다는 것이다. 빅데이터 활용의 기본적인 준비는 빅데이터의 수집, 그리고 그것을 처리할 성능을 갖춘 하드웨어가 구비된다면 그다음에 필요한 요소는 무엇인지 저자는 말한다.
빅데이터는 정제되지 못한 데이터이다. 인간의 활동에서 생성되는 특별한 가치가 없는 쌓여지는 데이터일 뿐이다. 개별적인 데이터는 의미가 없지만 일정량 이상의 데이터가 쌓이고 그것을 의미 있게 분류를 해내면 가치 있는 데이터를 추출할 수 있다. 그렇다면 의미 있게 분류한다는 것은 어떻게 할 수 있을지에 대한 이야기를 한다. 무엇보다 효용가치가 있는 데이터를 추출해내기 위해선 무엇보다 인사이트 또는 통찰력이라고 하는 능력이 필요하다는 말을 한다.
예를 들어 카드회사는 카드결제정보가 지속적으로 쌓여 빅데이터를 쌓았다. 그 데이터에서 의미 있는 정보를 추출해야 한다. 경영진에서 프리미엄 카드 사용빈도를 높이기 위한 방법을 구상한다고 한다면 카드결제정보를 어떤 식으로 분류하고 분석해야 프리미엄 카드의 사용빈도를 높일 수 있을 것인지는 빅데이터에 관한 인사이트 및 카드를 사용하는 인간들의 사용패턴에 대한 통찰력 모두를 가져야 분석이 가능할 것이다. 이 두 가지 모두의 통찰력을 가진 자는 현실에서 찾기 어렵다. 그래서 데이터 분석가, 데이터 사이언티스트라는 직업을 말한다. 데이터 사이언티스트의 통찰력과 경영진의 통찰력이 잘 조화가 되어야 실질적인 가치를 만들어 갈 수 있다고 말한다.
결국 빅데이터는 기술발전과정에서 거스를 수 없는 하나의 요소이다. 빅데이터를 대하는 태도 및 그것을 활용할 수 있는 방안에 대해서 고민해보고 실질적 의사 결정권자들이 자신들의 노하우와 상반되는 예측을 하는 빅데이터 분석이 도출된다면 어떻게 적용할 수 있을지에 대한 현장에서의 고민에 대한 이야기들을 들을 수 있어서 좋았다. 기술의 가치는 사람의 활용도에 따라 변한다.