빅데이터, 경영을 바꾸다 - 빅데이터는 단순한 유행이 아니다

빅데이터, 경영을 바꾸다
함유근.채승병 지음 / 삼성경제연구소 / 2012년 8월

데이터를 다루는 직업을 가진 이상 빅데이터에 대해 무관심 할 수 없다. 어쩌면 조만간 빅데이터에 대해 모르는 것이 밥줄에 영향을 줄지도 모를 일이다. 이 책은 시중에 나와 있는 빅데이터 관련 서적 10여권 중 가장 내용이 알찼다. 서점에서 훑어보니 사례라든지 큰 맥락에 있어 대부분의 빅데이터 관련 책들은 유사한 부분이 꽤 있었다. 빅데이터가 과연 단순한 유행에 그칠 것인가에 대해 이 책은 결코 그렇지 않다고 말한다. 빅데이터를 활용하는 일이 하루아침에 되는 일이 아니기도 하지만 금방 식을 열기도 아닌것이다. 빅데이터의 등장으로 기존에 기업에서 활용하던 사내의 전통적인 재무 데이터나 사내외 문서화된 보고서 외에 고객의 소셜 미디어 활동이나 자사 웹사이트 이용 기록 등 좀 더 광범위한 비정형 데이터에 대해 관심이 쏠리게 되었다. 빅데이터에 대한 관심은 나날이 다르게 증가하고 있지만 아직 본격적인 빅데이터 분석을 통한 성과를 내고 있는 국내 기업은 없어보인다.

 

사실 이 책의 내용은 생각보다 방대하고 전문적인 지식이 있으면 좀 더 흥미롭게 볼 수 있을 정도로 수준이 높다. 그리고 빅데이터 이전에 우리의 데이터에 대한 인식과 기업들의 데이터 관리 수준을 파악하는 일이 우선이라는 중요한 포인트를 잘 지적하고 있다.  국내 기업들의 데이터 관리 수준은 결코 높지 않으며 그나마 금융권 정도가 데이터 거버넌스를 어느 정도 이룬 정도다. 아직도 많은 공기업, 대기업등은 기대수준에 미치지 못한다. 중소기업은 말할 것도 없다. 현실적으로 체계적인 데이터관리를 하려면 컨설팅 비용과 관련 인프라 구축에 상당한 돈이 든다. 분명 데이터에 대한 인식은 10년전이나 과거에 비해 많이 향상되었다. 데이터가 더이상 업무에서 나오는 부산물이 아니며 체계도 없이 쌓아놓기만 해서는 안된다는 것쯤은 많이 공감하고 있다. 새로운 기회를 가진 금덩어리일지도 모른다는 지금의 인식 정도는 아니지만 수년 전부터 많은 기업들은 데이터를 정확히 정의하고 데이터 품질에 공을 들이는 것이 업무효율과 경비 절감에 큰 도움이 된다는 사실을 많은 시행착오를 통해 이미 깨닫고 있다. 빅데이터도 장기간에 걸친 노력으로 효율을 극대화 해야겠지만 이 책에서 말하듯 데이터에 대한 인식 전환과 전사적인 공감대 형성도 상당히 중요하다. 전담 조직과 인력을 구성하여 체계적으로 데이터 거버넌스나 데이터 품질 개선등을 진행한 다음 그 기반 위에서만이 데이터를 활용한 새로운 기회 창출이 가능하다. 2000년을 전후한 CRM구축이나 DW에서 성공사례가 많지 않은 것은 저품질 데이터에 대해 이를 실행했기 때문이다. 기본이 되지 않은 상태에서 시작하는 것은 모래 위에 성을 쌓는 것과 다를 바 없다. 과거의 교훈을 타산지석 삼아 빅데이터도 내실을 충분히 다진 위에 추진되어야 한다.

 

"기업 내에서 각종 분석이나 의사결정에 데이터웨어하우스나 데이터마트를 이용하고 있는 경우, 이들에 대한 경영자의 사업부서의 인식 수준은 빅데이터의 도입에도 큰 영향을 미친다." 는 말은 시사하는 바가 크다. 이미 성공적으로 데이터마트를 구축하여 운영하고 있는 기업이라면 기본적인 기반이 성숙단계에 있다는 말이다. 이런 기업은 빅데이터를 활용할 준비가 어느 정도 되어 있다고 볼 수 있다.

책을 통해 가장 알고 싶었던 내용은 개인이 빅데이터를 활용한 분석을 할 수 있는가 하는 점이었는데 빅데이터 관리 소프트웨어인 '하둡' 등 많은 부분이 오픈 소스이고  구글 애널리틱스나 한 달 사용료 약 500달러인 프로그램도 있다고 한다. 빅데이터에 대한 다양한 외국 기업의 사례도 흥미를 끈다. 국내의 빅데이터 활용 사례도 가끔 언론에 소개되지만 단편적이고 아직은 흥미위주라는 생각이다. 아직은 초기 단계이고 앞으로 길게는 10년을 내다봐야 빅데이터의 진면목을 알 수 있다고 하니 너무 급하게 가면 안될 듯 하다. 분명한 것은 데이터를 잘 활용하는 것이 기업의 경쟁력을 높이는 일임에 틀림없다는 것과 그 길이 그리 녹록치 않다는 것이다. 국내뿐만 아니라 세계의 기업과 경쟁을 해야 하는 시기이다. 해외 유수 기업들의 빅데이터 성공 사례만 지켜보기에는 목이 탄다. 빅데이터에 대한 많은 연구와 다향한 성공사례가 계속 나오기를 기대해본다. 본인이 빅데이터 산업을 이끌 새 주역이 되고 싶다면 이 책을 꼭 한번 읽어보기를 권한다.

 

▷ 마음에 드는 구절

P.15 마이크로소프트의 연구원들은 의학적 지식도 물론 갖추고 있었지만 철저하게 데이터 중심으로 예측 모형을 파헤쳐 들어갔다.

P.16 급기야 미국은 고질적인 고비용 의료 문제에 대한 해결책으로 빅데이터 기술에 주목하고 연방 정부 차원에서 본격적인 지원에 나선 상태이다.

P.23~24 빅데이터는 단순히 그 크기만으로 정의할 수 없다. .. 빅데이터에서 이야기하는 '빅'은 이 산사태 장애물 사례처럼 효과적으로 처리하는 것을 가로막는 갖가지 어려움을 종합적으로 일컫는 표현이다. 일부에서는 빅데이터를 '대용량 데이터'라고 건조하고 밋밋하게 번역하지만, 어감을 제대로 살려 말하자면 '엄청난 데이터'라고 이해하는 것이 더 적당하다.

P.43 다양한 비정형 데이터에서 생각지도 못했던 결과를 얻는 일이 빈번해졌다. 인상적인 변화는 사람들의 실질적인 생각과 행동이 표출되는 검색엔진이나 소셜 미디어에서 종종 나오고 있다.

P.43 '구글 트랜드(Google Trends)서비스'는 국내 포털사이트에서 제공하는 실시간 검색어 순위와 비슷하다. 다른 점은 검색어별로 과거에 어느 정도 검색이 많이 이루어졌는지 일목요연한 이력을 제공해준다는 것이다.

P.48 볼보에서는 시범 차종에 대해 고객이 자동차를 운전하는 과정에서 수집되는 수많은 데이터를 본사 분석 시스템에 전송하도록 했다. ... 이렇게 수집된 빅데이터를 분석하여 제품 개발 단계에서는 미처 예상하지 못했던 고객의 운전 패턴과 차체 결함, 잠재 니즈 등을 찾아낼 수 있었다.

P.51 구글의 수석 경제학자(Chief Economist) 할 배리언은 다음과 같이 이야기한 바 있다.

데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다.

P.51 지난 10년이 빅데이터 기술의 가능성을 확인하는 시간이었다면, 앞으로의 10년은 단계적으로 여러 고비를 거쳐가며 빅데이터 기술이 실생활로 파고드는 시간이 될 것이다. 이미 발 빠른 기업들은 이러한 능력을 확보하고 빅데이터 금맥을 움켜쥐기 위해 골드러시를 시작한 상태이다.

P.55 미국 국회도서관 책 1억 권의 데이터도 디지털화하면 대략 15테라바이트에 불과하다. .. 150만 원만 있으면 미국 국회도서관을 집에 들여놓을 수 있는 셈이다.

P.62 기술이 발전한다고 해서 항상 시장의 이슈로 대두되는 것은 아니다. 기술적으로는 이미 오래전부터 가능했던 일이라 해도 시장 환경과 딱 맞아 떨어지지 않으면 대중화되기 어렵다.

P.68 하드웨어와 소프트웨어의 차별화가 어려워지는 세상이 오면 데이터의 가치가 더욱 빛을 발할 것이라는 전망이 우세하다.

P.69 B2C 서비스를 통해 고객과의 접점이 많은 기업을 제외하면, 나머지 기업들은 데이터를 모으기도, 다른 기업이 모은 데이터를 갖다 쓰기도 어려운 실정이다.

P.74 단순히 규모나 속도 측면의 빅데이터는 기존의 획득, 저장, 분석 기술(소위 BI, 즉 비지니스 인텔리전스)로도 대처할 수 있다. 반면 데이터 형태가 비구조적인 다양성 문제나 데이터 의미의 모호성이 큰 경우(다시 말해, 데이터 구조의 가변성이 높아지는 경우)에는 기존 기술보다는 데이터 처리의 유연성이 높은, 새롭게 등장하고 있는 빅데이터 기술들이 유리하다.

P.91 하버드 대학의 마이클 포터 교수가 일찍이 경쟁력의 원천으로 '남들보다 저렴한 비용, 남들이 무관심한 틈새시장, 그리고 남들이 쉽게 모방할 수 없는 차별성'을 거론했음을 알고 있을 것이다.

P.95 인간의 인지적 능력이 감당할 수 없는 분량과 속도의 데이터 속에서 무엇인가 의미 있는 사실을 정보기술이 대신 발견해주는 것이 빅데이터적인 문제 해결 과정이다. 그리고 고객의 숨은 감성까지도 별견하는 '고객 감성 분석'은 데이터 분석의 새로운 장을 열고 있다.

P.95 데이터를 수집하고 분석하는 것 못지않게 분석 결과를 사람들이 이해하기 쉽도록 보여주는 '시각화'도 중요해지고 있다.

P.96 빅데이터의 궁극적인 비전이자 목표는 새로운 고객 가치를 창출하고 삶의 질을 높여 더 나은 세상을 만드는 것이다. 기업은 빅데이터를 활용하여 이전에는 간과하거나 보지 못했던 가변적이고 숨겨진 고객 가치를 포착하거나 새로이 만들어 고객에게 제공할 수 있다.

P.102 생산성을 높이는 데 비정형 데이터를 활용하는 것은 기존의 기업 시스템에서는 좀처럼 볼 수 없는 빅데이터 시대의 특징이다.

P.104 빅데이터 시대에 생산성을 향상시킬 유망한 기회는 기업 활동에 관련된 인력은 물론 사물을 추적하고 관리하는 영역, 그리고 이를 아울러 가치사슬 전체를 최적화하는 방향으로 정리할 수 있다.

P.119 실제 생산성 향상을 위해서는 두 가지 전제 조건이 있다. 바로 IT 인프라에 대한 투자와 인적자본의 육성 및 조직의 변화이다.  .. 정보기술과 데이터를 활용하려는 체제와 문화가 조직 내에 자리를 잡았는가의 문제가 빅데이터 활용을 위한 보다 본질적인 과제로 부상하고 있다.

P.120 또 하나의 중요한 문제는 빅데이터 활용으로 야기되는 노동력 재배치 문제를 사회 및 국가 차원에서 원활히 해결할 수 있는가인다. 빅데이터를 활용해 생산성이 증대되면 인력 재배치나 감축 등의 인력 구조조정으로 이어지기 때문이다.

P.122 어떤 일에 몰입하다가 우연히 이루어지는 큰 발견을 '세렌디피티'라고 한다.

P.122 노벨 화학상을 수상한 로저 콘버그 교수도 "위대한 발견은 목표가 불분명한 연구의 산물" 이라고 주장한다. 인류의 위대한 발견은 자연과 생물에 대한 인간의 끝없는 호기심과 기본 원리를 추구하는 활동 가운데 우연이 겹쳐지며 이루어낸 성과였다는 것이다.

P.123 비정형화된 엄청난 데이터들이 늘어나면서 발견을 통해 새로운 기회를 창출할 가능성도 높아지고 있는 것이다.

P.123 빅데이터에서도 발견의 기회는 이미 그 안에 존재하고 있으며, 이를 누가 어떻게 찾아 외부(기업)에 적절한 형태와 내용으로 알리느냐가 큰 의미를 가진다.

P.124 심지어 일반 개인들이 이용할 수 있는 무료 분석 소프트웨어들도 있다. 구글 애널리틱스를 사용하면 개인이 집에서 공짜로 자신의 블로그나 SNS콘텐츠를 읽은 독자들의 패턴을 찾을 수 있다.

P.125 이미 데이터 마이닝이나 비지니스 인텔리전스 분야에서도 예고되었지만, 많은 경우 인간보다는 컴퓨터가 의미 있는 내용을 찾는 데 유리하다.

P.127 빅데이터는 창의적인 반복적 탐구 과정을 통해 무엇을 질문해야 하는지(무엇이 문제가 되어야 하는지, 즉 검색할 키워드) 찾아내는 과정이다.

P.146 예측은 미래의 데이터가 아닌 과거의 데이터로 하며, 따라서새로 데이터를 만들어내는 것이 아니라 이미 존재하는 데이터 속에서 미래를 말해줄 실마리를 찾는것이다.

P.149 사람들은 자신의 경험을 평가로 남길 때마다 다른 사람들에게 유용한 정보가 제공되지만, 그 자신은 흔적을 남기게 된다. 이런 정보를 활용할 수 있는 기업에는 엄청난 기회가 있다.

P.155 전문 소프트웨어를 이용해 한 화면에 대시보드 형태로 지역별, 부서별 생산성을 한눈에 파악할 수 있도록 하자 활용도가 크게 올라갔다고 한다.

P.170 페이스북은 개인적인 내용의 글들이 많은 데 비해 트위터 글들은 미디어 성향이 강하기 때문이다. 또 트위터에 국내 계정으로 올라오는 글들은 모두수집이 허용되므로 데이터 수집도 용이하다.

P.181 하지만 빅데이터의 길이 기존의 길과 다른 부분은 대부분 이전에 가보지 않은 미지의 길이며, 그 길을 가려면 냉철한 머리와 함께 용기 있는 시도가 필요하다는 점이다.

P.181 시장조사기관 포레스터 리서치의 분석가 브라이언 홉킨스는 과거 20년에서 25년 동안 기업들이 활용 가능한 정보의 5%만으로 의사결정을 해왔다고 말한다.

P.183 많은 연구 결과 경영자의 경험이나 직관에 이한 의사결정에서 적지않은 결함이 발견되었고, 그것이 성공하던 기업이 몰락하는 주된 이유로 밝혀졌다.

P.206 빅데이터를 의사결정에 활용하려면 조직 내에서 빅데이터를 처리하는 과정이 확립되어야 한다.

P.211 빅데이터가 왜 의사결정에서 중요해지는지를 한마디로 요약하자면 겨국 "우리 누구도 우리 모두보다는 현명하지 않다"라는 사실 때문이다.

P.216 한국과 같이 소셜 미디어와 인터넷 환경이 발달한 나라들에서 빅데이터에 의한 새로운 사업 기회는 상대적으로 다른 나라들에 ㅂ해 더욱 커질 것으로 예상된다.

P.227 취업 검색 사이트 인디드닷컴에 따르면, 전문적인 통계학이나 수학 지식을 바탕으로 데이터를 분석하는 '데이터 과학자'등의 빅데이터 분석 인력 수요가 2011년부터 급격히 증가하고 있다고 한다.

P.235 인터넷으로 연결된 모든 사물은 장기간의 덩ㄱ 복잡한 계획 및 의사결정을 지원할 수 있어 사람을 완전히 대체할 가능성도 없지 않다.

P.237 빅데이터 환경에서는 고객이 어떤 사람인가가 중요한 것이 아니라, 고객이 어디를 다니면서 어떤 행동을 하는지 빅데이터로 포착하고 대응할 수 있는가 하는 것이 더욱 의미 있다.

P.241 사람들은 기업에 무엇을 요구해야 할지 모르는 경우가 더 일반적이다. 고객들은 자신이 원하는 바를 구체적으로 요구하거나 표현하는 경우도 있지만, 표현하지 않거나 못하는 경우도 많다.

P.243 웹 애널리틱스 도구로 한 달 사용료가 약 500달러인 '대시(Dash)'라는 프로그램을 통해 어떤 콘텐츠에 사람들이 관심을 보이는지, 또 어떤 유형의 콘텐츠가 앞으로 유망한지 판단하고 예측한다.

P.276 샌프란시스코는 과거 8년 동안 범죄가 발생했던 지역과 유형을 세밀하게 분석해 후속 범죄 가능성을 예측하는 범죄 사전예보 체계를 갖췄다.

P.281 세상의 모든 상품과 여기에 스며들어 있는 기술은 세 가지 목표를 충족시키기 위해 발전한다고 한다. 첫 번째는 사용의 편의성이며, 두 번째는 가격의 현실성이고, 세 번째가 혜택의 우월성이다.

P.289 빅데이터 기술을 앞서 발전시킨 구글은 태생적으로 데이터를 철저히 존중하는 문화를 지니고 있다. 창업주 래리 페이지와 세르게이 브린은 스탠퍼드대 공학도 출신답게 데이터와 수치에 대해 강한 믿음을 갖고 있었다.

P.294 "전사 차원의 단일 데이터 관리 시스템 없이는 빅데이터도 없다."

P.297 단적으로 말해, 한국의 소프트웨어 산업 현실에서는 빅데이터를 가공하고 분석할 수 있는 충분한 기술력과 인력이 없다.

P.299 한국도 기업 현장에서 빅데이터 전문 인력이 커갈 수 있는 토양이 갖춰져야만 빅데이터 역량이 본격적으로 성장할 수 있다.

P.308 2000년대 초반에 국내 기업마다 고객관계 관리(CRM)도입 열풍이 불어서 많은 기업들이 앞다퉈 고가의 IT 인프라와 솔루션을 도입했다. 하지만 이후 운영 단계에서 뚜렷한 체감 성과를 맛보지 못하고 이내 실망하고 말았다.

P.321 쉽게 간과해서는 안 되는 문제가 빅데이터에 대한 거버넌스이다. 이는 누가, 어떤 데이터의 소유와 관리에 대해, 무슨 권한과 책임이 있는지 명확히 명시하는 것을 의미한다.

P.322 기업 내에서 각종 분석이나 의사결정에 데이터웨어하우스나 데이터마트를 이용하고 있는 경우, 이들에 대한 경영자의 사업부서의 인식 수준은 빅데이터의 도입에도 큰 영향을 미친다

P.324 믿을 수 있는 유용한 데이터가 존재하고, 필요한 데이터가 어디에나 있으며, 그 데이터를 다른 부서나 팀과 쉽게 공유할 수 있는 시스템은 기본적인 정보 관리의 출발점이 된다

P.325 앞으로 필요한 인력은 분석된 정보를 비즈니스적인 의미로 해석할 수 있는 사람들이다. 기술은 물론 비즈니스에 대해서도 갚이 이해하고 있어 기업에서 필요한 정보와 지식이 무엇이며, 이를 빅데이터로부터 어떻게 얻을 수 있는지를 제시할 수 있어야 한다.

P.326 웹 애널리틱스나 OLAP 등의 비즈니스 인텔리전스 기법들을 활용하는 일은 큰 지식과 지식 없이도 외부의 도움으로 시작할 수 있다