빅데이터 '입문서'

[빅데이터, 경영을 바꾸다]를 읽고 리뷰 작성 후 본 페이퍼에 먼 댓글(트랙백)을 보내주세요.

빅데이터, 경영을 바꾸다
함유근.채승병 지음 / 삼성경제연구소 / 2012년 8월

 <쇼핑의 과학>이라는 책이 있습니다. 이 책은 컨설팅 회사 인바이로셀의 CEO 파코 언더힐이 CCTV를 가지고 소비자의 구매행동을 분석한 책입니다. 사람들은 대부분 오른손잡이이기 때문에 매장을 둘러볼 때 주로 오른쪽으로 돌게 된다거나, 남성과 여성이 의류매장에서 액세서리를 구매할 때 다른 모습을 보인다는 내용 등을 담고 있습니다. 여성의 경우 의류매장에서 옷을 입어본 후에 거울을 보며 그 옷에 어울리는 액세서리를 같이 구매하는 반면, 남성들은 비교적 단순한 행동을 보입니다. 의류를 구매하고 계산하면서 눈에 보이는 액세서리를 같이 계산해 달라고 한다는 것이죠. “음, 이것도 같이 계산해주세요.”라고 말이죠. 저는 이 책의 내용이 얼마나 타당성이 있는지 여부를 떠나, CCTV로 소비자의 구매행동을 관찰해 이러한 결과를 얻어냈다는 것이 무척 놀라웠습니다.

 <머니볼>이라는 영화가 있습니다. 브래트 피트가 주연해 지난 2011년에 개봉되었던 영화죠. 이 영화의 줄거리는 메이저리그 만년 최하위 ‘오클랜드 애슬레틱스’의 감독 빌리 빈(브래드 피트)이 선수들의 나이, 사생활, 부상 등이 아닌, 오로지 데이터에만 의존해 팀을 4년 연속 포스트시즌에 진출시키는 ‘기적’을 다루고 있습니다.

 <파코 언더힐의 『쇼핑의 과학』, 브래드 피트 주연의 『머니볼』>

 위의 두 가지 사례는 어찌 보면 누구나 할 수 있는 일들을 다루고 있습니다. 최근에 대부분의 매장에는 CCTV가 있으며, 기업 역시 이와 같은 데이터를 언제든 얻을 수 있습니다. 또한, 메이저리그의 모든 팀과 감독들 역시 선수 관련 데이터는 충분히 갖고 있습니다. 다만 어떻게 활용하느냐에 따라 달라지는 것이죠.

 이처럼 데이터는 누가, 언제, 어떻게 사용하느냐에 따라 결과와 가치가 달라진다고 할 수 있습니다. 그런데 지금은 활용할 수 있는 데이터가 너무나 많은 것이죠. 감당할 수 있는 범위와 양이 아닙니다. 이 책 <빅데이터, 경영을 바꾸다>에 따르면 하루에 쏟아지는 데이터의 양이 약 7.5엑사바이트라고 합니다. 이는 보통 1테라바이트의 용량을 가진 컴퓨터 하드디스크드라이브(HDD)가 750만 대가 필요한 양이며, 보통 인터넷에서 제공되는 2기가바이트 내외의 영화 37억 5천만 편에 해당하는 양입니다. 이만큼 어마어마한 양의 데이터가 매일같이 쏟아지는 상황에서 의미 있는 정보를 찾아내기란 쉽지 않습니다. 이 책 <빅데이터, 경영을 바꾸다>는 엄청나게 쏟아지는 데이터들을 관리하고, 의미 있는 정보를 찾아내고 새로운 기회를 포착하는 데에 초점을 두고 있습니다. 앞으로는 데이터를 어떻게 관리·활용하느냐에 따라 기업의 운명이 엇갈릴 것이라는 주장대로 이죠.

<인터넷 공간을 흐르는 다양한 데이터의 규모와 속도. 2011년 기준 (p.29)>

 먼저 약간은 생소한 개념인 빅데이터가 무엇인지 살펴보면 다음과 같습니다.

 (좁은 의미의) 빅데이터: 보통 수십에서 수천 테라바이트 정도의 거대한 크기를 갖고, 여러 가지 다양한 비정형 데이터를 포함하고 있으며, 생성-유통-소비(이용)가 몇 초에서 몇 시간 단위로 일어나 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합을 의미한다. (p.36)

 (넓은 의미의) 빅데이터: 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합, 그리고 이를 관리·분석하기 위해 필요한 인력과 조직 및 관련 기술까지 포괄하는 용어이다. (p.37)

 즉 결코 ‘양’만의 문제가 아니라는 것이죠. 책에 따르면 이러한 빅데이터는 크게 세 가지의 특성을 갖고 있습니다. 첫째, 규모(Volume)입니다. 엄밀한 정의는 없지만, 대략 적게는 수 테라바이트에서 많게는 수 페타바이트(=1,000테라바이트) 정도 크기의 데이터 집합을 지칭하는 것이 일반적이라고 합니다. 둘째, 다양성(Variety)입니다. 이제까지의 데이터는 비교적 형태가 잘 잡혀 있고 관리하기도 쉬웠지만, 이제는 동영상, 음악, 사진, 블로그, SNS, 일반문서 등 데이터 형식이 매우 다양해졌다는 것입니다. 마지막으로는 속도(Velocity)입니다. 정보통신기술의 발달로 정보의 생성-유통-소비(이용)의 주기가 빨라지면서 이에 대응할 수 있는 역량 또한 필수가 되고 있다는 것이죠.

 그러면 빅데이터가 주목받게 된 배경에는 어떠한 요인들이 있는지 살펴보면 다음과 같습니다. 우선 기술 환경의 변화입니다. 하드디스크드라이브(HDD)같은 저장 매체의 기술은 점차 발달되는 반면, 저장 비용은 하락하고 있습니다. 또한, 사람과 사람, 기계와 기계 간 ‘연결’이 증가되고, 데이터를 관리 및 분석하는 기술이 급격히 진보하고 있습니다. 그리고 기업 경쟁 환경의 변화도 있습니다. 최근 소프트웨어가 중요하다는 주장이 자주 들리는데요, 그 이유 중 하나는 하드웨어가 모방이 쉽다는 것입니다. 최근 판매되고 있는 스마트폰만 보아도 알 수 있죠. 물론 저마다의 특성이 있지만 크게 보면 사실 큰 차이를 보이지는 않습니다. 이처럼 하드웨어는 범용화 되기가 쉽기 때문에 경쟁우위의 요소로 기능하기가 어렵다는 것입니다. 머지않아 소프트웨어 역시 범용화가 용이해질 것이므로 결국, 데이터가 경쟁우위의 원천으로 자리매김할 것이라는 주장입니다.

 다음으로 빅데이터의 활용에 따라 기업이 얻게 되는 이점을 살펴보겠습니다. 책에서는 빅데이터는 크게 네 가지의 단계로 기업의 경영혁신을 가능케 한다고 합니다. 먼저 첫 번째 단계는 생산성 향상(3장 새로운 차원의 생산성 향상)입니다. 데이터를 활용하여 비용절감효과를 가져오고 나아가 생산성 향상으로 이끈다는 것이죠. 두 번째 단계는 발견에 의한 문제 해결(4장 ‘발견’에 의한 문제 해결)입니다. 기업 활동의 곳곳에 도사리고 있는 문제를 발견하여 해결하는 단계라고 합니다. 이어서 세 번째 단계는 의사결정 향상(5장 의사결정의 과학화와 자동화)입니다. 시장과 고객에 대한 더욱 정확한 정보를 추출해 의사결정자의 정확한 판단을 돕는다는 것입니다. 마지막으로 네 번째 단계는 새로운 가치와 비즈니스 창출(6장 새로운 고객 가치와 비즈니스의 창출)입니다. 데이터를 활용하여 새로운 사업이나 기업 경영의 새로운 패러다임을 창출하는 단계를 말합니다.

<빅데이터에 의한 경영 혁신 단계 (p.97)>

 앞서 말씀드린 대로 이 책은 빅데이터의 정의, 환경, 유용성 등을 모두 담고 있습니다. 제가 언급하지는 않았지만 아직 빅데이터 역량이 부족한 우리나라(한국) 기업에 대한 전략적 제안도 담고 있습니다. 그럼에도 제가 빅데이터 ‘입문서’라고 제목을 붙인 이유는 ‘사람’과 관련 있습니다. 이 책은 자칫 빅데이터를 관리하고 분석하는 체계를 갖출 경우 거의 자동적으로 타당하고, 합리적이고, 완벽한 의사결정이 이루어진다는 것처럼 보일 수 있습니다. 물론 이 책이 기술과 경영의 측면에서 빅데이터를 다루기 때문에 그렇겠습니다만, 그럼에도 (7장 ‘빅데이터 시대, 한국은 준비되어 있는가?’와 8장 ‘빅데이터 시대, 어떻게 맞이할 것인가?’에서 약간의 언급을 제외하면) ‘사람’에 대한 이야기가 빠져있다는 생각이 듭니다.

 예를 들어 앞서 말씀드린 <머니볼>의 사례를 살펴볼 경우, 오클랜드 애슬레틱스 팀에서 감독인 빌리 빈(브래드 피트)의 역할입니다. 빌리 빈 감독이 아닌 다른 사람이었더라도 그처럼 기적 같은 성적이 가능했을까요? 만약 제가 감독으로 부임되고 빌리 빈 감독처럼 철저하게 데이터 중심의 운영을 했다면 어떻게 되었을까요? 확신하건데, 한두 달 내에 퇴임됐을 겁니다. 이처럼 아무리 정확하고 가치 있는 데이터와 분석결과가 있다 하더라도, 결국 그에 따른 의사결정은 사람의 몫입니다. 이 책에서도 그와 관련해 이렇게 말하고 있죠.

 문제의 성격에 따라 동원되는 지식과 기술도 광범위하게 흩어져 있다. 대체로 전산학 외에 수학, 통계학, 물리학, 인지과학, 경영학 등의 지식과 기술이 많이 쓰이지만, 경우에 따라서는 더욱 광범위한 공학과 심리학, 언어학, 인류학 등 인문사회과학 지식도 요구된다. (p.72)

 앞으로 필요한 인력은 분석된 정보를 비즈니스적인 의미로 해석할 수 있는 사람들이다. 기술은 물론 비즈니스에 대해서도 깊이 이해하고 있어 기업에서 필요한 정보와 지식이 무엇이며, 이를 빅데이터로부터 어떻게 얻을 수 있을지 제시할 수 있어야 한다. (p.325)

 이 책의 294페이지에서 언급된 이야기 역시 비슷한 사례라 할 수 있습니다. 한국 경영자들은 인지 스타일 점수가 평균 45.5점으로 세계 평균 41.8점을 상회했다고 합니다. 이 점수가 높을수록 데이터에 근거한 분석적 의사결정 성향이 강한 것을 뜻합니다. 따라서 한국 경영자들의 인지 스타일 점수가 높은 편이라면, 즉 데이터에 근거한 의사결정 성향이 강하다면 편견과 같은 심리적 오류 역시 적어야 합니다. 그러나 한국 경영자 집단은 분석적 성향이 강할수록 심리적 오류를 더 자주 범했다고 합니다. 이 이야기 역시 제가 앞서 언급한 ‘사람’의 문제가 아닐까 합니다.

 통념과는 확연히 다른 이러한 결과는 무엇을 의미하는 것일까? 이는 의사결정 과정에서 데이터가 현실의 문제점을 편견 없이 판정하는데 이용되지 못했음을 보여준다. 미리 자신이 특정한 방향으로 편향된 결론을 내려놓고, 그저 이를 합리화하는 수단으로 데이터를 이용한다는 것이다. 그러면 데이터는 오류의 교정 역할을 전혀 하지 못하고, 오히려 오류를 증폭시키는 도구로 전락하게 된다. (p.295)

 이처럼 똑같은 데이터에서 의미와 가치를 찾아내는 데는 기술적인 요소뿐만 아니라 경영자 혹은 의사결정자의 역량도 필요합니다. 최근 비즈니스 관련 도서나 자기계발 도서에서 ‘인문학’의 중요성이 자주 언급되는 것도 이와 같은 맥락에서 이해할 수 있습니다. 같은 상황 속에서 같은 현상을 목격하더라도 누구는 ‘창의적인’ 아이디어를 창출하는 데에 반해, 누구는 그저 ‘개선된’ 아이디어를 창출하는 데에 그친다는 것이죠. 따라서 (“인터넷 이후 기업에 가장 큰 영향을 미칠 것으로 기대외는 것이 빅데이터(Big Data)이다.”라는 ≪네이처(Nature)≫의 글대로 라면) 앞으로 미래를 좌우할 빅데이터를 최대한 가치 있게 활용하기 위해서는 빅데이터를 활용할 수 있는 사회적 및 경영환경의 구축과 그를 판단할 수 있는 의사결정자의 안목과 통찰력이 함께 필요할 것으로 생각됩니다.

 ※ 사족을 달면 이 책의 22페이지에서는 구글의 전 CEO 에릭 슈미트(Eric Schmidt)가 “문명이 시작되면서부터 2003년까지 인류가 쌓아 올린 데이터가 5엑사바이트 수준”이라고 이야기했다고 합니다. 매일같이 7.5엑사바이트의 데이터가 쏟아진다는 것에 비하면 무척 적은 양이죠. 그러면 매일같이 쏟아지는 현재의 데이터가 과거의 데이터들보다 질적인 면에서도 월등히 가치 있는지는 한번 생각해볼 필요가 있다고 생각합니다.