내 마음은 나도 모르는데

Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die (Hardcover) - How Data Science Predicts What You Are Going to Do
Siegel, E. / John Wiley & Sons Inc / 2013년 2월

가끔씩 알라딘에서 오는 메일 중에 근래에 구매했던 상품에 대한 리뷰를 남기라는 내용의 메일을 받는다. 메일의 내용은 근래 내가 구매했던 도서들의 목록과 각각의 책에 대한 리뷰들의 제목이 붙어 있고 알라딘에 리뷰를 남기면 이러이러한 혜택을 받을 수 있다는 내용이다. 그리고 가끔씩은 알라딘에서 할인쿠폰이 발송됐다고 문자가 와서 알라딘에 접속해 내계정을 살펴보면 내가 관심이 있었던 책보단 처음 보는 제목의 책에 대한 할인 쿠폰이 들어와 있다. 또 가끔씩은 내가 구매할까 하고 보관함이나 장바구니에 넣어뒀던 책을 지금 구매하면 얼마를 할인해 준다거나 아니면 적립금을 추가로 준다고 유혹할 때도 있다.

사실 이러한 소비자의 행동 패턴을 분석해서 cross sell이나 up sell을 하는 건 마케팅이나 CRM분야에서 오래전부터 해오던 방식이었고 특히 아마존의 성공이후에 많은 인터넷 쇼핑몰들에선 한번씩은 시도하는 방식들이다. 물론 원조를 못 따라 간다고 아마존만큼 고객의 구매패턴과 최근 자신의 사이트에서 고객이 관심을 뒀던 상품의 로그를 분석해서 나한테 딱 맞는 프로모션을 소개해주고 최근에 읽거나 주문했던 책과 연관되거나 도움이 될만한 추천을 해주는 곳들은 많지 않다. 알라딘에서 최근 구매 상품에 대한 리뷰를 작성하라고 보내준 메일에 들어 있는 네권의 책 중 내가 이미 세권정도는 리뷰를 남긴 경우도 몇몇 있었을 정도니까...

근래 IT업종에서 어딜 가나 빠지지 않고 언급되는 용어가 Big Data이다. 예전에도 데이터는 존재하고 있었지만 너무 많은 양이 쌓여 있고 로그나 텍스트 문서처럼 비정형의 형식으로 사람이나 컴퓨터가 그내용을 해석하기도 어려워서 쓸모없이 방치돼 있던 정보들이 기술의 발전에 따라 엄청난 양의 데이터를 저렴한 비용에 저장할 수 있고, 빠른 속도로 필요한 데이터를 끄집어 내 올 수도 있으며 기계가 인식하는 0과1이 아닌 사람이 인식하고 사용하는 언어 기반으로 이해하고 해석해서 자연재해나 범죄에 대한 대비도 하고, 주가를 예측해서 돈도 벌게 하고, 누군가에게 적합한 내용의 추천과 조언을 해줘서 만족도를 높이려는 시도가 하나씩 현실화 되고 있다.

어제 만났던 IBM Korea에서 일하시는 분은 IBM의 슈퍼 컴퓨터 왓슨이 콜센터 업무와 연결돼서 영어로 들어오는 전화와 메일에 담겨진 고객의 요구를 해석하고 분석해서 최적의 서비스를 제공하는 업무가 구현중이라는 얘기까지 할 정도다.

물론 Big Data나 예측분석 등의 이야기를 모든 사람이 알 필요는 없다. 자동차가 어떻게 움직이는지, 스마트폰이 어떤 식의 로직이나 프로세스로 작동하고 비행기가 어떻게 날아다니는지 몰라도 그걸 자신의 생활에 맞게 잘 쓴다면 그게 최상의 방법이다.

다만 세상의 어느 곳에선가는 나도 모르는 내마음을 이해하고 해석하기 위해서  수많은 사람과 기계가 지금도 땀을 뻘뻘 흘리며 머리를 짜내고 있을지도 모른다는 것만 마음에 두고 있다면 충분하지 않을까 싶다. Big Brother가 나를 통제하기 위해 나를 감시하는 것과 같은 두려움을 줄 수도 있고 나의 생활을 더 풍요롭게 해줄 수도 있다.
모든 건 그 사물 자체의 문제가 아니라 그걸 사용하는 사람의 자세와 도덕성이 판단의 기준이 될 것이다.

개발 경험이 있는 사람에겐 도움이 될 듯

빅데이터 분석 도구 R 프로그래밍 - 데이터 고급 분석과 통계 프로그래밍을 위한 ㅣ 에이콘 클라우드 컴퓨팅 시리즈
노만 매트로프 지음, 권정민 옮김 / 에이콘출판 / 2012년 8월

최근 몇년전부터 IT업계에서 밥을 먹고 사는 사람들에게는 직접 그일을 하건 전혀 관계없는 업무를 하건 Big Data라는 말을 자주 듣게 된다. 거기에 하둡이며, 맵리듀스, 몽고DB 등등 예전의 개발 패러다임과는 다른 새로운 솔루션, 개발도구들에 대한 이름을 접하면 또 뭔가 새로운 것들을 배워야 이바닥에서 버틸 수 있나 하는 생각이 들곤한다.

Big Data나 Analytics로 불리는 일을 하려면 또하나 피해갈 수 없는 단어가 R이다. 대학에서 통계학을 배우는 친구들은 한번쯤 사용해봤을 오픈소스 프로그램이지만 그런 분야를 경험해 보지 않은 사람들에겐 접할 일이 없는 대상이기도 하다. 그런데 소위 데이터 분석이란 걸 경험해 보려니 통계학적 경험이 전혀 없는 사람도 R이라는 프로그램을 어떻게 다뤄야 하는지 아는게 필요하다.

물론 나도 통계학이라곤 중고등학교 수학시간에 배운 확률, 통계가 전부이고, 대학시절 수치해석이란 수업을 들었지만 교수님이 주신 소스코드를 전산실에서 visual basic이라는 프로그램으로 무슨 내용인지도 모르고 열심히 타이프 한 다음 실행 명령을 해서 결과가 어떻게 나는지만 출력해서 학점을 받은 터라-그것도 거의 20년 가까이 예전의 일이다.- 내가 R이라는 툴을 배운들 어디다 쓸 수 있을까 하는 생각도 들었다.

그나마 다행인건 이책은 통계학을 공부한 사람들을 중심으로 한 접근법이 아니라 프로그래밍을 해본 경험이 있는 사람의 시각에서 접근하는 방법이라 "검은 색은 코드요 흰색은 바탕이다."는 수준을 면할 수 있었다. 기본적인 프로그래밍 문법에서 시작해 다양한 예제를 통해 통계학을 모른다 하더라도 R을 이용해 기본적인 통계를 이용한 분석 프로그래밍이 가능하게 공부할 수 있게 해준다. 프로그래밍에 대한 감각과 경험이 많은 사람의 경우는 어지간히 통계학을 배운 사람보다도 더 나은 결과물을 만들 수 있다는 생각이 들만큼 도움이 될 것 같다. 

그런데 이놈의 IT 영역에 일하는 사람들은 나이먹고 머리가 안돌아가도 어쩔 수 없이 이렇게 공부해야하는 벌을 받아야 하는지...

각인의 자유로운 발전이 만인의 발전의 근본이 되는 세상

하나 되는 힘, As One - 개인의 행동을 조직의 역량으로 바꾸는 이노베이션
머다드 바가이 & 제임스 퀴글리 지음, 딜로이트컨설팅코리아 옮김 / 청림출판 / 2011년 7월

직장 생활을 하다보면 "일은 사람이 하는게 아니라, 조직이 하는 거다."는 얘기를 많이 듣기도 하고 많이 쓰기도 한다. 예전 어느 책에서 읽었던 내용인데 코사크 기병이 프랑스 기병과 1대 1, 10 대 10으로 싸우면 백전백승할 수 있지만 수백, 수천의 부대끼리 싸우는 전쟁에서는 프랑스 기병이 이기는 이유가 조직의 힘이라는 것이다. 전쟁이나 회사를 떠나서 스포츠와 같은 단체 종목에서도 뛰어난 스타플레이어를 보유하고도 우승과는 인연이 먼 팀이 있는 반면 변변한 스타플레이어 한명없이 국가대표도 제대로 배출하지 못하는 팀이 우승을 하는 경우를 보면 역시 조직이 우선되고 개인은 그조직의 목표를 당성하기 위한 존재여야만 하나? 하는 생각이 들곤한다.

그런데 요즘 기업의 인사관련 연구자료들을 보면 이러한 기존의 생각을 뒤집는 사례들이 많이 나오고 있다. 세계적으로 손꼽히는 컨설팅 펌인 딜로이트에서 내놓은 이책은 조직과 개인, 리더와 구성원의 관계를 장군과 군인, 지휘자와 오케스트라부터 건축가와 건설업자, 의원과 시민 등 다양한 조직과 구성원의 모델로 성공적인 조직관리를 하는 기업과 단체들을 소개하며 새로운 시각으로 보길 권유한다.

"똑똑해진 개인의 창의성과 아이디어를 어떻게 하나 된 힘으로 모을 수 있을까?", "우리 모두가 하나 되어 협업한다면 세상은 놀라운 일로 가득할 것이다."라는 저자들의 선언만이 아니라 조직의 구성원들이 공통의 목표에 동의하고 일이 진행되는 과정들 속에서 소외되지 않고 자신의 정체성을 찾고 자신의 발전을 이루어 가는 과정의 결과가 조직의 발전으로 귀결되는 모델을 찾아야 하지 않을까?

언제부턴가 우리나라의 기업들도 창조적 인재를 찾고, 나라에서도 창조경영을 외치고 있다. 하지만 그러한 창조가 조직을 이루는 구성원들의 발전과 그들 개개인의 존중없이 조직의 이익만을 위한 수단으로써의 외침이라면 그결과는 따져보지 않아도 뻔하지 않을까? 선진기업의 사례들, 역사에서 시사점을 주는 많은 조직 관리의 모델을 둘러보니 조직이 일을 하고, 훌륭한 시스템이 효율적으로 일을 할 수 있도록 하지만 결국 구체적인 일을 하는 건 사람이다.

진정 아름다우려면 어떠한 용도에 쓰여지느냐이다.

데이터의 미학 - 빅데이터 기술에서 데이터 과학자까지 데이터에 관한 모든 것 ㅣ 에이콘 데이터 과학 시리즈 6
토비 세가란, 제프 해머바커 지음, 공상휘 옮김 / 에이콘출판 / 2013년 6월

근래 일과 관련해서 데이터에 집중해서 공부를 하고 있다. 예전에는 데이터라는 컨텐츠보다는 어떻게 보여줄 것인지, 어떠한 구조가 개발이 편하고 운영에 편할지, 아니면 어떻게 HW와 SW를 배치해야 효율적인지 하는 점에 관심을 뒀다는 요즘은 조금 더 본질적인 문제로 그러한 모든 시스템에서 사용하는 데이터를 어떤 구조로 어떤 내용으로 담아내는게 목적에 맞는가 하는 점을 고민하고 있다.

흔히들 데이터와 인포메이션을 구분하기 어려워 하는데..-물론 지금도 내가 가지고 있는 정의와 개념이 올바르다고 장담하긴 어렵다.- 김춘수의 <꽃>이 거기에 대한 명확한 답이 아닌가 싶다.

"내가 그의 이름을 불러주기 전에는
그는 다만
하나의 몸짓에 지나지 않았다." -데이터-

"내가 그의 이름을 불러주었을 때,
그는 나에게로 와서
꽃이 되었다. -Information(정보)-

세상엔 수많은 데이터가 있고 데이터를 만들고 사용하는 곳들은 우리가 상상하는 이상의 곳들도 포함되어 있다. 디지털화된 영화나 음악을 포함해서 우리 몸의 유전정보가 다 데이터로 관리되고 "Big Data 분석"이란 이름으로 그것들을 통해 사람의 행동이나 미래에 일어날 일들을 예측하려는 시도가 끊임없이 연구되고 있다. 그리고 예전처럼 단순한 가로 세로의 테이블에 숫자로 보여주는 모양이 아니라 직관적으로 내용을 인지할 수 있는 시각화도 여러 모양으로 연구되고 있다.'

IT쪽 일을 대표적은 3D업종이라고들 얘기하는데 가장 어렵고 힘든 부분이 끊임없이 공부를 해야 한다는 점이다. 몇년 죽어라 공부하고 그걸로 평생을 욹어먹을 수 있으면 좋으련만 하나 제대로 배웠다 싶어도 3~4년 버티기가 힘들다니....

그래도 공부하며 새로운 세상을 배워나가는 일이 나쁘지만은 않아서 다행이다.

시각화가 필요한 이유

데이터의 미학 - 빅데이터 기술에서 데이터 과학자까지 데이터에 관한 모든 것 ㅣ 에이콘 데이터 과학 시리즈 6
토비 세가란, 제프 해머바커 지음, 공상휘 옮김 / 에이콘출판 / 2013년 6월

전문가가 숫자를 보았지만, 전체 그림을 보지 못한 경우다. 이것이 그래프의 존재 이유다. 세밀한 것과 패턴을 동시에 모두 보여주는 것 말이다.-451쪽