들어가는 글
일상의 모든 것이 데이터가 되는 세상
현재 우리 사회를 달구는 가장 뜨거운 화두는 단연 ‘빅데이터‘다. 그것의 실체와 위상에 대해서는 확실히 모를지라도 지금은 누구나 막연하게나마 ‘데이터‘의 힘을 느끼고 있다.
나는 컴퓨터 사이언스 박사과정 때 인공지능Al, artificial intelligence을 만났고, 그에 매료되어 머신러닝machine learning을 공부했다. 공부를 시작할 때는 이 분야에 대한 인기가 그야말로 최고였는데, 막상 박사 졸업을 할 때에는 그 인기가 시들해졌다. - P11
21세기 초반에 살고 있는 우리는 앞으로 인공지능이 우리 삶에 커다란 변화를 불러일으킬 것이라는 데 의심하지않는다. 인공지능은 컴퓨터가 빅데이터를 학습해서 지능적으로 행동하는 것이다. 따라서 빅데이터 없이 인공지능은 구현되지 못한다. 휘발유 없이 자동차가 움직이지 못하는 것과 같다. 그래서 데이터를 새로운 자원 또는 신경제의 화폐라고도 한다. - P12
빅데이터는 요리 재료다. 다양한 재료가 대량으로 존재한다. 손님(의사결정자)이 요리사(데이터 사이언티스트)에게 무슨 요리 (인사이트)를 먹고 싶은지 이야기하면, 요리사가 필요한 재료를 확보하고 요리를 만든다.
만약 손님이 원하는 요리를 요리사에게 이야기해주지 않으면 요리사는 적당히 상상해서 만든다. 하지만 이런 요리로는 손님을 만족시킬 수 없다. 따라서 의사결정자는 원하는 인사이트를 데이터 사이언티스트에게 정확히 알려줘야 한다. - P18
우리가 만드는 대량의 데이터
빅데이터의 특징은 우선 데이터의 양volume 이 많다는 것이다. 그리고 실시간으로 발생하여 끊임없이 밀려들어오는 스트림 데이터stream data 처럼 생성 속도velocity가 빠르며, 숫자와 같은 정형 데이터 이외에 텍스트, 이미지, 동영상 같은 비정형 데이터들이 다양하다variety는 것이다. 그래서 빅데이터는 이들 해당 영어 단어들의 첫 글자를 따서 ‘VVV‘, 즉3V라고도 한다. 사실상 양, 속도, 다양성 모두 정보기술적인 측면에서는 매우 어려운 숙제인 셈인데, 컴퓨터과학자들의 끊임없는 노력 덕분에 현재는 빅데이터의 활용성이 높아지고 있다. - P19
빅데이터 분석을 할 때 소위 표본 추출을 하지 않는다.
30만 명이 아닌 2000만 명 전부를 분석한다. 샘플이 아닌 전수 조사가 가능해졌다. 이로 인한 장점은 고객들의 트렌드가 아닌 개별 고객에 대한 이해 및 예측이 가능하다는 것이다. 즉 개인화가 가능해졌다. 이렇듯 지금은 전체를 대상으로 무엇이든 들여다보고 분석할 수 있는 세상이다. 빅데이터 볼륨은 더 이상 제한이 없어졌다고 할 수 있다. 한마디로 볼륨은 극복되었다. - P24
서비스 제공업체는 우리 앞에서 달리는 차들의 위치를 실시간으로 받은 후, 단위 시간당 위치 변화와 속도를 계산하여 우리에게 알려준다. 내비게이션을 켜는 순간에 서비스 제공업체는 빅데이터 프로세싱을 하는 것이고, 우리는 그 서비스의 수혜자이면서 동시에 서비스의 원천이 되는데이터의 제공자인 것이다. 즉 나는 지금 내가 시속 몇 킬로미터로 가는지를 내 뒤에 있는 차에게 알려주고 있는 셈이다. 그런데 업체 입장에서는 각자의 속도로 달리는 수많은 차들이 보내오는 실시간 데이터를 순식간에 처리해서 속도를 계산하고 알려줘야 한다. 여기서 중요한 것이 바로
‘실시간‘이고, 빅데이터의 두 번째 특징을 가능하게 하는것이다. - P25
데이터의 다양성은 대상에도 적용된다. 다양화된 대상은 크게 자연 현상, 기계 공정, 그리고 인간의 행동 데이터로 나누어볼 수 있다. 일단 사람은 여러 종류의 데이터를 생성한다. 우리는 회사에 나가 일도 하고, 쇼핑도 하고, 투표도 하며, 블로깅도 한다. 환자가 되어 병원에 가기도 하고, 누군가의 연인이나 친구가 되기도 한다. 게다가 몇몇은 범죄도 저지른다. 그런데 이처럼 행동만 데이터화되는 것이 아니다. 심지어 우리의 생각도 데이터화할 수 있다. 뇌파 데이터로부터 지금 이순간에 우리가 제대로 집중하고있는지 아니면 그저 꾸벅꾸벅 졸고 있는지, 또는 진실을 말하는지 거짓을 말하는지, 대체 무슨 생각을 하는지 등을 알아내는 연구가 지금도 활발하게 이루어지고 있다. - P28
|