이제 애널리틱스 태스크에 대해 구체적으로 살펴보겠다. 먼저 시각화다. 시각화는 비즈니스 인텔리전스 business intelligence라고도 하는데, 데이터를 그림으로 그려서 보여주는 것이다. 여기서 일단 가장 중요한 것은 무엇을 볼 것인지 결정하는 일이다. 가치를 만들어줄 수 있는 인사이트를 결정하는 것이다. 이는 의사결정자가 기획 단계에서 결정해야 한다.
예를 들어 자동차 대시보드를 생각해보자. 자동차 대시보드는 자동차 메이커나 차종마다 디자인이 제각각이지만보여주는 수치는 동일하다. 속도, RPM, 연료, 온도가 그것이다. 이 네 가지 수치는 차에서 나오는 여러 데이터 중 특별히 선택된 것들로서, 운전자에게 절대적으로 필요하기 때문에 실시간으로 제공해줘야 한다. 전문가들 사이에 이에 대한 동의가 이루어진 것이니, 아무리 궁금해도 지금 플레이하고 있는 노래의 가사를 속도 대신 보여주지는 않는다. - P164
두 번째 분석 태스크는 연관분석, 즉 연관성이 있는 것들을 찾는 것이다. 혹시 맥주와 기저귀 이야기를 들어본 적 있는가? 슈퍼마켓에서 함께 팔리는 물품 분석을 했더니 맥주를 산 사람들 장바구니에는 기저귀도 있더라는 것이다. 수많은 결제 데이터를 분석해서 나온 인사이트다. 그렇다면 이를 통해 어떻게 가치를 창출할 수 있을까? 동시구매가 많으니 패키지로 묶거나 매대 옆자리에 배치함으로써 소비자의 편의성을 높일 수 있고, 아예 매장 반대쪽에 배치하여 소비자의 동선을 최대화함으로써 계획에 없던 구매를 유도할 수도 있다.
••••••
세 번째 태스크는 클러스터링, 즉 군집화다. 사람 또는 대상을 비슷한 것들끼리 묶는 방법이다. - P168
세 번째 한계이자 가장 강력한 한계는 암묵적 지식tacit knowledge, 암묵지에 대한 것이다. 우리가 할 줄은 알지만 어떠한 지식을 이용해서 하는지 체계적으로 설명할 수 없는것을 암묵적 지식이라고 한다. 반대 개념인 명시적 지식explicit knowledge, 명시지는 공학 지식, 법률 지식, 의학 지식 등으로 결론에 이르는 과정이 명백하고 각 단계에서 사용한 지식이 분명한 것들이다. 대체로 우리가 학교에서 어렵게 공부해서 알게 되는 지식이다. 우리가 배우기 어려운 명시지는 오히려 인공지능 컴퓨터가 사용하기 위한 명제로의 변환이 쉽다. 반면 걷기, 잡담하기, 운전하기처럼 우리가 힘들이지 않고 잘하는 일이지만 딱히 어떠한 지식을 사용하는지 애매한 암묵지는 명제로의 변환이 어렵다. - P183
인공지능 구현의 두 번째 방법은 첫 번째 기호주의와는 극단적으로 다르다. 인간의 뇌는 지능이 있으니 이것이 어떻게 운용되는지 보고 따라서 해보자는 생각에서 출발했다.
인간지능을 따라 하는 인공지능인 셈이다. - P185
우선 컴퓨터 안에 뉴런 연결망 같은 구조의 네트워크를 만들고 그 네트워크 구조를 데이터를 통해 계속 변화시킨다. 그리고 뉴런의 작동을 수리 공식으로 만들고 시냅스의 강도를 숫자로 표현해서 데이터의 반복 제시를 통한 시냅스 강도의 변화로 학습을 구현한다. 반복 자극에 의해 뇌구조가 바뀌어 못하던 일을 하게 된다는 것이 핵심이다. 컴퓨터도 기계이므로 이를 학습시키는 것을 일컬어 기계학습, 또는 영어로 머신러닝이라고 부른다. - P189
다음은 엔그램 처리 N-gram processing. 연속된 단어가 모여 하나의 객체를 이룰 경우, 이를 하나의 용어로 간주하는 것이다. 예를 들어 ‘헤드‘와 ‘램프‘가 아닌 ‘헤드 램프‘로, ‘수온‘과 ‘과다‘가 아닌 ‘수온 과다‘로 보는 것이다. 두 개의 단어가 모여 하나의 의미를 갖는 것을 바이그램이라고 하고, 세 개의 단어 모임을 트라이그램이라고 한다. 그 기준은 문서상에서 사용되는 빈도로서, ‘수온‘과 ‘과다‘가 함께 쓰이는 빈도가 높으면 ‘수온 과다‘를 하나의 용어로 처리하고그렇지 않으면 별도로 처리한다.
이와 같이 단어의 속성 tag이 무엇인지 판단하는 과정을 태깅tagging이라고 한다. 이 단계에서는 엔진을 설계하고 제조하는 현업 의사결정자들과 협의 후 각 데이터의 특성에맞는 속성을 미리 정의하고, 사전 내의 단어들에 태그를 할당한다. 필드 클레임에서는 고장이 일어난 ‘부품‘, 문제 발생 ‘원인‘, 관측된 ‘증상‘을 나누기도 한다 - P212
그래서 반드시 가치를 먼저 생각해야 하고, 그 가치를 성취하기 위해 어떤 인사이트를 뽑아야 하는지, 그 인사이트는 어떤 재료를 필요로 하는지를 역으로 생각해야 한다. 이 과정을 기획이라고 하고, 기획이 빅데이터 분석 이전에 선행되어야 한다. - P224
그렇다면 우리나라는 어떠한가? 데이터 전문 회사로는 네이버와 카카오가 있다. 쿠팡은 인터넷 쇼핑몰로서 직접배송을 하는데 고객들이 환호하는 로켓배송은 무료이다보니 회사는 상당한 손실을 입고 있다. 그러나 손정의 소프트뱅크 회장의 비전펀드는 여기에 2015년 1조 원을 투자한 데 이어 2018년 또다시 2조 원을 투자했다. 우리나라 사람들 모두를 대상으로 누가 언제 무엇을 구매하는지에 대한 데이터를 확보할 수 있는 유일한 회사이기 때문이라는 해석이 설득력 있다. - P263
유튜브는 왜 무료인 걸까? 무제한으로 사진을 보관하고 편집해주는 구글 포토는 또 왜 무료일까? 구글 입장에서는전 세계인의 관심과 사진을 확보할 수 있기 때문이다. 페이스북, 그리고 페이스북이 최근에 인수한 인스타그램도 마찬가지다. 나의 일상이 고스란히 다 기록되는 것이다. 전국민의 문자 통화 내역을 전부 가지고 있는 카카오톡은 또어떠한가? 모두가 빅데이터를 소유한 진정한 ‘데주‘, 즉 데이터 주인들이다. - P264
상황이 이렇다 보니 개인정보 보호에 철저한 유럽에서는 2018년 5월 유럽연합 개인정보 보호 규정 GDPRgeneral data protection regulation을 만들고는 바로 7월에 반독점법 위반 혐의로 구글에 43억 4000만 유로의 과징금을 부과했다. 한마디로 말해 유럽에서 생성된 데이터는 유럽을 떠나지 못한다는 내용의 이 법은 상당히 강력해서 위반 시 벌금이 매출액의 3퍼센트까지 된다. 수익의 3퍼센트가 아닌 매출액의 3퍼센트이니 확실히 무시무시한 법이 아닐 수 없다.
아마도 이것은 유럽이 미국에 대항하는 하나의 전략이 아닌가 싶다. 미국이 온갖 서비스를 만들어 세상의 모든 데이터를 대거 흡수하는 현실에 대응한 것일 텐데 아무래도근본적인 해결책은 아니라고 본다. - P265
빅데이터는 정부나 대기업을 위한 혁신의 수단이기도 하지만 일반 소비자이자 데이터 생산자인 우리에게도 직접적인 도움이 될 수 있다. 빅데이터는 잘 쓰면 약이요 못쓰면 독이 된다. 우리가 항상 봐야 하는 관점은 이익과 비용이다. 빅데이터로부터 우리가 얻는 이익이 무엇이고 그에 따른 비용이 무엇인지를 이해해야만 정확히 그 실익을 저울질할 수 있다. 무엇보다 내가 만든 데이터에 대해서는 나도 권리가 있다는 주인의식을 가져야 하고, 나에게 그런 권리가 주어졌을 때 그걸 어떻게 사용할지에 대한 판단을 할 수 있어야 한다. - P269
|