실험횟수가 많으면 대체로 정규분포를 따른다. 하지만 그중에서 정규분포를 따르지 않는 이산확률은 어떻게 설명할까? 그 해답은 푸아송 분포Poisson distribution에 있다. - P165
여기서 말하고자 하는 것은 바로 앞서 계속 이야기한 실험이나 관찰 횟수의 시간 간격이다. 옛 연인에게서 온 편지는 30년 만에 한 번이고 프랑스의 극악 범죄는 100년에 한 번이다. 이를 실험에 빗대자면 30년과 100년을 기다려야 두 번째 실험이 가능하다. 긴 시간을 기다린다면 실험 횟수는 꾸준히 증가하겠지만, 실험 횟수로 정규분포를 충족하기에는 시간이 너무 오래 걸린다. 그러므로 딱히 정규분포를 따른다고 이야기하기도 그렇다. 그래서 푸아송 분포가 필요하다. 푸아송 분포는 시간이 충분히 흘러 그 시행 횟수가 충분하다고 가정한다. - P167
푸아송 분포의 핵심은 사건이 발생한 시간 간격(람다)으로, 일정한 간격으로 발생하는 사건의 확률을 구한다. - P167
푸아송분포는 시행횟수가 충분히 많아도 그 확률이 매우 낮을 때 이용한다. - P167
인공지능을 간단하게 표현하면 스스로 판단하고 결정해서 행동하는 것을 의미한다. 이미 내가 할 일을 알고 행동한다는 것은 선행 예측이 이루어진다는 것이다. 그러므로 ‘데이터 분석의 최종 목적은 예측에 있다‘고도 볼 수 있다. - P168
하물며 우리가 점을 보는 것은 미래를 보기 위함이지 내 삶을 돌아보고자 하는 건 아니지 않은가. - P168
군집과 분류를 중요하게 생각하는 이유는 실무에서 공략 대상, 즉 분석 대상을 명확히 하는 데 군집과 분류가 매우 유용하기 때문이다. - P168
규칙이란 데이터의 속성, 흐름, 배경, 유사성 등 여러 항목의 관계를 파악하는 작업을 의미한다. 규칙을 찾으면 바둑처럼 다음 수가 보인다. - P168
새로운 상황을 설계하고 해당 상황에 유연하게 대처할 수 있는 신의 한수를 찾는 일 (예측) - P169
원래 데이터란 현실 세계에 존재하는 모든 것이다. - P173
시장조사기관 가트너는 기존 데이터와 구별하는 빅데이터의 요소를 3V로 설명한다. 3V는 대용량 데이터 (volume, 크기)와 이를 빠르게 처리하는 기술(velocity, 속도), 다양한 종류의 데이터(variety, 다양성)를 의미한다. 적어도 이 세 가지 특성이 있어야 빅데이터라고 부를 수 있다. 최근에는 여기에 정확성 Veracity 또는 가변성 Variability을 추가해 4V로 설명하기도 한다. - P173
빅테이터를 포함한 모든 데이터는 분석 대상이라서 빅데이터에는 분석의 개념이 포함돼야 한다. 그리고 모든 데이터 분석 활동은 가치를 창출해야 한다. - P173
빅데이터는 빠른 속도로 데이터를 수집하고 발굴해 분석한 후 유용한 가치를 창출하는 다양한 형태의 거대한 정보 집합체를 의미한다. - P173
빅데이터 분석은 모든 유형의 데이터와 적절한 컴퓨터 기술, 그에 맞춤화된 알고리즘과 가치 창출을 위한 유용한 통계적 분석 기법의 결합이다 - P174
빅데이터의 성공적인 공략을 위해서는 대용량 데이터를 자원화하고 이를 가공, 분석, 처리하는 기술을 갖춰야 하며 도출된 결과와 의미를 통찰하는 인적 자원도 있어야 한다. - P175
고된 혁신으로 가는 길에 밑거름이 돼줄 훌륭한 도구가 바로 빅데이터 분석이다. 조직의 행동 패턴, 주변 혹은 시장의 변화와 변동 사항을 알면 바꾸고 도전해야 할 목표를 명확히 설정할 수 있다. - P176
빅데이터 분석은 우리가 가진 능력을 좀 더 효율적으로 분배하고 최대로 이끌어 내게 한다. 어디에서 병목현상이 발생하는지, 어느 부분을 혁신하면 새로운 도전이 가능한지를 분명하게 설명할 수 있다. - P176
빅데이터 역시 분석에 따른 가치가 충분히 창출돼야 의미가 있다 - P177
빅데이터 분석의 핵심은 가치가 있는 데이터를 모으는 것이다. 가치가 있는 데이터가 충분해야 분석을 통한 결과도 신뢰성이 확보된다. 즉, 데이터의 가치에 따라 빅데이터 분석의 성패가 결정된다. 이러한 가치 있는 데이터를 모으는 활동, 그것이 바로 데이터 마이닝 data mining이다. - P177
데이터 마이닝은 데이터를 추출, 가공하는 데이터 분석을 위한 전처리 과정으로 분석 대상을 찾는 과정인 반면, 데이터 분석은 분석 대상이 명확 - P178
통계 분석에서는 대상이나 표본자료 간의 관계가 성립되거나 유사한 대상을 기준으로 하지만, 데이터 분석은 전혀 어울릴 것 같지 않는 대상 간에도 관계를 도출하고 연관성을 찾을 수 있다. - P178
통계 분석은 정교한 분석 기법을 실행해 그 가치의 정확성을 높이는 데 치중하지만, 빅데이터 분석은 정확성은 물론 다양한 기법을 결합해 전혀 예상치 못한 결과를 도출하는 것에도 큰 의미를 부여한다. - P178
빅데이터 분석은 단순히 통계적 분석 기법만을 요구하지 않는다. 다양한 분야의 지식과 컴퓨팅 기술, 여기에 적절한 알고리즘 능력과 인문학적 이해 같은 다양한 학문과 기술을 요구한다. - P179
이전의 통계 분석을 중심으로 한 데이터 분석은 분석 결과를 해석하고 도출된 가치를 판단해 의사결정을 수행하는 반면, 빅데이터 시대의 데이터 분석은 분석 자체가 곧 의사결정이 되고 실행된다. - P179
데이터 분석의 핵심 재료는 데이터다. 데이터가 있어야 분석도 하고 결과를 가치로 연결할 수 있다. 그것이 통계 분석이든 빅데이터 분석이든 재료가 있어야 한다. - P182
시대가 급변함에 따라 데이터도 함께 변하고 있다. 이제 데이터를 분류하는 척도뿐 아니라 그 생김새 (유형)까지도고려해야 하는 시기에 접어들었다. - P182
‘데이터는 현실 세계에 존재하는 모든 것‘ - P182
데이터 분석을 할 현실 세계의 모든 것은 머릿속, 데이터베이스, 엑셀 시트 등 어딘가에 저장돼 있다. - P182
현실 세계의 모든 것을 확인하고 그 특징인 속성을 구분해 해당 속성에 값을 정리한 것 (정형 데이터) - P183
사람, 상품, 생각 등 현실 세계의 모든 것은 그들이 가진 속성에 따라 정리할 수 있다. - P183
정형과 비정형 데이터의 구분 기준은 속성이다. 정형 데이터는 미리 정해진 속성에 따라 정제해 분류된 데이터를 말하고, 비정형 데이터는 데이터 안에서 속성을 찾아서 의미를 새롭게 부여해야 하는 데이터다. 따라서 정형과 비정형 데이터는 그것이 정해진 속성에 따라 구분되냐 아니냐의 차이가 있다. - P183
비정형 데이터 분석은 정제되지 않은 데이터를 통해 그 안에 품고 있는 속성을 탐사하고 의미를 부여해 가는 과정이다. 비정형 데이터는 날것 그대로다. - P183
비정형 데이터를 ‘아직 속성을 파악하지 못한 데이터‘ 라고 말하면 어떨까? - P183
인사말이 적힌 문서는 아직 그 안에 들어 있는 속성이 정리되지 않은 비정형 데이터였다. 따라서 문서 그대로를 하나의 데이터로 본다면 이제 그 안에 내포된 속성을 찾고 의미를 부여해야 했다. - P184
문서에 포함된 언어는 일반 사회 속에서 서로의 약속에 따라 사용된다. 이렇듯 일상에서 사용하는 언어를 자연어natural language라 하는데, 이러한 자연어의 속성을 파악하는 기법을 자연어 처리 natural language processing 라고 한다. - P184
인터넷의 보급과 IT 기기가 보편화되기 이전의 데이터 분석은 속성에 따라 구조화된 데이터의 표본을 다루는 데 더 많은 노력과 시간을 투자했다. 그러나 비정형 데이터가 급속도로 증가한 지금은 자연어 처리와 관련한 연구와 노력이 데이터 분석 분야에서도 매우 중요하게 인식되고 있다. - P184
자연어 처리의 범위는 음성과 문서를 모두 포괄하며, 이제 자연어 처리를 넘어 자연어 생성 분야까지 연구가 확대되고 있다. 오늘날 자연어 처리는 인공지능의 중요한 영역으로서 활발히 연구되고 있다. - P184
자연어 처리 기법은 가히 ‘신의 영역‘이라 할 정도로 아직은 어렵고 난해하다. 이런 이야기를 하는 건 단순히 언어적 기능과 문법의 의미, 패턴, 형태를 반영하는 것을 넘어 이제 언어에 내포된 감정 영역까지 다루기에 하는 얘기다. - P185
현재의 데이터 분석은 단순한 기법 하나로 가치에 도달하기가 쉽지 않다. 즉, 우리가 원하는 방향으로 데이터가 알아서 속성별로 정리된 구조화된 형태가 되지 않는다는 이야기다. 결국 자연어 처리 기법은 데이터 분석에 앞서는 전처리 과정으로서 매우 중요하다. - P185
자연어 처리 분야는 인공지능 분야와 연결된다. - P185
텍스트 마이닝은 글로 표현된 모든 것을 파악해 그 안에 내포된 의미와 의도, 성향 등을 구별하는 기법이다. - P186
텍스트 마이닝으로 도출된 모든 결과가 반드시 가치로 연결되는 건 아니라는 뜻이다. 텍스트 마이닝은 데이터 분석 기법이 아니기 때문이다. 물론 텍스트 마이닝의 결과는 충분히 유용하다. 그러나 여기에 그치지 않고 데이터 분석까지 이어서 하는, 즉 데이터 분석을 위한 전처리로 텍스트 마이닝을 하는 경우가 더 많다. - P186
텍스트 마이닝뿐 아니라 현재 모든 데이터 마이닝은 한 가지 기법만으로 충분히 설명되지 않는 경우가 많다. 여러 복합적인 분석 기법을 활용하는 능력이 데이터 분석가에게 중요하다. - P187
추가로 텍스트 마이닝이 중요한 이유는 일상에서 언어, 즉 자연어로 의사소통을 하기 때문이다. 여기서 언어는 음성과 문자 모두를 말한다. - P187
음성 인식이든 문자 인식이든 분명한 것은 상대방의 의도와 의미를 파악하는 것은 인공지능을 넘어 미래의 가치 창출에 핵심이 될 거란 점이다. - P187
데이터 마이닝을 넓은 의미로 보면 데이터 분석을 하기 위해 데이터를 구조화하는 작업이라고 할 수 있다. - P187
머신러닝 machine learning과 딥러닝 deep learning은 모두 데이터를 활용해 인간의 지시 없이 작동하는 알고리즘이라 보면 된다. 데이터를 재료로 활용하지만 진행 과정은 컴퓨터과학에 더 가깝다. 이 알고리즘은 새로운 신호 (데이터)가 들어오면 자동으로 계산하고 판단해 실행에 옮긴다. - P189
알아서 판단하고 알아서 결정하는 알고리즘. - P189
판단 방식은 크게 두 가지로 나뉜다. 입력된 대상을 이전에 경험한 적이 있는가와 없는가다. - P189
|