미래의 시민에겐 통계적 사고가 읽고 쓰는 능력만큼이나 중요하게 될 것이다. _사무엘 윌크스(미국의 저명한 통계학자). - P5
이 시대에 맞는 준비를 하고 있으면, 이 시대에 맞는 역량을 키우고 있으면 그런 역량을 발휘할 기회는 반드시 온다. - P6
숫자를 다루고 숫자로 말하는 사람이 성공하는 빅데이터 시대 - P7
"미래는 이미 우리 곁에 와 있다(The future is already here)." _공상과학 소설가 & 미래학자 윌리엄 깁슨 (William Gibson) - P14
빅데이터는 데이터의 양이나 종류가 엄청나게 많아서 기존의 방법으로는 도저히 수집, 저장, 검색, 분석 등이 어려운 데이터이다. - P24
정형 데이터 : 바로 통계 분석이 가능한 형태(표)로 정리된 데이터로 열은 항목이고, 행은 저장되는 단위가 된다. 기존의 시스템에 저장된 데이터, 예를 들어 회원정보, 구매 정보 등은 모두 정형 데이터다. - P24
반정형 데이터 : 데이터 구조가 일관성이 없는 데이터로 속성을 나타내는 메타데이터를 갖는다. html, 웹 로그, 센서 데이터 등이 대표적이다. - P24
비정형 데이터 : 형태 자체가 정해지지 않은 텍스트(글), 음성, 이미지, 동영상, GPS 등과 같은 데이터로 분석하려면 정형 데이터로 변환해야 한다. - P25
빅데이터는 데이터 폭증으로 데이터(주로 반정형, 비정형 데이터)의 양이나 종류가 엄청나게 많아져 기존의 방법으로는 도저히 수집, 저장, 검색, 분석 등이 어려운 데이터를 말한다. - P25
데이터베이스 : 여러 사람이 공유하여 사용할 목적으로 기업 또는 조직의 다양한 정보를 체계화해 통합·관리하는 데이터의 집합(목록). - P25
요즘은 100페타바이트 정도 되어야 빅데이터라고 하는데, 이 크기는 세계에서 가장 큰 도서관인 미국의 국회의사당 도서관이 갖고 있는 정보(출판물 약 1억 7천만 권)의 거의 10배에 해당한다. - P26
엄청난 양의 빅데이터에는 불필요한 잡음이 많으므로 이를 제거하는 데이터 전처리 과정을 거쳐 데이터의 정확성veracity 높이는 것이 필요하다. - P27
빅데이터는 고객과 시장에 대한 풍부한 정보를 담고 있는 보물이라서 ‘21세기의 새로운 원유‘라고도 이야기 한다. - P28
사람들의 거의 모든 활동이 자동으로 쌓여 모이면 다양한 비즈니스 관심사, 즉 검색 트렌드, 구매, 여행, 패션, 외식, 배달, 주문취소, 의료 치료, 부동산, 주가, 세일즈, 기부, 투표, 일자리, 사직, 사기, 탈세, 사랑, 임신, 이혼, 질병 예측, 사고ㆍ범죄 예방등에 대한 데이터가 된다. - P28
빅데이터는 혁신, 경쟁, 생산성을 높이려는 새로운 싸움터다. - P30
빅데이터는 이 시대의 가장 귀중한 화폐다. [신두 라니(Sindhu Rani), 작가] - P30
빅데이터 속에 숨어 있는 것은 세상을 바꿀 수도 있는 지식이다. [아튤 버트(AtulButte), 스탠퍼드대학교 의대 교수] - P30
빅데이터가 없으면 고속도로 한가운데서 보지도 못하고 듣지도 못하는 것과 같다. [제프리 무어(Geoffrey Moore), 경영 컨설턴트] - P30
기업 측면에서 빅데이터는 고객과 시장에 대한 풍부한 정보를 담고 있는 보물 - P30
기업의 경쟁우위는 빅데이터를 분석해 고객과 시장에 대한 통찰력insight을 누가 더 잘 추출할 수 있느냐에 달렸다. - P30
데이터에서 추출한 통찰력을 고객 만족과 기업성과를 높이는 방향으로 의사결정에 활용하는 체계infrastructure도 갖춰야 한다. 여기에서 체계는 기업내 업무 처리 및 의사결정 프로세스와 조직문화 등을 의미한다. - P31
디지털 전환digital transformation은 빅데이터 시대의 5대 핵심기술을 자기 사업을 혁신하는 새로운 도구로 활용해 비즈니스를 혁신하는 것을 말한다. - P31
데이터 분석적으로 경영한다는 것은 과거 경험이나 감이 아니라 데이터, 즉 사실에 근거해서 의사결정을 하고 경영을 하는 것이다. - P32
"우리는 신을 믿는다. 하지만 (신이 아닌) 모든 다른 사람은 (근거가 되는) 데이터를 가져와라In God we trust, but all others must bring data" - P32
디지털 전환은 빅데이터 시대의 5대 핵심기술인 소셜, 모바일, 사물인터넷, 클라우드, 인공지능을 자신의 사업을 혁신하는 새로운 도구로 활용하는 것이다. - P33
인공지능과 빅데이터의 관계는 상호보완적이다. 빅데이터 자체는 인공지능이 없으면 분석하기가 거의 불가능하고 인공지능은 데이터가 많을수록 성능이 좋아진다. - P37
인공지능은 인간의 지능, 즉 인간이 하는 모든 것을 할 수 있는 로봇, 구체적으로는 소프트웨어, 하드웨어 또는 그 둘의 조합으로 정의된다. - P38
인공지능은 인간이 할 수 있는 것(예를 들어 배우고, 말하고, 듣고, 보고, 계산하고, 추론하고, 느끼고, 움직이고, 문제를 해결하고 등)을 다음과 같이 5개 영역으로 구분한다.
언어지능: 자연어(글, 말 등)를 이해하고 소통하는 것
시각지능: 이미지에서 물체를 인식하는 것
공간지능: 3차원으로 생각하는 지능
감성지능: 자신이나 타인의 감정을 인지하는 것
창작지능: 새로운 것을 만들어내는 능력 - P38
기계학습은 수작업으로 규칙을 만들기가(프로그래밍하기가) 불가능한 문제를 컴퓨터 알고리즘이 데이터에 내재하는 패턴을 스스로 학습하는 것이다. - P40
기계학습의 종류는 다음과 같이 구분할 수 있다.
데이터 마이닝: 센서 데이터, 클릭기록, 의료기록, DNA 분석 등
수작업으로 프로그래밍할 수 없는 것들: 글자 인식, 이미지 인식, 스팸 제거, 자율운행(차, 헬기) 등.
개인 최적화 추천 알고리즘
강화학습 - P40
기계학습의 문제는 데이터에 내재하는 패턴을 찾기 위해 정답이 붙은 많은 데이터가 필요하다는 것이다. - P40
기계학습이란 용어를 처음으로 사용한 아서 새뮤얼Arthur Samuel은 기계학습이란 "명시적으로 프로그래밍하지 않고도 컴퓨터가 학습할 능력을 갖추게 하는 것"이라고 정의했다. 다시 말해서 기계학습이란 수작업으로 프로그래밍이 불가능한 문제를 컴퓨터 알고리즘이 데이터에서 스스로 학습하는 것을 의미한다. - P54
지도학습은 어린아이가 지도를 받아서 배우는 방식과 같다. 어린아이는 특정 동물(입력)을 개나 고양이라고(정답) 가르쳐주면(지도) 스스로 개나 고양이를 구별하는 패턴을 인식해 이후에는 어떤 동물을 보면 개인지 고양이인지 판단한다. 마찬가지로 기계학습도 개나 고양이의 사진과 정답을 주면 스스로 패턴을 인식해 새로운 사진에 주어진 동물이 개인지 고양이인지 예측한다. - P55
인공지능은 인간의 지능, 즉 자연언어의 이해능력, 지각능력, 학습능력, 추론능력 등을 컴퓨터 프로그램으로 실현하는 것이다. 일반적으로 인공지능은 언어지능, 시각지능, 공간지능, 감성지능, 요약/창작 5대 영역으로 구분한다. - P60
구글 최고 경영자 순다르 피차이sundar Pichai는 "딥러닝은 전기나 불보다 더 심오하다"라고까지 말했다. - P63
특이점singularity, 더 정확히 말하면 기술적 특이점technical singularity 은 미래에 기술의 급격한 변화로 인간의 일상생활이 이전으로 되돌아갈 수 없는 시점을 말하는데, 이 특이점을 넘어서는 순간부터 사람들의 힘으로는 기술을 이해하거나 따라잡지 못하게 된다. 쉽게 표현하면 인공지능이 사람과 유사한 또는 그 이상의 지능을 갖게 되면 인류는 로봇의 노예가 되거나 멸종한다는 말이다. - P65
로봇공학자이자 카네기멜론대학교 교수인 한스 모라벡Hans Moravec은 "지능 검사나 체커 같은 보드게임에서 어른 수준의 성능을 발휘하는 컴퓨터를 만들기는 상대적으로 쉬운 일이지만, 지각과 동작에 관련해서는 한 살짜리 아기만 한 능력을 갖춘 컴퓨터를 만드는 일은 어렵거나 불가능하다"라고 말했다. 이를 풀어서 얘기하면 지능 검사나 체스처럼 사람에게 어려운 것은 로봇에게 쉽고, 지각이나 움직임같이 사람에게 쉬운 것은 로봇이 구현하기가 불가능하다는 말이다. - P67
사람들의 동작은 대부분 스스로 의식하지 못하는 상태에서 반사신경이 작동해 자연스럽게 이루어진다. 사람들이 넘어질 때 순식간에 손으로 바닥을 짚지만 언제 어떻게 해서 앞으로 손을 내밀고 바닥을 짚는지는 모른다. 그렇기에 로봇공학자들도 언제 어떤 순간에 로봇에게 손을 내밀라고 가르쳐줄 수 없고, 결과적으로 그런 로봇은 만들 수 없는 것이다. 로봇 손을 억지로 내민다고 해도 관절의 충격완화 작용이 없어서 손이 부러질 것이다. 이처럼 사람들이 무의식적으로 실행하는 반사신경 같은 것을 인공지능으로 구현하기가 불가능한 이유는 무엇일까? - P71
자연선택(natural selection)은 자연도태(自然淘汰)라고도 하며, 특수한 환경에서 생존에 적합한 형질을 지닌 개체군이 그 환경에서 생존에 부적합한 형질을 지닌 개체군에 비해 ‘생존‘과 ‘번식‘에서 이익을 본다는 이론이다. - P73
인간은 수억 년에 걸친 점진적 진화 덕분에 걷기, 느끼기, 듣기, 보기, 의사소통 등 일상적 행위는 아주 쉽게 할 수 있다. 반면 비교적 최근에 얻은 계산과 같은 추상적 사고를 하려면 많은 시간과 에너지를 소비해야 한다. 인공지능은 인간이 하는 일상적 행위를 수행하기는 매우 어렵지만 수학적 계산, 논리 분석 등은 이제 쉽게 구현할수 있다. 사람들에게는 너무나 어려운 천문학적 단위의 수를 계산하거나 복잡한 수식을 푸는 일을 인공지능은 아주 쉽게 할 수 있다. 그렇기에 사람들이 무의식적으로 쉽게 하는 듣고, 느끼고, 인식하는 모든 일상의 행위도 인공지능은 더 쉽게 할 거라고 생각했지만 실제로는 컴퓨터에 도무지 가르칠 방법이 없다는 사실을 깨달은 것이다. 결국 인간의 기능이 진화 과정에서 개발되는 데 걸린 기간이 길면 길수록 인공지능이 그 기능을 구현하기가 매우 어렵거나 불가능하다. - P74
인공지능의 미래에 대한 정반대 시각은 인공지능 등장 가능성에 대한 사람들의 강한 정반대 믿음을 의미한다. 그러므로 과연 어느 시각이 맞는지 따질 수 없다. 왜냐하면 사람들의 믿음은 누가 옳고 누가 그른지 따질 수 없는 영역이며 서로 믿음이 다른 것뿐이기 때문이다. 예를 들면 신이 있다고 주장하는 사람들은 신이 있다고 믿는 사람들이고, 신이 없다고 주장하는 사람들은 신이 없다고 믿는 사람들이다. 누가 맞고 누가 틀렸는지가 아니라 서로 믿음이 다른 것뿐이다. - P76
중요한 것은 인공지능이 현재 어디까지 왔고, 과연 무엇을 할 수 있는지 잘 인식하는 것이다. 오늘날 이미 약한 인공지능은 검색엔진, 인터넷 쇼핑몰, 광고, 물류, 미디어 등 많은 영역에서 혁신을 주도하며 거의 모든 산업은 물론 일상생활에서까지 유용하게 활용되고 있다. 이미 약한 인공지능은 우리 삶을 윤택하게 하는 보조 도구로 없어서는 안 될 중요한 역할을 한다. 그래서 미래학자 케빈 켈리 Kevin Kelly는 ‘앞으로 로봇과 얼마나 잘 협력하느냐에 따라 연봉이 달라질 것‘이라고까지 말했다. - P76
우리는 약한 인공지능이라는 도구를 유용하게 그리고 현명하게 활용할 줄 알아야 한다. 그러려면 약한 인공지능이 무엇을 할 수 있고, 무엇을 할 수 없는지 제대로 이해해야 한다. - P76
놀랍게도 인공지능이 가져온 충격의 크기breadth에도 불구하고 전개되고 있는 발전 형태는 여전히 극히 제한적이다. 최근 발전한 인공지능의 거의 모든 것은 어떤 입력 데이터(A)를 활용해서 어떤 간단한 출력(B)을 빠르게 만들어내는 것 한 가지 형태를 따랐다. _앤드루 응Andrew Ng - P78
컴퓨터가 사전에 명시적으로 프로그램된 명령어에 따라 작동한다 - P78
보통 사람이 1초 이내의 생각으로 할 수 있는 정신적 과제를 우리는 지금 또는 가까운 미래에 인공지능을 사용해 아마도 자동화할 것이다. _앤드루 응Andrew Ng - P80
A→B 시스템은 A→B 관계를 파악하려면 엄청난 양의 데이터가 필요하다는 약점이 있다. 지도학습을 위해 A와 B 모두에 대한 많은 사례를 제공해야 하기 때문이다. - P81
구글은 "모든 의사결정, 특히 서비스와 제품에 관한 의사결정은 데이터 없이는 결코 하지 않는다"라는 모토로 유명하다. - P84
아마존 CEO 제프 베조스Jeff Bezos는 "미지의 바다에서 어려움을 겪는 기업이 되느냐 아니면 세계적으로 성공한 기업이 되느냐는 데이터와 정보의 활용 여부에 달렸다. 이 세상의 미래 주인은 분석에 뛰어난 기업들, 즉 사물이 관련되어 있다는 것을 알 뿐만 아니라 왜 그리고 어떻게 관련되어 있는지 아는 기업들이다"라고 설파했다. - P88
넷플릭스 CEO리드 헤이스팅스Reed Hastings Jr.는 "우리는 과거보다 넓은 영역에서 합리적이고 계량 분석적이며 데이터에 더 의존한다. 기업, 정부, 사회는 믿음에 근거한 방식에서 데이터에 기반한 의사결정으로 바뀌고 있다. 당신 기업은 이런 근본적 전환에 대해 준비가 되어 있는가?"라는 물음을 던졌다. - P89
|