R로 하는 빅 데이터 분석 - R의 깊은 곳까지

R로 하는 빅데이터 분석 : 데이터 전처리와 시각화 - 개념적 기초에서 심층 활용까지
김권현 지음 / 숨은원리 / 2019년 3월

오래전 한참 프로그래밍을 배울 때에는 가장 유명한 통계 툴이 SPSS, SAS 같은 것이었다. 어떤 건가 호기심을 가지긴 했지만, 그때는 그다지 큰 필요성을 느끼지 못했다. 실제 우리가 알고 있는 진짜 일반적인 통계 업무에만 대부분 사용되었기 때문이다.

그런데 지금은 많은 것이 달라졌다. 통계가 요즘처럼 중요해진 적이 없었다. 인공지능, 기계학습, 빅데이터 등으로 이젠 각종 통계 계산이 없어서는 안될 존재가 된 것이다.

그러다 보니 통계 패키지에도 변화가 생겼다. IT 트렌드에 맞게 빠른 대응이 가능한 통계 프로그래밍 언어 R이 대세가 되었다. 그만큼 시중에 R 관련해서 많은 책이 나오고 있다.

그중 눈에 들어오는 책이 바로 김권현 교수의 'R로 하는 빅 데이터 분석'이다.

이 책은 많은 이들이 R을 좀 더 수월하고 효율적으로 익히기를 바라는 저자의 마음을 담아, '전체적인 맥락을 알고, 큰 그림을 볼 수 있다면, 훨씬 수월하다'라는 생각으로  쓰인 책이라 한다. 즉 단편적인 내용을 모았거나 반대로 이거저거 잔뜩 모아 담은 것이 아닌, 제대로 원리를 이해해서 다양하게 활용할 수 있는 응용력을 기르게 한 책이라는 소리다.

첫인상은 대충 떠들어 봤을 때는 딱 이거다 하는 느낌이 들지는 않았다. 내가 컬러 책을 좋아해서 그런지, 초반의 단색 구성(후반부 시각화 쪽은 컬러로 되어 있다)이 마치 대학 교재같이 딱딱해 보였고, 설명과 코드가 명확히 구분이 안돼 보였다. 뭐랄까 R 문법을 다룬 레퍼런스 가이드 같다는 느낌도 들었다. 그런데 책을 서문부터 읽어 나가면서, 느낌이 달라졌다. 다른 책에서는 아예 당연시 여기며 설명 설명조차 안 하고 넘어가는 것들을 꼼꼼히 얘기하고 있었고, 프로그래밍이나 R을 많이 써본 사람만이 잘 아는 각종 시행착오나 노하우도 다루고 있었다. 진짜 해본 사람만이 공감할 내용이 들어 있는 것이다.

그 차이는 앞 쪽에 나오는 str() 설명부터 알 수 있다. 다른 프로그래밍 언어를 써봤다면, str을 절대 structure로 생각하지 않는다. 누가 봐도 string이다. 잘못된 명명인 것이다. 이런 얘기를 주석에서 하고 있다. 보면 알겠지만, 페이지마다 많이 등장하고 있는 주석이 실질적 도움말이 되어 주고 있다.

변수 이름 붙이는 것도 프로그래머의 고민 중에 하나인데, 역시 잘 설명하고 있고, 문자열 경우, 한글 사용을 중심으로 다양한 테스트를 해서 주의할 것들을 일일이 알려주고 있다. 아울러 정규표현시도 다루고 있는데, 이런 것들은 실제 프로그래밍에서 자질구레한 것으로 애 먹지 않게 도와준다.

여러모로 저자가 얼마나 R을 가지고 놀았는지 책 속에 드러난다. 다만 이 책은 어중간한 면이 있다. 완전 초보를 위한 책이라 보긴 어렵다. 살짝이라도 R을 접해 본 분에게 어울리며, 그런 분이 이 책의 가치를 제대로 알아 볼 수 있다 생각한다. 어차피 R을 책 한권으로 마스터 하기는 힘들다 생각한다. 다른 책도 보고, 이 책을 복습하는 마음으로 본다면, 얻어 갈 수 있는 것이 많을 것이다.

'R로 하는 빅 데이터 분석'에 딱 어울리는 단어가 '츤데레'라 생각한다. 뭔가 딱딱해보이지만, 속은 R의 깊은 곳까지 친절히 설명하고 있기 때문이다. 구석구석 긁어주는 후련함이 있는 책인 만큼 R을 좀더 알고자 하는 분에게 좋은 책이다.

수학의 아름다움 - IT 기술 응용

수학의 아름다움 - AI, 빅데이터에 숨어 있는
우쥔 지음, 한수희 옮김, 권재명 감수 / 세종(세종서적) / 2019년 1월

매일 같이 구글링을 하며, 각종 정보를 검색하고 있는데, 이렇게 자주 인터넷 검색을 하다 보면, 구글과 네이버가많은 차이가 있음을 자연스럽게 느껴지게 된다. 그만큼 검색 알고리즘에 차이가 있다는 것이다. 검색 알고리즘은기업의 비밀이다 보니, 자세히 알 수 없다. 게다가 알고리즘은 살아있는 생물처럼 계속 진화하고 있기에 관련자도정확히 모른다고 말하기까지 한다. 그래도 기본적으로 그들이 어떤 알고리즘을 쓰고 있는지 알고 싶었다.

그래서 구글 연구 개발자가 썼다는 문구 하나만으로 집어 들게 된 책이 바로 정보검색 전문가 우쥔의 '수학의 아름다움'이다. 한심하고 무모한 책 선택이었을지 모르나, 결과적으로 운 좋게도 너무나 좋은 책을 만났다 생각한다. 중국 아마존 베스트셀러, 중화 우수 출판물상이라는 책 자랑이 절대 상투적인 광고가 아니었다. 그만한 가치가 충분히 있는 책이었다.

이 책은 알고리즘에 관련된 수학 전반의 이야기를 하고 있는데, 전혀 상관관계가 없을 거 같은 문자와 언어, 숫자와 정보의 비교를 시작으로 자연어 처리에 대한 기초적 이해를 돕고 있다. 자연어 처리에 대한 책을 봤다면, 이것이 참 어려운 분야라는 것을 잘 알 것이다. 그런데 저자는 그것을 너무나도 이해하기 쉽게 설명하고 있는 것이다. 그리고 이것이 어떤 과정을 거쳐,  왜 그렇게 발전되어 갔는지도 물 흐르듯이 얘기해주고 있다.

자연어 처리의 기초인 통계언어 모델은 기계번역, 음성인식, 필기체 인식 등의 분야에 응용되는데, 이에 관한 수학적인 처리 방법과 응용도 함께 설명되어 있다. 읽다 보니, 각종 인공지능은 결국 인간의 행동을 수학 공식으로 만드는 것이라는 생각을 하게 된다. 언어가 수학 공식이 되고, 글씨가 수학 공식이 되는 것이다.

구글 검색에 있어 웹페이지의 품질이나 뉴스의 분류와 같은 것은 컴퓨터는 사람처럼 내용을 이해할 수 없고, 단지계산만 가능하므로, 모든 단어를 수로 바꿔 처리하게 된다. 이때 조사는 중요한 부분이 아니므로 가중치가 0이되고, 나머지 단어들의 분야 유사성을 계산해서 나눈다. 이에 관련된 내용은 11장, 13장에 나오는데, 뉴스 경우 삼각함수 코사인과 벡터를 통해 분류를 하게 된다. 두 뉴스 사이에 코사인 값이 1에 가까우면, 비슷한 주제의 뉴스가되는 것이다.

이러한 알고리즘은 단지 검색에만 쓰이는 것이 아니다. 최대 엔트로피 모델 알고리즘은 금융계에서도 강력한 힘을 발휘하여, 기존의 투자 방법보다 월등한 수익을 얻을 수 있게 해주고 있는 것이다. 주식 투자의 다양한 변동 요인을 수학식으로 계산해 투자 예측을 하는 것이다. 수학이 직접적인 돈이 되는 현장이라 할 수 있다.

이 밖에 책에는 저자의 많은 경험 이야기도 곳곳에 들어 있다. 그가 개발한 구글 자동 QA 시스템에 관한 것도 있으며, 구글이나 텐센트의 검색 개발 관련 알려지지 않은 비하인드스토리도 많이 담고 있다.

이 책은 주제부터가 어려운 책이다. 게다가 많은 수학 공식들이 나온다. 고등학교 이과면  많이 본 식들이 보이지만, 다루는 내용이나 수준은 대학 수학 이상의 것들이다. 나 역시도 제대로 이해할 수 있는 것이 몇 개 안됐다. 하지만 읽는 사람 모두가 다 이해할 필요는 없다. 저자도 내용을 좀 더 심화한 '추가 읽기'를 필요한 단원마다 두었지만, 넘어가도 좋다고 얘기했으니까 말이다.

진짜로 중요한 것은 검색 알고리즘의 개념이다. 되로 배워서 말로 써먹는 사람이 되어야 하는 것이다. 어느 고등학생은 빅데이터를 이용해 유방암 의심 조직 위치를 98%의 정확도로 높이는 것으로 구글 과학기술 대회 1위를차지했다고 한다. 많이 아는 것이 중요한 것이 아니라 제대로 써먹을 수 있는 가가 중요한 것이다.

책 제목 '수학의 아름다움'에서 알 수 있듯이, 이 책은 수학의 중요성을 얘기하는 책이다. 검색, 인공지능, 빅데이터, 각종 알고리즘이라는 현재 활용되고 있는 IT 기술을 통해 현재 수학이 얼마나 중요한 위치를 차지하고 있는지보여주고 있고, IT 종사자가 아니더라도 수학을 알아야 한다고 말하고 있는 것이다.

일단 '수학의 아름다움'을 통해 구글 검색 알고리즘의 비밀을 조금이나마 알 수 있게 된 점은 나에게 가장 큰 소득이었다. 그리고 이 책이 좀 어렵긴 해도, 수학의 실제 응용을 제대로 보여준 책이라, 읽고 나면, 수학을 어떻게 IT나업무에 활용할지 좋은 아이디어 얻는데 도움이 될 것이다. 시중에 보기 힘든 내용을 담은 진짜 진짜 좋은 책이다. 

기네스 세계기록 2019 - 없는 게 없는 놀랍고 재미난 기록

기네스 세계기록 2019 (기네스북) ㅣ 기네스 세계기록
기네스 세계기록 지음, 신용우 옮김 / 이덴슬리벨 / 2018년 11월

각종 뉴스, 해외토픽, 방송 프로 등에서 자주 접하는 재미난 소식 중에 하나가 바로 세계 신기록일 것이다. 그리고이와 함께 항상 따라다니는 단어가 '기네스'이다. 그래서 어느 순간부터 세계 신기록하면, 기네스 신기록이 당연하게 연상된다.

그런데 기네스, 기네스 하면서도 정작 기네스북은 얘기만 들어봤지, 실제 봐 본 적이 없었다. 기네스북하면, 사전처럼 뭔가 빽빽하게 사진과 기록들만 들어 있을 거 같은 이미지가  가지고 있었다. 그러나 이번에 '기네스 세계기록 2019'를 보고, 내 이미지가 완전히 틀렸다는 것을 알게 되었다. 방송에서 봐왔던 그런 재미난 볼거리로 가득한책이었다. 한마디로 재미 그 자체였다.

그리고 기네스북에는 사람들이나 건축물, 음식 그런 종류의 기록들만 담았을 거라 생각했는데, 이 역시도 잘못된내 생각이었다. 우주, 행성, 자연, 동물, 공룡, 곤충, 스포츠, 장난감, 예술, 과학기술, 게임, 심지어는 가상현실, 3D 프린터 기록까지 전혀 짐작도 못한 분야의 각종 기록까지도 들어 있었다. 진짜 만물상자와도 같은 책인 것이다.

내용도 재미있지만, 일단 겉 표지도 마음에 든다. 화려한 컬러에 홀로그램의 무지갯빛 반짝임이 어디에 놓아도 눈길을 끌기에 모자람이 없다. 안에 내용도 알록달록 올 컬러에 기분을 밝게 만드는 편집으로 되어 있다.

기록 중에는 참 왜 이런 짓을 하나 하는 것도 많은데, 칼 한 번에 많이 삼키기 기록을 보면, 28개나 삼켰다 하고, 스키부츠 신고 100m 달리기, 스티커로 만든 공, 신체 개조 가장 많이 한 사람, 최단 시간에 입으로 종이배 만들기같은 별난 기록도 나온다.

내가 좋아하는 영드 '닥터 후' 얘기도 나온다. 닥터를 맡은 최초의 여자가 최근 시리즈에 나오는 조디 휘테커인데, 개인적으로 최초의 여성이자, 최악의 닥터가 아닐까 생각한다. 너무 재미없고, 상상력 부재의 시즌이었다.

최다 인원 참가에 재미났던 것은 윌리 옷을 입고 모인 최다 인원이었다. 4,626명이 빨간 줄무늬 옷에 모자를 쓰고모였다고 한다. 사진을 보니 누군가를 찾기는 불가능할 거 같았다. 그런데 윌리는 미국에서는 왈도, 베트남에서는반랑으로 불린다는 추가 정보도 새로웠다.

그냥 재미로 즐길 수 있는 정보도 있고, 자연과 우주 같은 교육적 정보도 한가득이라, 한번 봐 두면, 나중에 대화에서 요긴한 이야기보따리도 되어 줄 수 있을 거 같고, 활용하기에 따라서는 사람들의 관심이 어디에 있고, 시대의트렌드 같은 분석에도 도움이 될 거라는 생각도 해본다. 아이들과 함께 보기에도 좋은 책이다.

'기네스 세계기록 2019'를 보고 있으면, 재미도 재미지만, 다양한 사람들의 재능을 보면서 내가 가진 능력은 무엇인가 곰곰이 생각해보게 한다. '나도 한번 해봐'하는 도전 욕구 또한 불러일으킨다. 인간에게 도전이라는 단어가빠졌다면, 현재의 인간은 없었을 것이다. 아마 그게 기네스가 시사하는 바일 것이다.

텐서플로우 입문 - 인공지능 이해하기

인공지능을 위한 텐서플로우 입문
김유두.장문수.이종서 지음 / 광문각 / 2019년 1월

5G 시대를 맞이해서 더욱 부각이 되는 분야가 바로 인공지능이다. AI, 딥러닝, 기계학습으로 불리는 인공지능은 빨라진 통신 환경으로 인해, 컴퓨터라는 한정된 공간에서 벗어나 스마트폰, 자동차, 선박, 비행기 같은 운송 수단, 생활 가전, 각종 장비 등 무척 다양한 곳에서 활용할 수 있게 되었다. 그만큼 IT 산업의 대세는 인공지능으로 확실해진 상황이다.

하지만 인공지능을 이해하기는 사실 쉽지 않은데, 그런 면에서 '텐서플로우 입문'은 인공지능에 대한 이해를 기초부터 돕고 있는 책이다. 인공지능 이해의 걸림돌이 되곤 하는 수학 공식이 나오기는 하지만, 수식을 풀고 증명하는 것이 아니라 대부분 소개 정도로만 다루고 있어, 이해가 안 될 경우 대강만 이해하고 넘어가도 크게 문제가 되지는 않는다.

사실 이 책 제목은 '텐서플로우 입문'이긴 하지만, 책 대부분의 내용이 텐서플로우 자체 보다는 인공지능을 이해하는데 할애를 하고 있다. 어찌 보면, 일종의 인공지능 개론서처럼 보이기도 한다. 본격적으로 텐서플로우를 배우고자 하는 사람에게는 아쉬움이 많겠지만, 텐서플로우 활용에 따른 인공지능의 이론적인 지식을 탄탄히 하는데 더할 나위 없이 좋다 생각한다.

인공지능의 개요부터, 머싱러닝, 딥러닝에 대한 설명으로 시작해서, 지도학습, 비지도학습, 강화 학습으로 나눠 kNN, SVM, 나이브 베이즈 분류 등의 관련 알고리즘도 잘 정리해 놓고 있다. 2장만 잘 읽어 둬도 인공지능에 큰 숲을 설명할 수 있는 것이다.

그리고 3장에서는 인공지능 프레임워크와 라이브러리를 다루고 있는데, 이 파트를 보고 속이 후련한 감을 느꼈다. 전부터 Keras, torch, Caffe와 같은 것도 많이 있는데, 굳이 텐서플로우를 써야 하는지 의문이었는데, 구직 항목, 구글 검색, 아마존 도서 상황, 깃허브 분석 그래프를 통해 확실한 이유를 알 수 있었다. 다른 프레임워크와는 거의 게임이 안되는 상황인 것을 알 수 있었다.

아쉬운 것은 이 책을 통해 텐서플로우를 완전히 익히기는 어렵다는 점이다. 마지막 장에 간단히 파이선과 텐서플로우 설치, 일반적인 실습 예제만 나오고 있기 때문이다. 확실히 입문용 책이었다. 본격적인 텐서플로우를 익히려면 좀더 심화된 내용의 다른 책을 봐야할 필요가 있다.

어차피 230여 쪽의 분량에 모든 것을 담을 수는 없었을 것이다. 개인적으로 인공지능에 관해서 체계적으로 정리할 수 있었다는 점과 텐서플로우의 현 위치와 왜 이것을 써야 하는지를 알게 된 것만으로도 책값은 하고도 남았다 생각한다.

세상에서 가장 재미있는 61가지 심리실험

세상에서 가장 재미있는 61가지 심리실험 - 인간관계편 ㅣ 세상에서 가장 재미있는 심리실험
이케가야 유지 지음, 서수지 옮김 / 사람과나무사이 / 2019년 2월

최근에 심리 관련 책 중에 진짜 재미있게 본 책이 이케가야 유지 교수의  '세상에서 가장 재미있는 63가지 심리실험'이었는데, 그 재미에 빠져, 그가 쓴 다른 책 '세상에서 가장 재미있는 61가지 심리실험'을 보게 되었다.

역시 기대를 저버리지 않았다. 이번 책도 새롭고 재미난 볼거리가 가득했다. 이는 다른 학자들 동태 파악을 실시간으로 하고자, 일어나자 하루 100여 편의 논문을 눈도장 찍는 다는 저자이기에 가능한 것일지 모른다. 그만큼 열정적으로 최신 연구를 발 빠르게 접하다 보니, 다른 책에서 볼 수 없었던 내용들이 가득할 수 있었던 것이다.

이번 책에도 심리와 관련된 정신의학, 사회심리학, 뇌과학과 관련된 내용을 담고 있는데, 부제 인간관계편 답게, 좀더 인간의 심리적인 내용을 더욱 파헤치고 있다. 각 주제는 관련 실험을 한 쪽에 먼저 소개하고, 이어 자세한 실험이나 관련된 이야기 또는 저자의 경험을 얘기하고 있다.

여러 볼거리 중, 사회 문제가 되고 있는 갑질과도 관계있는 내용도 보인다. 상류층의 도덕 관념 희박에 대한 연구를 보면, 비싼 고급 승용차를 타는 사람이 끼어들기나, 횡단보도에서 교통 법규를 2.5배나 더 많이 무시했다고 한다. 사회적 지위가 높을수록 거짓말도 더 잘했고, 사탕 집는 실험에서도 상류층 사람이 더 많이 집었다고 한다. 실험 참여자에게 자신이 사회적 지위가 높다고 생각하며 행동하도록 요청하니, 그들도 탐욕스러워졌다고 한다. 여기에 '물욕은 부끄러워할 필요 없는 인간이 가져야 할 정당한 욕구'라는 문구를 붙이니 무례함이 상류층 사람보다 심해졌다고 한다. 이 연구를 보면서, 갑질을 하고 안 하고는 종이 한 장의 차이라는 것을 느끼게 된다. 상류층의 갑질이 많긴 하지만, 식당이나 각종 매장에서 갑질은 꼭 그들만 하는 것이 아니기 때문이다. 갑질을 조장한 정당한 욕구라는 문구처럼 '손님이 왕이다'라는 말이 결국 갑질을 오히려 불러 일으키는 것이 아닐까도 생각해본다.

4장은 대부분 뇌과학적인 이야기로 구성되어 있는데, 그중에 서번트 신드롬에 대한 주제도 나온다. 자폐증 환자 중에 기억력이나, 수학적 능력, 예술적 능력이 뛰어나는 현상이 간혹 생기는데, 대신 언어능력이 문제가 된다고 한다. 뒤에 나오는 뇌를 전기 자극해서 수학 능력을 올리는 실험도 비슷한데, 뇌의 어떤 능력이 올라가면, 상대적으로 다른 기능에 문제가 된다는 것이다. '강철의 연금술사'에 자주 나오는 등가교환의 법칙을 보는 듯하다.

간략히 두가지만 소개를 했지만, 이렇게 '세상에서 가장 재미있는 61가지 심리실험'에는 새롭게 알게 되는 내용들이 많다. 단순히 재미있는 내용도, 여러 번 깊이 생각해볼 내용도 있다. 인간관계에 숨겨진 사람의 심리가 궁금하다면, 분명 얻어갈 것이 많은 책이다. 그리고 각각의 주제들은 길지 않아, 버스나 지하철 안에서 읽기도 좋고, 자투리 시간을 활용하기에도 좋은 볼거리가 풍부한 책이다.