《잠》을 읽고...

잠
무라카미 하루키 지음, 양윤옥 옮김, 카트 멘쉬크 그림 / 문학사상사 / 2012년 10월

100쪽이 채 되지 않는 분량에 중간중간 삽화도 들어가 있어서 부담없이 금방 읽어볼 수 있었다. 초반에는 우리 눈에 보이지 않는 의식(spirit, 靈魂)이라는 것과 물리적인 몸인 육신(body, 肉身)을 분리시켜 생각해보게 하는 내용들이 일부 등장하는데, 독자인 나는 이와 관련된 부분의 내용들을 천천히 곱씹어보며 이런저런 잡다한 생각들을 해볼 수 있었다. 예를 들면 종교 또는 사주 같은 영역에서 말하는 영의 세계에 대한 것들이라고나 할까.

그리고 중반부 이후에는 그냥 화자가 생각하는 의식의 흐름대로 쭉 읽었던 것 같다. 본문에는 화자가 책을 읽는 행위를 하는 장면이 종종 등장하는데, 이는 굳이 오지도 않는 잠을 억지로 청하기보다는 무언가에 몰입하는 행위를 통해 잠이 오지 않는 시간을 뭔가 의미있고 보람찬 것으로 채워보려는 화자의 의지처럼 느껴졌다.

또한 이 책의 화자는 치과의사인 남편을 둔 한 여자인데, 단지 독자인 나의 느낌일수도 있겠으나 저자인 하루키가 화자를 여자로 설정해서 자신의 얘기가 아닌것처럼 숨기는 척 하면서 실제로는 자신이 하고 싶었던 얘기들을 독자들에게 스리슬쩍 건낸 것 같다는 생각도 들었다. 이런 나의 느낌때문인지는 몰라도 이 책은 분류상 단편소설로 되어있으나 개인적으로는 저자의 에세이 같다는 느낌도 완전히 지울 순 없었다.

이러한 느낌(?)을 갖게 된 이유는 개인적으로 요근래 읽었던 저자의 에세이인《달리기를 말할 때 내가 하고 싶은 이야기》에서 봤던 내용 때문인지도 모르겠다. 그 책에서 저자는 자신의 개인적인 얘기를 사람들에게 직접적으로 털어놓는 것을 별로 좋아하지 않는다고 말했었는데, 이 말에 근거한다면 비록 직접적이진 않더라도 자신의 머릿속에 있는 생각들을 소설 속 화자 또는 다른 등장인물들을 통해 간접적으로나마 독자들에게 전달하고 싶다는 욕구가 있을 수도 있다는 식으로 추론해볼 수 있기 때문이다.

물론 내가 상상한 이러한 것들이 저자의 의도와는 전혀 상관없는 허무맹랑한 것일지도 모른다. 그래도 이런 식으로 저자의 의도나 생각을 추론해보는 과정 자체가 독자인 내 나름대로는 의미가 있다고 생각한다. 이 과정을 통해 내 생각의 폭을 조금이나마 확장시킬 수 있기 때문이다.

페이지 수에 비해 이것저것 생각해볼거리가 적지 않았던 책으로 내게는 기억될 듯하다.

개인적으로 요근래에 무라카미 하루키 작가의 에세이 중...

개인적으로 요근래에 무라카미 하루키 작가의 에세이 중 하나인 《달리기를 말할 때 내가 하고 싶은 이야기》를 읽었었다. 그 책을 읽으면서 자연스럽게 작가의 다른 작품들에 대한 관심이 생겼다.

오늘 읽기 시작하는 이 책은 위에서 언급한 에세이에 별도로 소개되었던 작품은 아니었던 것으로 기억한다. 다만 작가의 책을 찾아보다가 정말 우연한 기회에 알게 되었다. 책의 두께도 대체로 얇은 편이라 부담없이 읽어볼 수 있겠다는 생각에 시작해보게 되었다.

오늘 처음 밑줄친 문장은 이 책의 첫 문장이기도 한데, 비록 짧은 문장이긴 하지만 이래저래 독자인 나의 궁금증을 자아냈다. ‘왜 잠을 못잤을까?‘ 부터 해서 ‘도대체 화자에게 무슨 일이 있었던 걸까?‘ 같은 질문들이 순간적으로 머릿속에 떠올랐다. 근데 또 다른 한편으로는 독자인 내가 현실에서 잠을 잘 잘 수 있음에 감사하는 마음이 들기도 했다. 이후에 과연 어떤 내용들이 등장하기에 이런 문장이 맨 처음에 나온건지 마음 속 한 구석에서 호기심이 슬금슬금 일어난다.
.
.
.
좀 더 읽다보니 왠지 어디선가 본 듯한 ‘그림자‘라는 단어가 눈에 띄었다. 곰곰이 생각해보니 내가 몇 년 전에 읽었던 동 저자의 책인 《도시와 그 불확실한 벽》에서 봤던 소재였다. 이걸 보면서 역시 한 사람의 정신세계 혹은 무의식의 세계에 있는 것은 글이든 말이든 혹은 다른 어떤 형태로든 간에 여러번 반복되어 나타나는 게 아닐까 하는 생각이 들었다. 이 ‘그림자‘라는 것에 대해 저자가 나름대로 심도있게 어떤 의미부여를 하고 있지 않나 하는 느낌도 받았다.

잠을 못 잔지 십칠 일째다. - P9

얇은 벽으로 나누어진 바로 옆방에서 내 의식은 생생하게 깨어 나를 지그시 지켜본다. 내 육체는 흐느적흐느적 옅은 어둠속을 헤매며 계속 나 자신의 의식의 시선과 숨결을 바로 옆에서 감지한다. 나는 자려고 하는 육체이고 동시에 깨어나려고 하는 의식이었다. - P10

의식이 어느새인지 모르게 내 몸에서 떠나간다. - P10

나는 그대로 그곳에 엎드려 자버리고 싶다고 생각했다. 하지만 안 된다. 각성覺醒이 언제나 내 곁에 있었다. 나는 그 차가운 그림자를 계속 감지한다. 나 자신의 그림자다. - P11

나 자신이 이 세계에서 살아가고 존재한다는 상황 그 자체가 불확실한 환각처럼 느껴졌다. 강한 바람이 불어친다면 내 육체는 세계 저 끝까지 날려가버릴 것 같았다. 세계의 저 끝에 있는, 들은 적도 없는 땅으로. 그리고 내 육체는 그곳에서 내 의식과 영원히 각각 분리되어버리는 것이다. 그래서 나는 뭔가를 단단히 붙잡고 싶었다. 하지만 주위를 둘러봐도 붙잡을 수 있을 만한 것은 하나도 눈에 띄지 않았다. - P11

밤이 되면 맹렬한 각성이 찾아왔다. 그 각성 앞에서 나는 완전히 무력했다. 나는 강한 힘으로 각성의 핵에 바짝 고정되었다. 그 힘은 너무도 강력했기 때문에 내가 할 수 있는 것은 아침이 올 때까지 가만히 각성하고 있는 것뿐이었다. 밤의 어둠 속에서 나는 내내 눈을 뜨고 있었다. 뭔가를 생각하는 것조차 가능하지 않았다. 시계가 시간을 새기는 소리를 들으면서 어둠이 조금씩 깊어가고, 그리고 다시 옅어지는 모습을 그저 빤히 바라보고 있는 수밖에 없었다. - P12

어느 날, 그것은 끝났다. 아무런 징조도 없이, 아무런 계기도 없이, 진짜로 갑작스럽게 종료되었다. - P12

어떤 이유로 그 불면증 같은 것이 찾아왔는지, 그리고 어떤 이유로 돌연 사라져버렸는지, 나는 설명할 수 없다. 바람에 휘날려 멀리서 찾아오는 두툼한 검은 구름 같은 것이었다. 그 구름 속에는 내가 알지 못하는 불길한 것들이 가득 채워져 있었다. 그것이 어디서 다가와 어디로 사라지는지, 아무도 알지 못한다. 하지만 아무튼 그것은 다가와 한참동안 내 머리 위를 뒤덮고, 그리고 사라졌던 것이다. - P14

무엇이 됐건 누가 됐건 한 달에 한두 번쯤은 상태가 안 좋을 때도 있고 일이 잘 풀리지 않는 때도 있는 것이다. - P19

이건 어쩔 수 없는 일이지만, 세월과 함께 생활의 질은 조금씩 변해간다. - P21

나이를 먹는것이 그다지 달가운 일은 아니겠지만 그래도 나이를 먹어서 편해지는 일도 몇 가지는 있다. 그것은 생각하는 방식의 문제인 것이다. - P22

아름다운 건 어떻든 아름다워, 그것뿐이야. - P25

익숙해져버리면 그건 결코 어려운 일이 아니다. 오히려 간단한 일이다. 머리와 육체의 커넥션을 잘라버리면 되는 것이다. 그것뿐이다. 내 몸이 거의 자동적으로 움직이는 동안에 내 의식은 또 다른 공간을 떠돌았다. - P61

잠이 오지 않은 뒤로 내가 생각한 것은, 현실이란 참 얼마나 손쉬운가, 라는 것이었다. 현실을 감당하는 일 따위, 너무도 간단하다. 그것은 그저 현실에 지나지 않는다. 그것은 그냥 집안일이고 그냥 성교이고 그냥 가정에 지나지 않는다. 기계의 작동과 마찬가지여서 한 차례 운용하는 절차를 익혀버리면 그다음은 끝없는 반복일 뿐이다. 이쪽 버튼을 누르고 저쪽 레버를 당긴다. 눈금을 조절하여 뚜껑을 덮고 타이머를 맞춘다. 그냥 그것의 반복이다. - P63

잠이란 휴식이다ㅡ. 그것뿐이다. 차의 엔진을 꺼버리는 것과 똑같다. 줄곧 휴식 없이 엔진을 작동하면 얼마 못가 망가져버린다. 엔진의 운동은 필연적으로 열을 발생하고 그렇게 고인 열은 기계 자체를 피폐하게 한다. 그래서 방열을 위해 반드시 쉬게 해주어야 한다. 엔진을 끄고 쿨다운시킨다. 그것이 곧 수면이다. 인간의 경우, 그것은 육체의 휴식이면서 동시에 정신의 휴식이기도 하다. 몸을 눕히고 근육을 쉬면서 동시에 눈을 감고 사고를 중단한다. 그랬는데도 남아 있는 사고는 꿈이라는 형태로 자연 방전한다. - P67

인간은 사고에 있어서도 육체의 행동에 있어서도 일정한 개인적 경향에서 결코 벗어날 수 없다 - P67

인간은 자기도 모르는 사이에 자신의 행동이나 사고의 패턴을 만들어나가는 존재이고, 한번 만들어진 그런 경향은 어지간한 일이 없는 한 바뀌지 않는다. 즉 인간은 그러한 경향의 감옥에 갇힌 채 살아가는 셈이다. 그리고 잠이야말로 그렇게 한쪽으로 쏠린 경향을 중화해주는 것이다. 인간은 잠 속에서 한쪽으로 쏠린 채 사용되던 근육을 자연스럽게 풀어주고, 한쪽으로 쏠린 채 사용되던 사고 회로를 진정시키고 또한 방전하는 것이다. 그렇게 해서 인간은 쿨다운된다. - P69

잠은 인간이라는 시스템에 숙명적으로 프로그램화된 행위이며 누구도 그것을 패스할 수는 없다. 잠을 잃어버리면 인간은 존재 그 자체의 기반을 잃어버리게 된다. - P69

오로지 경향과 그에 대한 조정이 내 몸 속에서 한없이 줄다리기를 하고 있을 뿐이다. - P70

아무것도 두려워할 일은 없다. 요컨대 나는 인생을 확장하고 있는 것이다 - P72

인생은 그 확장된 몫을ㅡ나는 그것을 미리 가져다 써버린 것이다ㅡ나중에 되받으려고 할지도 모른다. 어떻게든 시간의 아귀를 맞추려고 들지도 모른다. - P73

처음 일주일 동안에 《안나 카레니나》를 연거푸 세 번을 읽었다. 다시 읽으면 읽을수록 그곳에는 새로운 발견이 있었다. 그 장대한 소설에는 다양한 수수께끼와 다양한 시사가 가득 차 있었다. 세공한 상자처럼 한 세계 속에 더 작은 세계가 있고 그 작은 세계 속에도 좀 더 작은 세계가 있다. 그리고 그런 세계들이 복합적으로 하나의 우주를 형성하고 있었다. 그 우주는 내내 거기에 있으면서 독자에게 발견되기를 기다리고 있었다. - P74

예전의 나는 기껏해야 그중 한 조각밖에는 이해하지 못했다. 하지만 지금 나는 그것을 분명하게 꿰뚫어보고 이해할 수 있었다. 톨스토이라는 작가가 무슨 말을 하고 싶었는지, 독자가 무엇을 읽어내기를 원했는지, 그 메시지가 어떻게 유기적으로 소설로서 결정結晶을 이루었는지, 그리고 그 소설의 무엇이 결과적으로 작가 자신마저도 능가해버렸는지. - P74

《안나 카레니나》를 읽고 싶은 만큼 실컷 읽고 나자 나는 도스토옙스키를 꺼냈다. 나를 끌어당기는 것은 19세기 러시아의 두툼한 소설이었다. 얼마든지 계속 읽을 수 있었다. 아무리 의식을 집중해도 피곤함이 느껴지지 않았다. 어떤 난해한 부분도 별 어려움 없이 이해할 수 있었다. 바늘이 레코드의 홈을 더듬는 것처럼 내 손가락은 이야기의 세세한 부분을 생생하게 더듬을 수 있었다. 그리고 깊고 격렬하게 감동도 했다. 이것이 본래의 바람직한 내 모습, 이라고 나는 생각했다. - P74

중요한 것은 집중력이다. 나는 그렇게 생각했다. 집중력이 없는 인생 따위, 뻔히 눈을 뜨고서 아무것도 못 보는 것과 마찬가지다. - P74

그것은 다른 어떤 것일 수도 있는 것이다. - P85

자아, 이제부터 다시 뭔가 해보는 수밖에 없다, 나는 그렇게 생각하고 있었다. - P98

오늘 읽기 시작한 부분에서는 ‘캐글Kaggle‘이라는...

오늘 읽기 시작한 부분에서는 ‘캐글Kaggle‘이라는 예측 모델 및 분석 대회 플랫폼과 관련된 얘기가 나온다. 이 플랫폼은 기업 또는 단체에서 데이터와 해결 과제를 등록하면, 데이터 과학자들이 그 등록된 과제를 해결하는 모델을 개발하고 경쟁하는 식으로 운영된다고 하는데, 여기서 중요한 것은 데이터 과학자들이 제공한 솔루션들이 그대로 저장되어 있어서 빅데이터 전문가로 성장하길 원하는 사람들이 이 플랫폼을 자신의 교보재로 활용할 수 있다는 점이다.

처음 밑줄친 부분에선 캐글을 활용하는 예시 하나가 소개되어 있다. 각자 취향에 따라 연구분야를 선정한 뒤 예시에 나온 식으로 이 플랫폼(캐글)을 자유자재로 활용한다면 이제껏 세상에 없었던 자신만의 솔루션을 만들어볼 수도 있지 않을까? 문득 이런 말이 생각났다. ‘모방은 창조의 어머니다‘

이미지 분류에 대해서 공부해보고 싶다면 검색 창에 ‘image classification‘ 이라고 검색하면 된다. 그러면 해당 키워드로 검색된 코멘트, 데이터 세트, 노트북 파일 등을 한눈에 볼 수 있다. 자신의 프로그래밍 언어(파이썬 또는 R)에 맞는 코드들만 따로 필터링할 수도 있고 데이터 세트 양(medium, large, small)에 따라서도 필터링 할 수 있다. - P182

즉, 너무나 많은 자료들이 있기 때문에 본인 취향에 맞게 충분히 이것저것 공부해볼 수 있다. 이렇게 이것저것 다양한 분야의 데이터를 다루어보고 연구 분야를 선택하면 된다. - P182

꼭 현재 대세가 되는 연구 분야를 주 연구 분야로 선택할 이유는 없다. 인기 있는 연구분야는 그만큼 하는 사람들도 많기 때문에 특별히 잘하지 않는 이상 그 가치를 인정받기 어렵다. 자신이 재밌고 잘할 수 있는 분야를 몇 개 선정해서 계속 집중적으로 연구하면 된다. - P182

우리가 지금까지 공부한 내용들은 자신만의 전문 분야를 선택하는 데 도움을 주고 그 전문 분야를 심층적으로 공부할 수 있는 능력을 함양하는 데 목적이 있다. - P184

아무리 유능한 연구원, 교수들도 자신만의 세부 연구 분야를 선정해두고 그 분야만을 연구한다. 자신이 멘사를 능가하는 엄청난 천재가 아닌 이상 모든 분야를 공부하려 하지 말고 자신만의 세부 연구 분야를 선정해야 한다. 그리고 자신이 잘할 수 있는 강점(연구분야)를 찾고 갈고닦아야 한다. - P185

우선 자신이 가장 잘하고 재밌는 분야를 연구 분야로 삼는 것이 당연히 좋다. 하지만 여기에 더 추가한다면 사회가 요구하는 인기 분야이면서 다른 사람들보다 자신이 경쟁력을 가질 수 있는 분야여야 한다. - P185

먼저 AI 빅데이터 전문가가 되기 위한 공부를 하고 사회에 나왔을 때 나를 필요로 하는 데가 많을수록 좋다. 예를 들어 현재 자연어 처리, 영상분석, 딥러닝 분야의 AI 빅데이터 전문가는 매우 인기가 높다. 취업할 곳도 많고 논문을 실을 수 있는 기회도 많다. 따라서 해당 분야의 전문가는 연구 분야 선정을 매우 잘한 것이다. - P185

자신만의 경쟁력을 지니고 있어야 한다. 남들과는 다른 특별한 경쟁력이 있으면 당신은 그 분야의 전문가를 넘어 권위자가 될 수 있다. - P185

연구 분야는 몇 개 정도를 선택하는 게 좋을까? 개인적인 생각으로는 주 연구 분야를 한두 개 정하고 부 연구 분야도 한두 개 정하는 것이 좋다. 즉 서너 개 정도가 적당하다. - P186

나는 주 연구 분야의 자세한 알고리즘에 대한 설명이 있는 책과 논문을 거의 매일 챙겨서 공부한다. 그리고 부 연구 분야에 대한 것은 실제 적용 부분에 대한 설명이 있는 책과 논문을 찾아 읽고 있다. - P186

오늘 읽기 시작한 부분에서 저자는 AI 빅데이터 전문...

오늘 읽기 시작한 부분에서 저자는 AI 빅데이터 전문가로 제대로 성장하기 위해서는 수학 지식이 일정부분 필요하다고 말한다. 이는 데이터 분석 시 모델을 각각의 상황에 맞게 응용하는데 절대적으로 필요하기 때문이다. 특별히 빅데이터 분석 시 필요한 수학 분야 중 하나로 저자는 수리통계학을 언급하는데, 이쪽 분야의 전문가인 저자가 반복해서 언급하는 데는 다 그럴만한 이유가 있다고 보는 게 맞을 듯하다.

분석을 하다 보면 파라미터를 수정해주거나 경우에 따라서는 모델 자체를 변형해야 하는 경우가 꽤 있다. 그러려면 무엇보다 알고리즘의 개념과 원리에 대해서 알아야 하는데 당연히 수학이 들어가기 마련이다. - P154

AI 빅데이터 분석을 위해서 가장 많이 쓰이는 수학은 수리통계학과 선형대수학이다. 사실 선형대수학도 공부해야 한다. 하지만 수학을 싫어하는 사람들에게 선형대수학까지 강요할 수는 없으니 그나마 조금 쉽고 더 기본이 되는 수리통계학이라도 배우면 좋을 듯하다. - P154

수리통계학이란 무엇인가? 위키백과를 찾아보면 "통계학의 수학적 이론으로 확률모형, 통계적 추정 이론과 검정 이론, 계산 알고리즘의 성질 등을 탐구하는 학문"이라고 나와 있다. - P154

내가 생각하는 수리통계학은 확률과 분포에 대해서 많이 다루는 학문이다. 그리고 이러한 확률과 분포가 실제 데이터 마이닝 알고리즘에 굉장히 많이 쓰이고 있다. - P154

데이터 분석의 가장 기초로 불리는 선형회귀 분석을 살펴보자. 선형회귀 분석을 하기 위해서는 몇 가지 가정이 만족되어야 하는데 그중에 등분산성, 정규성 가정 항목이 있다. 등분산성이란 응답변수에 대한 잔차의 분산이 같아야 한다는 것을 의미하고 정규성이란 응답변수에 대한 잔차가 정규분포를 띄어야 한다는 것을 의미한다. - P154

각각의 분포들은 데이터에 대한 추정을 가능하게 한다. 예를 들어 어떠한 데이터가 주어졌을 때 그 데이터가 특정 분포를 따른다고 가정하고 데이터의 평균, 분산에 대한 추정과 그구간 범위까지 추정할 수 있다. 이러한 추정들은 실제 현장에서 AI 빅데이터 분석 시 데이터 전처리 직후 기술통계 부분에서 많이 쓰인다. - P155

각종 분포들의 수리적인 모형을 공부해두면 고급 알고리즘들을 익히는 데에 도움이 된다. 예를 들어 텍스트 마이닝에서 자주 쓰이는 LDA 토픽모델링은 각각의 문서가 여러 개의 주제를 지니고 있고 이러한 주제들이 디리클레분포를 따른다고 가정한다. - P155

수리통계학을 공부해두면 디리클레분포와 같은 다소 생소한 분포를 보게 되더라도 쉽게 이해할 수 있다. 왜냐하면 수리통계학을 공부하면 배우게 되는 결합분포(확률 변수가 여러 개일 때 이들을 함께 고려하는 확률분포), 주변분포(결합분포에서 어느 한 변수만을 고려하는 확률분포)와 같은 개념과 각종 수식에 사용되는 기호들은 모두 공통되기 때문이다. - P155

수리통계학에서 배울 수 있는 베이즈 정리, 최우추정법, 카이제곱 적합도 검정과 같은 정리, 기법 등은 AI 빅데이터 관련 공부를 하다 보면 끊임없이 나온다. 대표적으로 자주 쓰이는 알고리즘들도 깊게 들어가면 이러한 개념들이 빈번히 등장한다. 특히 논문을 읽어보면 이러한 개념들을 굉장히 자주 볼 수 있다. - P156

기본적으로 더 깊게 AI 빅데이터 분석에 대해서 공부하기 위해서는 이러한 기본개념들은 미리 알고 있어야 하는 것이다. - P156

개인적인 생각으로는 인터넷상에 나와 있는 미적분 공식들을 이해가 안 되어도 그냥 외우는 것이 가장 좋다. 다시 고등학교 미적분 수학책을 보고 있기에는 시간이 너무 아깝다. - P157

우리는 AI 빅데이터 분석의 알고리즘들을 이해할 수 있는 정도로만 공부하면 된다. - P157

책을 읽으면서 수식이 나오면 연습장에 그대로 따라 적으면서 이해를 한다. 이해가 되었으면 다음으로 넘어가고 이해가 안 되었으면 이해하기 위해서 조금 더 생각을 하거나 인터넷에서 해당 개념을 찾아본다. 그래도 이해가 안 되면 그냥 넘어간다. 절대 수식을 외우지는 않는다. 그리고 각 챕터별 연습문제가 나오면 연습문제 해답을 펼쳐놓고 이해하면서 그대로 답을 연습장에 적는다. 이때에 증명이나 유도하라는 문제는 건너뛴다. 예제 데이터 세트를 주고 값을 구하라는 문제 위주로 빠르게 살펴본다. 이런 식으로 하면 하루이틀이면 한 챕터 가량은 공부할 수 있을 것이다. - P158

각 이론에 대한 설명을 읽고 수식을 이해하고 기본 예제 데이터 세트에 어떻게 적용되는지 정도만 알면 된다. 즉 이해가 중요한 것이지 외울 필요는 절대 없다. - P158

사람들은 딥러닝에 왜 이렇게 열광할까? 가장 큰 이유는 정확도다. 기존에 많이 썼던 데이터 마이닝 기계학습 알고리즘에 비해서 월등히 좋은 정확도를 보이기 때문에 다들 딥러닝에 의존하는 것이다. - P159

딥러닝이 제대로 구현되기 위해서는 두 가지 요건이 필요하다. 충분히 많은 데이터의 양과 이를 연산할 수 있는 컴퓨터의 연산 능력이다. - P160

데이터가 적을 때에는 오히려 전통적인 방법론이 조금 더 우수하지만 데이터가 어느 정도 쌓이면 딥러닝의 정확도가 훨씬 높아짐 - P161

딥러닝도 단점이 있다. 우선 고성능 장비가 필요하며 학습하는 데에 시간도 비교적 오래 걸린다. 또한 정확도는 잘 나오는데 어떠한 이유로 결과가 나오는지 결과 해석이 어렵다. 흔히 블랙박스 모델이라고도 불리는 이유다. - P162

(딥러닝은) 데이터가 많으면 정확도가 잘 나오지만 데이터가 적으면 전통적인 방법에 비해서도 정확도가 떨어진다. 왜냐하면 작은 데이터 세트로 학습했을 때 너무 자세한 특징까지 다 모델이 학습하기 때문에 학습 데이터 이외의 다른 데이터 세트에는 오히려 잘 안 맞을 수가 있다. 이를 흔히 ‘과적합 문제‘라고 한다. - P162

전통적인 기계학습 알고리즘 중의 하나인 인공신경망을 깊은 구조로 만든 것을 딥러닝이라고 할 수 있다. - P163

보통 최근에 쓰는 딥러닝 구조들은 수십 개 이상의 은닉층hidden layer도 쉽게 구축하곤 한다. 은닉층의 각 뉴런(노드)에서는 활성화 함수라는 게 존재해 각 가중치를 조절해준다. 즉 뉴런의 개수가 많으면 많을수록 함수가 거듭해서 합성함수 꼴로 변해 어떠한 형태의 데이터도 복잡한 함수 형태로 표현할 수가 있는 것이다. - P164

뉴런의 개수가 많으면 많을수록 더 복잡한 형태의 함수 구현이 가능해 모델이 고도화되는 것이다. - P164

DNN이라고도 불리는 딥뉴럴넷(심층신경망) - P164

뉴런들을 구성하는 방식에 따라 다양한 방식으로 나타낼 수 있다. CNN, LSTM, AutoEncoder, RBM, GAN 등 뉴런과 그 뉴런을 연결하는 엣지 간의 네트워크를 어떻게 구성하느냐에 따라 다양한 형태의 모델이 생성 가능하다. 또한 각 모델들도 세부적으로 조금씩 레이어(layer)나 뉴런의 개수를 바꿀 수 있고 파라미터나 함수들을 다양하게 변화할 수 있기 때문에 사실 딥러닝 모델은 엄청나게 다양하게 생성할 수 있다. - P164

딥러닝을 공부하기 위해서는 이론을 먼저 익히고 프로그래밍 언어 실습을 하면 된다. 프로그래밍 언어를 먼저 설명하면 우선 대부분의 딥러닝 라이브러리들이 파이썬으로 제공되고 시중에 나와 있는 책들도 파이썬을 이용한 딥러닝이 대부분이기 때문에 파이썬으로 하는 것을 추천한다. - P165

이러한 개념들(경사하강법, 역전파법, 각종 활성화 함수들)은 딥러닝의 어떠한 구조를 만들더라도 공통적으로 쓰이는 개념이라 필수로 알고 있어야 한다. - P165

강의로 딥러닝 공부하기 : 홍콩 과기대 교수로 재직 중인 김성훈 교수가 올린 강의도 들을 만하다. 어려운 수식 없이 딥러닝의 탄생 배경과 기본 개념을 설명해준다. 또한 간단한 코드 예제도 제공된다. 무료로 들을 수 있고 수업 자료도 PDF로 제공해준다 https://www.inflearn.com/course/기본적인-머신러닝-딥러닝-강좌#. - P165

CNN, LSTM, 오토인코더, GAN 등 다양한 딥러닝 모델들을 공부하고 실제 예제 세트를 코드로 돌려보아야 한다. - P165

딥러닝을 구현하기 위한 라이브러리는 텐서플로를 비롯해 케라스Keras, 카페 Caffe, 파이토치 Pytorch, 티아노Theano 등 다양하다. 사실 각 라이브러리마다 각자 장단점이 있고 최신 논문의 알고리즘을 반영하는 시간이 조금씩 다르기 때문에 모두 다 알면 좋다. 하지만 이 책을 읽는 독자들은 이 중 한 개만 다루면 된다. - P166

어차피 정말로 최근의 논문 알고리즘이 아닌 이상 웬만한 딥러닝 알고리즘들은 어느 라이브러리나 다 제공해주고 있다. 나는 케라스를 추천한다. 이유는 구현하기 제일 쉽기 때문이다. 또한 케라스는 이용자가 많기 때문에 문제점이 생기면 구글에서 검색했을 때 쉽게 솔루션을 찾을 수 있다. - P166

코드도 모두 깃허브에 제공되고 케라스 코드 자체가 쉽기 때문에 실제 프로젝트를 수행할 때에 깃허브 코드를 조금씩만 변형해도 실전에 바로 사용할 수가 있다. - P167

빅데이터 시대를 맞이해 각종 새로운 데이터베이스가 쏟아져 나오고 있다. 가장 유명한 No-SQL인 몽고DB는 이미 구식 데이터베이스가 된 지 오래다. 엘라스티서치, 아랑고DB, 파우나DB, 카우치DB 등 새로운 데이터베이스가 너무나도 많이 생겨났다. - P168

솔직히 말하면 아직까지 웬만한 프로젝트는 기존 RDB 수준에서 다 해결된다. 소셜네트워크 데이터를 실시간으로 저장하거나 인기 웹사이트 유저 클릭, 뷰 로그데이터를 실시간으로 저장하는 정도여야 No-SQL이 필요한 정도다. - P169

빅데이터여서 No-SQL이 필요하다고 해도 몽고DB 정도면 대부분 해결된다. 몽고DB가 조인 쿼리가 없고 메모리 사용량이 크다는 단점이 있긴 하지만 큰 문제가 되진 않는다. 더군다나 몽고DB는 공부할 수 있는 책도 많고 공부할 내용도 많지 않아서 쉽게 사용할 수 있다. - P170

AI 빅데이터 전문가가 되기 위한 입문자들은 가장 기본적이지만 아직도 많이 쓰이는 RDB부터 공부해야 한다. RDB는우리말로 하면 관계형 데이터베이스다. 즉 키 key와 값value의 간단한 관계를 테이블화한 데이터베이스로 우리가 흔히 알고 있는 오라클, MsSQL, MySQL 등이 모두 RDB다. 특히 MySQL은 무료이기 때문에 대다수의 시작 단계의 프로젝트들은 MySQL DB로 채택한다. 따라서 여러분이 앞으로 가장 많이 다루어야 할 DB도 MySQL이 될 확률이 크다. - P170

RDB는 여러 제약 조건이 있다. 이게 사실 No-SQL과 가장 다른 점이고 RDB를 공부할 때에 많은 사람들이 어려워하는 내용이다. 키 값에 대한 제약 조건이 있고 무결성(개체 무결성, 참조 무결성)에 대한 제약 조건도 있다. - P170

데이터베이스 정규화라는 개념도 있다. 데이터베이스 정규화는 RDB의 설계에서 중복을 최소화하게 데이터를 구조화하는 프로세스다. 쉽게 말해서 불필요한 데이터를 제거하고 데이터 저장 구조를 간결하고 논리적으로 바꾸어 SQL 쿼리를 쉽고 효율적으로 만들어준다. - P171

어렵지는 않지만 몇 가지 외워야 하는 사항들이 있다. 따라서 이러한 사항들은 반드시 숙지해두어야 한다. 기본적인 Update, Insert, Select, Delete SQL 쿼리와 Where, Join문 정도도 알고 있어야 한다. 왜냐하면 간단한 프로젝트들은 대부분 AI빅데이터 전문가에게 DB 구축 및 데이터 적재까지 맡긴다. 따라서 처음부터 테이블을 생성하고 데이터를 하나하나 Insert까지 해야 하는 상황이 꽤 많이 발생한다. 이러한 일들에 잘 대처하기 위해서는 지금 말한 개념들은 반드시 알고 있어야 한다. - P171

실제 데이터 분석 시에도 SQL Select 쿼리를 어떻게 하느냐에 따라서 데이터 전처리양이 많이 줄어들기도 한다. 그렇기 때문에 다양한 조건이 담긴 SQL 쿼리에도 익숙해지는 것이 중요하다. 결론적으로 AI 빅데이터 전문가가 되기 위해서는 어느 정도 중급자 수준 이상의 RDB에 대한 지식이 있어야 한다. - P171

사실 AI 빅데이터 분석을 하다 보면 서버도 알아야 하고 DB도 알아야 하고 API 제작도 알아야 하고 웹 개발도 알아야 한다. 단 초급이나 중급자 정도의 수준이면 된다. 고급 수준이 필요할 때에는 해당 분야의 전문가에게 맡기고 당신은 AI 빅데이터 분석 모델링 업무에 더욱 집중해야 한다. - P172

우리는 RDB와 몽고DB만 공부하면 된다. - P172

우선 RDB는 《Database Concepts》 (Pearson Education)를 추천한다. 이 책 한 권만 읽으면 RDB에 대한 기본적인 개념을 다 알 수 있다. 원서라서 영어인 게 조금 단점이지만 책도 얇고 어려운 영어도 아니어서 술술 잘 읽힐 것이다. - P172

개념을 알고 있어도 SQL쿼리로 구현할 수 있어야 한다. 따라서 SQL 쿼리 공부를 해야 하는데 이전 장에서 말했던 ‘SQL 개발자‘ 자격증 공부를 했던 책으로 공부하면 된다. 책은 《SQL 전문가 가이드》(한국데이터베이스진흥원)이고 이 책을 공부하면 오라클, MsSQL 쿼리를 공부할 수 있다.
MySQL 쿼리는 대부분 오라클과 겹치거나 매우 유사하다. 따라서 오라클 쿼리만 알아도 MySQL은 그대로 접목 가능하거나 구글에서 조금만 검색해도 금방 알 수 있다. - P173

몽고DB는 어떻게 공부할까? RDB는 여러 가지 제약 조건과 정규화 과정들이 있었지만 몽고DB는 No-SQL이라 그런 것이 없다. 말 그대로 비정형 데이터들을 모두 집어넣을 수 있다. 그래서 빅데이터 시대에 각광받는 DB가 된 것이다. 책은 《몽고디비 인액션》(제이펍)을 추천한다. 사실 이 책도 처음부터 정독할 필요가 없다. 7~10장의 쿼리 최적화, 복제, 샤딩, 배포와 관리와 같은 챕터는 건너뛰어도 된다. 이러한 것까지 직접 하게 될 일은 거의 없을 것이다. - P173

AI 빅데이터 전문가가 되기 위해서 각종 이론과 프로그래밍 코드 능력을 연마했지만 이를 제대로 연습하려면 역시 실전 프로젝트를 직접 수행해봐야 한다. 언제까지 Iris, mnist cifar-10과 같은 소량의 예쁘게 정제된 예제 데이터 세트로만 연습을 할 것인가? 실전에서 직접 비즈니스 문제에 대한 가설을 세운 후, 데이터 임포트, 전처리, 모델링까지 해보면서 전문가로서 발돋움할 수 있는 실력을 키워야 한다. - P177

다양한 데이터로 연습하며 실력을 키울 수 있는 방법은 없을까? 바로 캐글Kaggle 경연대회가 있다. 캐글은 2010년 설립된 예측 모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결 과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 구글에서 2017년 인수했을 정도로 그 가치를 인정받고 있다. - P178

캐글 경연대회는 수시로 열리는데 각 대회마다 새로운 데이터 세트와 문제가 주어진다. 주어지는 데이터 세트는 가상의 데이터 세트가 아니라 실제 비즈니스 환경에서 도출되는 데이터 세트다. 그리고 데이터 세트에 대한 자세한 설명과 문제 설명까지 주어진다. 그다음에 문제를 푸는 것은 참가자의 몫이다. 처음에는 캐글 ‘Notebooks‘ 게시판에서 다른 사람들이 한 것을 보고 힌트를 얻을 수도 있다. 또한 ‘Discussion‘ 게시판에서 질의응답을 통해 답답함을 해결할 수도 있다. 즉 혼자서 맨땅에 헤딩하는 것이 아니라 집단 토론과 집단 지성을 통해 본인의 견문을 더욱 넓힐 수 있는 것이다. 게다가 우수한 솔루션을 내놓으면 상금까지 받을 수 있으니 더욱 좋다. - P179

캐글의 플랫폼에는 지금까지 열리고 끝났던 경연대회들이 플랫폼에 계속 적재되어 있다. 따라서 엄청나게 많은 실전 데이터 세트와 솔루션들이 그대로 저장되어 있고 원하는 사람은 누구나 이것들을 자유자재로 골라서 연습해볼 수 있다. 즉 의지만 있으면 굳이 회사에 입사하지 않고도 다양한 데이터 세트로 웹상의 수많은 사람들과 협업하면서 연구하고 실력을 키울 수 있는 것이다. 한 가지 아쉬운 점은 주어지는 데이터 세트가 대부분 CSV 형태로 예쁘게 정제되어 있는 경우가 많다는 것이다. 실제 RDB나 No-SQL에서 쿼리를 통해 데이터를 임포트하고 정제하는 과정이 필요한 경우가 많은데 이것까지는 캐글 경진대회에서 기대할 수는 없다. - P179

자신만의 연구 분야를 확실히 정해야 한다. 그러려면 회사에 입사하거나 대학원에 진학하기 전에 다양한 분야를 공부해보아야 한다. - P182

각 분야를 심도 있게 공부하기에는 꽤 많은 시간과 노력이 필요하다. 따라서 캐글 경연대회에서 각 연구 분야의 데이터 세트를 직접 만져보면서 실제로 자신에게 흥미가 있는지 느껴보는 게 가장 효율적이다. 직접 일일이 코딩하는게 힘들면 다른 참가자들이 짜놓은 코드를 읽어보아도 된다. 각 연구 분야마다 전처리, 모델링하는 방식이 다르기 때문에 코드만 읽어보아도 그 차이점을 알 수 있고 자신에게 맞는지 맞지 않는지 느낄 수 있을 것이다. - P182

지난번 포스팅까지는 AI 빅데이터 공부의 필요성 및 ...

지난번 포스팅까지는 AI 빅데이터 공부의 필요성 및 이와 관련된 각종 잘못된 편견들에 대해 언급했었다. 오늘은 빅데이터를 공부하는 방법에 대해 나오기 시작한다. 물론 이것은 어떤 고정불변의 정형화된 것은 아니고, 학습자의 필요에 맞게 활용하라고 저자는 말한다. 다만 저자가 직접 시행착오를 겪으면서 나름대로 얻은 노하우이기에 이 분야를 잘 모르는 독자들이라면 좋은 참고 자료가 될 수 있을 거라고 생각한다.

처음 밑줄친 문장에서 저자는 단순히 어떤 테크닉적인 것보다는 일단 문제 해결을 위한 큰 숲을 볼 수 있어야 한다고 말하는 듯하다. 다시 말해, 일단 문제가 무엇인지를 명확히 정의하는 것이 최우선이고 이후에 그 문제를 해결하기 위한 세부적인 접근 방법들을 고민해보자는 것이다.

이렇게 막상 쓰고보니 너무나도 당연한 말처럼 보이지만, 실무에서 이것을 하는 것은 말처럼 그리 쉬운 것이 아니기에 일을 하면서 항상 신경써야 할 부분이라고 생각한다.

우선 가장 처음 시작해야 하는 공부는 수학, 코딩, 알고리즘 등이 아니다. 경영학적으로 기업 문제들이 발생했을 때 어떠한 데이터 분석 기법으로 문제를 해결할 수 있는지 알아야 한다. - P126

기본적인 AI 빅데이터의 개념부터 등장 배경, 특성, 저장 및 처리 기술들에 대해서 한번 쭉 훑어보아야 한다. 이런 것들을 자세하게 암기할 필요는 없다. 그냥 읽고 넘어가면 된다. 다만 전통적인 데이터와는 다르게 빅데이터의 특성에 무엇이 있고, 저장 및처리 기술에 어떤 것이 있는지 정도만 알면 된다. 그리고 여기서 파생된 AI의 등장 및 다양한 활용 사례들도 살펴볼 수 있다. - P127

또한 기계학습, 딥러닝에 대한 간단한 개념과 그 안에 종류가 어떤 게 있는지 정도를 살펴볼 수도 있다. 그다음에 다양한 활용 사례들을 보면서 실제 비즈니스 환경에서 어떻게 적용되고 있는지도 알 수 있다. 실제 분석 케이스들을 보면서 분석 결과를 이런 식으로 시각화하고 이런 식으로 보고서를 작성하는구나 느낄 수도 있다. 사실 이러한 공부가 처음에 잘 되어 있어야 공부하는 데 재미도 있고 추후에 실제 분석을 하고 결과를 도출할 때에 어느 정도 모방해서 매끄럽게 결과 보고서를 작성할 수 있다. - P127

AI 빅데이터의 기본 개념, 저장 및 처리 방식, 활용 사례, 기본적인 분석 기법 등을 망라한 책이 좋다. ...(중략)... 이 부분이 나중에 실제 현장에서 문제를 발견하고 데이터를 이용한 문제 해결 아이디어를 도출할 때 가장 도움이 되는 공부다. 또한 결과 도출 및 실제 활용을 할 때에도 참고할 수 있다. - P128

실제 현장에서 일을 할 때 가장 중요하지만 어려운 것 중에 하나가 비즈니스 문제를 어떻게 정의하고 이 문제를 해결하기 위해서 어떤 데이터로 어떻게 접근하는가다. - P129

활용 사례들을 읽어보면서 사고를 넓히고 현장에서 비슷한 문제가 발생했을 때 모방하는 능력을 키워야 한다. - P129

데이터 마이닝에서 주로 배우는 기계학습을 이용한 분류, 회귀, 군집 또는 연관 규칙, 빈발 패턴 분석, 아웃라이어 분석과 같은 것들은 대단히 어려운 수학적인 지식이 필요한 게 아니다. 또한 어차피 프로그래밍 언어에서 라이브러리 함수가 수행해주기 때문에 직접 수학 공식을 풀거나 증명할 필요도 없다. 읽어보고 이해한 다음에 바로 넘어가면 된다. - P131

데이터의 종류는 명목 데이터, 이진 데이터, 순서 데이터, 숫자 데이터, 이산/연속형 데이터가 있다. - P132

명목 데이터는 사물의 기호나 이름과 같은 데이터고 이진 데이터는 0과 1로 이루어진 데이터다. 순서 데이터는 상중하처럼 등급이나 계급이 있는 데이터고 숫자 데이터는 절대영점을 가지고 있으면 비율척도 데이터, 없으면 등간척도 데이터로 나뉜다. 정수형이냐 연속형이냐에 따라서 이산/연속형 데이터로 나누어지기도 한다. - P132

데이터 유형에 따라 어떠한 분석이 사용되는지 간단히 짚고 넘어가면 좋다. - P132

기본적인 평균, 중위값, 최빈값, 표준편차, 사분위수와 같은 기초 통계들의 개념과 각 기초 통계들이 어떠한 상황에서 쓰여야 데이터를 잘 요약, 표출할 수 있는지 알아야 한다. - P132

데이터 분석에서 가장 오랜 시간과 에너지가 요구되는 부분이 전처리 부분이다. 보편적으로 많이 사용되는 데이터 전처리 기술들을 익히고 실제 분석 시 필요한 기술들을 골라서 쓸 수 있어야 한다. 데이터 정제(결측치 제거 또는 대치, 노이즈 제거), 데이터 통합(중복 데이터 처리, 복사, 단위 통합), 데이터 축소(주성분 분석, 속성선택법, 샘플링), 데이터 변환(데이터 정규화, 비닝)과 같은 기술들을 익혀야 한다. - P133

어떤 기술들을 무조건 해야 한다는 법칙은 없지만 각 기술들을 왜 써야 하고 어떠한 상황에 쓸 수 있고 어떠한 방식으로 작동하는지 충분히 숙지해두어야 실제 데이터 분석 시에 자유자재로 구사할 수 있다. 여기에서 수학적인 내용은 아예 필요 없거나 간단한 지식 정도만 필요하다. 물론 주성분 분석 같은 경우는 고유 벡터, 고유 값에 대한 지식이 필요하다. 선형대수학을 공부하지 않았으면 사실 이해가 안 될 수도 있는 부분이다. 하지만 큰 문제는 없다. 이해가 안 되더라도 주성분 분석이 어떠한 상황에 쓰이고 왜 쓰이는지만 알면 된다. 어차피 실제 구현은 프로그래밍 언어 라이브러리상 함수가 다 해주기 때문이다. - P133

실제 분석 알고리즘에 대해서 공부를 해야 한다. 꽤 많은 분석 알고리즘들이 있기 때문에 빠르게 하나씩 이해하고 넘어가는 게 중요하다. 연관관계 분석, 상관관계 분석, 빈발 패턴 분석, 클래스 분류 분석, 클러스터 분석, 회귀 분석, 아웃라이어 분석 등이 있다. - P133

각 분석들을 세부적으로 살펴보면 수많은 알고리즘이 있다. 예를 들어 클래스 분류 분석은 의사 결정 나무, 서포트 벡터 머신, 베이즈 분류, 랜덤포레스트, 배깅, 부스팅, KNN, 피드 포워드 신경망, 퍼지 세트 등 수많은 알고리즘이 있다. 목적은 다 같은 클래스 분류이지만 각 알고리즘이 지니는 목적과 장단점이 서로 다르기 때문에 알아두어야 한다. 또한 기본적으로 어떻게 동작하는지 그 원리도 이해해야 다음번에 응용할 때 써먹을 수 있다. - P134

실제 빅데이터 상황에서 쓰인 사례들을 하나씩 살펴보는 것도 큰 도움이 된다. 실제 현장 데이터를 접했을 때 어떤 방법론, 알고리즘을 쓸지 판단할 수 있기 때문이다. - P135

보통은 ‘어떤 방법론, 알고리즘이 어떤 실제 빅데이터 사례에서 쓰였는데 지금 내가 분석할 상황과 비슷하니 비슷하게 나도 이 방법론, 알고리즘을 써야지!‘ 라고 판단하는 전문가가 더 많다. 이러한 감을 익히려면 다양한 사례를 먼저 읽어보아야 한다. - P135

논문을 쓰더라도 먼저 선행 연구를 하게 되는데 이전에 비슷한 사례들을 기반으로 내가 쓸 논문이 조금 더 공헌하는 게 있으면 그것이 논문이다. 마찬가지로 데이터 분석을 하더라도 이전에 비슷한 활용 사례를 참조한 후 나만의 방식으로 수정, 변형하면 훌륭한 데이터 분석 프로젝트가 되는 것이다. - P136

차선책으로 논문을 통해서 관련 지식과 이해를 넓혀야 한다. 특정 알고리즘을 고안하거나 제안하는 어려운 논문을 읽을 필요는 없다. 특정 방법론, 알고리즘이 어떤 방식으로, 어떠한 상황에 쓰였는지를 제안하는 논문을 읽으면 된다. 구글 학술검색이나 RISS에서 검색을 해본 다음에 읽어도 좋고 관련 저널을 정한 다음에 해당 저널의 논문들을 주기적으로 찾아보고 읽는 것도 좋다. - P136

국내 저널로는 《지능정보연구》, 《한국경영과학회지》,
《Information Systems Review》를 주로 본다. 해외 저널로는《IEEE Access》, 《IEEE Transactions on Big Data》, 《Information Systems Research》를 보고 있다. - P136

관련 저널을 선택할 때 팁을 주자면 정보시스템학 계열의 저널을 선택하는 게 좋다. 수학, 통계학, 컴퓨터공학, 산업공학 계열은 특정 알고리즘을 고안해서 제안하는 논문이 대부분이다. 하지만 상대적으로 정보시스템학 계열 저널의 논문들은 실제 비즈니스 환경에 효과적으로 적용된 사례를 보여주고 해석하려는 특성이 있다. 따라서 각 분석방법론, 알고리즘들의 활용 사례를 이해하기에는 안성맞춤이다. - P137

자격증 취득을 위해서 공부하는 게 아니라 실력을 높이기 위해서 공부하다가 자격증도 따면 좋다는 마인드를 먼저 가져야 한다 - P138

자격증을 취득함으로써 무언가 이득을 얻는다기보다는 그 취득하는 과정에서의 공부가 꽤 많은 도움이 된다. - P139

‘데이터 분석 자격검정‘의 교재 《데이터 분석 전문가 가이드》(한국데이터베이스진흥원)와 ‘경영 빅데이터 분석사의 교재 《경영 빅데이터 분석사》(한경아카데미)를 보면 빅데이터 분석에 대한 꽤 많은 내용을 두루 익힐 수 있다. 빅데이터에 대한 이해부터 경영학적인 측면에서 어떠한 분야에 어떤 빅데이터 분석이 활용되고 있는지, 데이터의 수집, 전처리 및 저장 기술로는 무엇이 있는지, 각 분석 방법론 및 시각화 방법으로는 무엇이 있는지, R 코드로는 어떻게 구현되는지까지 나온다. 수학적인 내용은 거의 나오지 않으며 나와도 매우 낮은 수준의 범위만 나오기 때문에 이해가 안 될 부분은 하나도 없다. 책 한 권으로 빅데이터에 대한 꽤 광범위한 내용을 빠르게 익힐 수 있다는 것이 최대 장점이다. 다만 아쉬운 점은 두 자격증 시험 모두 코드시험 범위가 R로 제한되어 있다. R도 물론 AI 빅데이터 분석을 위한 좋은 프로그래밍 언어이지만 성능과 최근 추세를 보았을 때 나는 파이썬을 좀 더 추천한다. - P140

《SQL 전문가 가이드》(한국데이터베이스진흥원)도 꽤 좋은 내용들이 많다. DB 모델링과 쿼리, 최적화에 대한 내용을 꽤 많이 담고 있다. 사실 AI 빅데이터 전문가는 DB 구축 및 모델링까지는 잘하지 않는다. 그리고 최근에는 No-SQL을 많이 쓰는데 해당 시험은 RDB 기준으로 쓰였다. 하지만 어느 정도 알아두면 실전에서 쓸 일이 있기도 하고 SQL 쿼리 부분은 처음에 데이터 전처리 부분에서 꽤 많이 필요하기도 하다. 또한 No-SQL이 빅데이터 시대의 대세라고 하지만 아직까지 관공서나 보수적인 기관들은 RDB를 많이 쓰고 있어 RDB도 배워두면 큰 도움이 된다. - P141

(사회조사분석사 시험의)조사방법론 2는 샘플링, 측정, 데이터 속성에 관해서 다룬다. 기초적이지만 빅데이터 공부 입문자들이 짚고 넘어가야 할 부분이다. 사회통계 부분은 기초 통계, 확률, 가설에 대해 다루고 마지막에 통계분석에 대해서 다룬다. 분산 분석, 상관 분석, 회귀 분석 등을 다루는데 데이터 마이닝 기법의 가장 기초적인 부분이라 꼭 알고 넘어가면 좋다. - P142

위에서 말한 자격증 공부만 해두어도 관련 대학원 면접이나 입사 면접 질문에는 거의 다 답할 수 있다. 심지어 빅데이터 분석 컨설팅도 해줄 수 있다. - P142

전문가 1급까지 따려면 R 코딩, SQL 쿼리도 꽤 수준급으로 해야 한다. 그리고 공부하는 시간도 꽤 걸릴 것이다. 하지만 나는 R보다는 파이썬 언어를 더 추천하는 바이고 실전에서는 잘 쓰지도 않는 오라클과 같은 RDB의 SQL 쿼리를 지나치게 상세하게 알 필요는 없다. - P142

공부할 때 한꺼번에 공부하고 동기부여를 위해서 자격증도 몰아서 취득하는 게 좋다. - P143

해당 자격증에 대한 공부는 전체적인 AI 빅데이터 분석의 개론을 경영학적, 방법론 및 알고리즘적, 프로그래밍 언어 측면에서 빠르게 짚고 넘어가는 데에 있다. 따라서 4개월 가까이 시간을 끌 필요가 없다. 각 자격증 시행처가 지정해준 교과서와 기출문제집 한 권씩만 빠르게 보고 넘어가면 된다. - P143

‘사회조사분석사‘ 시험은 좀 더 상세한 수학적인 내용이 나온다. 수학을 싫어하는 이들이라도 여기서 나오는 수학은 데이터 마이닝을 위한 아주 기본적인 내용이고, 학부생들도 필수로 배우는 내용이기에 알면 좋다. 일일이 공식을 외울 필요는 없고, 보고 이해할 정도면 된다. 물론 실제 수학 공식들을 코딩으로 구현할 일은 없을 것이다. 어차피 내장 함수 또는 라이브러리의 함수들이 자동으로 구현해주기 때문이다. - P144

사실 AI 빅데이터 전문가가 실제 DB 설계 및 구축에 전면적으로 뛰어드는 경우는 많지 않다. 하지만 간혹 간단한 것들은 맡는 경우가 있으니 데이터 모델링 부분을 공부해두면 좋다. 또한 SQL 쿼리 부분은 데이터 전처리 부분과도 밀접한 관련이 있으니 반드시 알아두어야 한다. - P144

파이썬과 R은 C, C++, 자바와는 다르게 훨씬 직관적이었고 라이브러리가 더 많이 있어서 직접 코딩할 필요 없이 손쉽게 라이브러리들을 가져다 쓸 수 있다. - P146

일반적으로 다른 프로그래밍 언어들은 변수를 선언할 때 int, char, double과 같은 자료형을 꼭 선언해주어야 한다. 하지만 파이썬이나 R과 같은 AI 빅데이터 분석에 최적화된 언어들은 이런 제약이 없다. 자료형을 선언해주지 않아도 컴퓨터가 알아서 판단해서 정수인지, 실수인지, 문자형인지 할당해준다. 초보자들에게는 상당히 편리한 측면이다. - P147

코드라인도 대폭 줄어든다. 자바로 거의 100줄 가까이 써야 했던 것들을 파이썬, R은 거의 두세 줄이면 끝낼 수 있었다. 가장 큰 장점은 역시 풍부한 라이브러리다. 자주 쓰는 알고리즘은 이미 라이브러리로 다 배포되어 있다. 따라서 내가 쓰고자 하는 알고리즘을 제공해주는 라이브러리를 받아와서 해당 함수 또는 메서드를 호출하기만 하면 쉽게 되는 경우가 많다. 특히 최근에 이슈가 되는 딥러닝 라이브러리는 파이썬에 거의 집중되고 있어서 파이썬을 쓰면 더 유리하다. - P147

학부 때 프로그래밍 언어를 배우면서 가장 어려워했던 부분이자 다른 학생들도 같이 어려워했던 부분이 바로 객체지향 부분이었다. 캡슐화, 상속, 다형성에 대해서 배워도 며칠 있으면 또 기억이 안 났다. 그리고 기본 예제로는 어느 정도 이해가 가도 실전 프로젝트로 들어가니 내가 직접 구현하기도 전에 겁을 먹게 되었다. 특히 객체지향 언어에 거의 필수적인 디자인 패턴들이 너무 많아서 외워도 또 기억이 안 났다. 외우는 것도 너무 재미가 없었다. - P147

파이썬과 R도 객체지향 언어이기는 하다. 하지만 객체지향에 대한 개념이 거의 없어도 AI 빅데이터 분석을 위한 코딩을하는데 큰 문제가 없다. 왜냐하면 C, C++, 자바 등의 언어로 개발할 때에는 여러 객체코드들의 모임으로 하나의 프로젝트가 실행되지만 데이터 분석은 그게 아니기 때문이다. - P148

데이터 분석 코드는 순차적인 방식으로 코드를 짜면 된다. 그동안의 개발을 위한 코딩은 1+1+1+1+1=5였다면 AI 빅데이터 분석을 위한 코딩은 1→ 2 → 3→4→5와 같은 것이다. 가령 관련 라이브러 임포트→ 데이터 임포트→ 데이터 전처리 → 모델 구성→ 결과 도출 및 시각화와 같은 방식으로 순차적으로 진행되는 것이다. - P148

파이썬과 R은 알고리즘에 대한 라이브러리뿐만 아니라 결과 도출을 위한 시각화 라이브러리들도 잘 되어 있어서 분석 결과를 손쉽게 바로바로 시각적으로 구현할 수 있다. - P148

SPSS, SAS는 분석을 위한 툴이기 때문에 타자로 코드를 입력하기보다는 마우스 클릭으로 많은 부분이 이루어진다. 또한 이러한 툴은 유료이기도 하다. 하지만 파이썬과 R은 마우스를 클릭하는 부분은 없고 오로지 코드를 타자로 입력해야 한다. 물론 무료로 다운이 가능하다. - P148

AI 빅데이터 분석을 위한 프로그래밍 언어로는 대표적으로 파이썬과 R을 들 수 있다. - P149

최근에는 실시간 분석 처리에 유용한 스파크를 배우는 사람도 있기는 한데 굳이 거기까지 배울 필요는 없을 것 같다. 실시간 처리가 필요할 만큼의 엄청난 빅데이터 (페타, 제타바이트급)를 다룰 일이 많지 않고 파이썬으로도 병렬 처리를 적절히 해주면 충분히 빠른 속도로 구현할 수 있기 때문이다. 또한 자바로 AI 빅데이터 분석을 하는 사람도 보았는데 이도 역시 추천하지 않는다. - P149

최근에 AI 빅데이터 관련한 라이브러리들은 거의 파이썬과 R에 집중되어 있다. 또한 개발 언어에 최적화된 자바는 AI 빅데이터 분석을 위한 전처리, 시각화와 같은 게 매우 불편하다. 당연히 구현하려면 코드라인도 훨씬 길어질 수밖에 없다. - P149

파이썬과 R 둘 중에 어떠한 것을 공부하면 좋을까? 당연히 둘 다 공부하면 좋다. 양쪽 모두 AI 빅데이터 분석을 위한 매우 좋은 프로그래밍 언어다. 나는 R을 먼저 공부한 후 파이썬을 공부했으며 현재 거의 모든 프로젝트는 파이썬으로 진행하고 있다. - P150

파이썬이 상대적으로 R보다 좋은 점을 나열해보겠다. 파이썬이 더 빠르다. 또한 최근 이슈가 되고 있는 딥러닝 라이브러리가 더 풍부하다. 분석뿐만 아니라 솔루션 개발 또는 API로도 제작이 가능하다. nltk, re와 같은 라이브러리가 있어서 텍스트 분석이 더 용이하다. - P151

R은 파이썬보다 배우기가 조금 더 쉽다. ggplot과 같은 라이브러리로 예쁘게 시각화하는 데 더 유리하며, 기본적인 통계분석 라이브러리가 더 많다. 그리고 시중에 데이터 분석용으로 나와 있는 책이 더 많아서 공부하기가 수월하다. - P151

당연히 더 빠르고 딥러닝 라이브러리가 풍부하고 더 나아가 솔루션으로 개발까지 가능한 파이썬을 배워두는 게 더 좋다. R은 예쁜 시각화가 필요한 보고서 작성 분석용이나 비교적 소량의 데이터로 기본 통계 분석을 돌릴 때 사용하면 좋다. 그래도 처음 시작할 때는 상대적으로 코드 배우기가 더 쉬운 R로 시작하는 것도 추천한다. - P151

자격증 공부 내용에 R 코드가 나오기 때문에 자격증을 공부하면서 겸사겸사 공부할 수도 있다. 그러나 진정 AI 빅데이터 전문가로 거듭나려면 결국은 파이썬을 공부해야 한다. 특히 딥러닝이 매우 각광받는 시대에 파이썬을 하지 못하면 딥러닝 라이브러리들을 활용할 수가 없다. - P151

책에 있는 코드들을 일일이 하나하나 타자를 쳐가면서 따라해 볼 필요는 없다. 코드를 그냥 이해하고 넘어가는 수준이면 된다. 좋은 코드 예제가 있으면 표시해두었다가 실제 프로젝트를 할 때에는 책에서 제공해주는 코드를 다운받아 적절히 가져다 쓰면 된다. - P152

최근에는 라이브러리들이 잘 되어 있어서 함수만 외우면 개념을 모르더라도 간단한 결과 도출은 할 수 있다. 예를 들어 파이썬 사이킷런 라이브러리를 이용해 로지스틱 회귀 분석 함수인‘LogisticRegression‘를 입력하면 쉽게 결과를 도출할 수 있다. - P153