오늘 읽기 시작한 부분에서 저자는 독자들이 일정 수준 이상 AI 빅데이터에 대한 공부가 되었다는 전제 하에 자기 자신을 어필할 수 있어야 한다고 말한다. 일반적으로 엄청난 인지도를 갖고 있던 사람이 아닌 이상 누가 먼저 알아서 나를 찾아주는 것이 아니기 때문이다. 이를 위해서는 스스로를 대단한 사람이라고 여길 줄 아는 자신감이 굉장히 중요하다고 저자는 말한다.
"나는 대단하다. 나는 미친놈이다."- P237
자기 자신을 대단하다고 생각해야 한다. 특히 AI 빅데이터 분야에 대해서는 누구보다도 더 대단하다고 생각하라. 자신감을 가질때 직관과 통찰력이 생기고 창의적·분석적인 사고를 함양할 수 있다.- P237
AI 빅데이터 분야는 분석 결과를 해석하고 적용하는 데 이러한 직관, 통찰력, 창의력, 분석적인 사고가 필요하다. 수학 문제처럼 한 가지 정답이 있지 않다. 당신이 생각하는 것이 여러 정답 중 한 가지 정답이 된다고 굳게 믿어야 한다.- P237
당신이 말하는 게 정답이라는 생각으로 자신감을 가져야 한다. 당신만큼의 지식을 가진 사람이 거의 없기 때문에 당신이 최고가 될 수 있다. 만약 조금 막히거나 모르는 부분이 있으면 빠르게 부족한 부분을 학습하면 된다. 이미 기본기를 익혔기 때문에 이 정도 보완하는 것은 쉽게 할 수 있다.- P238
아무리 실력을 갈고 닦아도 세상이 인정해주지 않으면 허사다. 또한 경쟁자와 실력이 엇비슷할 때는 얼마나 자신을 잘 포장하는지가 더욱 중요해진다.- P238
핵심은 주어진 데이터로 AI 빅데이터를 적용한 모델을 생성해서 인사이트를 도출하는 것이지만 방법이나 산출물의 형태가 매우 다양하다. 예를 들어 가장 단순한 형태로는 엑셀의 CSV 형태로 데이터를 주고 이를 이용해서 분석한 결과를 리포트 형식으로 제출하는 것이다. 주로 학교 논문이나 마케팅 회사에서 시장조사를 원할 때 이러한 형식의 용역을 준다.- P241
최근 가장 늘어나는 의뢰 형태는 AI 빅데이터를 접목한 어플리케이션이다. 어플리케이션은 C/S 방식 소프트웨어, Web 방식 소프트웨어, 모바일 앱 등의 형태로 나타날 수 있다. 이러한 방식의 AI 빅데이터 관련 의뢰가 들어오면 단순히 엑셀에서 데이터를 로드한 후 모델을 생성하는 수준의 지식만 가져서는 절대 불가능하다. 하지만 대부분의 데이터 과학자들은 딱 이 정도의 지식밖에 갖추지 못해 어플리케이션을 접목한 비교적 큰 규모의 프로젝트는 수행하지 못하고 있다.- P242
AI 빅데이터를 접목한 어플리케이션 개발을 하려면 우선 DB, 서버, API, UI 개발에 대한 지식이 있어야 한다.- P242
우선 DB는 데이터가 실시간으로 적재되고 이렇게 실시간으로 적재된 데이터를 조회해서 화면에 뿌려주어야 하기 때문에 당연히 필요한 부분이다. 어플리케이션으로 개발하는데 엑셀 형태의 데이터가 들어갈 수는 없다. DB 관련해서는 MySQL과 같은 RDB와 몽고DB 정도의 No-SQL만 익히면 된다. ...(중략)... 서버 상에 DB 설치하고 테이블을 생성한 후 Insert, Select 하는 쿼리 정도만 익히고 있으면 된다.- P243
만약 페타바이트급 이상 데이터가 적재돼서 DB 성능 최적화가 요구된다면 그때는 DB 전문가에게 일을 맡기면 된다.- P243
서버도 공부해야 한다. 내게 용역을 맡기는 꽤 많은 스타트업들이 서버 구매하는 방법도 몰랐던 기억이 있다. 서버는 클라우드 서비스를 이용하면 된다. 아마존 aws, 마이크로소프트 애저, 구글 클라우드 플랫폼 중 하나를 활용하면 된다.- P244
아직까지 가장 많이 활용되는 서버는 역시 아마존 aws 다. 여러분도 처음이라면 aws를 공부하는 게 좋다. 서버를 구매하는 방법은 구글에서 다른 사람들이 써놓은 포스팅을 검색해서 읽어보거나 aws 홈페이지에 있는 사용설명서를 읽어보면 된다.- P244
서버를 구매한 이후에는 서버를 세팅해야 한다. 윈도우 컴퓨터를 구매한 후에 처음에 이것저것 프로그램을 설치하는 것처럼 서버를 구매한 후에도 필요한 프로그램을 설치해주어야 한다. DB나 파이썬3 설치가 가장 기본적이며 필요한 경로 설정이나 라이브러리도 설치해주어야 한다.- P244
리눅스 서버는 윈도우와 달리 마우스를 활용할 수 있는 GUI가 없기 때문에 100퍼센트 명령어로 작동한다. 따라서 리눅스 서버 기본 명령어들도 공부해야 한다. 파이썬을 백엔드에서 실행시키거나 주기적으로 스케줄링을 걸어주는 것 정도의 명령어는 익혀야 한다. 동작 도중 메모리 부족으로 서버가 꺼질 수도 있기에 메모리를 관리하는 것도 어느 정도 익혀야 한다. 이러한 지식들을 한 권의 책에서 다 익힐 수는 없다. 그저 구글 검색을 통해서 찾은 포스팅을 보고 연습장에 메모해주면 된다. 그 정도만 하더라도 금방 익힐 수 있다.- P244
API에 대해서도 공부해야 한다. 왜냐하면 대부분의 AI 빅데이터 관련 프로젝트가 API를 활용해서 AI 빅데이터 모델 예측 결과를 실시간으로 송신하고 이를 어플리케이션이 수신해서 화면이 뿌려주는 구조이기 때문이다.- P245
파이썬을 기준으로 API를 만드는 가장 쉬운 방법은 Flask 라이브러리를 활용하는 것이다. Flask 사용 방법은 굉장히 쉬워서 구글에 검색해 보아도 금방 따라할 수 있다. 조금 더 체계적으로 공부해보고 싶다면 《깔끔한 파이썬 탄탄한 백엔드》(비제이퍼블릭)를 읽으면 된다.- P245
UI 개발도 알면 좋다. 만약에 당신이 UI 개발까지 잘한다면 당신의 가치는 천정부지로 오를 것이다.- P245
가장 큰 이유는 프로그래밍 언어가 다르기 때문이다. 앱 개발은 자바나 코틀린을 이용하고 웹 개발도 자바 또는 자바스크립트를 많이 활용한다. 물론 파이썬도 장고Django 를 이용하면 웹 개발이 가능하지만 AI 빅데이터 분석을 위한 코딩 스타일과 많이 달라 입문자는 배우기 까다롭다.- P245
따라서 간단한 정도의 UI 개발만이라도 직접하는 것을 목표로 하자. 파이썬을 이용해서는 PyQT나 Tkinter와 같은 라이브러리를 이용해서 C/S 방식의 UI 소프트웨어를 개발할 수 있다.- P245
《파이썬으로 배우는 알고리즘 트레이딩》(위키북스)과 《파이썬 GUI 프로그래밍 쿡북》(에이콘출판)을 읽으면 PyQT나 Tkinter에 대해서 익힐 수 있다.- P246
그저 중급자 수준만 되어도 된다는 생각으로 공부하라. 중급자 수준의 실력만 갖추어도 엄청난 시너지 효과를 발휘할 것이다.- P246
AI 빅데이터를 두려워하지 말고 즐겁게 배운다면 당신도 전문가, 능력자가 될 수 있다.- P247
우리의 자존감은 외적인 요소들에 의해 높아지기보다는 나 자신의 믿음, 신념에 의해서 높아진다.- P248
우리는 우리가 하고 싶은 것들, 자신의 인생에서 성공이라고 생각하는 가치를 이루어내야 자존감을 얻을 수 있다.- P248
자존감은 능력에 비례하지 않는다. 나 자신을 대단하다고 생각하고 항상 좋아하고 행복한 것을 도전하며 살면 자연히 능력이 그에 따라오게 되어 있다. 즉 자존감을 먼저 가지면 능력은 자연스레 수반되는 것이다.- P251
세상이 원하고 강요하는 삶이 아니라 자신이 행복할 수 있는 방식으로 일을 해라.- P252
IT 계열 직종의 장점 중에 하나는 굳이 사무실에 출근하지 않아도 일하는 게 가능하다는 것이다. 앉을 책상과 컴퓨터만 있으면 장소가 어디든 일을 할 수 있다. 사무실 외에도 집이나 카페, 도서관에서도 일하는 게 가능하다.- P254
여러분도 공부를 시작하면서 지금 당장의 실력에 비관하기보다는 미래를 계속 꿈꾸며 달려 나가야 한다. 어느 순간 가속도가 붙으면 자기도 모르게 꽤 전문가가 되어 있을 것이다. 논문을 보면 이해가 잘 되고 주변에서 컨설팅 문의가 들어오면 시원시원하게 대답해줄 지식이 쌓이게 될 것이다. 바로 이때가 당신의 실력이 한 단계 성장한 때다.- P265
DNN(Deep Neural Network): 입력층과 출력층 사이에 여러 개의 은닉층들로 이루어진 신경망이다. 복잡한 비선형 관계를 모델링할 수 있다.- P268
RNN(Recurrent neural network): 은닉층의 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결되어 있다. 이런 특성은 RNN이 순서 또는 시간이라는 측면을 고려할 수 있게 해준다.- P268
LSTM(Long Short Term Memory): 기존 RNN의 문제점은 입력된 데이터와 참고해야 할 데이터의 위치 차이가 커질 때 문맥을 연결하기 힘들다는 것이다. 즉, 참고해야 할 데이터의 시간차가 커지면 입력 데이터에 영향을 거의 미치지 못한다. LSTM은 Cell state를 통해서 어떤 정보를 취사할지 정하기 때문에 긴 시간 동안의 정보를 기억할 수 있다.- P268
CNN(Convolution Neural Network): 모델이 직접 이미지, 비디오, 텍스트 또는 사운드를 분류하는 딥러닝에 가장 많이 사용되는 알고리즘이다. 기존의 신경망에 필터 기술을 병합해 2차원 데이터를 잘 학습할 수 있도록 최적화시켰다.- P268
GAN(Generative adversarial network): 두 개의 네트워크로 구성된 심층 신경망 구조. 한 네트워크가 다른 네트워크와 겨루는 구조다. 처음에 생성자는 무작위 데이터를 만들고 구분자는 제대로 분류하지 못한다. 하지만 구분자는 생성자가 만든 데이터와 함께 진짜 데이터를 동시에 학습하기 때문에 조금씩 실력이 향상된다. 생성자 역시 구분자를 더 잘 속이기 위해 진짜처럼 보이는 데이터를 만들어간다.- P268
오토인코더(Autoencoder): 신경망의 입력층과 출력층의 노드 개수가 같은 구조다. 차원 축소 또는 노이즈 제거에 널리 쓰이는 네트워크 구조다.- P268
이미지넷(ImageNet): 이미지넷 프로젝트는 비주얼 객체 인식 소프트웨어 연구에 사용되도록 설계된 대형 비주얼 데이터베이스다. 프로젝트에 의해 1,400만 개가 넘는 이미지에 대한 주석이 달려 있다.- P269
파이썬 Python: 1990년 암스테르담의 귀도 판 로섬Guido Van Rossum이 개발한 인터프리터 언어다. 기업의 실무를 위해서도 많이 사용하는 언어다. 구글에서 만든 소프트웨어의 50퍼센트 이상이 파이썬으로 작성되었다. 최근에 데이터 과학을 위해서 가장 많이 사용되는 언어이기도 하다.- P269
R: 통계 계산과 그래픽을 위한 프로그래밍 언어다. R은 통계 소프트웨어 개발과 자료 분석에 널리 사용되고 있으며, 패키지 개발이 용이해 통계 소프트웨어 개발에 많이 쓰이고있다.- P269
추천 알고리즘: 사용자가 선호할 만한 아이템을 추측함으로써 여러 가지 항목 중 사용자에게 적합한 특정 항목을 추천해 제공하는 알고리즘을 일컫는다.- P269
이상탐지: 시계열 데이터에서 과거 또는 비슷한 시점의 다른 데이터의 보편적인 패턴에서 벗어나거나 벗어나려는 징후가 있는 드문 패턴을 찾아내는 데이터 분석의 한 분야다.- P269
텍스트 마이닝: 비정형 데이터 마이닝의 유형 중 하나다. 텍스트 마이닝은 비정형 및 반정형 데이터에 대하여 자연어 처리 기술과 문서 처리 기술을 적용해 유용한 정보를 추출, 가공하는 목적으로 하는 기술이다.- P269
SQL(Structured Query Language): 관계형 데이터베이스 관리 시스템의 데이터를 관리하기위해 설계된 특수 목적의 프로그래밍 언어다.- P269
RDB: 키key와 값value들의 간단한 관계를 테이블화한 간단한 원칙의 전산정보 데이터베이스다.- P269
몽고DB: 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. No-SQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다.- P269
텐서플로(Tensorflow): 다양한 작업에 대해 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리다. 심볼릭 수학 라이브러리이자, 뉴럴 네트워크 같은 기계학습 응용프로그램에도 사용된다.- P269
케라스(keras): 파이썬으로 작성된 오픈소스 신경망라이브러리다. MXNet, Deeplearning4j, 텐서플로, Microsoft Cognitive Toolkit 또는 테아노 위에서 수행할 수 있다.- P269
군집 분석: 각 개체의 유사성을 측정해 높은 대상 집단을 분류하고, 군집에 속한 개체들의 유사성과 서로 다른 군집에 속한 개체 간의 상이성을 규명하는 통계 분석 방법이다.- P269
나이브 베이즈(Naive Bayes): 개별 특성들 사이의 독립을 가정하는 베이즈 정리를 적용한 확률 분류기의 일종이다. 텍스트 분류에 주로 사용됨으로써 문서를 여러 범주(예: 스팸, 스포츠, 정치) 중 하나로 판단하는 문제에 적용한다.- P270
의사 결정 나무: 데이터를 분석해 이들 사이에 존재하는 패턴을 예측 가능한 규칙들의 조합으로 나타내며, 그 모양이 ‘나무‘와 같다고 해서 의사 결정 나무라고 불린다.- P270
RISS: 대한민국 교육부 출연 기관 한국교육학술정보원에서 제공하는 학술 연구 정보화시스템이다.- P270
구글 학술검색: 구글에서 제공해주는 검색 서비스 중 하나로 논문, 학술지, 간행물 등의 학술 용도를 검색 대상으로 한다.- P270
