오늘 읽기 시작한 부분에서는 ‘캐글Kaggle‘이라는...

오늘 읽기 시작한 부분에서는 ‘캐글Kaggle‘이라는 예측 모델 및 분석 대회 플랫폼과 관련된 얘기가 나온다. 이 플랫폼은 기업 또는 단체에서 데이터와 해결 과제를 등록하면, 데이터 과학자들이 그 등록된 과제를 해결하는 모델을 개발하고 경쟁하는 식으로 운영된다고 하는데, 여기서 중요한 것은 데이터 과학자들이 제공한 솔루션들이 그대로 저장되어 있어서 빅데이터 전문가로 성장하길 원하는 사람들이 이 플랫폼을 자신의 교보재로 활용할 수 있다는 점이다.

처음 밑줄친 부분에선 캐글을 활용하는 예시 하나가 소개되어 있다. 각자 취향에 따라 연구분야를 선정한 뒤 예시에 나온 식으로 이 플랫폼(캐글)을 자유자재로 활용한다면 이제껏 세상에 없었던 자신만의 솔루션을 만들어볼 수도 있지 않을까? 문득 이런 말이 생각났다. ‘모방은 창조의 어머니다‘

이미지 분류에 대해서 공부해보고 싶다면 검색 창에 ‘image classification‘ 이라고 검색하면 된다. 그러면 해당 키워드로 검색된 코멘트, 데이터 세트, 노트북 파일 등을 한눈에 볼 수 있다. 자신의 프로그래밍 언어(파이썬 또는 R)에 맞는 코드들만 따로 필터링할 수도 있고 데이터 세트 양(medium, large, small)에 따라서도 필터링 할 수 있다. - P182

즉, 너무나 많은 자료들이 있기 때문에 본인 취향에 맞게 충분히 이것저것 공부해볼 수 있다. 이렇게 이것저것 다양한 분야의 데이터를 다루어보고 연구 분야를 선택하면 된다. - P182

꼭 현재 대세가 되는 연구 분야를 주 연구 분야로 선택할 이유는 없다. 인기 있는 연구분야는 그만큼 하는 사람들도 많기 때문에 특별히 잘하지 않는 이상 그 가치를 인정받기 어렵다. 자신이 재밌고 잘할 수 있는 분야를 몇 개 선정해서 계속 집중적으로 연구하면 된다. - P182

우리가 지금까지 공부한 내용들은 자신만의 전문 분야를 선택하는 데 도움을 주고 그 전문 분야를 심층적으로 공부할 수 있는 능력을 함양하는 데 목적이 있다. - P184

아무리 유능한 연구원, 교수들도 자신만의 세부 연구 분야를 선정해두고 그 분야만을 연구한다. 자신이 멘사를 능가하는 엄청난 천재가 아닌 이상 모든 분야를 공부하려 하지 말고 자신만의 세부 연구 분야를 선정해야 한다. 그리고 자신이 잘할 수 있는 강점(연구분야)를 찾고 갈고닦아야 한다. - P185

우선 자신이 가장 잘하고 재밌는 분야를 연구 분야로 삼는 것이 당연히 좋다. 하지만 여기에 더 추가한다면 사회가 요구하는 인기 분야이면서 다른 사람들보다 자신이 경쟁력을 가질 수 있는 분야여야 한다. - P185

먼저 AI 빅데이터 전문가가 되기 위한 공부를 하고 사회에 나왔을 때 나를 필요로 하는 데가 많을수록 좋다. 예를 들어 현재 자연어 처리, 영상분석, 딥러닝 분야의 AI 빅데이터 전문가는 매우 인기가 높다. 취업할 곳도 많고 논문을 실을 수 있는 기회도 많다. 따라서 해당 분야의 전문가는 연구 분야 선정을 매우 잘한 것이다. - P185

자신만의 경쟁력을 지니고 있어야 한다. 남들과는 다른 특별한 경쟁력이 있으면 당신은 그 분야의 전문가를 넘어 권위자가 될 수 있다. - P185

연구 분야는 몇 개 정도를 선택하는 게 좋을까? 개인적인 생각으로는 주 연구 분야를 한두 개 정하고 부 연구 분야도 한두 개 정하는 것이 좋다. 즉 서너 개 정도가 적당하다. - P186

나는 주 연구 분야의 자세한 알고리즘에 대한 설명이 있는 책과 논문을 거의 매일 챙겨서 공부한다. 그리고 부 연구 분야에 대한 것은 실제 적용 부분에 대한 설명이 있는 책과 논문을 찾아 읽고 있다. - P186

텍스트 마이닝, 추천 알고리즘, 영상처리 분석, 이상탐지, 이미지 분석, 딥러닝, 기계학습, 시뮬레이션, 금융공학과 같은 특정 테크닉에 대한 연구 분야 선정 - P187

각 연구 분야마다 자주 쓰이는 알고리즘 또는 방법들이 있다. 예를 들어 텍스트 마이닝에서는 전처리 단계에서 단어 추출, 단어 정제, 단어마다의 가중치 생성과 같은 기술들이 매우 중요하다. 분석 단계에서는 토픽모델링, 감성 분석, 문서 요약, 단어 네트워크 등이 있다. 이는 다른 연구 분야에서는 볼 수 없는 텍스트 마이닝에서만 많이 쓰이는 고유한 기술들이다. - P187

이미지 분석의 경우 전처리 단계에서 이미지 특징 추출 (RGB, SIFT, Haar feature 등) 기술이 대단히 중요하다. 분석 단계에서는 이미지 분류, 이미지 경계선 추출, 유사한 이미지 판별 등이 있다. 이 또한 다른 연구 분야에서는 볼 수 없는 이미지 분석에서만 쓰이는 기술들이다. - P187

기술적인 측면에서 자신이 재미있고 이해가 잘되는 강점인 분야를 찾아야 한다. - P188

다음으로는 현상 측면에서 자신만의 연구 분야를 선정해야 한다. 예를 들어 자신이 기술적인 측면에서는 텍스트 마이닝을 선정했다면, 이 텍스트 마이닝 기술을 이용해서 어떤 것을 연구할것인가를 선택하는 것이다. 텍스트 마이닝 기술을 이용해서 정치문제에 대한 여론이나 금융 시장, 신기술 트렌드를 연구해볼 수도 있다. - P188

자신이 익숙하고 흥미로운 현상을 연구 분야로 선정해야 한다. - P188

우선 해당 연구 분야에 대한 자세한 설명이 있는 꽤 두꺼운 책을 구매해서 읽어라. 이 책은 마치 고등학교 시절 이해가 안 되는 부분이 있으면 《수학의 정석》을 제일 먼저 펼쳐보았던 것처럼 당신의 연구 분야에 있어서 교과서가 될 것이다. 최대한 상세 알고리즘에 대한 설명이 많고 자세한 수학적 설명이 있는 책을 선택하라. 그리고 수학적 설명의 이해를 돕기 위한 예제 세트가 함께 있으면 더욱 좋다. - P193

이러한 책을 읽을 때에는 메모가 필수다. 책도 두껍고 내용도 꽤 많아 읽을 때에는 이해가 될지 모르지만 다 읽고 나면 기억에 안남는 경우가 많다. 따라서 책을 읽을 때 연습장을 펼쳐두고 기존에 몰랐던 새로운 아이디어가 책에서 보이면 메모장에 적어두자. 나중에 실제 프로젝트를 하거나 논문을 쓸 때에 해당 아이디어가 큰 도움이 될 수 있다. - P194

이렇게 두꺼운 교과서로 해당 연구 분야에 대해서 꼼꼼히 살펴본 후에는 실제 코딩을 배우기 위한 책을 선택해야 한다. 따라서 자신이 주로 쓰는 프로그래밍 언어에 대한 책을 선택해야 한다. - P194

코딩을 배우기 위한 책은 실제 현업의 개발자가 쓴 책을 보는 것을 추천한다. 간혹 교수가 코딩 책을 쓰기도 하는데 아무래도 개발자에 비해서는 코딩 능력이 떨어지는 것이 사실이다. 그러한 책들은 코드에 대한 설명 없이 그냥 코드만 나열해놓는 경우도 많고 쉽게 라이브러리를 이용해서 몇 줄이면 될 것을 옛날 방식으로 하드코딩해서 어렵게 쓰기도 한다. - P195

한 가지 세부 연구 분야에 대한 교과서 한 권, 코딩 책 한 권 정도면 어느 정도 전문가가 되기 위한 준비가 된 것이다. 대신 책은 내용이 꼼꼼히 들어 있는 자세한 책을 선택하고 내용이 충분히 이해되도록 공부해야 한다. 그다음에 굳이 책을 더 읽고 싶으면 알고리즘 적용 분야에 대해 설명한 경영학적인 책을 몇 권 읽으면 도움이 된다. - P195

논문도 자신의 연구 분야에 해당하는 주제로 선별해서 읽어야 한다. 논문을 읽고 이해하는 것 자체가 진정으로 학자의 길로 들어서는 첫 길목과 같다. - P196

논문은 책과 달리 저자들이 새로운 아이디어가 떠오르면 바로 페이퍼로 게재하기 때문에 독자 입장에서는 최신 방법론, 알고리즘을 더욱 빠르게 습득할 수 있다. - P197

논문과 달리 책은 최신 경향에 대한 반응이 느릴 수밖에 없다. 그리고 새로운 아이디어가 떠올라도 아직 보편화된 방법론이 아니기에 검증 전에 쉽게 책을 쓸 수도 없다. 기본적으로 논문은 저자의 새로운 아이디어를 제안하는 데에 의의가 있지만 대부분의 책은 이미 논문에서 게재된 검증된 아이디어를 소개하는 데에서 그치기 때문이다. 특히 AI 빅데이터 분석 분야는 새로운 방법론, 알고리즘이 매일매일 너무나 많이 나오고 있기 때문에 논문을 항상 가까이 하는 게 필수적이다. - P197

또한 전문 연구 분야를 정했다고 하더라도 여기서 더욱 세분화된 연구 분야를 공부하고 싶을 때에도 역시 논문만 한 것이 없다. - P197

어느 정도 많이 논문을 읽어야 진정한 한 분야의 전문가가 될 수 있을까? 소위 공학 박사 학위 논문을 쓰려면 연구 분야에 관한 논문을 1,000개 읽어야 한다는 말이 있다. 과학적으로 입증된 사실은 아니지만 다수의 학자, 교수들이 공감하는 말이다. 그만큼 논문을 많이 읽는 게 중요하다. 왜냐하면 결국 전문가라는 게 남들보다 많이 알고, 많은 아이디어를 지니고 있는 사람인데 그만큼 많이 알려면 남들의 지식과 아이디어를 많이 읽고 참고해야 하기 때문이다. 그래야 비슷하지만 조금 변형된, 혹은 같지만 새로운 분야에 적용한, 또는 몇 가지 방법론 및 알고리즘을 혼합한 새로운 아이디어를 도출할 수 있다. 이는 남의 아이디어를 베끼는 표절과는 다르다. - P199

논문이라는 것이 원래 이전에 있었던 아이디어들을 적층한 다음 그 위에 더 새로운 아이디어를 얹은 것이다. 그래서 항상 논문에는 선행 연구 부분이 있는 것이다. 즉, 무에서 유를 창조하는 것은 없다. 다른 사람들이 쌓아놓은 지식 위에 내가 조금 더 지식을 쌓으면 그것이 논문이고 그것이 새로운 아이디어다. 많이 읽을수록 당신의 전문성이 높아지고 새로운 아이디어가 떠오를 가능성도 높아질 것이다. - P199

논문은 많이 읽으면 읽을수록 좋다. ...(중략)... 나름대로 읽으면서 따로 정리를 해야 한다. - P199

논문은 어디서 읽을 수 있을까? 구글 학술검색에 키워드로 검색하면 웬만해서는 다 무료로 다운받아서 읽을 수 있다. 만약 다운이 안 되는 논문이 있다면 대학교 도서관 포털을 이용해서 받을 수도 있다. 꼭 읽고 싶은 논문이 있는데 무료도 아니고 학생도 아니라면 비용을 지불하고 다운받아 읽거나 SCI-HUB와 같은 사이트를 이용할 수도 있다. - P201

세 가지 방법으로 논문 선택을 하면 된다. 첫째는 인용 수가 많은 논문을 읽는 방법이다. 해당 연구 분야에서 가장 인기 있고 인정받는 논문이니 당연히 읽을 만한 가치가 있다. 둘째는 최신 경향을 익히기 위해 게재 연도가 최근인 논문 중에서 자신에게 친숙한 저널이나 어느 정도 명망 있는 저널의 논문을 읽는 것이다. 셋째는 선행 연구 부분이 자세하게 나와 있는 하나의 논문을 정해서 해당 논문의 선행 연구에 있는 논문들을 찾아서 읽는 방법이다. 이 방법은 연구 동향에 대한 흐름을 익히는 데 도움이 된다. - P201

AI 빅데이터 분석을 위해서는 대표적으로 파이썬, R, 스파크가 쓰인다. - P202

(프로그래밍 언어를 공부하기 위한) 책은 기본적인 구문이나 예제 세트의 내용을 주로 다룰 때가 많아서 입문자에게는 좋지만 어느 정도 실력이 쌓인 실력자들에게는 크게 도움이 되지 않는다. 특히 직접 코드를 키보드로 입력해보는 것과 눈으로 읽고 넘어가는 것은 기억력 측면에서 큰 차이가 난다. 아무래도 직접 키보드에 입력해보고 코드가 실제 작동하는지 확인해야 더욱 기억에 잘 남는다. 그리고 만약 실제 작동하지 않으면 왜 작동하지 않는지 오류 부분을 찾으면서 실력 향상을 도모할 수도 있다. - P203

직접 다수의 코드라인을 입력하기에 가장 좋은 연습은 역시 실전 프로젝트다. 실전 프로젝트를 하게 되면 책의 예쁜 예제 세트와는 달리 지저분한 데이터의 전처리부터 직접 수행하면서 실전코드 실력을 키울 수 있다. 또한 실전이다 보니 마감 기한에 대한 압박이 더욱 열심히 하게 되는 자극제가 될 수 있다. - P203

프로젝트를 수행하면서 코드를 짤 때 막히는 부분이 있으면 어떻게 할까? 그때마다 책을 찾아보면서 관련 함수를 찾아보면 될까? 그럴 필요 없다. 그냥 구글에 검색하면 된다. 구글에 검색하면 스택 오버플로와 같은 웹사이트의 Q&A 게시판에 당신과 비슷한 질문을 올린 다른 사람들을 다수 보게 될 것이다. - P203

스택 오버플로는 컴퓨터 프로그래밍의 다양한 주제에 대한 질문과 답변기능을 한다. 현재 1,000만 명이 넘는 사용자 수를 보유하고 있으며 1,600만 개가 넘는 질문이 있다. 따라서 당신이 막혔던 부분은 1,000만 명이 넘는 사람 중 일부 다른 사람들도 막혔을 것이고 그것을 Q&A 게시판에 올려 답변까지 받았던 흔적이 분명히 존재할 것이다. 당신은 그저 답변에 올라와 있는 코드를 복사해서 당신의 코드 문맥에 맞게 조금 변형해서 넣어주면 끝이다. 이 모든 과정이 짧으면 10초 길어도 1분 이내에 대부분 끝난다. 또한 스택 오버플로는 비슷한 Q&A 글들을 모아주기 때문에 한 게시글에서 이해가 안 돼도 바로 옆 게시글들을 클릭해보면서 자신의 코드 문맥에 맞는 코드를 찾아낼 수 있다. - P204

막히는 코드 부분이 있다면 구글에 간단히 검색하면 된다. 예를 들어 파이썬을 이용해서 문자 형태의 데이터 구조를 날짜시간 형태로 바꾸고 싶다면 간단히 ‘string into datetime python‘이라고 검색하면 된다. 마찬가지로 R, 스파크로 같은 코드를 찾아보고 싶다면 ‘string into datetime r‘, ‘string into datetime spark‘라고 검색하면 된다. 문자열을 날짜시간 형태로 바꾸는 것은 워낙 보편적으로 많이 쓰는 것이기 때문에 관련 글들이 다수 존재할 것이다. 하지만 더욱 복잡한 구문을 검색하게 된다면 관련 글이 잘 안 보일 때도 있다. - P204

잘 쓰지 않는 라이브러리의 함수 관련 질문을 검색해보면 없는 경우가 있다. 따라서 이런 식으로 구글 검색을 통해서 코드라인을 채우는 식으로 코드를 작성하려면 아무래도 인기 있는 프로그래밍 언어를 쓰는 것이 유리하다. 왜냐하면 인기 있는 프로그래밍 언어를 써야 당연히 그에 해당하는 Q&A 게시글이나 포스팅이 많기 때문이다. - P205

AI 빅데이터 분석은 서버비를 제외하고는 대부분 인건비로 비용이 나가 시장 규모의 대부분이 인건비로 소진된다고 볼 수 있다. - P207

국내에는 AI 빅데이터 분석 전문 SI 업체들이 꽤 많이 있다. 솔트룩스, 모비젠, 엔텔스, 와이즈넛과 같은 회사가 대표적이다. 이런 회사들의 매출 대부분은 SI로 이루어진다. 그런데 실제 이런 회사에 가보면 AI 빅데이터 분석가가 부족해서 안달이다. 일은 많은데 할 수 있는 인재가 별로 없어 관련 학부를 졸업하고 조금만 경력이 있어도 금방 취업이 된다. 또한 스타트업이나 중소기업은 인재난에 시달리고 있다. 따라서 3~6개월 공부한다는 마음으로 이런 회사에 취업해서 실제 프로젝트를 접해보는 것도 추천하는 방법이다. - P207

크몽, 오투잡, 재능넷과 같은 플랫폼에 AI 빅데이터 분석가로 이력을 올리면 프로젝트를 받을 수 있다. 다만 아직 이름이 알려지지 않은 초기 회원이라면 비교적 규모가 작은 대학생 숙제와 같은 프로젝트 문의가 많이 들어올 것이다. 그래도 일반 개발자들에 비해서 AI 빅데이터 분석가는 희소하기 때문에 지금이라도 바로 시작하면 충분히 빠르게 인기 프리랜서로 올라설 수 있을 것이다. 예를 들어 국내 최대 재능플랫폼인 크몽에 머신러닝 카테고리를 보면 10여 개 서비스밖에 없다. 아직 블루오션인 분야이니 빠르게 도전해보자. - P208

자신이 직접 데이터를 수집해서 자체 프로젝트를 수행해볼 수도 있다. 예를 들어 웹크롤링을 이용해 SNS 텍스트 데이터를 수집해서 텍스트 마이닝 프로젝트를 해볼 수 있다. 인스타그램, 핀터레스트에서 사진을 추출해서 이미지 분석 프로젝트를 해볼 수도 있다. 유튜브에서 동영상을 다운받아서 영상처리 프로젝트를 해볼 수도 있다. - P208

국어사전에서 논문의 정의는 "어떤 것에 관해 체계적으로 자기 의견이나 주장을 적은 글. 그 체계는 대개 서론, 본론, 결론의 세 단계다"라고 나와있다. - P209

실제 저널에 논문을 투고했을 때, 실리는가 실리지 않는가의 가장 큰 잣대는 해당 논문이 어떠한 공헌도가 있는가 하는 것이다. 즉, 기존에 없었던 무언가 새로운 사항을 제안해서 학계에 실질적인 공헌을 했느냐가 가장 큰 관심사다. - P210

아무리 기발하고 복잡하고 어려운 아이디어라고 해도 기존에 이미 있으면 당신의 아이디어는 구식이 되고 논문으로서 가치가 없게 된다. 그래서 항상 논문을 쓰기 전 선행 연구를 중요시해야 한다. 쓰려고 하는 논문 주제의 기존 선행 연구들을 꼼꼼히 살펴본 다음 기존 연구에서 제시하지 못했던 것을 내 아이디어로 제시해야 하기 때문이다. - P210

우선 책이든 논문이든 당신이 하려는 연구 분야의 기존 연구 동향을 살펴보아야 한다. 연구 동향 파악을 위해서는 최신 논문들을 읽는 게 좋다. 구글 학술검색을 이용하면 연도별로 논문을 검색할 수 있는데 2018년, 2019년 이후의 논문들로 검색해서 보라. 최신 논문을 읽어야 최신 아이디어, 방법론, 알고리즘을 파악할 수 있기 때문이다. 예전 논문을 읽고 무언가 아이디어를 떠올렸는데 이미 최근에 게재된 논문의 아이디어와 동일하면 사실상 가치가 없다. 그리고 최신 논문들을 읽으면 해당 논문의 선행 연구들도 최신 경향을 반영하기 때문에 최신 트렌드를 더욱 빨리 잡아낼 수 있다. - P211

메타분석을 한 기존 논문을 읽으면 최근의 연구 동향을 더욱 자세히 빠르게 파악할 수 있다. 메타분석이란 기존 문헌들을 분석한 후 연구 트렌드와 연구가 부족한 부분을 연구하는 방법이다. - P211

구글 학술검색에서 검색 시에는 ‘literature review‘라는 키워드를 함께 넣어주자. 예를 들어 추천 알고리즘에 대한 메타분석 논문을 읽고 싶으면 ‘recommendation system literature review‘라고 검색하면 된다. - P211

대단히 새로운 아이디어를 생각해내야 한다는 강박관념에 시달릴 필요는 없다. 기존에 없는 연구라면 쉽고 간단한 방법론 또는 알고리즘으로 제시해도 충분하다. - P214

군집 분석, 나이브 베이즈, 의사 결정 나무와 같은 비교적 간단한 알고리즘들은 조금만 연구해보면 충분히 직접 코드로 구현할 수 있다. 그리고 라이브러리 함수에서 저절로 이루어지던 것을 하나하나 직접 코드로 작성하면서 그 안에 하나하나 연구해볼 만한 가치가 많을 것들을 파악할 수 있다. - P216

두 개 이상의 알고리즘을 순차결합 또는 동시결합을 통해 새로운 방법론을 제안할 수도 있다. 예를 들어 단순 뉴럴넷을 순차적으로 두 번 수행해서 하나의 방법론을 제안할 수도 있다. 너무 단순해 보이지만 이러한 방법도 논문이 될 수 있다. - P217

오늘 읽기 시작한 부분에서 저자는 AI 빅데이터 전문...

오늘 읽기 시작한 부분에서 저자는 AI 빅데이터 전문가로 제대로 성장하기 위해서는 수학 지식이 일정부분 필요하다고 말한다. 이는 데이터 분석 시 모델을 각각의 상황에 맞게 응용하는데 절대적으로 필요하기 때문이다. 특별히 빅데이터 분석 시 필요한 수학 분야 중 하나로 저자는 수리통계학을 언급하는데, 이쪽 분야의 전문가인 저자가 반복해서 언급하는 데는 다 그럴만한 이유가 있다고 보는 게 맞을 듯하다.

분석을 하다 보면 파라미터를 수정해주거나 경우에 따라서는 모델 자체를 변형해야 하는 경우가 꽤 있다. 그러려면 무엇보다 알고리즘의 개념과 원리에 대해서 알아야 하는데 당연히 수학이 들어가기 마련이다. - P154

AI 빅데이터 분석을 위해서 가장 많이 쓰이는 수학은 수리통계학과 선형대수학이다. 사실 선형대수학도 공부해야 한다. 하지만 수학을 싫어하는 사람들에게 선형대수학까지 강요할 수는 없으니 그나마 조금 쉽고 더 기본이 되는 수리통계학이라도 배우면 좋을 듯하다. - P154

수리통계학이란 무엇인가? 위키백과를 찾아보면 "통계학의 수학적 이론으로 확률모형, 통계적 추정 이론과 검정 이론, 계산 알고리즘의 성질 등을 탐구하는 학문"이라고 나와 있다. - P154

내가 생각하는 수리통계학은 확률과 분포에 대해서 많이 다루는 학문이다. 그리고 이러한 확률과 분포가 실제 데이터 마이닝 알고리즘에 굉장히 많이 쓰이고 있다. - P154

데이터 분석의 가장 기초로 불리는 선형회귀 분석을 살펴보자. 선형회귀 분석을 하기 위해서는 몇 가지 가정이 만족되어야 하는데 그중에 등분산성, 정규성 가정 항목이 있다. 등분산성이란 응답변수에 대한 잔차의 분산이 같아야 한다는 것을 의미하고 정규성이란 응답변수에 대한 잔차가 정규분포를 띄어야 한다는 것을 의미한다. - P154

각각의 분포들은 데이터에 대한 추정을 가능하게 한다. 예를 들어 어떠한 데이터가 주어졌을 때 그 데이터가 특정 분포를 따른다고 가정하고 데이터의 평균, 분산에 대한 추정과 그구간 범위까지 추정할 수 있다. 이러한 추정들은 실제 현장에서 AI 빅데이터 분석 시 데이터 전처리 직후 기술통계 부분에서 많이 쓰인다. - P155

각종 분포들의 수리적인 모형을 공부해두면 고급 알고리즘들을 익히는 데에 도움이 된다. 예를 들어 텍스트 마이닝에서 자주 쓰이는 LDA 토픽모델링은 각각의 문서가 여러 개의 주제를 지니고 있고 이러한 주제들이 디리클레분포를 따른다고 가정한다. - P155

수리통계학을 공부해두면 디리클레분포와 같은 다소 생소한 분포를 보게 되더라도 쉽게 이해할 수 있다. 왜냐하면 수리통계학을 공부하면 배우게 되는 결합분포(확률 변수가 여러 개일 때 이들을 함께 고려하는 확률분포), 주변분포(결합분포에서 어느 한 변수만을 고려하는 확률분포)와 같은 개념과 각종 수식에 사용되는 기호들은 모두 공통되기 때문이다. - P155

수리통계학에서 배울 수 있는 베이즈 정리, 최우추정법, 카이제곱 적합도 검정과 같은 정리, 기법 등은 AI 빅데이터 관련 공부를 하다 보면 끊임없이 나온다. 대표적으로 자주 쓰이는 알고리즘들도 깊게 들어가면 이러한 개념들이 빈번히 등장한다. 특히 논문을 읽어보면 이러한 개념들을 굉장히 자주 볼 수 있다. - P156

기본적으로 더 깊게 AI 빅데이터 분석에 대해서 공부하기 위해서는 이러한 기본개념들은 미리 알고 있어야 하는 것이다. - P156

개인적인 생각으로는 인터넷상에 나와 있는 미적분 공식들을 이해가 안 되어도 그냥 외우는 것이 가장 좋다. 다시 고등학교 미적분 수학책을 보고 있기에는 시간이 너무 아깝다. - P157

우리는 AI 빅데이터 분석의 알고리즘들을 이해할 수 있는 정도로만 공부하면 된다. - P157

책을 읽으면서 수식이 나오면 연습장에 그대로 따라 적으면서 이해를 한다. 이해가 되었으면 다음으로 넘어가고 이해가 안 되었으면 이해하기 위해서 조금 더 생각을 하거나 인터넷에서 해당 개념을 찾아본다. 그래도 이해가 안 되면 그냥 넘어간다. 절대 수식을 외우지는 않는다. 그리고 각 챕터별 연습문제가 나오면 연습문제 해답을 펼쳐놓고 이해하면서 그대로 답을 연습장에 적는다. 이때에 증명이나 유도하라는 문제는 건너뛴다. 예제 데이터 세트를 주고 값을 구하라는 문제 위주로 빠르게 살펴본다. 이런 식으로 하면 하루이틀이면 한 챕터 가량은 공부할 수 있을 것이다. - P158

각 이론에 대한 설명을 읽고 수식을 이해하고 기본 예제 데이터 세트에 어떻게 적용되는지 정도만 알면 된다. 즉 이해가 중요한 것이지 외울 필요는 절대 없다. - P158

사람들은 딥러닝에 왜 이렇게 열광할까? 가장 큰 이유는 정확도다. 기존에 많이 썼던 데이터 마이닝 기계학습 알고리즘에 비해서 월등히 좋은 정확도를 보이기 때문에 다들 딥러닝에 의존하는 것이다. - P159

딥러닝이 제대로 구현되기 위해서는 두 가지 요건이 필요하다. 충분히 많은 데이터의 양과 이를 연산할 수 있는 컴퓨터의 연산 능력이다. - P160

데이터가 적을 때에는 오히려 전통적인 방법론이 조금 더 우수하지만 데이터가 어느 정도 쌓이면 딥러닝의 정확도가 훨씬 높아짐 - P161

딥러닝도 단점이 있다. 우선 고성능 장비가 필요하며 학습하는 데에 시간도 비교적 오래 걸린다. 또한 정확도는 잘 나오는데 어떠한 이유로 결과가 나오는지 결과 해석이 어렵다. 흔히 블랙박스 모델이라고도 불리는 이유다. - P162

(딥러닝은) 데이터가 많으면 정확도가 잘 나오지만 데이터가 적으면 전통적인 방법에 비해서도 정확도가 떨어진다. 왜냐하면 작은 데이터 세트로 학습했을 때 너무 자세한 특징까지 다 모델이 학습하기 때문에 학습 데이터 이외의 다른 데이터 세트에는 오히려 잘 안 맞을 수가 있다. 이를 흔히 ‘과적합 문제‘라고 한다. - P162

전통적인 기계학습 알고리즘 중의 하나인 인공신경망을 깊은 구조로 만든 것을 딥러닝이라고 할 수 있다. - P163

보통 최근에 쓰는 딥러닝 구조들은 수십 개 이상의 은닉층hidden layer도 쉽게 구축하곤 한다. 은닉층의 각 뉴런(노드)에서는 활성화 함수라는 게 존재해 각 가중치를 조절해준다. 즉 뉴런의 개수가 많으면 많을수록 함수가 거듭해서 합성함수 꼴로 변해 어떠한 형태의 데이터도 복잡한 함수 형태로 표현할 수가 있는 것이다. - P164

뉴런의 개수가 많으면 많을수록 더 복잡한 형태의 함수 구현이 가능해 모델이 고도화되는 것이다. - P164

DNN이라고도 불리는 딥뉴럴넷(심층신경망) - P164

뉴런들을 구성하는 방식에 따라 다양한 방식으로 나타낼 수 있다. CNN, LSTM, AutoEncoder, RBM, GAN 등 뉴런과 그 뉴런을 연결하는 엣지 간의 네트워크를 어떻게 구성하느냐에 따라 다양한 형태의 모델이 생성 가능하다. 또한 각 모델들도 세부적으로 조금씩 레이어(layer)나 뉴런의 개수를 바꿀 수 있고 파라미터나 함수들을 다양하게 변화할 수 있기 때문에 사실 딥러닝 모델은 엄청나게 다양하게 생성할 수 있다. - P164

딥러닝을 공부하기 위해서는 이론을 먼저 익히고 프로그래밍 언어 실습을 하면 된다. 프로그래밍 언어를 먼저 설명하면 우선 대부분의 딥러닝 라이브러리들이 파이썬으로 제공되고 시중에 나와 있는 책들도 파이썬을 이용한 딥러닝이 대부분이기 때문에 파이썬으로 하는 것을 추천한다. - P165

이러한 개념들(경사하강법, 역전파법, 각종 활성화 함수들)은 딥러닝의 어떠한 구조를 만들더라도 공통적으로 쓰이는 개념이라 필수로 알고 있어야 한다. - P165

강의로 딥러닝 공부하기 : 홍콩 과기대 교수로 재직 중인 김성훈 교수가 올린 강의도 들을 만하다. 어려운 수식 없이 딥러닝의 탄생 배경과 기본 개념을 설명해준다. 또한 간단한 코드 예제도 제공된다. 무료로 들을 수 있고 수업 자료도 PDF로 제공해준다 https://www.inflearn.com/course/기본적인-머신러닝-딥러닝-강좌#. - P165

CNN, LSTM, 오토인코더, GAN 등 다양한 딥러닝 모델들을 공부하고 실제 예제 세트를 코드로 돌려보아야 한다. - P165

딥러닝을 구현하기 위한 라이브러리는 텐서플로를 비롯해 케라스Keras, 카페 Caffe, 파이토치 Pytorch, 티아노Theano 등 다양하다. 사실 각 라이브러리마다 각자 장단점이 있고 최신 논문의 알고리즘을 반영하는 시간이 조금씩 다르기 때문에 모두 다 알면 좋다. 하지만 이 책을 읽는 독자들은 이 중 한 개만 다루면 된다. - P166

어차피 정말로 최근의 논문 알고리즘이 아닌 이상 웬만한 딥러닝 알고리즘들은 어느 라이브러리나 다 제공해주고 있다. 나는 케라스를 추천한다. 이유는 구현하기 제일 쉽기 때문이다. 또한 케라스는 이용자가 많기 때문에 문제점이 생기면 구글에서 검색했을 때 쉽게 솔루션을 찾을 수 있다. - P166

코드도 모두 깃허브에 제공되고 케라스 코드 자체가 쉽기 때문에 실제 프로젝트를 수행할 때에 깃허브 코드를 조금씩만 변형해도 실전에 바로 사용할 수가 있다. - P167

빅데이터 시대를 맞이해 각종 새로운 데이터베이스가 쏟아져 나오고 있다. 가장 유명한 No-SQL인 몽고DB는 이미 구식 데이터베이스가 된 지 오래다. 엘라스티서치, 아랑고DB, 파우나DB, 카우치DB 등 새로운 데이터베이스가 너무나도 많이 생겨났다. - P168

솔직히 말하면 아직까지 웬만한 프로젝트는 기존 RDB 수준에서 다 해결된다. 소셜네트워크 데이터를 실시간으로 저장하거나 인기 웹사이트 유저 클릭, 뷰 로그데이터를 실시간으로 저장하는 정도여야 No-SQL이 필요한 정도다. - P169

빅데이터여서 No-SQL이 필요하다고 해도 몽고DB 정도면 대부분 해결된다. 몽고DB가 조인 쿼리가 없고 메모리 사용량이 크다는 단점이 있긴 하지만 큰 문제가 되진 않는다. 더군다나 몽고DB는 공부할 수 있는 책도 많고 공부할 내용도 많지 않아서 쉽게 사용할 수 있다. - P170

AI 빅데이터 전문가가 되기 위한 입문자들은 가장 기본적이지만 아직도 많이 쓰이는 RDB부터 공부해야 한다. RDB는우리말로 하면 관계형 데이터베이스다. 즉 키 key와 값value의 간단한 관계를 테이블화한 데이터베이스로 우리가 흔히 알고 있는 오라클, MsSQL, MySQL 등이 모두 RDB다. 특히 MySQL은 무료이기 때문에 대다수의 시작 단계의 프로젝트들은 MySQL DB로 채택한다. 따라서 여러분이 앞으로 가장 많이 다루어야 할 DB도 MySQL이 될 확률이 크다. - P170

RDB는 여러 제약 조건이 있다. 이게 사실 No-SQL과 가장 다른 점이고 RDB를 공부할 때에 많은 사람들이 어려워하는 내용이다. 키 값에 대한 제약 조건이 있고 무결성(개체 무결성, 참조 무결성)에 대한 제약 조건도 있다. - P170

데이터베이스 정규화라는 개념도 있다. 데이터베이스 정규화는 RDB의 설계에서 중복을 최소화하게 데이터를 구조화하는 프로세스다. 쉽게 말해서 불필요한 데이터를 제거하고 데이터 저장 구조를 간결하고 논리적으로 바꾸어 SQL 쿼리를 쉽고 효율적으로 만들어준다. - P171

어렵지는 않지만 몇 가지 외워야 하는 사항들이 있다. 따라서 이러한 사항들은 반드시 숙지해두어야 한다. 기본적인 Update, Insert, Select, Delete SQL 쿼리와 Where, Join문 정도도 알고 있어야 한다. 왜냐하면 간단한 프로젝트들은 대부분 AI빅데이터 전문가에게 DB 구축 및 데이터 적재까지 맡긴다. 따라서 처음부터 테이블을 생성하고 데이터를 하나하나 Insert까지 해야 하는 상황이 꽤 많이 발생한다. 이러한 일들에 잘 대처하기 위해서는 지금 말한 개념들은 반드시 알고 있어야 한다. - P171

실제 데이터 분석 시에도 SQL Select 쿼리를 어떻게 하느냐에 따라서 데이터 전처리양이 많이 줄어들기도 한다. 그렇기 때문에 다양한 조건이 담긴 SQL 쿼리에도 익숙해지는 것이 중요하다. 결론적으로 AI 빅데이터 전문가가 되기 위해서는 어느 정도 중급자 수준 이상의 RDB에 대한 지식이 있어야 한다. - P171

사실 AI 빅데이터 분석을 하다 보면 서버도 알아야 하고 DB도 알아야 하고 API 제작도 알아야 하고 웹 개발도 알아야 한다. 단 초급이나 중급자 정도의 수준이면 된다. 고급 수준이 필요할 때에는 해당 분야의 전문가에게 맡기고 당신은 AI 빅데이터 분석 모델링 업무에 더욱 집중해야 한다. - P172

우리는 RDB와 몽고DB만 공부하면 된다. - P172

우선 RDB는 《Database Concepts》 (Pearson Education)를 추천한다. 이 책 한 권만 읽으면 RDB에 대한 기본적인 개념을 다 알 수 있다. 원서라서 영어인 게 조금 단점이지만 책도 얇고 어려운 영어도 아니어서 술술 잘 읽힐 것이다. - P172

개념을 알고 있어도 SQL쿼리로 구현할 수 있어야 한다. 따라서 SQL 쿼리 공부를 해야 하는데 이전 장에서 말했던 ‘SQL 개발자‘ 자격증 공부를 했던 책으로 공부하면 된다. 책은 《SQL 전문가 가이드》(한국데이터베이스진흥원)이고 이 책을 공부하면 오라클, MsSQL 쿼리를 공부할 수 있다.
MySQL 쿼리는 대부분 오라클과 겹치거나 매우 유사하다. 따라서 오라클 쿼리만 알아도 MySQL은 그대로 접목 가능하거나 구글에서 조금만 검색해도 금방 알 수 있다. - P173

몽고DB는 어떻게 공부할까? RDB는 여러 가지 제약 조건과 정규화 과정들이 있었지만 몽고DB는 No-SQL이라 그런 것이 없다. 말 그대로 비정형 데이터들을 모두 집어넣을 수 있다. 그래서 빅데이터 시대에 각광받는 DB가 된 것이다. 책은 《몽고디비 인액션》(제이펍)을 추천한다. 사실 이 책도 처음부터 정독할 필요가 없다. 7~10장의 쿼리 최적화, 복제, 샤딩, 배포와 관리와 같은 챕터는 건너뛰어도 된다. 이러한 것까지 직접 하게 될 일은 거의 없을 것이다. - P173

AI 빅데이터 전문가가 되기 위해서 각종 이론과 프로그래밍 코드 능력을 연마했지만 이를 제대로 연습하려면 역시 실전 프로젝트를 직접 수행해봐야 한다. 언제까지 Iris, mnist cifar-10과 같은 소량의 예쁘게 정제된 예제 데이터 세트로만 연습을 할 것인가? 실전에서 직접 비즈니스 문제에 대한 가설을 세운 후, 데이터 임포트, 전처리, 모델링까지 해보면서 전문가로서 발돋움할 수 있는 실력을 키워야 한다. - P177

다양한 데이터로 연습하며 실력을 키울 수 있는 방법은 없을까? 바로 캐글Kaggle 경연대회가 있다. 캐글은 2010년 설립된 예측 모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결 과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 구글에서 2017년 인수했을 정도로 그 가치를 인정받고 있다. - P178

캐글 경연대회는 수시로 열리는데 각 대회마다 새로운 데이터 세트와 문제가 주어진다. 주어지는 데이터 세트는 가상의 데이터 세트가 아니라 실제 비즈니스 환경에서 도출되는 데이터 세트다. 그리고 데이터 세트에 대한 자세한 설명과 문제 설명까지 주어진다. 그다음에 문제를 푸는 것은 참가자의 몫이다. 처음에는 캐글 ‘Notebooks‘ 게시판에서 다른 사람들이 한 것을 보고 힌트를 얻을 수도 있다. 또한 ‘Discussion‘ 게시판에서 질의응답을 통해 답답함을 해결할 수도 있다. 즉 혼자서 맨땅에 헤딩하는 것이 아니라 집단 토론과 집단 지성을 통해 본인의 견문을 더욱 넓힐 수 있는 것이다. 게다가 우수한 솔루션을 내놓으면 상금까지 받을 수 있으니 더욱 좋다. - P179

캐글의 플랫폼에는 지금까지 열리고 끝났던 경연대회들이 플랫폼에 계속 적재되어 있다. 따라서 엄청나게 많은 실전 데이터 세트와 솔루션들이 그대로 저장되어 있고 원하는 사람은 누구나 이것들을 자유자재로 골라서 연습해볼 수 있다. 즉 의지만 있으면 굳이 회사에 입사하지 않고도 다양한 데이터 세트로 웹상의 수많은 사람들과 협업하면서 연구하고 실력을 키울 수 있는 것이다. 한 가지 아쉬운 점은 주어지는 데이터 세트가 대부분 CSV 형태로 예쁘게 정제되어 있는 경우가 많다는 것이다. 실제 RDB나 No-SQL에서 쿼리를 통해 데이터를 임포트하고 정제하는 과정이 필요한 경우가 많은데 이것까지는 캐글 경진대회에서 기대할 수는 없다. - P179

자신만의 연구 분야를 확실히 정해야 한다. 그러려면 회사에 입사하거나 대학원에 진학하기 전에 다양한 분야를 공부해보아야 한다. - P182

각 분야를 심도 있게 공부하기에는 꽤 많은 시간과 노력이 필요하다. 따라서 캐글 경연대회에서 각 연구 분야의 데이터 세트를 직접 만져보면서 실제로 자신에게 흥미가 있는지 느껴보는 게 가장 효율적이다. 직접 일일이 코딩하는게 힘들면 다른 참가자들이 짜놓은 코드를 읽어보아도 된다. 각 연구 분야마다 전처리, 모델링하는 방식이 다르기 때문에 코드만 읽어보아도 그 차이점을 알 수 있고 자신에게 맞는지 맞지 않는지 느낄 수 있을 것이다. - P182

지난번 포스팅까지는 AI 빅데이터 공부의 필요성 및 ...

지난번 포스팅까지는 AI 빅데이터 공부의 필요성 및 이와 관련된 각종 잘못된 편견들에 대해 언급했었다. 오늘은 빅데이터를 공부하는 방법에 대해 나오기 시작한다. 물론 이것은 어떤 고정불변의 정형화된 것은 아니고, 학습자의 필요에 맞게 활용하라고 저자는 말한다. 다만 저자가 직접 시행착오를 겪으면서 나름대로 얻은 노하우이기에 이 분야를 잘 모르는 독자들이라면 좋은 참고 자료가 될 수 있을 거라고 생각한다.

처음 밑줄친 문장에서 저자는 단순히 어떤 테크닉적인 것보다는 일단 문제 해결을 위한 큰 숲을 볼 수 있어야 한다고 말하는 듯하다. 다시 말해, 일단 문제가 무엇인지를 명확히 정의하는 것이 최우선이고 이후에 그 문제를 해결하기 위한 세부적인 접근 방법들을 고민해보자는 것이다.

이렇게 막상 쓰고보니 너무나도 당연한 말처럼 보이지만, 실무에서 이것을 하는 것은 말처럼 그리 쉬운 것이 아니기에 일을 하면서 항상 신경써야 할 부분이라고 생각한다.

우선 가장 처음 시작해야 하는 공부는 수학, 코딩, 알고리즘 등이 아니다. 경영학적으로 기업 문제들이 발생했을 때 어떠한 데이터 분석 기법으로 문제를 해결할 수 있는지 알아야 한다. - P126

기본적인 AI 빅데이터의 개념부터 등장 배경, 특성, 저장 및 처리 기술들에 대해서 한번 쭉 훑어보아야 한다. 이런 것들을 자세하게 암기할 필요는 없다. 그냥 읽고 넘어가면 된다. 다만 전통적인 데이터와는 다르게 빅데이터의 특성에 무엇이 있고, 저장 및처리 기술에 어떤 것이 있는지 정도만 알면 된다. 그리고 여기서 파생된 AI의 등장 및 다양한 활용 사례들도 살펴볼 수 있다. - P127

또한 기계학습, 딥러닝에 대한 간단한 개념과 그 안에 종류가 어떤 게 있는지 정도를 살펴볼 수도 있다. 그다음에 다양한 활용 사례들을 보면서 실제 비즈니스 환경에서 어떻게 적용되고 있는지도 알 수 있다. 실제 분석 케이스들을 보면서 분석 결과를 이런 식으로 시각화하고 이런 식으로 보고서를 작성하는구나 느낄 수도 있다. 사실 이러한 공부가 처음에 잘 되어 있어야 공부하는 데 재미도 있고 추후에 실제 분석을 하고 결과를 도출할 때에 어느 정도 모방해서 매끄럽게 결과 보고서를 작성할 수 있다. - P127

AI 빅데이터의 기본 개념, 저장 및 처리 방식, 활용 사례, 기본적인 분석 기법 등을 망라한 책이 좋다. ...(중략)... 이 부분이 나중에 실제 현장에서 문제를 발견하고 데이터를 이용한 문제 해결 아이디어를 도출할 때 가장 도움이 되는 공부다. 또한 결과 도출 및 실제 활용을 할 때에도 참고할 수 있다. - P128

실제 현장에서 일을 할 때 가장 중요하지만 어려운 것 중에 하나가 비즈니스 문제를 어떻게 정의하고 이 문제를 해결하기 위해서 어떤 데이터로 어떻게 접근하는가다. - P129

활용 사례들을 읽어보면서 사고를 넓히고 현장에서 비슷한 문제가 발생했을 때 모방하는 능력을 키워야 한다. - P129

데이터 마이닝에서 주로 배우는 기계학습을 이용한 분류, 회귀, 군집 또는 연관 규칙, 빈발 패턴 분석, 아웃라이어 분석과 같은 것들은 대단히 어려운 수학적인 지식이 필요한 게 아니다. 또한 어차피 프로그래밍 언어에서 라이브러리 함수가 수행해주기 때문에 직접 수학 공식을 풀거나 증명할 필요도 없다. 읽어보고 이해한 다음에 바로 넘어가면 된다. - P131

데이터의 종류는 명목 데이터, 이진 데이터, 순서 데이터, 숫자 데이터, 이산/연속형 데이터가 있다. - P132

명목 데이터는 사물의 기호나 이름과 같은 데이터고 이진 데이터는 0과 1로 이루어진 데이터다. 순서 데이터는 상중하처럼 등급이나 계급이 있는 데이터고 숫자 데이터는 절대영점을 가지고 있으면 비율척도 데이터, 없으면 등간척도 데이터로 나뉜다. 정수형이냐 연속형이냐에 따라서 이산/연속형 데이터로 나누어지기도 한다. - P132

데이터 유형에 따라 어떠한 분석이 사용되는지 간단히 짚고 넘어가면 좋다. - P132

기본적인 평균, 중위값, 최빈값, 표준편차, 사분위수와 같은 기초 통계들의 개념과 각 기초 통계들이 어떠한 상황에서 쓰여야 데이터를 잘 요약, 표출할 수 있는지 알아야 한다. - P132

데이터 분석에서 가장 오랜 시간과 에너지가 요구되는 부분이 전처리 부분이다. 보편적으로 많이 사용되는 데이터 전처리 기술들을 익히고 실제 분석 시 필요한 기술들을 골라서 쓸 수 있어야 한다. 데이터 정제(결측치 제거 또는 대치, 노이즈 제거), 데이터 통합(중복 데이터 처리, 복사, 단위 통합), 데이터 축소(주성분 분석, 속성선택법, 샘플링), 데이터 변환(데이터 정규화, 비닝)과 같은 기술들을 익혀야 한다. - P133

어떤 기술들을 무조건 해야 한다는 법칙은 없지만 각 기술들을 왜 써야 하고 어떠한 상황에 쓸 수 있고 어떠한 방식으로 작동하는지 충분히 숙지해두어야 실제 데이터 분석 시에 자유자재로 구사할 수 있다. 여기에서 수학적인 내용은 아예 필요 없거나 간단한 지식 정도만 필요하다. 물론 주성분 분석 같은 경우는 고유 벡터, 고유 값에 대한 지식이 필요하다. 선형대수학을 공부하지 않았으면 사실 이해가 안 될 수도 있는 부분이다. 하지만 큰 문제는 없다. 이해가 안 되더라도 주성분 분석이 어떠한 상황에 쓰이고 왜 쓰이는지만 알면 된다. 어차피 실제 구현은 프로그래밍 언어 라이브러리상 함수가 다 해주기 때문이다. - P133

실제 분석 알고리즘에 대해서 공부를 해야 한다. 꽤 많은 분석 알고리즘들이 있기 때문에 빠르게 하나씩 이해하고 넘어가는 게 중요하다. 연관관계 분석, 상관관계 분석, 빈발 패턴 분석, 클래스 분류 분석, 클러스터 분석, 회귀 분석, 아웃라이어 분석 등이 있다. - P133

각 분석들을 세부적으로 살펴보면 수많은 알고리즘이 있다. 예를 들어 클래스 분류 분석은 의사 결정 나무, 서포트 벡터 머신, 베이즈 분류, 랜덤포레스트, 배깅, 부스팅, KNN, 피드 포워드 신경망, 퍼지 세트 등 수많은 알고리즘이 있다. 목적은 다 같은 클래스 분류이지만 각 알고리즘이 지니는 목적과 장단점이 서로 다르기 때문에 알아두어야 한다. 또한 기본적으로 어떻게 동작하는지 그 원리도 이해해야 다음번에 응용할 때 써먹을 수 있다. - P134

실제 빅데이터 상황에서 쓰인 사례들을 하나씩 살펴보는 것도 큰 도움이 된다. 실제 현장 데이터를 접했을 때 어떤 방법론, 알고리즘을 쓸지 판단할 수 있기 때문이다. - P135

보통은 ‘어떤 방법론, 알고리즘이 어떤 실제 빅데이터 사례에서 쓰였는데 지금 내가 분석할 상황과 비슷하니 비슷하게 나도 이 방법론, 알고리즘을 써야지!‘ 라고 판단하는 전문가가 더 많다. 이러한 감을 익히려면 다양한 사례를 먼저 읽어보아야 한다. - P135

논문을 쓰더라도 먼저 선행 연구를 하게 되는데 이전에 비슷한 사례들을 기반으로 내가 쓸 논문이 조금 더 공헌하는 게 있으면 그것이 논문이다. 마찬가지로 데이터 분석을 하더라도 이전에 비슷한 활용 사례를 참조한 후 나만의 방식으로 수정, 변형하면 훌륭한 데이터 분석 프로젝트가 되는 것이다. - P136

차선책으로 논문을 통해서 관련 지식과 이해를 넓혀야 한다. 특정 알고리즘을 고안하거나 제안하는 어려운 논문을 읽을 필요는 없다. 특정 방법론, 알고리즘이 어떤 방식으로, 어떠한 상황에 쓰였는지를 제안하는 논문을 읽으면 된다. 구글 학술검색이나 RISS에서 검색을 해본 다음에 읽어도 좋고 관련 저널을 정한 다음에 해당 저널의 논문들을 주기적으로 찾아보고 읽는 것도 좋다. - P136

국내 저널로는 《지능정보연구》, 《한국경영과학회지》,
《Information Systems Review》를 주로 본다. 해외 저널로는《IEEE Access》, 《IEEE Transactions on Big Data》, 《Information Systems Research》를 보고 있다. - P136

관련 저널을 선택할 때 팁을 주자면 정보시스템학 계열의 저널을 선택하는 게 좋다. 수학, 통계학, 컴퓨터공학, 산업공학 계열은 특정 알고리즘을 고안해서 제안하는 논문이 대부분이다. 하지만 상대적으로 정보시스템학 계열 저널의 논문들은 실제 비즈니스 환경에 효과적으로 적용된 사례를 보여주고 해석하려는 특성이 있다. 따라서 각 분석방법론, 알고리즘들의 활용 사례를 이해하기에는 안성맞춤이다. - P137

자격증 취득을 위해서 공부하는 게 아니라 실력을 높이기 위해서 공부하다가 자격증도 따면 좋다는 마인드를 먼저 가져야 한다 - P138

자격증을 취득함으로써 무언가 이득을 얻는다기보다는 그 취득하는 과정에서의 공부가 꽤 많은 도움이 된다. - P139

‘데이터 분석 자격검정‘의 교재 《데이터 분석 전문가 가이드》(한국데이터베이스진흥원)와 ‘경영 빅데이터 분석사의 교재 《경영 빅데이터 분석사》(한경아카데미)를 보면 빅데이터 분석에 대한 꽤 많은 내용을 두루 익힐 수 있다. 빅데이터에 대한 이해부터 경영학적인 측면에서 어떠한 분야에 어떤 빅데이터 분석이 활용되고 있는지, 데이터의 수집, 전처리 및 저장 기술로는 무엇이 있는지, 각 분석 방법론 및 시각화 방법으로는 무엇이 있는지, R 코드로는 어떻게 구현되는지까지 나온다. 수학적인 내용은 거의 나오지 않으며 나와도 매우 낮은 수준의 범위만 나오기 때문에 이해가 안 될 부분은 하나도 없다. 책 한 권으로 빅데이터에 대한 꽤 광범위한 내용을 빠르게 익힐 수 있다는 것이 최대 장점이다. 다만 아쉬운 점은 두 자격증 시험 모두 코드시험 범위가 R로 제한되어 있다. R도 물론 AI 빅데이터 분석을 위한 좋은 프로그래밍 언어이지만 성능과 최근 추세를 보았을 때 나는 파이썬을 좀 더 추천한다. - P140

《SQL 전문가 가이드》(한국데이터베이스진흥원)도 꽤 좋은 내용들이 많다. DB 모델링과 쿼리, 최적화에 대한 내용을 꽤 많이 담고 있다. 사실 AI 빅데이터 전문가는 DB 구축 및 모델링까지는 잘하지 않는다. 그리고 최근에는 No-SQL을 많이 쓰는데 해당 시험은 RDB 기준으로 쓰였다. 하지만 어느 정도 알아두면 실전에서 쓸 일이 있기도 하고 SQL 쿼리 부분은 처음에 데이터 전처리 부분에서 꽤 많이 필요하기도 하다. 또한 No-SQL이 빅데이터 시대의 대세라고 하지만 아직까지 관공서나 보수적인 기관들은 RDB를 많이 쓰고 있어 RDB도 배워두면 큰 도움이 된다. - P141

(사회조사분석사 시험의)조사방법론 2는 샘플링, 측정, 데이터 속성에 관해서 다룬다. 기초적이지만 빅데이터 공부 입문자들이 짚고 넘어가야 할 부분이다. 사회통계 부분은 기초 통계, 확률, 가설에 대해 다루고 마지막에 통계분석에 대해서 다룬다. 분산 분석, 상관 분석, 회귀 분석 등을 다루는데 데이터 마이닝 기법의 가장 기초적인 부분이라 꼭 알고 넘어가면 좋다. - P142

위에서 말한 자격증 공부만 해두어도 관련 대학원 면접이나 입사 면접 질문에는 거의 다 답할 수 있다. 심지어 빅데이터 분석 컨설팅도 해줄 수 있다. - P142

전문가 1급까지 따려면 R 코딩, SQL 쿼리도 꽤 수준급으로 해야 한다. 그리고 공부하는 시간도 꽤 걸릴 것이다. 하지만 나는 R보다는 파이썬 언어를 더 추천하는 바이고 실전에서는 잘 쓰지도 않는 오라클과 같은 RDB의 SQL 쿼리를 지나치게 상세하게 알 필요는 없다. - P142

공부할 때 한꺼번에 공부하고 동기부여를 위해서 자격증도 몰아서 취득하는 게 좋다. - P143

해당 자격증에 대한 공부는 전체적인 AI 빅데이터 분석의 개론을 경영학적, 방법론 및 알고리즘적, 프로그래밍 언어 측면에서 빠르게 짚고 넘어가는 데에 있다. 따라서 4개월 가까이 시간을 끌 필요가 없다. 각 자격증 시행처가 지정해준 교과서와 기출문제집 한 권씩만 빠르게 보고 넘어가면 된다. - P143

‘사회조사분석사‘ 시험은 좀 더 상세한 수학적인 내용이 나온다. 수학을 싫어하는 이들이라도 여기서 나오는 수학은 데이터 마이닝을 위한 아주 기본적인 내용이고, 학부생들도 필수로 배우는 내용이기에 알면 좋다. 일일이 공식을 외울 필요는 없고, 보고 이해할 정도면 된다. 물론 실제 수학 공식들을 코딩으로 구현할 일은 없을 것이다. 어차피 내장 함수 또는 라이브러리의 함수들이 자동으로 구현해주기 때문이다. - P144

사실 AI 빅데이터 전문가가 실제 DB 설계 및 구축에 전면적으로 뛰어드는 경우는 많지 않다. 하지만 간혹 간단한 것들은 맡는 경우가 있으니 데이터 모델링 부분을 공부해두면 좋다. 또한 SQL 쿼리 부분은 데이터 전처리 부분과도 밀접한 관련이 있으니 반드시 알아두어야 한다. - P144

파이썬과 R은 C, C++, 자바와는 다르게 훨씬 직관적이었고 라이브러리가 더 많이 있어서 직접 코딩할 필요 없이 손쉽게 라이브러리들을 가져다 쓸 수 있다. - P146

일반적으로 다른 프로그래밍 언어들은 변수를 선언할 때 int, char, double과 같은 자료형을 꼭 선언해주어야 한다. 하지만 파이썬이나 R과 같은 AI 빅데이터 분석에 최적화된 언어들은 이런 제약이 없다. 자료형을 선언해주지 않아도 컴퓨터가 알아서 판단해서 정수인지, 실수인지, 문자형인지 할당해준다. 초보자들에게는 상당히 편리한 측면이다. - P147

코드라인도 대폭 줄어든다. 자바로 거의 100줄 가까이 써야 했던 것들을 파이썬, R은 거의 두세 줄이면 끝낼 수 있었다. 가장 큰 장점은 역시 풍부한 라이브러리다. 자주 쓰는 알고리즘은 이미 라이브러리로 다 배포되어 있다. 따라서 내가 쓰고자 하는 알고리즘을 제공해주는 라이브러리를 받아와서 해당 함수 또는 메서드를 호출하기만 하면 쉽게 되는 경우가 많다. 특히 최근에 이슈가 되는 딥러닝 라이브러리는 파이썬에 거의 집중되고 있어서 파이썬을 쓰면 더 유리하다. - P147

학부 때 프로그래밍 언어를 배우면서 가장 어려워했던 부분이자 다른 학생들도 같이 어려워했던 부분이 바로 객체지향 부분이었다. 캡슐화, 상속, 다형성에 대해서 배워도 며칠 있으면 또 기억이 안 났다. 그리고 기본 예제로는 어느 정도 이해가 가도 실전 프로젝트로 들어가니 내가 직접 구현하기도 전에 겁을 먹게 되었다. 특히 객체지향 언어에 거의 필수적인 디자인 패턴들이 너무 많아서 외워도 또 기억이 안 났다. 외우는 것도 너무 재미가 없었다. - P147

파이썬과 R도 객체지향 언어이기는 하다. 하지만 객체지향에 대한 개념이 거의 없어도 AI 빅데이터 분석을 위한 코딩을하는데 큰 문제가 없다. 왜냐하면 C, C++, 자바 등의 언어로 개발할 때에는 여러 객체코드들의 모임으로 하나의 프로젝트가 실행되지만 데이터 분석은 그게 아니기 때문이다. - P148

데이터 분석 코드는 순차적인 방식으로 코드를 짜면 된다. 그동안의 개발을 위한 코딩은 1+1+1+1+1=5였다면 AI 빅데이터 분석을 위한 코딩은 1→ 2 → 3→4→5와 같은 것이다. 가령 관련 라이브러 임포트→ 데이터 임포트→ 데이터 전처리 → 모델 구성→ 결과 도출 및 시각화와 같은 방식으로 순차적으로 진행되는 것이다. - P148

파이썬과 R은 알고리즘에 대한 라이브러리뿐만 아니라 결과 도출을 위한 시각화 라이브러리들도 잘 되어 있어서 분석 결과를 손쉽게 바로바로 시각적으로 구현할 수 있다. - P148

SPSS, SAS는 분석을 위한 툴이기 때문에 타자로 코드를 입력하기보다는 마우스 클릭으로 많은 부분이 이루어진다. 또한 이러한 툴은 유료이기도 하다. 하지만 파이썬과 R은 마우스를 클릭하는 부분은 없고 오로지 코드를 타자로 입력해야 한다. 물론 무료로 다운이 가능하다. - P148

AI 빅데이터 분석을 위한 프로그래밍 언어로는 대표적으로 파이썬과 R을 들 수 있다. - P149

최근에는 실시간 분석 처리에 유용한 스파크를 배우는 사람도 있기는 한데 굳이 거기까지 배울 필요는 없을 것 같다. 실시간 처리가 필요할 만큼의 엄청난 빅데이터 (페타, 제타바이트급)를 다룰 일이 많지 않고 파이썬으로도 병렬 처리를 적절히 해주면 충분히 빠른 속도로 구현할 수 있기 때문이다. 또한 자바로 AI 빅데이터 분석을 하는 사람도 보았는데 이도 역시 추천하지 않는다. - P149

최근에 AI 빅데이터 관련한 라이브러리들은 거의 파이썬과 R에 집중되어 있다. 또한 개발 언어에 최적화된 자바는 AI 빅데이터 분석을 위한 전처리, 시각화와 같은 게 매우 불편하다. 당연히 구현하려면 코드라인도 훨씬 길어질 수밖에 없다. - P149

파이썬과 R 둘 중에 어떠한 것을 공부하면 좋을까? 당연히 둘 다 공부하면 좋다. 양쪽 모두 AI 빅데이터 분석을 위한 매우 좋은 프로그래밍 언어다. 나는 R을 먼저 공부한 후 파이썬을 공부했으며 현재 거의 모든 프로젝트는 파이썬으로 진행하고 있다. - P150

파이썬이 상대적으로 R보다 좋은 점을 나열해보겠다. 파이썬이 더 빠르다. 또한 최근 이슈가 되고 있는 딥러닝 라이브러리가 더 풍부하다. 분석뿐만 아니라 솔루션 개발 또는 API로도 제작이 가능하다. nltk, re와 같은 라이브러리가 있어서 텍스트 분석이 더 용이하다. - P151

R은 파이썬보다 배우기가 조금 더 쉽다. ggplot과 같은 라이브러리로 예쁘게 시각화하는 데 더 유리하며, 기본적인 통계분석 라이브러리가 더 많다. 그리고 시중에 데이터 분석용으로 나와 있는 책이 더 많아서 공부하기가 수월하다. - P151

당연히 더 빠르고 딥러닝 라이브러리가 풍부하고 더 나아가 솔루션으로 개발까지 가능한 파이썬을 배워두는 게 더 좋다. R은 예쁜 시각화가 필요한 보고서 작성 분석용이나 비교적 소량의 데이터로 기본 통계 분석을 돌릴 때 사용하면 좋다. 그래도 처음 시작할 때는 상대적으로 코드 배우기가 더 쉬운 R로 시작하는 것도 추천한다. - P151

자격증 공부 내용에 R 코드가 나오기 때문에 자격증을 공부하면서 겸사겸사 공부할 수도 있다. 그러나 진정 AI 빅데이터 전문가로 거듭나려면 결국은 파이썬을 공부해야 한다. 특히 딥러닝이 매우 각광받는 시대에 파이썬을 하지 못하면 딥러닝 라이브러리들을 활용할 수가 없다. - P151

책에 있는 코드들을 일일이 하나하나 타자를 쳐가면서 따라해 볼 필요는 없다. 코드를 그냥 이해하고 넘어가는 수준이면 된다. 좋은 코드 예제가 있으면 표시해두었다가 실제 프로젝트를 할 때에는 책에서 제공해주는 코드를 다운받아 적절히 가져다 쓰면 된다. - P152

최근에는 라이브러리들이 잘 되어 있어서 함수만 외우면 개념을 모르더라도 간단한 결과 도출은 할 수 있다. 예를 들어 파이썬 사이킷런 라이브러리를 이용해 로지스틱 회귀 분석 함수인‘LogisticRegression‘를 입력하면 쉽게 결과를 도출할 수 있다. - P153

이 책에 대한 지난번 포스팅에서 저자는 데이터 관련 ...

이 책에 대한 지난번 포스팅에서 저자는 데이터 관련 자격증이 실제 현업에서 그다지 도움이 되지 않는다고 말했고, 오늘 읽기 시작한 부분에서는 이러한 저자의 주장에 대한 근거가 나온다. 핵심 요지는 자격증 시험에 나오는 데이터의 양은 비교적 한정되어 있고 그 형태가 상당부분 정형화 되어있지만, 실제 현실에서는 처리해야 할 데이터의 양이 기하급수적으로 증가할 뿐만 아니라 비정형 데이터들도 많은 관계로 그러한 데이터를 처리하기 위한 전처리 과정이 상당부분 필요한데 자격증만으로는 이러한 실무적인 문제들을 해결하는 것이 어렵다는 것이다.

결국 어느 분야든 마찬가지겠지만 자격증을 몇 개 가지고 있다는 것은 전문가로 성장하기 위한 출발점 정도에 서는 것이고 이후 실전에서 부딪치면서 배우고 성장하면서 소위 말하는 진짜 전문가로 발돋움해나가는 것이라고 할 수 있겠다.

센서 데이터 같은 경우는 초단위로 데이터가 계속 들어오기 때문에 대용량 데이터에 속한다. 따라서 아파치 하둡이나 스파크를 이용해서 처리해야 하는 경우도 발생한다. 하지만 이런 것들은 자격증을 취득한다고 배울 수 있는 것이 아니다. - P85

자격증을 취득해도 실무에는 거의 도움이 안 된다고 보면 된다. 자격증은 그저 맛보기 식의 개론만 살짝 보는 정도다. 그럼에도 불구하고 자격증을 공부하는 것은 반대하지 않는다. 공부해서 나쁠 것은 없기 때문이다. 대신 최대한 빠르게 한번 훑고 넘어가는 게 좋다. 굳이 자격증을 안 따도 된다. 한번 훑고 넘어가는 수준으로만 공부해도 충분하다. 자격증을 굳이 따려고 완벽하게 책을 외우는 어리석은 짓은 시간낭비일 뿐이다. - P85

비정형 데이터(비정형 정보; unstructured data, unstructured information)는 미리 정의된 데이터 모델이 없거나 미리 정의된 방식으로 정리되지 않은 정보를 말한다. 이에 따라 전통적인 데이터베이스의 레코드, 필드 형태의 폼으로 저장하기가 불가능하다. - P85

연구조사에 따르면 전체 데이터 중 약 80퍼센트 이상이 비정형 데이터로 이루어져 있다. 즉, 비정형 데이터를 잘 처리하고 분석하는 능력이 AI 빅데이터 분석가의 핵심 능력으로 평가받을 수 있다. - P85

데이터 분석 방법론, 각 알고리즘에 대한 이해, 데이터 수집 및 저장 능력, 데이터 전처리 및 모델링하는 방법, 시각화하는 능력, 분석 결과 보고서 작성 능력 - P88

서버단 작업, API 작성, 분석 솔루션 UI로 나타내기와 같은 조금 더 고급화된 능력 - P88

IBM 모델러, 래피드마이너, 나임과 같은 툴을 이용해서 실습하는 교수들도 많다. 이러한 툴의 문제점은 데이터 전처리가 이미 다 끝난 예제 데이터 세트에서만 작동한다는 사실이다. 또한 대용량 데이터에서는 해당 툴이 작동하지 않을 수도 있다. 뿐만 아니라 각 모델 파라미터를 튜닝하거나 모델을 결합, 수정하는 것이 매우 어렵거나 불가능하다. 따라서 이러한 툴은 실전에서 거의 쓰이지 않는다. 그냥 레고 블록처럼 교육용으로 데이터를 가지고 놀기에만 적합할 뿐이다. - P89

텍스트 마이닝은 SNS 등 각종 온라인 플랫폼에서 수집되는 방대한 양의 텍스트 안에서 인사이트를 도출할 때 주로 쓰이는 방법론이다. - P92

추천 알고리즘은 아마존닷컴, 넷플릭스, 유튜브 등에서 많이 쓰는 방법이다. 흔히 말해 개인의 과거 로그 데이터를 기반으로 향후 해당 사용자가 좋아할 만한 콘텐츠를 추천해주는 것이다. - P92

AI 빅데이터 분석을 위해서는 CPU, RAM, GPU 등의 성능이 일반 컴퓨터보다 월등히 좋아야 한다. 개인 사비로 이러한 장비를 충당하기에는 쉽지 않은데 회사에서는 상대적으로 고사양 PC 또는 서버를 제공해주어서 일의 능률이 올라갈 수 있다. 또한 상대적으로 개인이 접하기 어려운 데이터를 다루어볼 수도 있다. 회사 내부 데이터, 회사 고객 데이터 등을 일하면서 다루어볼 수 있는 기회를 얻을 수 있다. - P95

당신이 처음부터 끝까지 해야 한다. 데이터 전처리, 데이터 모델링 및 분석, 결과 보고서까지 혼자 힘으로 해야 한다. 주변에 알려줄 사람은 아무도 없고, 물어봐도 아는 사람도 없다. - P96

경험상 혼자 관련 논문을 읽고 아이디어를 얻어 데이터를 분석하는 게 가장 빠르고 효과적이었다. - P97

AI 빅데이터 전문가는 말 그대로 자기만의 전문 분야가 있어야 한다. 특정 세부 분야에 대해서 깊이 파고, 그 분야의 대가가 되어야 하는 것이다. - P98

회사 방침에 따라 또는 회사 문화상 특정 언어로 코딩을 짜야 하는 경우가 있다. R, 파이썬, 스파크, 자바, C 또는 SAS, IBM 모델러, 래피드마이너와 같은 특정 툴을 요구하는 경우도 있다. 나는 내가 원하는 언어로 코드를 짜고 싶어도 팀원 간에 협업을 요구하기에 특정 언어로 맞추어서 일을 하는 경우가 많다. - P99

사실 언어는 한두 개 정도만 하면 된다. 코딩 능력이 AI 빅데이터 전문가로 인도하는 것은 아니다. 개인적으로 파이썬, R 정도면 충분하다고 생각한다. ‘스파크‘는 배우면 좋지만 굳이 공들여 배울 필요는 없다. - P99

회사 방침상 별로 필요도 없는 IBM 모델러, SAS 같은 툴이나 자바, C와 같이 데이터 분석에 맞지 않는 언어를 배울 필요는 더더욱 없다. - P99

하둡을 이용한 데이터 적재, No-SQL DB 구축과 같은 일도 할 수 있다. 물론 데이터 엔지니어로서 해당 일들을 해보면 나쁘진 않다. 하지만 만약 이러한 일들만 계속해서 회사에서 시킨다면 분명 문제가 생길 것이다. AI 빅데이터 전문가가 되기 위한 핵심 알고리즘 연구할 시간은 없고 중요하지도 않은 일만 몇 달간 계속해서 할 것이다. - P99

회사에서는 자신의 흥미와 적성에 맞는 연구를 할 수 없다. 회사의 이윤 창출에 도움이 되는 연구 또는 기술에 당신이 맞추어질 뿐이다. - P99

모든 공부가 마찬가지겠지만 AI 빅데이터 공부도 역시 재미가 있어야 한다. 재미가 있으려면 역시 단순 암기나 읽기보다는 공부하며 깨닫는 즐거움이 있어야 한다. - P100

AI 빅데이터 관련 공부를 하다 보면 새로운 것을 이해하거나 새로운 모델을 만들었을 때 엄청난 희열을 느낄 수 있다. - P101

특정 알고리즘에 대해서 로직을 완벽히 이해했다거나 논문에 구현된 모델을 이해하고 실제 코드로 구현해봤을 때 희열을 느낄 수 있다. 또는 자신이 직접 모델을 수정, 개량해볼 수도 있다. 이는 바로 논문 게재로도 이어질 수 있어 뿌듯함이 배가될 수 있다. - P101

k-평균 알고리즘(K-means algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 이 알고리즘은 자율 학습의 일종으로, 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행한다. - P102

k-평균 알고리즘의 기본 동작법, k-평균 알고리즘의 초기화기법, 거리 구하는 공식, 클러스터 수를 구하는 방법, k-평균 알고리즘의 변형 알고리즘 - P102

AI 빅데이터를 공부하기 위해서는 책, 논문, 강의, 구글링 등 수많은 방법이 있다. - P103

학원 온라인 강의 또는 해외 대학교의 강의를 무크로 들을 수도 있다. - P104

《지능정보연구》저널이 AI 빅데이터 알고리즘에 대해서 전반적으로 많이 다루고 있으며 실제 비즈니스 현장에 적용할 수 있는 사례들을 많이 다루고 있어 쉽고 재밌다. - P105

그냥 내가 편하고 잘하는 것을 좋아하는 방법으로 공부하면 그게 강점이 되는 것이다. - P105

코딩을 배우다 보면 자신에게 잘 맞는 언어가 있다. - P106

심지어 파이썬을 써도 분석 환경으로 주피터 노트북, 주피터 랩, 스파이더, 파이참, 스파이더 중에 무엇을 쓰는 게 좋은지 물어보는 사람도 있다. 그냥 자신이 편한 것을 쓰면 된다. 아무거나 써도 내가 편하고 잘하면 아무런 문제가 없다. - P106

자신이 편하고 쉬운 게 무엇인지 파악하고 그것만 하면 된다. 이런 과정을 계속 하다 보면 자신에게 맞는 공부법 및 분야를 발견할 수 있고 이를 계속 갈고 닦으면 전문가가 되어 있을 것이다. - P106

기본기가 탄탄해야 진짜 전문가가 된다 - P109

개념과 원리를 이해하는 방법으로 공부해야 제대로 된 전문가가 될 수 있다. - P111

데이터마다 그 구조가 워낙 다양하고 모델 및 알고리즘들도 새로운 게 계속해서 나오고 있다. 굳이 유형이 있다면 딥러닝 네트워크 모델들을 유형화해서 DNN, CNN, RNN, 오토인코더autoencoder 등이 있고 해당 유형의 모델들을 조금씩 수정해서 얼추 좋은 정확도를 구할 수는 있다. 그러나 이것도 역시 데이터마다 전처리 및 모델의 입력 부분을 달리 해야 하고 더 높은 정확도를 구하기 위해서는 모델 구조 수정 및 하이퍼 파라미터 튜닝이 필요한데 개념과 원리를 알지 못하면 절대 할 수 없는 부분이다. - P112

AI 빅데이터 전문가가 되기 위해서는 실제 산업 현장에서 나오는 데이터를 이용해 분석해야 한다. 또한 높은 정확도와 예측력을 지니는 모델을 고안하기 위해서 더욱 머리를 짜내야 한다. 이 모든 과정이 평소에 공부할 때 개념과 원리에 집중해야 할 수 있는 부분이다. - P112

완전히 제로베이스에서 새로운 모델을 만드는 경우는 없다. 모두 기존에 만들어진 알고리즘에서 시작해서 무언가 새로운 모델을 만드는 것이다. - P113

결국 처음에 공부를 시작할 때 각각의 알고리즘의 동작 원리를 차근차근 이해하며 넘어가야 한다. 구체적인 수식들에 대해서도 이해하면 사실 더 좋긴 하다. 하지만 수식 하나하나를 유도하고 증명하는 과정까지 공부하기가 힘들면 ‘어떤 동작 부분에서 어떠한 수식이 어떠한 이유로 쓰인다‘ 정도는 알아야 한다. - P113

AI 빅데이터 공부를 하며 개념원리를 익히기 위해서는 교수의 실력, 자질과는 무관하게 무조건 스스로 해야 한다. - P114

최고급 전문가 정도의 경지가 아니라 준전문가 되기 위해서도 누군가에게 의지하기보다는 스스로 공부해야 한다. - P114

AI 빅데이터 분야는 그 세부 분야가 너무나도 많이 뻗어 있다. 그리고 전문가가 되기 위해서는 그 세부 분야 중에 하나를 잡고 그 분야만을 깊게 파야 한다. - P115

결론은 혼자 공부해야 한다는 것이다. 어쩔 수 없다. - P116

혼자 공부하면서 생각하고 이해한 다음에 또 응용해보는 것이다. 그러다 보면 결국 그게 당신의 관심 분야가 되고 그 분야에 대한 전문가가 되는 것이다. 전문가로 인정받기는 매우 쉽다. 당신이 이해하고 깨달은 것을 조금 수정하고 변형하는 식으로 응용해서 저널에 논문을 투고해도 되고 또는 그냥 이해한 자체를 책으로 써내도 된다. - P116

학원에서는 수학적 알고리즘에 대한 설명, 실제 산업 현장에서의 문제점 발견 및 데이터를 이용한 문제 해결 목표 제시, 구체적인 데이터 전처리 및 모델링 방법 등은 알 수가 없다. - P118

전반적인 데이터 분석 방법론들을 익힌 후에는 자신만의 연구 분야를 선정한 후 그것만 깊이 파야 한다. - P119

데이터 분석 목적 및 모델링 방향 제시를 할 수 있는 능력을 키워라 - P121

SVM 함수는 패키지에서 제공해주는 가장 기본적인 파라미터로 실행이 되지만 데이터의 성격과 분석 목적에 따라 파라미터를 사용자가 수정해주어야 할 수도 있다. 또는 단순히 SVM 함수를 갖다 쓰는 게 아니라 알고리즘을 수정 및 변형하기 위해 코드를 직접 짜기도 한다. 이러한 작업이 전문가의 영역이라고 할 수 있다. 이러한 일들을 하기 위해서는 역시 알고리즘 각각에 대한 개념원리와 수학적인 지식이 필요하다. - P122

데이터 분석에서 데이터 전처리 작업이 전체 작업 시간의 70~80퍼센트에 달한다. - P122

전문가에 요구되는 가장 중요한 능력 중에 하나가 비즈니스 현장의 문제를 인식하고 데이터가 주어졌을 때 주어진 데이터로 어떻게 비즈니스 문제를 풀 것인가 고민하는 능력이다. - P122

문제 인식은 데이터 분석의 첫 단추로 불리고 가장 중요한선행 단계로 분류된다. 이 단계에서 큰 숲을 잘 정리하고 세부적으로 데이터 분석을 실행해나가야 한다. 그렇지 않고 제대로 된 문제 인식 없이 처음부터 이상한 방향으로 분석을 시작하면 아무리 분석을 열심히 해도 실제 비즈니스 현장에는 쓸모가 없다. - P122

데이터를 이해하기 위해서는 데이터의 흐름 파악이 필요 - P123

다양한 프로젝트를 접하고 인문, 경영, 사회 쪽의 문제들도 신문, 잡지, 책을 통해 다양하게 살펴보면서 안목을 넓히는 게 중요하다. - P123

[100자평] 긴 인생을 위한 짧은 영어 책

긴 인생을 위한 짧은 영어 책 - 이것은 지금도 영어가 두려운 당신을 위한 이야기 ㅣ 긴 인생을 위한 짧은 책
박혜윤 지음 / 동양북스(동양문고) / 2024년 3월

저자는 독자들이 ‘영어 공부 해볼까?‘라는 생각을 하게 만드는 것이 이 책의 목적이라고 맨 앞부분에서 언급했는데, 독자인 나는 완독 후 마치 가스라이팅(?)이라도 당한 것처럼 저자의 의도에 제대로 걸려들었다는 느낌을 받았다. 마지막 부분에서 너무 거창하거나 구체적인 이유같은 걸 자꾸 생각해내려 하기보다는 차갑고 냉정한 태도를 유지하면서 그냥 하는 게 영어 공부를 꾸준히 오랫동안 지속할 수 있게 한다는 저자의 말이 기억에 남는다. 문득 나이키의 유명한 슬로건 하나가 생각났다. Just do it!