ML 구현과 이론 공부

페이스북 tensorflow 모임에만 매일 10-20개 새소식과 뉴스들이 올라오고 있다. 수준들과 분야들이 너무 다양해서 내게 맞는 글을 선별하는 것도 쉽지 않을 정도다. 최신 업데이트는 그렇게 줏어 들을 수 있지만, 기본은, 아무래도, 책이 편한 거 같다. 가르쳐주는 사람이나 현업이 아닌 경우는, 여러번 읽고 자기 말로 정리하는 과정을 거쳐 익숙해지고 조금씩 느는 느낌도 생기는 거 같다. 가끔씩 세미나나 프로젝트를 참여해서 보충을 하면 금상첨화인거 같다.

최근에 반복해서 본 책은 Marsland의 <알고리즘 중심의 머신러닝 가이드>다.

반갑게도, 이 책은 거의 Bishop 의 머신러닝 책의 동무(companion)이다. 물리학자인 Bishop의 머신러닝 소개는 알차고 분명하고 깔끔하지만, 공학이나 컴퓨터공학의 배경지식이 아주 넘치지는 않는거 같다. Bishop이 머신러닝 전반에 필요한 형식적 체계를 잘 잡고, 필요한 깊이의 수학 내용을 깔끔하게 잡아내 설명하는데 비하여, Marsland는 컴퓨터 전공자 답게 이쪽 분야 어휘의 기원 부터 어떤 공학적인 아이디어를 입체적으로 능숙하게 설명해준다. 머신러닝에 필요한 수많은 분야에서 잘 취합해, 부드럽게 설명해서, 그 후로 Bishop의 이론에 들어가면 낯설지 않게 공부할 수 있게 도움을 준다. 그리고 파이썬으로 각 머신러닝 분야를 구현하고 있어서 좋다. Bishop 책에서 수식이나 그림으로 잘 감이 오지 않을 때, Marsland의 컴퓨터 관점의 그림이 도움일 될 때가 많았다. 실제로, Marsland가 각 장마다 빈번히 인용하는게 Bishop의 책이기도 하다.

Bishop 책에 잘 안나오는 최적화(머신러닝에 잘 안나오는 공학최적화)관점이나 알고리즘(탐색같은)관점에서 설명을 할 때면 참신하다 싶기도 했다.

그 외 이론 설명은 최소로 하고, 수치로된 데이타를 가지고 파이썬으로 뉴럴네트워크를 구현할 기회를 주는 책도 재밌었다. 

다만, 아쉬운 점은 번역이다. Marsland 책에 담긴 내용이 손상받을 만큼 큰 오역은 없어 보이지만, 번역훈련을 좀 받지 못한 번역자의 번역이라는 인상이다. 머신러닝 배경지식이 있으신 분이 보기에는 문제가 없지만, 처음 참여하는 분이라면 번역이 명확해 보이지 않을 거 같다. 

책이 다루는 분야가 넓다 보니까 낯설고 어려운 분야에서는 어미, 조사 같은 거외에도 내용도 약간 얼버무린 느낌이 있다. 그래도 전반적으로 별 5개 만점에 3.8 는 되는 거 같다.

확률과정, 또 다른 재밌는 책

확률과정을 보는 보통 관점은, 바텀업 방식처럼 보인다. 확률을 다루는 대표적인 교과서인 Popoulis책 처럼, 필요한 확률 지식을 차근차근 설명하는 방식이 그렇다. 이 방식은 너무 범위가 넓어서, 원하는 어떤 방향을 잡기가 쉽지 않다. 물론, 확률을 다루는 많은 책들이 그렇기는 하지만.

그러다가 재밌는 책이 눈에 들어왔다. <Random Data> 구성이 무척 재밌고, 인상적이었다.

마치 탑다운 방식으로 확률과정을 정리한 것처럼 보인다. 저자들 약력에서 알 수 있듯이, 현장경험을 바탕으로한 이론 정리라 그런 접근을 할 수 있는 거 같다. 

확률과정 모델

queueing theory, stochastic model, Markov chain 이런 것들이 궁금해지기 시작하는데, 확률공부를 꼼꼼하게 한 적이 없어, 어떻게 할까하던 차에, 잘 정돈된 책이 생겼다. 이호우 의 <대기행렬이론>에 잘 정리되어 있었다.

궁금했던, 확률생성함수 도 잘 나와있고, 전체 1000페이지에서 확률부분이 300페이지가 넘으니까, 그동안 미뤄덨던 확률공부와 대기행렬 을 천천히 보면 될 듯 하다.

그리고 저자는 연습문제 풀이로 따로 책을 만들었다니까, 참조하면 좋겠다.

NLP 강의 듣기

NLP(Natural Language Process) 분야는 또 하나의 머신러닝의 장이다. 하지만, 일반적인 시각적 이미지를 대상으로 하는 것과 언어를 대상으로 하는 것에는 많은 차이가 존재한다. 이미지는 직관적으로 어떻게 분류할지를 알 수 있는 경우가 빈번하지만, 언어가 대상인 경우는 그렇게 직관적이지 않다.

그리고 그런 어려움이 있기 때문인지, 계속 변화하면서 발전하기 때문인지, 적당한 책을 찾기가 힘든 것 같다. 최근 NLP Deep Learning 과는 관련이 많지 않지만, NLP 의 다양한 영역을 소개하는 책은 아래 책이다.

언어학 지식과 NLP 의 다양한 지식이 잘 소개되어있다.

정보검색에 관한 책은 한권이 번역되어 있었다. 구입해놓고 아직 배송되지 않아 정확하지는 않지만, VSM(vector space model)을 이용해 정보검색을 구축하는 방법이 설명되어 있다고 한다.

지금은 거의 자동으로 전처리 과정을 거치고, 언어의 의미에 관한 표현을 학습시키고 좋은 결과물을 내는 것이 현재의 NLP Deep Learning 이다. VSM은 시작점에 불과하고, 일반적인 다층 layer deep learning 과도 조금은 다른, 자연언어의 의미를 포착하려는 미묘한 노력들이 계속 진행되고 있다.

머신러닝 책 을 보면서...

요새 관심이 머신러닝 쪽으로 기울고 있다. 여기 저기서 강의를 줏어 들어보기도 하고, 누구나 인정하지만 만만치 않은 몇몇 책돌도 구입해서 시간을 들이고 있다. 본 책 중에서는 Bishop책이 제일 좋았다. 물론 그래프 이론 쪽은 아직 감을 못 잡아서 뭐라 말할 정도는 아니지만.

확률이 통신쪽과는 또 다르게 얽겨 들어가 있어, 처음에 감이 잘 안왔다. 머신러닝 책들을 조금씩 훍어 보니까, 계속 이론이 발전되고 있어서 그런 건지, 이쪽 분야 성격이 좀 그런 것이지, 대체로 세부와 유기적으로 연결되는 큰 그림을 잘 제시하지 못하는 것 같다. 어느 특정한 면을 잘 설명하거나, 혹은 큰 그림만 내놓고 세부와의 유기성은 좀 떨어진다던지, 아니면 probabilistic graphical model 처럼 좀 추상적이라던지 그런거 같다. Bishop 의 책은 그 균형이 잘 잡혀 있다. 게다가 저자의 글쓰는 스타일이 가르치는 것을 좋아하는 성격인 것 같다. 게으른 학생에게 입에다 떠 먹여주기보다는, 부지런하고 열의있는 학생에게 계속해서 자극을 주고 동기를 부여하며, 잘 찾아보면 칭찬 비슷한 것이 느껴지는 그런 선생님 스타일이다.

어쨌든, 비슷비슷해보이는 개념과 수식들 사이에서 좀 헤매다 보니, 읽고 이해한 내용을 정리하는 것이 정말 중요함을 느끼게 되었다. 노트에 그대로 옮기기보다, 자신의 말로 음미하고 감상하면서 다시 represent 하는 것이 중요한 것 같다.