머신러닝, 딥러닝 등에서 불확실성을 쳐다보고 해결하는 관점들

확률을 다루는 분야에서, 중심을 잘 잡고 차곡차곡 이해를 늘려가기는 쉽지 않은 거 같다. 확률을 표현하는 방식들이, 그 확률을 둘러싼 분야와 이해를 친절하게 가르쳐주지는 않기 때문이다. 그렇기에 같은 분야의 복잡한 대상에, 같은 방식의 복잡한 확률 계산을 적용하는 것이 선뜻 내키지 않게 되는 한 이유가 된다.

기존의 관점과 다른 새로운 방법론이기 때문에, 진입장벽도 만만치 않고, 익숙해지는데도 시간이 꽤 걸리는 거 같다. 그래도 다행인 것은, 인터넷에서 퍼지는 고퀄리티의 무료 강의 들의 도움을 받을 수 있다는 점이다. 관심있는 저자들의 이름과 주제를 유투브에서만 검색해봐도 들을 강의들이 꽤 되는 거 같다.

총 2개의 상품이 있습니다.

Probabilistic Graphical Models: Principles and Techniques (Hardcover)- Principles and Techniques
Daphne Koller / Mit Pr / 2009년 8월
75,000원 → 75,000원(0%할인) / 마일리지 2,250원(3% 적립)

*지금 주문하면 "6월 26일 출고" 예상(출고후 1~2일 이내 수령)

2018년 02월 16일에 저장

Decision Making Under Uncertainty: Theory and Application (Hardcover)
Mykel J. Kochenderfer / MIT Press / 2015년 7월
45,000원 → 45,000원(0%할인) / 마일리지 1,350원(3% 적립)

*지금 주문하면 "6월 25일 출고" 예상(출고후 1~2일 이내 수령)

2018년 02월 16일에 저장

총 2개의 상품이 있습니다.

한영번역 연습, 영어 말하기 연습

직업으로 영어를 다루는 것이 아니고, 가끔 관심있는 영문책을 읽는 정도다 보니, 영어를 본격적으로 연습하거나 훈련할 짬은 잘 못내는 것 같다. 그래도 지나가는 풍월에 이것 저것 괜찮다싶은 팁들은 조금씩 생기는 것 같은데, 역시 적당한 훈련이 없으면, 별로 도움이 되지 않는 거 같다. 

어쨌든 훈련비슷한 시도는 해봐야겠다싶던 차에 눈에 들어온 책이 있다.

영어표현은 말하기든 쓰기든 일단 매일 꾸준히 표현하는 것 자체가 도움이된다는 것이 기본인 거 같다. 원어민과는 달리 표현할 기회자체가 없기 때문에, 표현할 내용이나 문법에 크게 상관없이, 5분 말하기나 5분 쓰기를 꾸준히 하는 것이 도움이 된다. 혹은 본격적인 표현의 워밍업으로도 좋은거 같다.

그 다음은 우리와 다른 구조 때문에 생기는 미묘한 차이나 상응하는 대상이 없을 때에 적당한 범주로 어휘를 수집하기다. 영어 글쓰기때 꼭 필요한 부분인 거 같다. 단순히 뜻을 모르거나 그런 것보다는 언어 차이 때문에 생기는 의미상차이는 어휘수집으로 해결해야 할 거 같다. 위의 책이 그런 언어 차이를 엄청나게 잘 잡았다기보다는, 실제 한영번역에 쓸 수 있도록 정리를 실용적으로 잘 한 거 같다. 연습해볼 수 있는 예들이 풍부하다. 

그리고 스타일 차이이기도 한데, 어휘수집을 할 때, 한번에 한 범주로 하는 것이, 알고 있는 여러 범주로 수집하는 것보다, 집중하는데 도움이 되는 거 같다. 한장(chapter)을 기준으로 한 범주씩 수집하면 괜찮은거 같다.

영어 말하기도 여러 방식이 있겠지만, 얼마전 tv에서 방영했던 '나의 영어 사춘기' 같은 방식도 한 방법인거 같다. 이 방식도 영어와 국어의 언어 차이에 집중해서 이미 알고 있는 어휘로 표현하는 것을 연습시키는 것이 목적으로 보인다. 꾸준히 연습해야하는 5분 말하기를 이런 방식으로 해도 괜찮을거 같다는 생각이 들었다.

딥러닝 CNNs 접하면서

딥러닝 CNNs 접하면서 이미지 프로세싱 자체에도 많은 관심이 자연스럽게 생겼다. CNNs이 맹활약하는 분야가 이미지를 다루는 부분이 많고, 최근 들었던 영상이해를 위한 최적화 기법에서는 NN과 관련된 최적화 기법뿐만 아니라 전통적인 computer vision 영역의 문제도 몇몇 다루고 있어 관심을 끌었었는데, 이들 분야 기본중 하나가 image processing 이라 좀 살펴 보게 되었다.

딥러닝이 해내는 작업의 의의를 알려면 아는 것이 도움이 된다.

전통적인 교과서는 곤잘레스의 책이다.

Matlab 으로 하는 실습책이 따로 있어서인지는 모르겠지만, 설명은 풍부한데, 읽고나면 손에 남는 것이 별로 없다는 느낌이 좀 들었다. 아직 내 눈높이보다는 높아서 그럴지도 모르겠다.

그러고는 신나는 책을 찾았다. 실습과 이론 설명을 계속이어지는 질문과 답으로 만들어가는 재밌는 책이었다. 

이미지라는 개념이 수학적으로 어디쯤 자리 잡았는지 정말 잘 보여주는 즐거움을 선사해주었다.

고차원에 들어서는 설레임과 막연함, 기대

몇몇 분야에서 일상생활 경험이나 보통의 직관을 넘는 이해가 필요한 분야들이 있고, 신기하게도 이들분야들을 선명하고 명확하게 설명해주는 책들은 별로 흔치 않다는 점들을, 요근래 깨닫는 중이다. 찾아보면 훨씬 더 많은 분야에서 그런 영역들이 있겠지만, 만나게된 분야는 Random process, 미분기하학, two-dimensional signal processing 정도다.

Random process는, random variable 의 이해로는 닿지 못하는 고유한 영역이 있는 거 같다. 여러 특징이나 정의에서 둘이 기원을 공유하는 점이 많지만, Random process의 고유한 영역은 어디서 보지 못한 시선한 점들이 많아 보인다. 같은 통계개념이더라도 Random process에서 쓰일 때는 감을 잡기 어려울 때가 적지 않다.

미분기하학도 그렇다. 상대성이론의 시공간을 기하학으로 포착하려 할때 드는 생경스러움과 어떤 때는 과도한 수식의 폭탄들이 머리를 지끈지끈 만들지만, 이차원에서 삼차원으로, 삼차원에서 사차원으로 넘나들때 생기는 어려움을 해결해낸 부작용이라고 생각하면 마음이 좀 낫다. 

Guassian process 공부

머신러닝 여기저기서 등장하는, Random process 의 일종인 Gaussian process에 관심이 생겨 여기저기 찾아보았지만 결과가 신통치 않았다. 공학통계 교과서라 할만한 papoulis 책은, 아주 쉽지는 않고 너무 어렵지도 않고, 책의 초점에 따라 혹은 생각보다 많은 양을 압축해서 다루려다가 어느 정도 수준에서 추상화된 이론만 남아서, 그 수식속에 담긴 실제 적용때 생기는 풍부함을 전달하는데 어려워 보일 때가 있다.공학교과가 그렇듯이, 한권에 다담기에는 양이 너무 많아서 그런 것도 같다.

그래서 Random process 만 다루거나, Gaussian process 만 다루는 책을 한번 찾아보았다. Random process 등장하는 내용은, papoulis 책 차례에서 나오는 내용과 크게 다르지 않았다, 조금씩 구체화되고 풍부할 뿐, 개별개별은 괜찮아 보이는데, 그럼에도 내 이해수준은 거의 올라가지 않았다. 그러니까 전체를 관통하는 관점으로 각 개별내용을 꿰어낼 실 같은 것이 필요한데, 그런 것에는 별로 할애를 한 것 같지 않았다. Ross의 책이었다.

의외로 Gaussian process 만 다루는 책은 흔치 않았다. 비숍의 머신러닝 책에서 다루는 양으로는 좀 모자란 듯 싶어서(뭘 모르는지를 모르는게 함정이지만) 찾아보다가 머신러닝과 관련되어 보이는 책을 찾았다. 비숍책에서 살짝 참조도서로 언급되기도 했다. 그렇지만, 이 책도 regression, classification 처럼 머신러닝에 관련내용을 적용만하고 싶어해서 또 다른 방식으로 아쉬웠다.

돌아돌아 가지고 있던 Random Data 라는 책을 찾아 들었는데, 이 책이 흥미로웠다.

항공동역학 분야에서 경력을 쌓은신 저자들이 쓴 통계책이라 data와 random process 간 긴밀함과 현장성에서오는 견고함, 깔끔함이 random process 개별 이론들을 관통시키는 실들을 탁 잡아내어 전달한다.