고차원에 들어서는 설레임과 막연함, 기대

몇몇 분야에서 일상생활 경험이나 보통의 직관을 넘는 이해가 필요한 분야들이 있고, 신기하게도 이들분야들을 선명하고 명확하게 설명해주는 책들은 별로 흔치 않다는 점들을, 요근래 깨닫는 중이다. 찾아보면 훨씬 더 많은 분야에서 그런 영역들이 있겠지만, 만나게된 분야는 Random process, 미분기하학, two-dimensional signal processing 정도다.

Random process는, random variable 의 이해로는 닿지 못하는 고유한 영역이 있는 거 같다. 여러 특징이나 정의에서 둘이 기원을 공유하는 점이 많지만, Random process의 고유한 영역은 어디서 보지 못한 시선한 점들이 많아 보인다. 같은 통계개념이더라도 Random process에서 쓰일 때는 감을 잡기 어려울 때가 적지 않다.

미분기하학도 그렇다. 상대성이론의 시공간을 기하학으로 포착하려 할때 드는 생경스러움과 어떤 때는 과도한 수식의 폭탄들이 머리를 지끈지끈 만들지만, 이차원에서 삼차원으로, 삼차원에서 사차원으로 넘나들때 생기는 어려움을 해결해낸 부작용이라고 생각하면 마음이 좀 낫다. 

Guassian process 공부

머신러닝 여기저기서 등장하는, Random process 의 일종인 Gaussian process에 관심이 생겨 여기저기 찾아보았지만 결과가 신통치 않았다. 공학통계 교과서라 할만한 papoulis 책은, 아주 쉽지는 않고 너무 어렵지도 않고, 책의 초점에 따라 혹은 생각보다 많은 양을 압축해서 다루려다가 어느 정도 수준에서 추상화된 이론만 남아서, 그 수식속에 담긴 실제 적용때 생기는 풍부함을 전달하는데 어려워 보일 때가 있다.공학교과가 그렇듯이, 한권에 다담기에는 양이 너무 많아서 그런 것도 같다.

그래서 Random process 만 다루거나, Gaussian process 만 다루는 책을 한번 찾아보았다. Random process 등장하는 내용은, papoulis 책 차례에서 나오는 내용과 크게 다르지 않았다, 조금씩 구체화되고 풍부할 뿐, 개별개별은 괜찮아 보이는데, 그럼에도 내 이해수준은 거의 올라가지 않았다. 그러니까 전체를 관통하는 관점으로 각 개별내용을 꿰어낼 실 같은 것이 필요한데, 그런 것에는 별로 할애를 한 것 같지 않았다. Ross의 책이었다.

의외로 Gaussian process 만 다루는 책은 흔치 않았다. 비숍의 머신러닝 책에서 다루는 양으로는 좀 모자란 듯 싶어서(뭘 모르는지를 모르는게 함정이지만) 찾아보다가 머신러닝과 관련되어 보이는 책을 찾았다. 비숍책에서 살짝 참조도서로 언급되기도 했다. 그렇지만, 이 책도 regression, classification 처럼 머신러닝에 관련내용을 적용만하고 싶어해서 또 다른 방식으로 아쉬웠다.

돌아돌아 가지고 있던 Random Data 라는 책을 찾아 들었는데, 이 책이 흥미로웠다.

항공동역학 분야에서 경력을 쌓은신 저자들이 쓴 통계책이라 data와 random process 간 긴밀함과 현장성에서오는 견고함, 깔끔함이 random process 개별 이론들을 관통시키는 실들을 탁 잡아내어 전달한다.

네안데르탈인에 대한 묘사

네안데르탈인에 대한 묘사가, 전반적으로 긍정적인 책은 쉽사리 보기 어려웠다. 물론, 해당분야에 대한 전문지식이 없는 것을 전제로 삼고서 하는 얘기다. 몇몇 책들에서 네안데르탈인을 만날 수 있었다.

제러드 다이아몬드의 <총,균,쇠>에서, 내 기억이 맞다면, 현생인류의 확산이 각 대륙의 대형포유류멸종을 일으켰다는 주장과 함께, 네안데르탈인과도 충돌했을 가능성을 작은 분량으로 언급했던 거 같다. 여기서는 진화에 뒤처져 사라졌다는 결론이었다는 거 같다.

크리스 스트링거의 <Lone Survivors>에서는 최신 고고인류학 연구의 성과를 차분히 열거하면서, 네안데르탈인에 대한 단편들을 소개한다. 흥미로운 단편 중 하나는 우리 유전자에 네안데르탈인 유전자가 들어와 있어, 완전히 남은 아니라는 점을 설명하고, 네안데르탈인의 신체적 특성이 훨씬 추운지역에 적응하여 체격이 크고, 뇌용량도 현대인의 것을 넘고(다만 체격이 큰 만큼 신체에서 뇌의 비율은 현대인 보다 작다), 그들이 남긴 문화유산을 가르쳐주었다. 그러니까, 어느 정도 중립적이지만, 전체 조망보다는 단편단편에 초점을 맞춘다.

그리고 스티브 미슨의 <노래하는 네안데르탈인> 이다. 이 책은 특히 언어와 음악의 기원을 연구한 책이다. 언어의 기원만을 다룬 책들은 무척 많지만, 음악이 언어의 기원일 수 있다는 가설은 좀처럼 만나기 쉽지 않다. 그도그럴 것이 언어의 기원을 추적하는 것은 직관적으로 그 연구대상을 잡기가 막막하지는 않을 거 같지만, 음악의 기원을 추적하는 것은 완전히 다른 얘기다. 음악전공자가 적당할까, 언어전공자가 적당할까, 인류고고학자가 적당할까, 만일 내가 이들 중 한 전공자라도 선택하기 쉽지 않은 주제라고 생각된다. <노래하는 네안데르탈인>은 이러한 연구에 대한 신선한 결과물이다. 음악이 충분히 언어보다 앞서며, 언어의 기원이 될 수 있다는 점을 어느정도 보이고, 네안데르탈인과 현생인류의 차이가 음악에 기반한 언어와 정보 언어의 차이로도 볼 수 있다고 스티브 미슨은 주장한다. 그 과정에서 의식의 기원에 대한 설명도 조금씩 풀려나오는데, 내가 갖고 있었던, 기존의 언어기원에 대한 지식들이 다른 관점으로 신선하게 재구성되는 재미가 있었다. 

언어의 기원에 대한 이해가 생기니까, 네안데르탈인이 매우 인간적으로 다가왔고, 음악으로 얘기하는 인류라는 호감이가는 특징과, 흔히 종교서적에서 발견되는 신의 존재도, 그 언어가 음악적인 언어일 수 있다는 주장이 굉장히 인상에 남았다. 

ML 구현과 이론 공부

페이스북 tensorflow 모임에만 매일 10-20개 새소식과 뉴스들이 올라오고 있다. 수준들과 분야들이 너무 다양해서 내게 맞는 글을 선별하는 것도 쉽지 않을 정도다. 최신 업데이트는 그렇게 줏어 들을 수 있지만, 기본은, 아무래도, 책이 편한 거 같다. 가르쳐주는 사람이나 현업이 아닌 경우는, 여러번 읽고 자기 말로 정리하는 과정을 거쳐 익숙해지고 조금씩 느는 느낌도 생기는 거 같다. 가끔씩 세미나나 프로젝트를 참여해서 보충을 하면 금상첨화인거 같다.

최근에 반복해서 본 책은 Marsland의 <알고리즘 중심의 머신러닝 가이드>다.

반갑게도, 이 책은 거의 Bishop 의 머신러닝 책의 동무(companion)이다. 물리학자인 Bishop의 머신러닝 소개는 알차고 분명하고 깔끔하지만, 공학이나 컴퓨터공학의 배경지식이 아주 넘치지는 않는거 같다. Bishop이 머신러닝 전반에 필요한 형식적 체계를 잘 잡고, 필요한 깊이의 수학 내용을 깔끔하게 잡아내 설명하는데 비하여, Marsland는 컴퓨터 전공자 답게 이쪽 분야 어휘의 기원 부터 어떤 공학적인 아이디어를 입체적으로 능숙하게 설명해준다. 머신러닝에 필요한 수많은 분야에서 잘 취합해, 부드럽게 설명해서, 그 후로 Bishop의 이론에 들어가면 낯설지 않게 공부할 수 있게 도움을 준다. 그리고 파이썬으로 각 머신러닝 분야를 구현하고 있어서 좋다. Bishop 책에서 수식이나 그림으로 잘 감이 오지 않을 때, Marsland의 컴퓨터 관점의 그림이 도움일 될 때가 많았다. 실제로, Marsland가 각 장마다 빈번히 인용하는게 Bishop의 책이기도 하다.

Bishop 책에 잘 안나오는 최적화(머신러닝에 잘 안나오는 공학최적화)관점이나 알고리즘(탐색같은)관점에서 설명을 할 때면 참신하다 싶기도 했다.

그 외 이론 설명은 최소로 하고, 수치로된 데이타를 가지고 파이썬으로 뉴럴네트워크를 구현할 기회를 주는 책도 재밌었다. 

다만, 아쉬운 점은 번역이다. Marsland 책에 담긴 내용이 손상받을 만큼 큰 오역은 없어 보이지만, 번역훈련을 좀 받지 못한 번역자의 번역이라는 인상이다. 머신러닝 배경지식이 있으신 분이 보기에는 문제가 없지만, 처음 참여하는 분이라면 번역이 명확해 보이지 않을 거 같다. 

책이 다루는 분야가 넓다 보니까 낯설고 어려운 분야에서는 어미, 조사 같은 거외에도 내용도 약간 얼버무린 느낌이 있다. 그래도 전반적으로 별 5개 만점에 3.8 는 되는 거 같다.

확률과정, 또 다른 재밌는 책

확률과정을 보는 보통 관점은, 바텀업 방식처럼 보인다. 확률을 다루는 대표적인 교과서인 Popoulis책 처럼, 필요한 확률 지식을 차근차근 설명하는 방식이 그렇다. 이 방식은 너무 범위가 넓어서, 원하는 어떤 방향을 잡기가 쉽지 않다. 물론, 확률을 다루는 많은 책들이 그렇기는 하지만.

그러다가 재밌는 책이 눈에 들어왔다. <Random Data> 구성이 무척 재밌고, 인상적이었다.

마치 탑다운 방식으로 확률과정을 정리한 것처럼 보인다. 저자들 약력에서 알 수 있듯이, 현장경험을 바탕으로한 이론 정리라 그런 접근을 할 수 있는 거 같다.