머신러닝 수업이나 세미나 를 들으면서 느꼈던 제일 재밌던 점은, 그동안 배웠던 내용들을 조금은 색다르면서 알차게 꿸수있는 실이 생겼다는 점이다. 낮은 차원에서 안보이는 것들이 높은 차원에서는 보일 수 있다는 것이다. 가장 흔한 예는 2차원에서 XOR 을 표현하는 네점(0,0), (1,0), (1,1), (0,1)을 직선하나로 2범주로 나눌 수 없다. 그런데 이 네점을 3차원으로 데려가면 2범주로 나눌 수 있는 방법이 생긴다. 이렇게 다른 차원으로 오고가는 방식은 굉장히 많은데, 그래도 좀 가깝게 관련있다 싶은 거는 실수와 복소수 사이다.
기계적으로 복소수 계산을 해온 것을, 저차원인 실수와 고차원인 복소수로 놓고 보면 좀 느껴지는 것이 있다.
선형대수도 그렇게 볼 수 있는데, 선형대수책 보통 앞에 나오는 (연립)방정식풀기에 집중할 필요없이, 사각형 배열을 다루는 흥미로운 방식이라고 볼 수 있다. 계산 결과에만 몰두하다보면, 이 사각형배열로 무엇을 하고 있는지 감잡기 어려운데, 이 배열의 변화양상에 좀 더 집중할만한 가치가 있는 거 같다.
사실 딥러닝으로 접근해서 괜찮은 효과를 내는 영역도 전부다는 아니다. 데이터들의 배열을 표시하면 엄청난 고차원이어서 큰 그림을 갖기는 힘들지만 효과를 내는 분야들은 어떤 특징들이 있다. 그 고차원의 대부분영역이 성기지만, 아주 일부에 데이터가 빽빽한 경우 효과가 있다고 한다.
