보는 것은 뇌가 아니라 우리가 하는 행동이다

지각행위 - 감각을 넘어 행위로 ㅣ 마음학 세미나 2
알바 노에 지음, 정혜윤 옮김 / 그린비 / 2025년 7월

알바 노에는 미국 캘리포니아 대학교 철학과 교수로, 그의 심리철학 이론인 ‘감각운동 이론Sensory-motor theory of perception’은 지각이 몸과 세계 사이의 능동적 상호작용에 의해 만들어진다는 관점을 주장하는 이론이다. 그 이론을 잘 설명하고 있는 책이 바로 이 책, 『지각 행위』(Action in Perception)이다.

그는 이 책에서 감각 체계로 입력된 감각 데이터가 바로 내적 표상으로 만들어지는 것이 아니라고 설명한다. 우리의 경험이란 뇌가 망막에 맺힌 이미지를 감상하는 게 아니라, 뇌가 눈을 움직이고, 고개를 돌리고, 허리를 틀어 현재 입력된 감각이 어떻게 변할 지를 암묵적으로 이해하는 것이다.

(접시가) 타원형으로 보인다는 사실에서 우리는 접시의 원형성(circularity)을 본다. 우리는 사물이 그 모양과 관련하여 어떻게 보이는지가 움직임에 따라 달라지는 방식 안에 원형성이 주어진다는 사실을 암묵적으로 이해하기 때문에 이렇게 할 수 있다.

우리는 테이블에 원형의 접시를 본다. 하지만 그 접시는 망막에 타원형으로 찍힌다. 하지만 우리는 접시가 동그랗다는 사실을 알고 이해할 수 있다. 우리는 언제든지 고개를 접시 위쪽으로 이동시켜 망막에 찍히는 접시의 모양을 원형으로 만들 수 있기 때문이다. 우리는 눈을 돌린다면, 목을 움직인다면 접시의 모양이 어떻게 달라질 것인지를 충분히 예상할 수 있으며, 꼭 그렇게 하지 않더라도 암묵적으로 그 매커니즘을 이해한다. 이 과정 자체가 ‘지각(Perception)’이다.

망막 이미지에 대한 세간의 오해가 있다. 빛이 수정체를 통과하면서 망막 이미지에는 거꾸로 된 상이 맺힌다. 그런데 세간의 과학적 설명에 따르면, 이렇게 거꾸로 된 망막 이미지에도 불구하고 우리는 세상을 거꾸로 보지 않는데, 그 이유는 뇌의 어떤 부분에서 이 거꾸로 된 상을 제대로 돌려 주기 때문이다.

이 관점의 문제점은, 뇌 속의 또다른 내가 이 거꾸로 된 망막 이미지를 ‘본다’고 생각한다는 것이다. 이것은 대니얼 데닛의 ‘의식의 호문쿨루스 가정’을 떠올리게 한다. 의식을 설명하는 데 있어서 흔히 저지르는 착각과 실수가 있다. 뇌 안에 또 다른 의식을 가진 ‘호문쿨루스’가 있다고 무심결에 가정해 버리는 것이다. 이 호문쿨루스가 가진 의식 또한 설명되지 못한 의식이기에 순환논리에 빠지게 된다.

알바 노에가 제시하는 거꾸로 된 망막 이미지의 정답은 다음과 같다. 뇌는 ‘거꾸로 된 망막 이미지’를 보지 않는다. 보지 않았으니 거꾸로 돌릴 필요도 없다. 지각이란 곧 환경과 상호작용하여 '나중에' 만들어진다. 추가로 내가 더 재미있는 비유로 이 거꾸로 된 망막 이미지를 설명해 보겠다. 수평으로 넣는 디스켓에 그림 파일이 저장되어 있다. 그런데 모니터는 수직으로 서 있다. 우리는 수평 방향의 그림 파일을 모니터에 올리기 위해, 그림 방향을 90도로 돌리는 알고리즘을 수행해야 할까?

---

알바 노에는 케빈 오리건이라는 심리학자와 함께 연구를 했는데, 케빈 오리건은 변화맹(change blindness) 연구로 유명한 심리학자이다. (예전에 리뷰한 책 『뇌의식의 대화』에서 케빈 오리건에 대한 의식의 관점을 살펴볼 수 있다.) 케빈 오리건이 수행한 심리학 실험의 증거를 바탕으로 체계를 세운 심리철학 이론이 바로 알바 노에가 주장한 감각운동 이론이다.

변화맹이란 시각 장면에서 큰 변화가 있어도 관찰자가 눈치채지 못하는 현상이다. 사람들이 이 변화맹 테스트를 한 번 당해보고 신기해하는 이유는, 스스로 그정도는 당연히 눈치채야 할 것 같은 큰 변화라고 느끼는데도 불구하고 눈치채지 못했기 때문이다. 즉, 우리는 스스로의 시각 경험이 풍부하다고 느끼고(착각하고) 있으며, 이 풍부하고 양 많은 정보 중에서 무언가 놓쳤다는 경험을 받자마자 이해할 수 없는 상황에 빠진다. 알바 노에의 감각운동 이론에 따르면 우리는 세계를 완전한 디테일을 가지고 뇌 안에 저장하지 않는다. 지각이란 단지 감각-운동적 탐색 가능성일 뿐이다. 우리가 시각 경험의 풍부함을 실제로 느끼는 이유는 모든 정보를 지각하였기 때문이 아니라, 필요할 때 고개를 돌리고, 시선을 이동하면 언제든 확인할 수 있다”는 가정에 기반한 탐색 능력에서 비롯된다.

https://www.youtube.com/watch?v=ddiF-icWDVo

Change Blindness test - 무엇이 있다가 없어지는지 찾아보기

----

감각운동 이론은 이제 접시의 모양에서 접시의 색깔로까지 확장된다. 색깔이 과연 접시의 모양처럼 눈을 굴리거나 고개를 돌려 ‘다르게 보일 법한 가능성의 이해’로 지각하는 성질의 것일까? 물론이다. 색은 단순히 파장을 감지하는 것, 뇌 속에서 독립적으로 ‘주어지는 것’이 아니라 세계와의 상호작용에서 드러나는 법칙적 변환 패턴이며, 우리는 이것에 대한 암묵적 이해를 ‘색을 본다’고 경험하는 것이다. 그것은 물체를 움직이거나, 눈을 돌릴 때, 특히 조명을 바꿀 때 시각적 변화가 어떻게 일어날지를 아는 능력이다.

무언가를 빨간색으로 지각한다는 것은 그것을 가시적 환경에 그렇게 작용하는 바로서, 그리고 그렇게 작용할 수 있는 바로서 지각하는 것이다. 이러한 방식으로, 행위 기반 관점은 빨간색이라는 것이 무엇인지를 물체가 환경과 상호작용하는 현상적으로 두드러진 방식으로 설명한다.

그림자 체커 착시

이 유명한 착시는 알바 노에의 감각운동 이론에 따라 다음과 같이 설명된다. 우리는 보통 ‘그림자 속의 물체는 실제로 더 밝다’라는 감각운동 규칙을 경험적으로 이해한다. 따라서 사실은 같은 색인데도, 뇌는 그 법칙을 적용해 “B칸은 더 밝을 것이다”라고 해석한다. 하지만 실제로 망막 이미지에 맺힌 상은(그리고 컴퓨터로 표현된 색의 디지털 코드는) 같을 것이다. 우리는 이 착시 그림을 보며, 굳이굳이 디지털 스포이드로 RGB값을 찍어보고, A와 B의 코드가 같음에 놀라움을 느낀다. 우리가 이 이상한 그림에 대해 이렇게까지 믿기지 않아 하는 이유는, 이 색깔에 대한 감각운동적 지각이야말로 완전히 암묵적으로 체화되어 있기 때문이다.

색깔의 감각운동적 지각에 대한 해석은 의식의 신비에 대한 난제로 우리를 이끈다. 즉, '감각질(Qualia)'에 대한 감각운동 이론의 해석이다. 의식의 감각질적 특성에 대한 수많은 철학자와 심리학자들의 논쟁과 정립되지 않은 학설이 난무하는데, 그것의 주관적 성질, 즉 ‘객관적인 과학 탐사로 측정될 수 없는 본질적인 주관성‘ 때문이다.

알바 노에의 색에 대한 감각운동적 이론에 따르면, 색이란 색 공간 안에 위치해 있다. 그리고 우리의 색에 대한 경험은 색 자체만으로 이루어지지 않으며, ‘색 공간 안에서 내가 보고 있는 색의 상대적 위치’에 따라 이루어지게 된다.

요점은 색 공간 속 색 위치에 대한 우리의 암묵적인 이해가 색 경험을 형성한다는 것이다. 우리는 색을 변화의 가능성으로 가득 찬 바로서, 그리고 현상적 가능성의 공간 안에서 자유도를 지닌 바로서 경험한다. 우리는 책의 붉은 겉모습을 볼 때 색 공간의 나머지는 보지 못한다. 하지만 더 큰 색 공간의 현존에 대한 우리의 감각은 빨간색을 경험하는 것이 어떤 것인지에 기여한다. (...)이러한 결론은 색 경험을 감각질 같은 색 의식의 원자적 요소에 대한 경험으로 분석할 수 있다는 생각에 의문을 제기한다.

즉, 우리가 ‘빨간색’을 본다는 경험이란, 빨간색의 주관성, 즉 ’빨간 느낌‘이라는 감각질을 느끼는 것이 아니라, (암묵적으로) 색 공간 내에서 빨간색이 위치하는 상대성, 초록색과도 다르고, 파란색과도 다르고, 때로는 노란 색과도 다른, 무채색이나 탁한 색과도 다른 그 색을 지각한다는 것이다.

우리가 색을 식별하는 방식이 바로 색들 사이의 현상적인 유사점과 차이점에 기반한다는 것이다.

즉 색의 '주관적인 감각질'라고 우리가 느꼈던 특성이란, 결국 색 공간 안에서 색이 다른 색에 대한 상대적 위치, 다른 색에 비해 얼마나 유사하고 또 얼마나 차이가 있는지를 느끼는 감각운동적 해석이라는 것이다. 즉 주관성이란 없다. 이 논리는 감각질은 허상이라고 주장한 대니얼 데닛의 주장과 일맥상통하는 것 같다.

----

지각과 그에 따른 의식 경험이 환경과 상호작용하는 방식에 따른다는 감각운동 이론은 의식이란 뇌 속에만 있지 않고 뇌-몸-환경이 하나의 시스템을 이룰 때 성립한다는 ‘체화된 인지(embodied cognition)‘ 이론으로 우리를 이끈다. 내가 보기엔 이 확장된 의식에 대한 선언은 조금 추상적인 것 같다. 나의 관점은 “뇌가 의식을 이루려면 환경의 자극과 그 자극을 받아들이는 몸이 필수적이다”라는 점에서, 의식이 성립하려면 뇌가 몸과 환경까지 필수적으로 상호작용해야 한다는 쪽이다. 하지만 알바 노에는 ‘의식에는 몸과 환경이 필수적이다’라는 주장을 뛰어넘는다. 그는 ’의식이란 뇌와 몸과 환경의 총체가 이루는 시스템이다‘라고 주장하는 듯하다.

경험은 그냥 머릿속에 있는 것처럼 느껴진다. 하지만 나는 이것이 잘못된 현상학이며, 아마도 잘못된 과학이라고 주장했다. (...) 결론은 경험이 머리 없이 일어날 수도 있다는 것이다.

그는 나에게 "머리 없는 의식, 뇌 없는 경험"이라는 합의되지 않은 관점을 숙제로 던져준다. 하지만 알바 노에의 감각운동 이론은 실시간으로, 암묵적으로 몸의 운동적 가능성과 한계를 토대로 미래를 예측하는 의식적 뇌라는 설명을 이루어냈고, 또한 ‘감각질’이라는 철학적 허상을 제대로 설명할 이론을 만들어냈기에, 대니얼 데닛의 의식 이론에 맞먹는, 또한 통합할 수 있는, 좋은 의식 이론이라는 결론을 내리고 싶다.