교수신문(07. 07. 09) 괴델의 수학과 신학
오늘날 학자들의 학문적 야망을 절제하도록 만들며, 과학자들의 과학적 활동을 겸손하게 만드는 위대한 수학적 업적이 있다. 아리스토텔레스 이후 가장 위대한 논리학자로 일컬어지는 오스트리아 부뤼노 출신의 수학자 쿠르트 괴델(1906~1978, 사진)의 불완전성 정리(1931)가 바로 그 업적이다.
괴델의 제1 불완전성 정리는 우리가 사용하고 있는 기본 산술을 포함한 모순 없는 수학적 시스템이 불완전하다는 것을 입증한 것이다. 즉 이러한 조건을 갖춘 수학 시스템 내에서는 증명될 수도 없고 동시에 반증될 수도 없는 수학적 명제가 존재함이 증명된 것이다. 이 때 사용된 수학적 명제의 진리값은 참이었음에도 불구하고, 결정불가능한 명제가 된다. 그러므로 참이면서 증명이 불가능한 수학적 명제가 있다는 것이 증명된 셈이다. 괴델에 의하면 수학의 진리는 수학의 증명방법에 의해 정복될 수 없다.
괴델의 제2 불완전성 정리는 모순 없는 수학적 시스템 내에서 그 시스템의 무모순성이 증명될 수 없다는 것을 입증한 것이다. 예를 들면, 공리적 집합론의 토대가 되는 체르멜로-프렌켈의 공리적 집합시스템(ZFC)이 무모순하다면, ZFC의 무모순성은 ZFC 내에서 증명될 수 없게 된다. 만일 우리가 사용하고 있는 어떠한 수학 시스템에 모순이 없다면, 그러한 수학 시스템 내에서는 그 자체의 무모순성을 증명할 수 없다는 것이다. 이로써 괴델은 수학적 증명을 위해서 안전하다고 알려진 수학의 형식 시스템이 결코 안전할 수 없는 불완전한 시스템임을 증명했다.
괴델의 ‘불완전성’ 정리
괴델의 불완전성 정리에 의하면, 수학에는 이성적 증명을 넘어서는 세계가 있다. 그러므로 수학적 증명을 넘어 존재하는 진리는 더 이상 증명의 대상이 아니다. 그것은 수학자들이 선택해야할 믿음의 대상이다. 그래서 수학자 하워드 이브스는 괴델의 불완전성 정리에 의해 수학은 신학의 한 분과로 볼 수 있게 되었다고 평가했다.
그렇다면 신학으로서의 수학은 수학에 의해서 그 자체가 신학임을 증명할 수 있는 유일한 신학이 될 것이다. 바로 이 점이 수학의 위대한 점이다. 괴델에게는 자신의 한계를 증명할 수 있는 능력이야말로 수학자의 마음이 가지는 위대한 부분이었기 때문이다.
괴델은 불완전성 정리가 단지 수학자의 한계를 증명하는 것이라고 보지 않았다. 괴델은 수학자의 한계를 보여주는 동시에 그 한계를 넘어서서 가야하는 수학자의 능력에 주목한다. 예를 들어, 수학자들이 n단계에서 불완전성 정리에 의해 그 한계를 안다면, 새로운 공리를 추가함으로써 새로운 n+1단계로 나아가, n단계의 불완전성과 결정불가능성을 극복할 수 있다. 물론 이러한 과정에 경계란 있을 수 없다. 수학적 증명이라는 도구에 의해 환원될 수 없는 수학적 진리의 세계가 있기 때문이다.
괴델은 자신을 유신론자이며 기독교의 루터교 신자라고 밝혔으나, 신학전문가로서 활동을 하거나 논문을 발표하지는 않았다. 그는 자신의 신학을 ‘합리론적 신학’이라고 표명하며 철학적 형이상학과는 다르다고 구별하였다. 괴델은 수학적 무한과 절대적 무한의 실재성을 굳게 믿었다. 세계 내에 실현되는 무한으로서의 물리적 무한은 인정하지 않았으나, 신 안에서 실현되는 무한을 절대적 무한이라고 생각하였다. 괴델에게 신학적 무한과 수학적 무한은 분리될 수 없는 문제였다. 그리고 무한은 수학자나 신학자에 의해서 구성될 수 있는 대상이 아니라, 독립적으로 실재하는 대상이었다.
이러한 이유 때문에, 괴델은 무한집합 기수의 크기와 관련된 연속체가설(CH)을 매우 중요하게 다루었다. CH는 정수의 집합(셀 수 있는 무한)과 실수의 집합(셀 수 없는 무한) 사이에 무한 집합은 없을 것이라는 칸토르의 가설이었다. 괴델은 제2불완전성 정리에 의해 ZFC의 불완전성을 증명한 장본인이었으나, ZFC에 CH를 새로운 공리로 추가할 때, ZFC의 다른 공리들과 모순이 되지 않는다는 것을 증명함으로써, 결국 연속체 문제에 가부간 대답을 할 수 있을 것이라는 자신의 믿음을 증명하고자 했던 것이었다. 무한은 괴델에게 실재하는 대상이었기 때문에, 의미가 없다거나 포기될 수 있는 대상이 아니었기 때문이다.
괴델이 생각한 ‘신의 정의’
괴델은 신의 존재를 증명하고자 시도하였다. 남겨진 증명은 1970년의 완성작이었지만, 그의 증명작업의 흔적은 1930년대까지 거슬러 올라간다. 적어도 30년 이상 이 문제를 고민했었다는 것을 알 수 있다. 이 증명에서 괴델은 단지 3개의 정의와 5개의 공리를 사용했다. 이때 괴델이 생각한 신의 정의는 다음과 같았다.
(신의 정의) x가 신의 속성을 가진다는 것의 필요충분조건은, x가 모든 긍정 속성들을 가지는 것이다.
괴델은 먼저 x가 신의 속성을 가진다면(즉, x가 신과 같은 존재라면), 신의 속성은 x의 본질임을 증명하였다. 다음으로, x가 신의 속성을 가진다면, 신의 속성을 가지는 x가 필연적으로 존재함을 증명하였다. 이러한 증명에는 2차원 양상논리가 사용되었고, 마지막 단계에서 다음이 유도되었다.
(1) 신의 속성을 가진 x가 존재하는 것이 가능하면, 신의 속성을 가진 x가 필연적으로 존재한다.
(2) 신의 속성을 가진 x가 존재하는 것이 가능하다. 따라서 (1)과 (2)의 전건긍정법(modus ponens)에 의해, 신이 존재하는 것은 필연적임이 증명되었다.
괴델의 신 존재 증명에 관하여는 신학적으로 더 많은 논쟁거리가 있다. 그렇다고 하더라도 괴델의 의도가 신의 존재를 완전히 증명할 수 있다는 것이 아니라, 신의 존재를 수학적으로 증명하기 위해서는 신을 ‘모든 긍정 속성을 가진 대상’으로 정의해도 충분하다는 것에 있다는 점에 주목해야 한다. 괴델은 신의 유일무이한 속성을 수학적으로 규정하려고 했던 것이 아니라, 신의 속성과 동등한 속성을 가진 대상을 수학적으로 다루어 본 것이다.
괴델에게 신학이 무한한 신에 대한 연구라면, 수학은 무한에 대한 연구라고 할 수 있다. 그러나 신학과 수학 자체는 무한하지 않다. 두 시스템은 완전하지 않다. 오히려 유한 속에 있는 불완전한 시스템이다. 불완전하고 유한한 인간이 어떻게 절대 무한을 다룰 수 있을까? 괴델은 무한한 대상과 유한한 인간 사이를 연결해 주는 다리가 있다고 보았다. 그 다리는 바로 ‘직관’이라는 것이다. 이는 수학에서의 컴팩트화(compactification)에 비유할 수 있다. 다룰 수 없는 무한의 열린 구간에 한 점을 추가함으로써 닫힘과 한계가 있는 무한집합을 만들어, 마치 유한한 대상을 다루듯이 유한한 작업을 통해서 다룰 수 있게 된다. 괴델에게는 그 한 점이 바로 ‘직관’이었다.
괴델에게 신학과 수학은 모두 컴팩트화의 작업이었다. 역사에는 수학과 신학을 분리하지 않았던 지적 전통에 기여했던 거인들이 있다. 피타고라스, 니콜라우스 쿠자누스, 데카르트, 뉴턴, 라이프니츠, 칸트, 칸토르. 이들은 모두 수학자이자 신학자였다. 괴델에게도 이 명예의 전당에 이름을 올릴 자격이 충분히 있다.
무한은 신비로운 영역이 아닐 수 없다. 무한에서는 부분과 전체가 같고, 전체와 부분이 같다. 이러한 직관을 허용하고 또한 요구하는 곳이 바로 무한의 세계이다. 수학과 신학은 추상적인 무한의 세계를 공유한다. 그래서 두 학문은 다른 어떤 학문들보다도 이성과 논리만으로 정복하기 어려운 미지의 영역을 향하여 접근하는 과정을 밀접하게 공유할 수 있다. 그래서 수학적 증명과 수학적 진리가 완전한 동의어가 될 수 없다는 괴델의 불완전성 정리는 신학적 증명이 신학적 진리와 완전한 동의어가 될 수 없음을 전해주는 메시지와도 같다.
괴델 이후, 수학과 신학을 포함하여, 배우고 묻는다는 의미의 학문을 하는 사람들에게 진정으로 필요한 것과 참다운 희망의 근거는 자신의 한계를 인정하는 겸허함에서 발견될 것이다.(현우식/ 연세대·신학과 과학)