이성의 놀이터 수학, 그 흥미로운 세계

페르마의 마지막 정리 ㅣ 갈릴레오 총서 3
사이먼 싱 지음, 박병철 옮김 / 영림카디널 / 2003년 2월

     난 지금까지 단 한 번도 수학에 재미를 느껴본 적이 없었다. 동시에 수학 공부를 해야 하는 이유도 잘 몰랐다. 고등학교 때 배웠던 미분적분을 다 잊어먹은 지금, 더더욱 과거에 했던 고생을 아까워했다. 인문학을 전공했음에도 언제나 전형적인 레퍼토리로 수학을 비난했다. “이거 배워서 뭐에 써먹어?” 그러던 내가 얼마 전 <페르마의 마지막 정리>를 만나게 됐다.

    책을 읽고 난 후, 나는 수학의 이면에 있는 엄청난 견고함과 신비함에 경탄을 금할 수 없었다. 수많은 학자들이 페르마의 정리라는 사소한 정리 증명을 위해 생을 바쳤다는 사실이 전혀 이상하게 느껴지지 않았다. 수학은 매력적인 학문이었다. 실제로 나의 편견처럼 페르마의 정리를 증명한다고 해서 돈이 생기는 것은 아니다. (물론 증명에 성공한 학자는 볼프스켈 상을 받기에 경제적 이득도 있다.) 하지만 수학은 진리를 추구하려는 인간의 본성이 만들어낸 거대한 발광체였다. 빛을 보면 모여드는 나방 떼처럼 인간은 강력한 빛을 뿜어내는 수학에 몰려들 수밖에 없었던 것이다. 그렇다면 수학의 강력한 불빛은 어디서 나오는 것일까.  

  수학은 완전함을 추구한다. 약간의 허술함도 용납하지 않는다. ‘1 + 1 = 2’라는 명백한 공식도 완벽한 증명을 거쳐야만 수학이 될 수 있다. ‘그럴 것 같다’는 문장은 수학에 존재할 수 없다. 자연히 끊임없이 완전함에 도달하고자 했던 인간에게 수학은 자신의 욕망을 투여할 수 있는 완벽한 대상이었다. 피타고라스 역시 ‘수학이란 모든 학문 분야 중에서 가장 철저하게 개인적 주관을 배척하는 학문’ 이라며 인간의 어설픈 분별력을 초월하여 절대의 진리를 찾는 방법으로 수학을 택했다. 학자들은 수학을 통해 무한함을 알 수 있다고 생각하기에 수학에 전념하게 된다. 공리라는 의심할 수 없는 기반에서 시작하는 세계이기에 수학은 그 어떤 학문보다 완벽에 가깝다. 체계적인 인간의 이성이 마음껏 발휘될 수 있는 공간, 그곳이 바로 수학의 공간이었던 것이다.  

 동시에 수는 무한하다. 수학은 수를 다룬다는 점에서 인간을 끌어들인다. 인간은 형태를 알 수 없는 자연을 끊임없이 지배하려 했다. 그 첫 번째 단계로 등장한 것이 도구적 이성이었다. 인간은 도구적 이성을 통해 미지의 자연을 규정화했다. 이성이 자연을 규정하는 순간 자연은 인간에게 더 이상 미지의 존재가 아니었다. 인간에 지배받는 존재일 뿐이다. 인간이 수학에 몰두한 것도 같은 이치다. 수는 일종의 자연과 같은 존재다. 무한한 존재이면서 무수한 법칙을 내포하고 있다. 예를 들어 ‘파이’의 경우 소수점 이하 80억 자리까지 계산됐지만 완전한 크기를 드러내지 않았다. 수학은 수에 대한 법칙을 규정하고 발견하는 학문이다. 수학은 인간의 이성을 극대화하여 수를 인간이 만든 틀 안에 집어넣는다. 인간이 수를 규정화하는 순간 수는 수학의 대상물로 전락한다. 이성적으로 무언가를 정복하려는 인간의 본성을 가장 잘 충족시켜주는 학문이 수학이다. 학자들이 페르마의 마지막 정리에 빠져든 것도 이러한 이유들 때문이라 할 수 있다.  

 페르마의 마지막 정리를 증명하는 과정을 보면 수학이 이성의 결정체임을 확인할 수 있다. 바로 헤겔이 말한 역사의 발전이 수학사에 나타난다는 점. 앤드류 와일즈가 결국 페르마의 마지막 정리를 증명하긴 했지만 결코 혼자의 작업이 아니었다. 오일러가 일단 수수께끼의 관문을 열었으며 이후 수많은 학자들이 도전한다. 이와 동시에 힐베르트가 완벽한 수학을 만들려 했으며 러셀은 수학의 토대를 더 단단하게 만들어주었다. 타니야마와 시무라는 전혀 다른 영역이던 타워방정식과 모듈방정식의 연결을 시도했다. 프레이는 타니야마-시무라 추론과 페르마의 마지막 정리를 연결하여 타니야마-시무라 추론을 증명하면 자연히 페르마의 정리가 증명됨을 보인다. 이후 와일즈는 이들의 업적을 기반으로 갈루아의 군론과 콜리바긴-플라흐의 아이디어를 이용해 타니야마-시무라 추론을 증명하게 된다. 결승선은 와일즈가 통과했지만 페르마의 마지막 정리 증명 과정은 일종의 이어달리기였던 셈이다. 

<페르마의 마지막 정리>는 수학의 특성을 재미있게 보여주고 있다. 수학의 문외한인 사람도 쉽게 수학의 매력을 느낄 수 있도록 해준다. 수학은 완전함에 도달하려는 인간이 매혹될 수밖에 없던 공간이었다. 우리의 이성을 최대한 발휘할 수 있던 곳이었다. 논리를 훈련시킬 수 있는 가장 좋은 학문이 수학인 것도 이 때문이다. 만약 내가 좀 더 일찍 이 책을 만났더라면 수학을 대하는 나의 태도를 달라졌을 것이다. 안타깝다. 하지만 지금이라도 수학에 대한 내 고정관념을 깰 수 있어서 다행이다. 수학을 싫어하는 많은 사람들이 이 책을 읽고 수학이 이성의 놀이터였다는 사실을 알게 되었으면 좋겠다.