현대수학이 이뤄낸 위대한 성과

페르마의 마지막 정리 - 개정판 ㅣ 갈릴레오 총서 3
사이먼 싱 지음, 박병철 옮김 / 영림카디널 / 2014년 7월

xⁿ + yⁿ = zⁿ (n은 3이상의 정수)을 만족하는 정수해 x,y,z는 존재하지 않는다.
단, x ,y, z 중 하나가 0이거나 모두 0인 경우는 제외한다

페르마의 마지막 정리는 과거 수많은 수학자들의 도전을 받았습니다. 마지막 정리를 남긴 페르마도 주석으로 무한 반복성 귀류법을 통해 n=4일경우를 증명해 남겨놨음이 밝혀졌습니다. 수학자 오일러는 페르마와 마찬가지로 무한 반복성 귀류법을 사용해 n=3일 경우에 도전했지만 논리상의 허점이 발생했고 오랜 노력 끝에 허수를 이용, 논리의 허점을 보완하는데 성공해 n=3일 경우를 증명했습니다. n=3과 n=4가 이미 증명되었으므로, 3과 4의 배수들 역시 자동적으로 증명이 되었습니다. 그 후 소피 제르맹은 ‘만약 그 방정식에 해가 있다면 그 해는 어떠한 조건을 만족할 것이다’ 라는 방식을 제안했고, 제르맹의 제안을 바탕으로 페테르 구스타프 르죈느 디리클레와 아드리앵 마리 르장드르에 의해 n=5인 경우를 증명했고, 프랑스 수학자 가브리엘 라메는 제르맹의 방식에 새로운 논리를 첨가해 n=7인 경우를 증명합니다. 그후 '모든 타원방정식은 모듈 형태와 연관되어 있다'는 타니야마 - 시무라 추론이 나오게 되고, 독일의 수학자 프레이가 페르마정리는 타원방정식으로 치환될수 있음을 증명하게 됩니다.

프레이는 이런 변환을 통해

1) 만일 타니야마-시무라의 추론이 사실로 판명된다면 모든 타원 방정식은 모듈적 성질을 가져야 한다.
2) 만일 모든 타원 방정식이 모듈적 성질을 가져야 한다면 프레이의 타원 방정식은 존재할 수 없다.
3) 만일 프레이의 타원 방정식이 존재하지 않는다면 페르마의 방정식에 정수해란 있을 수 없다.
4) 따라서 타니야마-시무라의 추론이 사실로 판명된다면 페르마의 마지막 정리는 맞는 것이다.

라는 결론을 내게 됩니다. 하지만 프레이는 자신이 유도한 타원방정식이 정말 그 정도로 비정상적인지를 완전하게 증명해내진 못했는데, 그 후 수학자 켄 리벳이 (M)구조의 감마 제로를 추가하는 방식으로 프레이의 오류를 해결합니다. 결국 타니야마-시무라 추론을 증명하면 페르마의 마지막 정리를 증명할수 있음이 알려지게 됩니다.

20세기의 세계적인 논리학자인 힐베르트는 사람들이 “왜 페르마의 마지막 정리에 도전하지 않느냐”는 질문에 실패할 것이 빤히 보이는 그런 무모한 일에 그 정도의 시간을 투자할 여력이 없다고 말했습니다. 하지만 와일즈는 실패를 받아들일 준비가 되어있었고, 페르마의 마지막 정리에 도전하기 위해 최신 계산법을 익혀나갔습니다. 그는 타원 방정식과 모듈 형태에 관련된 모든 수학을 익히는데 18개월을 사용했고, 10년 이상의 세월을 인내하려고 결심합니다. 그는 학술모임과 세미나에도 참석하지 않았고 페르마의 마지막 정리와 관련없는 모든 일에서 손을 뗍니다. 그는 1년간의 심사숙고 끝에 증명의 기본틀로 귀납법을 사용하기로 결정합니다.

 귀납법의 원리는 도미노와 비슷한데, 도미노처럼 첫 번째 도미노와 두 번째 도미노가 쓰러지면서 결과적으로 무한개의 도미노를 쓰러뜨리는 방식입니다. 와일즈는 이런 귀납법을 위해 수학자 갈루아가 만든 갈루아의 군론을 도입합니다. 타원방정식의 E급수와 모듈 형태의 M급수에 대해 모든 원소의 값을 일일이 대조하여 일치함을 확인한 뒤 다음 급수로 넘어가는 기존의 방법 대신에 한 원소와 한 원소를 비교한뒤 다음 원소로 넘어간다는 새로운 방법을 시도합니다. 그는 2년의 도전 끝에 갈루아 군을 이용, 첫 번째 도미노를 쓰러뜨리는데 성공합니다. 첫 번째 도미노를 쓰러뜨리는데 성공한 와일즈였지만, 그 후 나머지 도미노를 쓰러뜨릴 수학적 테크닉을 찾지 못했습니다. 그는 타원 방정식을 분류하는 방법에 대한 이론인 이와자와 이론을 선택해봤지만, 이와자와 이론은 와일즈를 만족시켜 주지 못했습니다.

 그는 칩거 5년만에 세상 밖으로 나가 콜리바긴과 플라흐가 고안한 수학 아이디어를 얻게 됩니다. 새로운 아이디어를 얻게 된 와일즈는 얼마 지나지 않아 또 다른 도미노를 쓰러뜨리는데 성공합니다. 방정식을 주의 깊게 들여다본 와일즈는 이것이 몇 가지의 패턴으로 분류될 수 있으며, 모든 패턴의 타원 방정식에 적용될 수 있도록 콜리바긴-플라흐의 방법을 강화하는 것이 해답임을 알아냈습니다. 그는 6년째에 접어들며 매 주마다 새로운 패턴의 타원방정식과 모듈 형태가 일치함을 증명해나가기 시작했고, 마침내 모든 정리를 증명하게 됩니다. 그 후 와일즈는 1993년 케임브리지에서 6월 21일,22일,23일에 걸쳐 세 번의 강연을 하며 자신의 연구결과를 공개했고, 몇 년에 걸친 심사를 받게 됩니다.

저는 8년 동안 한 가지 문제만 생각했습니다. 아침에 일어나서 잠자리에 들 때까지 단 한시도 그 문제를 잊은 적이 없었습니다. 한 가지 생각만으로 보낸 시간치고는 꽤 긴 시간이었지요.

 6명의 심사위원이 와일즈의 논문을 검토했고, 순조롭게 검토가 이뤄지던 중 닉 카츠는 하나의 오류를 발견합니다. 여섯 편의 논문 중 3편의 일부분에서 발견된 그 오류를 해결하는데 와일즈는 각고의 노력을 다했지만 세간에는 페르마의 마지막 정리를 해결할 수 없을거라는 의견이 대두되기 시작합니다. 결국 와일즈는 심사숙고 끝에 리처드 테일러라는 수학자를 영입합니다. 테일러와 작업을 하던 도중 와일즈는 문득 2년전 단 한 개의 도미노도 쓰러뜨릴 수 없었던 이와자와 이론을 생각합니다. 이와자와 이론은 와일즈에게 부적절한 것이였고, 콜리바긴-플라흐의 방법 역시 부적절했지만, 두 가지 방법을 동시에 합쳐놓는 순간 모든 문제점이 기적과도 같이 말끔하게 해결됩니다. 그는 결국 1994년 10월 25일에 두편의 논문을 공개하는데 성공합니다. 앤드루 와일즈의 『모듈적 타원 곡선과 페르마의 마지막 정리』와 리처드 테일러, 앤드루 와일즈의 『헤케 대수학의 고리이론적 성질』이 그것입니다. 이 두편의 논문은 130쪽이 넘는 방대한 분량이였고, 수학 역사상 가장 자세한 내용을 담고 있는 논문이였습니다. 그는 20세기 정수론의 새로운 지평을 열었고, 현대의 수학과 미래의 비전이 완벽하게 조화를 이룬 걸작이였습니다. 그의 가장 큰 업적은 전혀 다르게 보였던 수학분야를 하나로 통합시킨 것이라 할 수 있습니다.

아직 해결되지 않은 수학 문제는 여러 개가 있지만 그 중에서도 페르마의 문제가 특히 관심을 끄는 이유는, 문제 자체가 너무나도 단순하기 때문이었다. 그로부터 30년이 지난 뒤 와일즈는 그 순간을 이렇게 회고했다. "그것은 너무나 단순한 문제였습니다. 열 살배기인 저도 문제의 내용을 정확하게 이해할 수 있었지요. 그런데 그 문제를 푼 수학자가 아무도 없다는 거였습니다. 그 순간 저는 어떤 운명 같은 걸 느꼈어요."

300년만에 페르마의 족쇄를 걷어낸 앤드루 와일즈가 증명을 끝내고 “이쯤에서 끝내는 게 좋겠습니다.” 라는 대사로 마무리하는 순간, 시간과 공간의 제약을 뛰어넘어 짜릿한 감동을 느낄 수 있었습니다. 7년의 칩거생활과 30년 만에 이뤄낸 꿈이 이루어졌을때 와일즈가 어떤 심정이였을지 감히 상상도 하기 힘들었습니다. 또한 그가 한번 이뤘던 꿈이 좌절될뻔했던 순간과 다시 그것을 해결해냈을때의 기쁨은 부러운 감정마저 느끼게 합니다. 한 가지 확실한 것은 저자가 수학에 대해서 애매한 감정을 지닌 독자거나, 만약 당신이 대학생이거나 대학원 진학을 고려하는 사람에게 더 많은 글을 읽을 의욕을 심어주거나 수학 과목을 더 신청할 생각을 하게 만들기를 희망한다면, 그 희망은 이미 이뤄줬으리라는 것입니다.