수학자가 알려주는 증명의 함정

수학자가 알려주는 증명의 함정 - 팩트가 통하지 않는 시대, 진실을 가려내는 과학적 방법
애덤 쿠차르스키 지음, 고호관 옮김 / 세종(세종서적) / 2026년 3월

*네이버 책과 콩나무 카페 서평단 자격으로 작성한 주관적인 리뷰입니다.

세상의 모든 과학은 '증명'에서 시작했다. 수학자 출신의 과학저술가 애덤 쿠차르스키는 《수학자가 알려주는 증명의 함정》(세종서적, 2026)에서 수학적 세계관의 근간이 되는 '증명' 방식이 세상과 사회를 어찌 변화시켰는지 설명한다. '증명'은 크게 직접 증명, 귀류법, 수학적 귀납법, 확률적 증명 네 가지로 나뉜다. 잘 알다시피 수학적 증명의 비조는 기원전 300년경 고대 그리스 수학자이자 철학자인 유클리드다. 유클리드는 저서 《원론》에서 근본적인 원리에서 보편적인 진리로 보이는 것을 구성하는 방법을 세웠다. 정의에서 공리, 공리에서 정리로 나아가는 방식인데, 유클리드는 이런 정의와 공리로부터 수십 가지의 수학적 주장을 입증했다.

유클리드식 사고방식은 직접 증명과 귀류법을 포함한다. 직접 증명이 명확한 공리와 정리로 논리적 연결을 매듭짓는 방식이라면, 귀류법은 명제의 거짓 가정을 통해 공리의 모순을 도출하는 방식이다. 미국 대통령 링컨이 바로 유클리드의 이런 귀류법을 활용해 노예제에 반론을 펼친 바 있다. 노예를 소유할 수 있는 권리를 피부색 또는 지성, 재력을 이용해 정의한다고 해도 똑같은 논리에 따라 노예 소유주는 언제든 더 우월한 존재에 의해 노예가 될 수 있다. 결국 노예제는 자유 사회의 정의와 공리에 어긋난다.

그런데 우리 현실 세계는 불확실하고 모순적이며 복잡하기에 참인지 거짓인지 증명할 수 없는 명제들이 수두룩하다. 예컨대 과학철학자 포퍼는 우리가 어떤 것이 참임을 확실하게 보일 수 없지만 어떤 것이 거짓임을 보일 수는 있다며 과학적 주장의 반증 가능성을 우선시했고, 괴델의 불완전성 정리는 규칙이 다루지 못하는 모순이나 상황이 불가피함을 보여준 바 있다.

저자의 말대로, "삶은 무엇이 참이고 그게 왜 참인지 우리가 이해하는 것과 놀라울 정도로 간극이 큰 상황으로 가득하다." 이처럼 명확한 공리나 귀류법으로 해결되지 않을 때 사용 가능한 증명 방식이 바로 확률적 증명이다. 명제가 확실히 참이라는 사실을 증명하기보다는 더 낮은 기준을 목표로 명제가 참일 가능성이 높다는 사실을 보여주는 방식이다. 확률적 증명은 과학과 의학에서 무작위 대조 시험에 의존하는 것과 비슷하다. 가령 전염병이 유행할 때 새로운 백신을 배포하고 싶다면 충분히 안전하고 효과적이라고 증명해야 하는데, 그럴 때 확률적 증명이 활용된다.