수학 기호와 연산자의 뿌리를 찾아서

수학기호의 역사 - 상징의 기원을 탐구하는 매혹적인 여정
조지프 마주르 지음, 권혜승 옮김 / 반니 / 2017년 3월

우리가 흔히 사용하는 수학 기호는 과연 언제부터 생겨났을까?

수학의 전형적인 기호는 연산, 무리 짓기, 관계, 상수, 변수, 함수, 행렬, 벡터, 집합론, 논리학, 수론, 확률론, 통계학에서 쓰이는 것들이다. 수학 기호가 생성된 시기를 거슬러 올라가는 작업은 언뜻 간단해 보인다. 기호가 처음 나타난 문헌을 추적하면 되기 때문이다.

하지만 더 심오한 의미가 숨어 있다면? 그리고 당시에는 일일이 베껴 써야 했다. 그 과정에서 가감되고 변형이 생겼다. 또 수학이 풍부한 기호 없이 온통 수사적(이야기 형식)이라면 어떨까? 알콰리즈미가 825년에 쓴 《대수》에 나오는 문장을 보자.

어떤 사람이 당신에게 묻는다. “나는 십을 두 부분으로 나눴다. 그중 하나를 다른 것에 곱하면 그 결과는 이십일이다.” 그러면 당신은 그 부분들 중 하나가 무엇이라면, 나머지 하나는 십 빼기 무엇임을 안다.

우리는 이 문장을 간단히 x(10-x)=21이라고 표현한다. 하지만 놀랍게도 15세기까지 수학 표기에 진정한 기호가 사용되지 않았다.

저자는 미국 말보로 대학에서 수학을 가르치고 있는 조지프 마주르 교수. 그는 10년 전 《밀림으로 간 유클리드》(한승 2006)라는 책으로 국내에 소개된 바 있다. 이번 책은 흥미로우면서도 무척 까다롭다. 수학자나 공리의 역사가 아닌 수학 기호와 연산자에 대한 것이기 때문이다.
*《밀림으로 간 유클리드》에서 상세히 설명한 루이스 캐럴의 3단논법이 다시 나온다. 282쪽을 보라.

2016년 내셔널 북 페스티벌에 참석한 저자, 조지프 마주르

책은 크게 3부로 나뉘어졌다. 1부 숫자의 역사와 2부 대수의 역사는 거의 독립적이지만 발전의 초기에는 숫자와 대수의 기호가 서로 얽혀 있었다. 3부는 기호의 힘에 대해 다룬다.

저자는 수학의 기호와 관련한 고문서를 일일이 찾아보고 꼼꼼하게 살핀다. 특히 그는 옥스퍼드에 있는 보들리 도서관에서 유클리드의 《원론Elementa》(기원전 300년) 사본 중 가장 오래된 것을 볼 기회를 가졌다.

《원론》은 임의의 두 원의 넓이의 비가 그 지름의 제곱의 비와 같다는, 증명하기 어려운 사실의 증명을 포함하고 있으면서도 거듭제곱이나 덧셈을 나타내는 대수기호가 전혀 보이지 않는단다. 왜냐하면 그의 서술이나 증명은 기하학적이면서 완전히 수사적이기 때문이다. 지금으로서는 기호가 빠진 수학을 상상하기가 어렵지만, 16세기 초반까지만 해도 유럽의 수학 저작물은 본질적으로 《원론》처럼 수사적이었다.

*유클리드의 《원론》은 온라인으로 볼 수 있다(http://rarebookroom.org에서 검색해 보라.

중국판 유클리드의 《원론》으로 볼 수 있는 한나라 때의 필사본 《구장산술九章算術》도 소개하고 있다. 《구장산술》은 대나무 조각에 246개의 문제를 모아 적은 방대한 책이다. 학자들에 따르면 《구장산술》은 그 전에 존재했다고 알려진 모든 수학을 모아 놓은 가장 오래된 중국 수학책이다.

지금의 아라비아 수 체계가 유럽으로 전해진 것은 겨우 몇 세기 전이다. 저자는 피사 출신의 피보나치의 《산반서Liber Abbaci》(1202)를 비중 있게 설명한다. 피보나치는 아버지와 지중해 연안을 여행하며 이집트, 시리아, 그리스, 프로방스에서 무역에 쓰는 수 체계를 배웠다.

그는 아라비아숫자 체계가 당시 쓰이던 로마숫자 체계보다 계산법으로 더 우월하다는 것을 보여주기 위해 노력했다. 그의 책은 유럽 사회에 아라비아숫자를 처음 소개한 것은 아니지만, 본격적으로 붐을 일으키는데 큰 기여를 했을 것이다.

흥미로운 것은 800년 무렵 칼리프 하룬알라시드의 공적이다. 그는 그리스 저작물들을 아랍어로 번역하라고 명했다. 대표단은 콘스탄티노플과 인도의 대도서관을 방문하여 그리스어와 힌디어 저작물 수백 권을 복사해 와 아랍어와 시리아어로 옮겼다. 그 덕분에 현존하는 유일한 복사본이 되었다.

일반적으로 대학에서 대수학을 가르치기 시작한 것은 17세 중반 이후였다. 그 이전까지 대학은 성직자나 의사와 법률가를 양성하는 것이 중심이었다.

한편 기호를 사용한 현대 수학의 근원은 디오판토스의 《산술Arithmetica》(3세기, 1세기에 쓰였다는 의견도 있다)로 거슬러 올라간다. 서문에 총 13권으로 구성되었다고 했지만, 여섯 권만 그리스어 원본의 사본으로 남아 있다. 《산술》을 보면 1차 방정식과 2차 방정식을 푸는 방법이 나온다.

여기서 유의할 점은 원본 또는 사본에 대한 필사본은 여러 경로를 거치면서 변형되었다는 것이다. 특히 수학의 기호와 같이 획 하나, 점 하나에 따라 의미가 달라지는 것을 감안한다면, 기호의 근원을 찾는 작업은 남다른 인내심과 고문서에 대한 지식을 필요로 한다. 저자의 수고로움이 달리 보이는 연유가 여기에 있다.

그렇다면 수학 기호들은 어떤 의미를 지닐까? “+”가 처음 등장한 것은 비드만이 1489년에 쓴 《모든 거래의 현명하고 깔끔한 계산》에서였다. “+”가 없을 때와 생기고 난 뒤의 차이는 무엇일까?

*참고로 등호(=)는 1557년, 파이(π)는 1706년 처음 등장했다.

저자에 따르면 수학에서 기호는 “눈에 보이는 형태나 의사소통에서 얻은 패턴과 형상의 의미를 감지하고 인지하고 창조하는 수단”이다. 기호는 반복적으로 일어날 수 있는 생각과 강력한 연관성을 제공하고, 때때로 경험적인 것을 물질적인 것과 연결시킨다.

기호들 각각은 수학자의 창의적인 사고에 별 영향을 미치지 않을지 몰라도, 이들이 합쳐지면 유사성·연상·동일성·닮음·반복적인 형상화를 통해 강력한 연관성을 획득한다. 심지어 새로운 것을 창조할 수도 있다. 어떤 수학기호는 경험과 미지의 것을 연결하거나 유사성과 닮음을 통해 의미를 전달할 수 있는 비유적 생각을 전하기 위해 계획적으로 고안되기도 했다.

기호(상징의 범주로써)는 의사소통의 수단을 초월한다. 우리의 언어 어디에나 존재하며 의미의 문화적·감정적 성향을 주기 위해, 창조적인 과정을 증강하기 위해, 의식과 잠재의식 및 익숙한 것과 미지의 것을 연결하는 수학적 형상화에 상당한 구실을 한다.

이 책은 수를 세는 것에서 출발해 현대 수학의 주요 연산자들로 이어지면서, 수학에서 확립된 기호들의 기원과 진화를 추적한다. 《산술》을 주석한 히파티아, 데카르트의 기하학, 그리고 뉴턴의 도함수도 소개된다.

저자는 특히 뉴턴의 논문이 온전히 정리된 것은 영국의 수학 역사가 화이트사이드의 공로 덕분이라고 지적한다. 화이트사이드는 17세기 수학사에 관한 박사 논문을 준비하던 대학원생 때 케임브리지 사서에게서 뉴턴의 사본들 여덟 상자를 건네받아 여덟 권으로 정리했다. 그는 무려 23년이라는 시간동안 헌신적으로 매달렸다.

수학사를 새로운 관점에서 접근한 방식이 참신하다. 그간 별다른 의심 없이 사용해 왔던 수학 기호나 연산자가 나름 역사를 지니고 있다는 사실이 자못 흥미롭다. 이 책이 아니었다면 수학 기호는 고대 그리스 시대부터 존재했던 것이려니 치부했을 것이다.

저자는 각 파트별로 수학사에서 한 획을 그은 대표적인 수학자와 저작 또는 업적을 요약하여 정리 소개한다. 전문가가 아니라면 자료를 구하기도 어렵고, 이해하기도 어려울 것이다. 하지만 저자의 해박한 수학사 지식과 치밀한 학문적 자세 덕분에 우리는 수학 기호의 변천에서 인류 지성의 연원을 캐는 남다른 재미를 만끽할 수 있다.