암호는 어떻게 발전해왔나

비밀의 언어 - 암호의 역사와 과학
사이먼 싱 지음, 이현경 옮김 / 인사이트 / 2015년 12월

사람은 누구나 비밀이 있으며, 비밀을 지키기 위해 다양한 방법을 사용합니다. 상자에 넣어 깊숙한 곳에 숨기거나, 책 사이에 지폐를 끼우고, 직박구리 폴더에 비밀번호를 걸어둡니다. 반대로 비밀을 알아내고 싶은 사람들도 있으며, 비밀을 풀기 위해 비밀을 건 사람만큼 노력과 방법을 동원합니다. 개인과 개인, 단체와 단체, 정부와 정부 사이에서 벌어지는 작성자와 해독자의 대결은 역사의 방향을 결정했고, 결과적으로 우리 사회의 주요 기반을 만들었습니다. 암호의 역사에서 탄생한 컴퓨터가 제공하는 편의성 없이는 현대사회를 상상할 수 없습니다.

전작《페르마의 마지막 정리》에서 현대수학이 이뤄낸 위대한 성과를 저술한 사이먼 싱은,《비밀의 언어》를 통해 암호의 과학이 만들어낸 매력적인 세계를 소개합니다.《페르마의 마지막 정리》가 수학자의 모험담, 마치 용사가 마왕을 물리치는 것처럼 흥미진진한 내용이라면,《비밀의 언어》는 숨겨진 보물을 찾는 트레져 헌터의 이야기 같습니다. 비밀의 해제는 옛날이나 지금이나 막대한 보상을 안겨줍니다. 암호의 진보가 반대를 무릅쓰고 사랑하는 사람과 만나기 위해, 또는 빈곤과 차별을 이겨내기 위해 이루어졌다면 좋았겠지만, 안타깝게도 대부분의 주요한 발전은 전쟁을 위해서였습니다.

단순한 규칙으로 변환되는 단일 치환 암호는 중학생이라도 만들 수 있지만, 그것을 해독하는 것은 상당한 실력과 인내심이 필요합니다. 오랜 시간동안 단일 치환 암호는 상당한 보안을 제공해주었지만, 자주 출현하는 알파벳들, 즉 a,t,e 같은 단어의 빈도수를 계산해 해독하는 방법이 고안되면서 보안성을 잃게 됩니다. 이후 등장한 비즈네르 암호문과 같은 다중 치환 암호는 단일 치환 암호의 약점을 극복하며 등장했지만, 변화가 반복된다는 특징이 공략당하며 역사속으로 사라져야 했습니다. 새롭게 고안된 일회용 난수표 암호문 방식은 현재도 깨뜨릴 수 없는 암호체계이지만, 무선통신 시스템에 적용할 수 없다는 점에서 실용성이 떨어졌습니다.

수많은 사람들이 희생된 세계대전은 비극적인 사건이지만, 암호의 역사라는 관점에서 보면 황금기라고 할 수 있습니다. 1차 세계대전의 흐름을 바꿔놓았던 치머만의 전보 해독, 이를 해결하기 위한 독일의 암호기계 에니그마의 등장, 에니그마를 해독하기 위한 폴란드와 영국의 분투, 미국에 의해 해독당한 일본의 퍼플 시스템, 일본에 의해 공략당하지 않았던 미국의 암호체계 등은 1차 세계대전이 화학의 전쟁이였다면, 2차 세계대전은 물리학의 전쟁이기도 하면서 암호의 전쟁이라고 해도 과언은 아닙니다. 암호의 전쟁은 고도의 시스템이 만든 지성의 대결이면서, 기존의 틀을 깨는 회의주의자들의 무대이기도 했습니다. 미국 원주민 나바호 통신병의 이야기는, 대한민국에 전쟁이 발생했을 때 제주도 방언을 사용해 보안성을 높일 수 있다는 이야기와 같습니다. 실제로 제주도 방언은, 외국인뿐만 아니라 많은 한국인에게도 암호나 다름없습니다.

복잡한 암호만이 안전하게 메시지를 전송하는 유일한 방법은 아니었다. 사실 제2차 세계대전 중에 사용된 암호 중 가장 안전했던 암호는 제일 단순한 형태의 암호였다. - p.266

독일의 로렌츠 암호문을 공략하기 위해 영국이 만든 기계 콜로서스는 현대 컴퓨터의 기원입니다. 전자통신의 시대가 열리면서 암호에 대한 개념도 변화해야 했고, 루시퍼 시스템에서 DES 체제가 출범합니다. 실시간으로 움직여야 하는 네트워크 시대는 암호를 해독하기 위한 키, 열쇠 분배 문제를 가지고 있었습니다. 비밀을 교환하기 전에 비밀을 공유하고 있어야 한다는 딜레마를 해결하는것이 현대 암호의 시작이었고, 만나지 않고도 공개 암호 열쇠 방식을 통해 언제든지 열쇠를 교환하는 방식을 고안했습니다. 비대칭 암호 체계가 고안되면서 공개된 열쇠로 암호를 풀 수 있는 방식을 완성시켰고, 공개 열쇠 암호 RSA방식은 높은 보안성을 제공함으로서 현대 사회의 네트워크가 형성될 수 있는 기반이 됩니다.

현대의 암호는 볼 수 있지만, 풀 수 없는 방식입니다. 7 이나 13과 같은 소수로 된 키 두개를 곱한 N값은 공개되지만, N값을 풀려면 인수분해를 해야 하며, N값이 엄청나게 크다면 소수를 유추하는 것은 사실상 불가능합니다. 슈퍼 컴퓨터의 연산력을 활용해도 수백년 이상 걸리기 때문에 해독하는 것은 물리적으로 불가능하며, PGP를 통해 정부나 기업, 군대 뿐만 아니라 개인도 엄청난 보안성을 갖추게 되었습니다. 현재까지 소수를 이용한 체계는 해독되지 않았으며, 보안 사고는 트로이 목마나 바이러스 등 보안 외적인 부분을 통해 이루어집니다. 그러나 해독자들이 도전을 포기한 것은 아닙니다. P-NP 문제 같은 소수에 관한 수학이론이 획기적인 변화를 가져다줄지도 모르고, 새롭게 등장하는 양자 컴퓨터는 기존의 컴퓨터와는 비교도 안되는 속도로 엄청나게 큰 N값을 인수분해할 수 있습니다.

이런 해독자들의 노력에도 불구하고, 완전무결한 암호 체계가 고안되었습니다. 현대의 암호를 대체할 것으로 평가되는 양자 암호는, 양자물리학을 기반으로 합니다. 양자 암호를 무찌르기 위해선, 양자물리학을 무찔러야 합니다. 사이먼 싱은 오랜 암호의 역사, 작성자와 해독자의 길고 긴 결투는 결국 작성자의 승리로 끝날 것 같다고 말합니다. 하지만 암호의 이야기는 끝나지 않습니다. 스노든이 폭로한 NSA의 이야기처럼 암호를 어떻게, 누가 사용하는 것에 대한 사회적 합의의 이야기는 인류가 멸망할 때까지 지속될 것입니다. 또한 이집트 상형문자나 선형문자B의 사례처럼, 아직도 인류가 도전할 수 있는 암호 문제들은 많이 있기 때문입니다.