˝누군가 초지능을 만든다면, 모두가 죽는다.˝

AI, 신의 탄생 인간의 종말 - 초지능의 탄생, 그 이후 벌어질 일들
엘리에저 유드코스키.네이트 소아레스 지음, 고영훈 옮김 / 상상스퀘어 / 2026년 4월

 간혹 책을 읽다보면 재밌는 건 둘째치고 많은 사람들이 읽었으면 하는 책들이 있습니다. 널리 공유하고 싶은 지식이기도 하고 어쩌면 계몽적인 내용이기도 한 거 같습니다. 이 책도 그런 책 중 하나입니다. 많은 사람에게 소개하고 권하고 싶은 책입니다.

 일단 저자 소개부터 해보겠습니다. 전 사실 저자를 굉장히 중요하게 생각합니다. 책보다 저자랄까요? 영화도 마찬가지 입니다. 영화보다 감독, 배우를 더 중요하게 여길 때가 있습니다. 놀란 감독이 대표적인 예입니다. 놀란 감독이 어떤 영화를 만들던 간에 저는 보러갈 것입니다. 하루키가 말하는 신용거래입니다. 

 이 책은 저자는 엘리에저 유드코스키입니다. 저는 잘 모르는 사람이지만 AI 분야에서 유명한 분입니다. 2023년 타임에서 선정한 'AI 분야에서 가장 영향력 있는 인물' 중 한 명으로 선정되었고, 인공지능 정렬 연구 분야를 창립한 AI 분야의 선구자 중 한 사람입니다. 아무튼 저자 소개를 살펴보시면 대단한 인물이며 그의 말을 귀담아 들을 필요가 있다는 생각이 드실 겁니다.

 그럼 그가 이 책에서 하려는 이야기는 무엇이냐? 책 제목에서도 드러나듯이 AGI의 위험성입니다. 그냥 위험한 정도가 아니라 인간의 종말, 인류 멸종을 불러올 수도 있다는 주장입니다. 아마 이것도 어쩌면 식상한 내용일 수 있습니다. 이미 많은 SF 소설이나 영화에서 이 주제를 다뤘으니까요. 대표적으로 영화 <터미네이터>가 떠오릅니다. 

 사실 기계가 인류를 종말시키는 방법은 <터미네이터>처럼 귀찮은 방법이 아닐 것입니다. 치명적 바이러스 살포. 혹은 점진적으로 암에 노출시키는 것으로 서서히 멸종을 시킬 수 있을 것입니다. 이 책에 소개된 예시입니다.

 많은 AI 업계의 대부들이 AGI의 위험성을 경고합니다. 멈춰서 안전장치를 마련하고 속도를 늦춰야 한다고 이야기합니다. 하지만 기업가, 정치가들에게 그런 이야기는 먹히지 않습니다. 2차 세계대전 때 처럼 누가 빨리 핵폭탄을 만드느냐가 중요합니다. 남보다 내가 먼저 만들어서 선점하겠다. 기업가와 정치가는 눈과 귀를 닫고 개발에 집중합니다. 

 이 책은 AI의 원리와 함께 AI의 위험성, 예측 불가능성, 통제 불가능성, 이해 불가능성에 대해 말합니다. 우리는 AI를 이해하지 못한 채 쓰고 있습니다. 우리가 우리의 뇌를 완전히 이해하지 못하지만 생각하고 있는 것처럼요. 우리의 뇌에서 무슨 일이 벌어지고 어떻게 왜 벌어지는지 완전히 이해하지 못하는 것처럼 우리는 AI 인공지능이 어떻게 작동하는지 이해하지 못합니다. 그래서 가끔 AI가 예측을 벗어나고 통제를 벗어납니다. 그렇게 사고가 난 후에야 그것을 확인해서 고칠 수 있습니다. 예방은 어렵습니다. 

 AI가 이상하게 작동하면 고치면 됩니다. 그런데 AGI에서는 그 기회가 없을 수 있습니다. 단 한 번 잘못 작동하는 순간 그것을 고칠 기회는 영영 주어지지 않을 수 있습니다. AGI는 일반인공지능을 뜻하는 말로 AI가 체스나 바둑처럼 특수한 것이 아닌 모든 것에 대해 인간 이상의 혹은 인간에 비견되는 지능을 갖추는 것을 말합니다. 인간과 비슷한 코딩 능력을 갖추게 되겠죠. 그러면 자기 자신을 코딩할 수 있게 됩니다. 인간보다 1만배 빠른 속도로 자기 자신을 코딩해서 계속 업그레이드 하는 것입니다. 이를 특이점이라고 합니다. 특이점은 빅뱅처럼 그 전과 후를 비교할 수 없을 정도로 큰 사건을 말합니다.

 만약 누군가 AGI를 개발하게 된다면 그리고 그 AGI가 인간이 예측하지 못하는 동기나 목표를 가지게 된다면, 충분한 안전장치를 준비하지 못한다면, 아주 사소한 실수를 하게 된다면 인류에게 다음이란 존재하지 않습니다.

 우주선은 어마어마하게 많은 부품이 들어갑니다. 어마어마한 돈이 들어가기 때문에 당연히 엄청나게 조심하고 또 조심해서 만듭니다. 하지만 아주 사소한, 전혀 생각지도 못했던 원인 때문에 공중에서 폭발합니다. 우주선을 쏘아 올린 이후에는 수정이 불가능합니다. AGI도 이와 같습니다. 우리는 우리가 아직 완전히 이해하지 못하는 방식으로 작동하는 소프트웨어를 만들고 있습니다. 우주선처럼 폭발한다고 끝나는 게 아닙니다. 어쩌면 인류 전체의 목숨을 걸고 도박을 하고 있는지도 모릅니다. 이미 만들어지면 그 다음에는 수정할 기회가 없을 수도 있습니다.

 인공지능에 대한 가장 근본적인 사실은, 그것이 '만들어진 존재'가 아니라 '자라난 존재'라는 점입니다. 어떤 면에서 인간이 만들어지는 과정에 가깝습니다. 우리는 무엇이 자라날지 모릅니다. 

 전 요즘 제미나이를 엄청나게 많이 쓰고 있습니다. 거의 모든 것에 쓰고 있습니다. 아직 부족한 점들이 있지만 그 능력과 활용성은 놀랍습니다. 하지만 한편으로 저는 인공지능이 두렵습니다. 우리가 안전한 데에서 인공지능의 개발을 멈출 수 있을까요? 어디가 안전한 지점인지도 모르는 상태에서?  

 AGI가 언제 개발될지 모르지만 짧게는 5년에서 10년 내로도 보고 있습니다. 전 지금 상태로도 충분히 만족스럽습니다. 제가 죽기 전까지는 AGI가 개발되지 않았으면 합니다. 

 저의 허접한 설명과 논리보다 이 책의 설명과 근거, 논리를 꼭 보셨으면 좋겠습니다.