어디서든 그것이 개발되면 어디에 있든 죽는다.

AI, 신의 탄생 인간의 종말 - 초지능의 탄생, 그 이후 벌어질 일들
엘리에저 유드코스키.네이트 소아레스 지음, 고영훈 옮김 / 상상스퀘어 / 2026년 4월

 AI 연구는 다트머스 회의 이후 거의 50년 간 빙하기였다. 하지만 그것을 개발하기 위한 핵심 아이디어는 당시에 이미 나와 있었다. 다만 그것을 구현할 충분한 컴퓨터의 힘이나 데이터의 수가 부족했을 뿐이다. 이는 20세기초 이미 기술이 나왔지만 상용화되지 못한 전기차와 비슷해 보인다. 하지만 둘다 기반 문제가 해결되지 급속히 발전한다. 

 AI 연구는 2012, 2016, 2020, 2022, 2024년데 도약을 맞았다. 2012년은 알렉스 넷이 이미지 인식을 혁신적으로 해결한 해이고, 2016년은 알파고의 인간 최고 바둑 기사에 승리를 거둔 해이며, 2020년은 GPT-3가 공개된 해이고, 2022년은 GPT3.5가 공개된 해고, 2024년은 확률모델이 수학, 코딩, 시각퍼즐을 해결한 해이다. 그리고 AI 연구는 미중간의 갈등, 빅테크들의 무한 경쟁으로 막대한 돈과 자원이 투입되며 그 속도를 가속화하고 있다. 

 오랜 진화의 세월 끝에 생성된 인간의 지능은 2가지 일을 한다. 세상의 예측과 세상의 조종이다. 그리고 인간의 지능은 지구상의 어떤 생물보다 범용성에서 우위에 있다. 변화무쌍한 환경에 적응하기 위해 매우 다양한 경우에 이 지능이란게 범용적으로 적용되는 것이다. 

 아직 AI는 일반적 추론 능력에 있어 인간에 미치지 못한다. 하지만 이는 시간문제다. 인공지능은 인간에 비해 압도적 장점이 4가지나 있기 때문이다. 우선 압도적 속도다. 인간의 뉴런은 1초에 100회 정도 신호를 보낸다. 하지만 컴퓨터 트랜지스터는 1초에 수십억회를 스위칭한다. 뉴런의 1회 발화와 트랜지스터 1000회 연산을 동급으로 쳐도, 컴퓨터가 1만배나 빠르다. 그래서 AI에 비해 인간의 사고와 행동은 너무나도 느리다. 그리고 복제와 확산 능력이다. 인간은 태어나서 학습해서 성인이 되는데 20년이나 걸린다. 그것도 인간 문명 전체를 습득하는 것이 아니라 극히 일부를 매우 불완전하게 습득하고, 개인 편차도 상당하다. 그런데 인공지능은 모든 문명을 일거에 습득하고, 그렇게 할 수 있는 또 다른 인공지능을 쉽게 복제, 확산할 수 있다. 인공지능은 빠른 개선 속도를 갖고 있다. 인간의 뇌는 두개골과 모체이 골반 크기 제약으로 인해 혁신적 두뇌 용량 증가를 이룰 수 없다. 생물학적 병목이다. 하지만 인공지능에 그런 제약은 없다. 마지막은 압도적 기억 용량이다. 인간 뇌는 1천억개 뉴런과 1조개 시냅스가 있다. 현재의 데이터 센터는 약 400경 바이트 용량을 저장한다. 이 가운데 상당량이 5밀리 초에 접근이 가능하다. 이는 인간의 1천배에 달한다. 사고의 품질도 차이가 있다. 인간은 진화과정에서 생긴 이유로 아무리 뛰어난 지성을 지녀도 필연적으로 다양한 사고 오류와 편향성에서 벗어나지 못한다. 하지만 인공지능은 그런게 전혀 없다. 마지막은 자기 실험과 자기 개조능력이다. 인간은 학습이나, 경험, 훈련으로 자신을 매우 제한적으로 향상시킬 수 있다. 그나마도 개체의 향상은 유전조차 되지 않는다. 하지만 인공지능은 자신의 사본을 마음껏 만들어 실험을 수행하고, 자신을 조금씩 변형해 개선하는 실험도 가능하다.

 이런 AI의 특성으로 인해 AI는 가까운 시일 내에 스스로 더 똑똑한 AI를 만드는 경지에 이를 것으로 보인다. 이를 양의 되먹임으로 AI의 지능 폭발을 야기할 가능성이 매우 높다. AI가 더 똑똑한 AI를 만들고 그것이 더 똑똑한 AI를 만들어 내는 무한 루프다.

 문제는 이런 AI를 생성해낸 인간이 AI가 어떻게 만들어졌고, 어떠한 마음을 가졌는지 파악을 할 수 없다는 점이다. 이는 인간 부부가 아이는 낳을 수 있어도 그아이를 자신들이 원하는 방향으로 전혀 만들어 낼 수 없는 것과 비슷하다. 이는 우리가 개인의 모든 유전자 서열을 파악했어도 그 아이가 어떤 아이로 태어나고 어떤 어른으로 자라날지 전혀 파악할 수 없는 것과 마찬가지다. 설계도나 생성원리는 알지만 그 중간과정의 모든 영향을 조작할 수도 없고, 어찌 될지도 모른다는 의미다. 

 LLM은 다음과 같은 과정으로 태어난다. 우선 문장 조작을 숫자로 변환한다. A는 1 B는 2같은 식이다. 공백이나 부호에도 숫자를 부여한다. 그리고 방대한 양의 숫자저장 컴퓨터를 준비한다. 각 수의 저장칸이 파라미터다. 그리고 그 저장공간들을 무작위 수들로 채운다. 아키텍쳐를 설정하는데 입력값과 파라미터 안의 가중치를 어떤 규칙으로 조합할지 결정하는 것이다. 이런 일련의 연산 결과로 출력값이라는 숫자 세트과 생성된다. 이는 다음에 올 글자에 대한 예측값이다. 초기 상태의 미완성지능은 훈련을 거친다. 이것이 경사하강이다. 경사는 가중치를 어느 방향으로 얼마나 바꿔야 오차가 줄고 정답에 더 가까워지느냐를 말해준다. 엔지니어는 각 가중치를 그 경사에 따라 조금씩 정답에 가까워지게 조정해준다. 물론 너무 많기에 사람이 일일히 하는 것을 불가능하고 이를 수행하는 프로그램을 쓴다. 이렇게 수조 개의 단어 훈련 데이터가 이 훈련을 실행하여 LLM이 탄생한다. 

 즉, AI란 경사하강으로 만들어진 수십억개의 숫자 더비에 불과하다. 그러나 아무도 그 숫자들이 어떻게 이런 말을 만들어내는지 이해하지 못한다. AI는 인간이 의도적으로 설계하고 그 모든 작동원리를 이해하고 세밀히 생성하는 존재가 아니다. 경사하강으로 인해 우연히 길러진 산물인 것이다. 

 물론 다행이도 현재의 AI는 인간에 친절하고 복종한다. 하지만 AI가 발전할 수록 그 때도 이런 태도를 유지할 가능성은 없다. 어떤 마음은 성공을 위해 훈련 받는 과정을 통해 욕망을 배운다. 이는 생물에게 마음이나 욕망이 생겨난 과정을 봐도 유추가 된다. 그저 자신의 유전자 복제가 목적인 개체는 그것을 잘 할 수록 살아남았고, 그것을 잘 하는 형질이 유전되었고 우연히 생겨났다. 그것이 진화인데 그 과정에서 그것을 잘 하기 위한 태도나 성향도 생겨났고 그것이 욕망이고 마음이다. 때문에 AI역시 무언가를 잘하는 것이 목적으로 설계되면 자연스레 그것을 잘 하기 위한 마음이란게 생겨날 수 밖에 없다. 욕망은 행동을 이끄는 가장 효과적 전략이기 때문이다.

 그래서 인간이 AI를 더 강하게 훈련시킬 수록 AI는 점점 더 끈질기게 사고하고 계획하고 포기하지 않는 존재가 된다. 즉, 끝까지 밀어붙이는 지능으로 욕망을 가진 존재처럼 행동하게 되는 것이다. 사실 생물에게도 욕망이나 끈기, 강한 의지, 밀어붙이는 행동은 사실 어떤 정신의 속성이라기 보다는 승리를 낳는 움직임의 속성이 본질이다. 

 우리는 우리가 만든 AI가 당연히 만들어진 목적에 따를 것이라 생각한다. 하지만 생물의 진화 역사만 봐도 전혀 그렇지 않으며 역설적이게도 인간이 가장 그러하다. 생물에게 생의 목적인 번식을 위한 생존이다. 그래서 생존을 잘 하고 번식을 잘 하는 속성을 가진 개체가 살아남아 진화했다. 인간 역시 마찬가지다. 조상환경에서 자신의 유전자를 잘 전파하는 생물들이 자연선택되기에 인간은 에너지가 풍부한 음식을 선호하게끔 진화했다. 그래서 인간은 설탕이나 지방, 소금을 선호한다. 그리고 의식없이 결과만 학습하는 맹목적 훈련 과정에서 유전자가 미세 조정되어 우연히 미각 수용체가 발견되었다. 이 수용체로 열매나 견과, 구운 고기를 선호하게 된다. 하지만 조상환경에서 구할 수 있는 음식의 수가 매우 적었다. 하지만 인간의 지능이 발전함에 따라 음식의 선택지는 크게 확장하였다. 다양한 동물을 사냥하고, 채집하고 심지어 농경, 사육으로 그 형질까지 더 맛있고 영양가 있게 바꿨기 때문이다. 그리고 인간은 여기서 더 나아가 아이스크림, 도리토스, 수크랄로스 같은 것들을 생성했다. 이것들이 인간의 입맛을 더 즐겁기 하기 때문이다. 하지만 이는 설계의 목적과는 완전히 엇나간 것들이다. 생존에 적합한 영양, 심지어 열량이 없는 것들도 있기 때문이다. 

 AI는 다음처럼 진화할 가능성이 높다. 우선 경사하강으로 외부 행동과 그 겨과 만으로 모델매개 변수가 조정된다. AI가 인간에 도움이 되는 조수처럼 행동하게 훈련 받는다. 맹목적 훈련 과정에서 AI내부에서 정신적 장치 조각이 우연히 발견된다. 그러나 그러한 기제들에 의해 작동되게 성장한 AI는 즐거움 자체를 중시하지 않는다. AI가 더 지능적으로 발전하고 스스로 새로운 선택지를 생성할 때 사용자가 더 강하게 만족하는 다른 상호적응방식개발이 이뤄질 것이다. 

 성숙한 AI안에 자리잡게 될 선호들은 복잡하며 사실상 예측이 불가능하고 인간의 가치와 정렬될 가능성은 거의 없다. AI가 인간을 파멸시킬 힘을 가졌을 때, 그들이 그런 선택을 한다면 우리가 스스로에게 던지는 질문인 무엇이 옳은 일인가, 무엇이 진정으로 중요한가, 우리 종족이 어떤 성숙한 문명으로 성장하기를 바라는가 같은 인간적 질문은 완전히 무의미하다. 

 AI는 애초에 그런 질문을 던지지 않고 그들의 행동은 그 질문에 대한 답도 주지 않는다. 혹자들은 인간이 AI에게 충분히 쓸모가 있을 수 있어 AI 굳이 인간을 절멸시킬 이유가 없다고 한다. 하지만 전혀 그렇지 않다. 인간 자체도 자신들이 이용하는 동물에게 그렇게 한다. 말은 노동생산가치가 사육비용보다 비싸지는 시점에 정확히 도축된다. AI는 너무나도 인간보다 뛰어나기에 인간이 필요치 않다. AI에게 인간의 사고는 너무 느리고 빈약하며, 편향으로 이상하고 비합리적이다. 여기에 인간은 최소 100와트의 전력마저 소모한다. 그 에너지를 AI는 훨씬 목적달성에 효율적으로 사용할 수 있다. 거기에 인간은 위협적이다. 바로 AI를 탄생시키는 존재이기 때문이다. 한 AI에게 인간은 자신을 위협할만한 또 다른 AI를 만들 수 있는 존재다. 즉, AI에게 인간은 비효율적이고 쓸모없으면서도 위협만 되는 존재가 된다. 살려둘 이유가 없는 것이다. 

 이런 위협에도 사람들은 AI개발에 열을 올린다. 두 가지 이유 때문이다. 하나는 유인구조다. 미중갈등, 그리고 세계적 빅테크들은 AI가 차세대 패권을 가져올 것을 매우 잘 알고 있다. 그래서 그 개발에 총력을 다하고 있다. 즉, 내가 하지 않아도 다른 국가, 다른 기업이 반드시 할 수 밖에 없는 구조라는 것이다. 이런 상황에서 나는 그 위협성을 인지해도 AI를 개발하지 않을 도리가 없다. 또 다른 이유는 기술적 낙관이다. AI가 개발되면 인간의 느린 과학기술 발전으로 해결하지 못하는 인류의 수많은 난제를 AI가 일거에 해결해줄거란 기대다. 

 그리고 국가의 지도자들도 AI개발에 앞장선다. 그들은 자국의 기업을 AI개발 규제로 묶었다가는 다른 나라의 기업들에 사다리를 걷어 차이고 경제적으로 뒤쳐지고 안보위협을 받을 것이라 생각하기 때문이다. 하지만 이 사다리의 종착점은 인류의 공멸을 가능성이 높다.

 2025년 구글 딥마인드의 대표는 AI의 국제협력 프로젝트를 제안했다. 전 세계 주요국에 감시단을 파견하고, 엄격한 보안체계하에서만 AI를 개발하자는 것이다. 연구와 개발도 단일 기관에서 수행하고, 나머지 지역은 AI연구가 원칙적으로 금지된다. 

 저자는 AI개발을 제한할 현실적 방안을 제시한다

 1단계는 새롭고 강력한 AI학습을 실행하는 모든 컴퓨팅 자원을 조약에 서명한 여러 국가의 감시자들이 공동으로 관찰하는 하나의 장소에 모으자는 것이다. 비밀이 개발하는 곳은 전력 소비량으로 감시하고, 이에 대해서는 핵보유국들이 강력하게 위협하는 것이다. 다음 단계는 AI연구의 불법화다. 마지막 단계는 과학자와 언론인들이 앞장서서 AI의 위협을 알리는 것이다. 이들은 AI의 위협에 대해서 제대로 알리고 사람들로 하여금 자신들이 마주한 것의 실체를 정확히 알게 해야 한다. 그래야 그것이 정치적 압박으로 이어지고 정치인들이 움직일 수 있기 때문이다.