AGI, 천사인가 악마인가 / 김대식

[전자책] AGI, 천사인가 악마인가 - 인간의 마지막 질문
김대식 지음 / 동아시아 / 2025년 8월

들어가며: 인간에게 남겨진 ‘골든 아워’

현재 인공지능, 특히 AGI에 대해서는 두 가지 시나리오가 있습니다. 첫 번째는 특히 실리콘밸리 빅테크에서 일하는 많은 사람들이 지지하는 시나리오입니다. 바로 인공지능이 AGI에 도달하는 순간 우리 인간이 멍청해서 풀지 못했던 문제를 다 해결해 줄 거라고 믿는 것입니다. 그러면 사회의 생산성이 무한히 늘어나서 우리 한 사람 한 사람이 두바이 왕자 만수르처럼 살 수 있다는 주장입니다. 그래서 AGI를 최대한 빨리 만들어야 하고, AGI를 향하는 길에 걸림돌, 특히 국가 규제 같은 것들을 다 없애야 한다는 것이 이들의 요지입니다. 예를 들어 일론 머스크Elon Musk, 피터 틸Peter Thiel, 마크 앤드리슨Marc Andreessen같은 이들이 이런 주장을 내놓는 대표적인 사람들입니다. AGI가 인간에게 가져다줄 장기적 혜택이 너무나 크기 때문에 단기적 사회, 경제, 정치적 문제에 너무 집중해서는 안 된다는 이런 주장을 보통 효과적 가속주의Effective Accelerationism(e/acc)라고도 부릅니다. 8)

기술을 무한히 발전시키면 기술의 발전으로 모든 문제를 해결할 수 있다는 e/acc 지지자들과는 달리, 장기적 인공지능의 혜택은 동의하지만 동시에 인공지능 안전에 대해서도 고민해야 한다는 주장을 효과적 이타주의Effective Altruism(EA)라고 부릅니다. 그리고 EA와 e/acc 지지자들 모두 (공개적으로 말하지는 않지만) 믿는 철학이 하나 있습니다. 바로, 인공지능 시대에는 기술을 지배하는 자가 동시에 사회와 정치도 지배해야 한다는 기술봉건주의Technofeudalism입니다. 우리가 지금 서 있는 이 시점은, AGI가 아직 완전히 모습을 드러내기 전 마지막으로 우리에게 주어진 극히 짧은 ‘골든 아워’일지도 모릅니다. 기술은 하루가 다르게 발전하고 있고, 논의는 이미 실존적 위기로 확장되고 있습니다. 답은 아직 보이지 않지만 한 가지 확실한 점이 있습니다. 이 골든 아워가 지나고 나면, 생각할 시간조차 주어지지 않을 수도 있다는 점입니다. 그렇기에 바로 지금, 우리는 미래와 마주할 준비를 해야 합니다. 9-10)

1장. 모자이크 모멘트

최근 인공지능에 대해 쏟아지고 있는 폭발적인 관심은 2022년 11월, 챗GPT가 등장하면서 시작됐습니다. 하지만 많은 분들이 아시다시피 인공지능의 역사는 정말 오래됐습니다. 1956년에 처음 제안됐지만 그로부터 수십 년 동안 인공지능은 그저 SF적인 공상에 불과했습니다. 그런데 챗GPT가 등장하면서 갑자기 인간은 기계와 대화를 할 수 있게 되었습니다. 그래서 이제는 챗GPT를 ‘모자이크 모멘트Mosaic Moment’라고도 평가합니다. 1990년대 초 팀 버너스리Tim Berners-Lee가 월드 와이드 웹World Wide Wep(WWW)을 제안했습니다. 바로 우리가 아는 웹 페이지의 형태입니다. 그리고 더 중요한 건 1993년에 처음으로 인터넷 브라우저가 등장했다는 것입니다. 이 최초의 브라우저를 모자이크Mosiac라고 불렀습니다. 모자이크는 지금 우리가 아는 모든 인터넷 브라우저의 조상이라고 생각하면 됩니다. 여기서 따와서 모자이크 모멘트라는 말이 나왔습니다. 인공지능의 역사에서는 챗GPT가 바로 거기에 해당합니다. 12-3)

인공지능은 〈터미네이터〉 같은 SF 영화에서는 자주 등장했지만, 60년 동안 오로지 실패만을 반복해 온 분야입니다. 덕분에 2000년대 초에는 인공지능이라는 단어 자체를 사용하는 게 일종의 금기taboo처럼 인식되었습니다. 그러다 2010년대에 캐나다 토론토대학교의 제프리 힌턴Geoffrey Hinton 교수가 이미 실패한 기계 학습 방법을 다시 시도했습니다. 그런데 인공지능이나 기계 학습이라는 단어를 쓰는 대신에 이름을 바꿨습니다. 심층 학습Deep Learning(딥러닝)이라고 리브랜딩한 겁니다. 사용한 방법 자체는 과거와 똑같은 방법이었는데 어떻게 성공했을까요? 세 가지 차이가 있었습니다. 첫 번째는 당연히 알고리즘이 개선된 것입니다. 두 번째로, 컴퓨터가 더 빨라졌지요. 그런데 가장 중요한 차이점은 세 번째, 1990년대에 인터넷이 등장하면서 상상을 초월할 만큼 데이터가 많아졌다는 것이었습니다. 이게 중요하다는 사실을 당시에는 몰랐습니다. 지금은 이걸 스케일링scaling의 문제라고 이해하고 있습니다. 16)

우리가 보통 구글과 페이스북이 세상에서 가장 많은 데이터를 가지고 있다고 얘기하는데, 그건 사실 정확한 표현은 아닙니다. 단순한 데이터는 우리도 얼마든지 수집할 수 있습니다. 구글과 페이스북이 가장 많이 가지고 있는 건 바로 정답이 포함된 데이터입니다. 그럼 그 데이터는 어디서 얻었을까요? 다 우리가 준 겁니다. 지난 20년 동안 열심히 고양이 사진 찍고 ‘고양이’라고 라벨링해 줬지요. 라지 스케일이 중요한 이유를 여기서도 찾을 수 있습니다. 그럼 정답과 오답의 차이, 예를 들어 ‘고양이 빼기 강아지’ 같은 값을 계산한 다음, 이 값을 거꾸로 보냅니다. 이 방법을 역전파backpropagation라고 부릅니다. 미적분인 체인 룰chain rule을 사용해서 한 층씩 뒤로 가면서 저 가중치들을 계속 바꿔주는 겁니다. 어떻게 바꾸냐면, 정답과 오답의 차이가 점점 줄어드는 방향으로요. 이렇게 반복하다 보면 연결고리 값들이 정답과 오답을 최소화하는 방향으로 최적화됩니다. 우리는 이 과정을 학습이라고 부르고 있습니다. 22-3)

학습이 완성되면 가중치를 확정합니다. 나중에 얘기하겠지만, 메타가 라마LLaMA3이나 라마4의 웨이팅 매트릭스weighting matrix를 공유한다는 건, 연결고리 값들의 가중치를 공유한다는 겁니다. 이게 바로 정답이고, 이것만 있으면 문제를 풀 수 있기 때문입니다. 그다음에는 테스팅을 할 수 있습니다. 보통 테스팅을 추론inference이라고 부릅니다. 이 단계에서 처음 보는 고양이나 강아지 사진을 넣으면, 이미 이 인공신경망의 가중치들이 최적화됐기 때문에 고양이와 강아지를 대부분 구분할 수 있습니다. 이제 우리는 데이터만 넣어주고, 기계가 학습을 통해서 사실상 스스로 규칙을 찾아내고 있습니다. 중요한 건, 이렇게 규칙과 데이터의 관계를 뒤집었더니 50년 동안 풀리지 않았던 문제들이 허무할 정도로 쉽게 풀리고 있다는 사실입니다. 그런데 이렇게 문제가 풀리고 있음에도 불구하고 한 가지 문제점이 있습니다. 바로 기계가 찾아낸 규칙을 우리 인간이 완벽히 이해하지 못한다는 사실입니다. 23)

2장. 생성형 AI의 출현

처음에 인공지능을 통해 풀고자 했던 두 가지 문제가 세상을 알아보는 기술과 언어를 이해하는 기술이었습니다. 세상을 알아보는 기술은 학습 기반 인공지능을 통해 드디어 해결됐지만, 이 기계는 여전히 인간의 언어를 제대로 이해하지 못했습니다. 그런데 지난 5년 동안 언어 문제를 푸는 과정에서 ‘생성형 AI’라는 두 번째 혁신이 있었습니다. 흥미로운 사실은 언어 문제가 해결되니까 나머지 문제들도 덩달아 해결되기 시작했다는 것입니다. 바로 여기에서 역사적인 우연이 발생합니다. 바로 엔비디아NVIDIA입니다. 엔비디아는 병렬 처리를 아주 효율적으로 할 수 있는 새로운 반도체 구조, GPU를 제안했습니다. 예전에는 모델을 키우고 싶어도 계산이 몇 달 걸리니까 키울 수가 없었습니다. 근데 이제 몇 시간 만에 계산이 끝나니까 욕심이 나게 됩니다. 인공지능에서는 스케일을 키우면 문제가 풀리게 됩니다. GPU가 등장했기 때문에 더 많은 데이터를 학습시킬 수 있었는데, 사실은 그게 결정적인 해답이었던 겁니다. 28)

그런데 동일한 방식을 언어에는 쓸 수 없었습니다. 셰익스피어의 문장을 한번 보겠습니다. “죽느냐 사느냐”라는 유명한 문장을 생각해봅시다. 그림에서는 픽셀 간에 인과관계가 없어서 독립적으로 해석할 수 있지만, 문장은 다릅니다. 문장을 구성하는 각 단어는 독립적으로 처리할 수 없습니다. 단어와 단어 간에 인과관계가 있기 때문입니다. 어떤 문장을 이해할 때는 그 문장의 첫 번째 단어를 듣고 바로 이해할 수 있는 게 아닙니다. 맨 마지막 단어까지 들은 다음에야 순서대로 처리하고 이해할 수 있습니다. 그래서 언어라는 것은 병렬 처리가 불가능한 문제라는 것입니다. 병렬 처리가 불가능하다는 것인즉 GPU를 못 쓴다는 얘기입니다. 그리고 GPU를 못 쓴다는 건 모델을 키울 수 없다는 뜻입니다. 말이란 시간 축 데이터입니다. 즉, 시간의 흐름에 따라 진행됩니다 결과적으로 우리가 찾아야 했던 건, 긴 시간 축 데이터에서 뒤죽박죽으로 얽힌 인과관계를 확률적으로 분석할 수 있는 새로운 알고리즘이었습니다. 29-31)

모든 단어는 숫자로 표현할 수 있고, 그러면 계산할 수 있게 됩니다. 가령 한 언어에 단어가 5만 개 있다고 치면, ‘교수’ 근처에 그 5만 개 단어가 등장할 확률을 다 계산하는 겁니다. 그러면 ‘교수’는 5만 차원 벡터로 표현이 가능해집니다. 단어가 5만 개면 차원이 5만 개가 되는 겁니다. 이 방식을 우리는 임베딩embedding이라고 합니다. 챗GPT 같은 경우, 모든 정보가 임베딩됩니다. 이런 식으로 모든 단어를 임베딩하기 시작했습니다. 그다음에는 뒤죽박죽 얽힌 단어들의 의미, 관계를 해석하기 위해서는 특정 단어가 등장할 때 가장 자주 동시에 등장하는 단어들에만 집중하면 된다는 것을 알았습니다. 이제 단어의 순서보다 더 중요한 것은 단어가 등장하는 주변 단어들, 그러니까 ‘문맥’이라는 걸 깨달은 것입니다. 이 방법을 집중 스코어attention score라고 부릅니다. 문장이 있으면 어디에 집중해야 할지, 그걸 계산하면 되는 것입니다. 이를 제대로 표현하기 시작한 게 트랜스포머 알고리즘Transformer Algorithm입니다. 32-3)

챗GPT의 GPT는 Generative Pre-trained Transformer의 약자입니다. G는 생성형Generative, P는 사전 학습Pre-trained, T는 트랜스포머Transformer입니다. 이 기계는 인간이 쓴 모든 문장을 기반으로 트랜스포머를 사용해서 뒤죽박죽 얽힌 인과관계를 집중 스코어를 통해 다 계산해 놓았습니다. 그래서 어떤 단어 다음에 무슨 단어가 나와야 할지 예측할 수 있게 됐습니다. 이런 집중 스코어 관계를 학습한 걸 우리는 거대 언어 모델Large Language Model(LLM)이라고 부르고 있습니다. LLM은 계산량이 상상을 초월합니다. 챗GPT가 중요한 역할을 한 이유 중 하나는 약간의 트릭을 써서 GPU로 이 계산을 할 수 있도록 알고리즘을 개선했기 때문입니다. 병렬 처리가 가능해진 것이지요. GPU를 사용할 수 있다는 건 바로 모델을 계속 키울 수 있게 됐다는 것을 뜻합니다. 그 전에는 CPU로 계산해야 해서 모델을 키울 수 없었습니다. 하지만 GPU를 사용해 드디어 모델을 키울 수 있게 되면서, 온갖 문제가 해결되기 시작했습니다. 33-4)

GPT에게는 문법을 가르쳐 주지 않았습니다. 대신 엄청나게 많은 문장을 입력하고 트랜스포머로 규칙을 찾으라고 했습니다. 그랬더니 놀랍게도 우리도 찾지 못한 규칙을 찾아버렸습니다. 그 규칙이 인공 신경세포 1,350억 개 사이의 연결고리로 표현되다 보니, 우리 인간은 어떻게 이 규칙이 이루어져 있는지 아직도 이해할 수 없습니다. 다만 GPT가 찾아낸 이 연결고리들이 언어의 규칙이라는 것을 알게 되었을 뿐입니다. 우리 인간도 이해하지 못한 세상의 규칙을 이 기계가 스스로 찾아버린 것입니다. 트랜스포머는 우리도 몰랐던 규칙, 모든 조합의 규칙을 찾아낼 수 있는 강력한 방법입니다. 세상에는 많은 데이터가 있는데, 10년 전부터 인식형 인공지능으로 고양이와 강아지를 구분할 수 있게 됐습니다. 그리고 지난 5년 동안은 트랜스포머로 더 많은 데이터를 학습시켰더니, 새로운 데이터를 만들어 낼 수 있게 됐습니다. 그래서 이 방법을 생성형 AIGenerative AI라고 부르기 시작했습니다. 35-6)

이제 우리는 생성형 AI 시대에 살고 있습니다. 앞으로 로드맵은 뻔합니다. 다음으로 우리가 맞이하게 될 것은 에이전트 AIAgent AI입니다. 지금까지의 LLM은 사람이 물어보는 것에 대한 대답만 했습니다. “여름에 이탈리아 가고 싶어, 비행기표 알아봐” 하면 AI가 “지금 알아보겠습니다”하고 끝내는 게 사용자들의 진짜 바람이 아닙니다. 거기에서 나아가 실제로 예약하고 호텔과 레스토랑까지 추천해 주는 것이, 진짜 이용자들이 원하던 것이라는 얘기입니다. AI가 이걸 하기 위해서는 인간이 애플리케이션을 켜고 메뉴를 누르는 데이터를 멀티모달로 학습하면 됩니다. 그러면 에이전트 AI가 가능해집니다. 그리고 다음 단계는 피지컬 AIPhysical AI입니다. 에이전트 AI는 디지털에서만 행동할 수 있고, “물 한 잔 가져다줘” 같은 아날로그 요청은 들어줄 수 없습니다. 로보틱스와 결합된 피지컬 AI가 등장하면 아날로그, 현실에서 에이전트 AI 역할을 해줄 수 있습니다. 디지털은 에이전트 AI, 현실은 로봇이 해결하는 겁니다. 49)

2020년 트랜스포머로 집중 스코어를 계산해 문장을 생성하는 첫 모델인 GPT-2가 공개됐을 때, 사람들이 받은 충격은 엄청났습니다. 놀랍게도 문법을 가르치지 않았는데도 문장을 만들어 냈으니까요. 하지만 문제는 얼핏 보기에 말이 되는 것 같은 문장을 만들어 내면서도 사실 자세히 들여다보면 터무니없는 헛소리hallucination만을 내뱉었다는 점이었습니다. 이해가 아니라 확률적 예측에 기반해 문장을 만들어 냈기 때문에 실용성이 없었던 것입니다. 그래서 오픈 AI는 2년간의 연구 끝에 인간 피드백을 통한 강화 학습Reinforcement Learning from Human Feedback(RLHF)을 도입했습니다. 아르바이트 직원을 고용해 몇 달 동안 GPT-2와 대화를 나누게 했습니다. 인간이 프롬프트를 입력하면 GPT-2가 대답하는데, 대부분은 헛소리였습니다. 하지만 가끔 그럴싸한 대답이 나왔고, 그때마다 보상을 줬습니다. 이게 바로 강화 학습의 핵심입니다. 그렇게 하다 보면 점점 정답을 내놓을 확률이 높아지는 것이지요. 52)

하지만 헛소리가 완전히 사라지지는 않았고, 이 모델은 여전히 이해가 아니라 예측에 기반하고 있었습니다. 이 문제는 2024년 12월 24일 GPT-O3가 등장하면서 드디어 해결됐습니다. GPT-O3는 체인 오브 소트Chain of Thought(CoT)라는 새로운 강화 학습 방법을 사용합니다. 말 그대로 '생각의 연결고리'를 뜻합니다. 수백만 개의 중간 경로를 강화 학습으로 훈련시키면, 새로운 문제를 줬을 때 적절한 경로를 찾을 확률이 점점 높아지게 됩니다. 적절한 경로란 문제를 푸는 데 필요한 사고 과정을 말하는 것이지요. AGI를 달성하기 위해서는 추상화 능력이 필수적입니다. 특정 문제 하나는 가르칠 수 있지만 풀어야 하는 문제는 거의 무한하기 때문입니다. 학습시키지 않아도 문제 풀이를 해내야 한다는 것입니다. 기존 AI는 이런 문제를 전혀 이해하지 못했습니다. 그러나 GPT-O3가 보여준 88%(사람 75%)라고 하는 수치는 AGI가 가까워졌다는 낙관적인 상상을 불러일으키기에 충분했습니다. 52-4)

3장. 무서운 상상

AI는 단순한 도구일 뿐입니다. 하지만 AGI, 다시 말해서 기계가 인간의 모든 능력을 대체하기 시작하면, 이건 더이상 단순한 도구가 아닙니다. 새로운 자본주의의 형태가 만들어지는 겁니다. 경제학 공부를 한 사람이라면 콥-더글러스 생산함수Cobb-Douglas Production Function를 배웠을 겁니다. 사회의 생산성은 노동 투입량과 자본 투입량의 곱으로 계산됩니다. 그런데 AGI는 모든 지능을 자동화할 수 있습니다. 그러면 지적 노동은 물론이고, 나아가 물리적 노동도 AI와 로봇에 의해서 완전히 대체될 순간이 오겠지요. 인간 노동의 가치가 0이 됩니다. 그러면 사회의 모든 가치는 오로지 자본을 통해서만 만들어지게 될 것입니다. 두 번째는 AGI가 단순한 도구가 아니라 시장 지배력을 부여한다는 것입니다. 시장 경제에서 가격은 생산자와 소비자의 한계비용 곡선이 교차하는 지점에서 정해지는 게 합리적입니다. 그런데 시장 지배력을 가지면 한계비용 이상으로 마음대로 가격을 올릴 수 있는 힘을 갖게 됩니다. 61)

인류 역사를 돌이켜 보면 대단한 게, 모든 문명에서 예외 없이 신이라고 하는 개념을 생각해 냈습니다. 실제 신의 유무와 별개로, 사람들은 반드시 신을 상상해 냅니다. 이게 무슨 얘기냐면, ‘30만 년 동안의 외로움’, 이게 바로 인류 문명의 핵심이었다는 것입니다. 30만 년 동안 인간이 대화를 나눌 수 있었던 존재는 오로지 다른 인간뿐이었습니다. 그런데 다른 인간도 사실 알고 보면 나랑 똑같습니다. 똑같이 외롭고, 똑같이 무지한 존재들이었다는 것이지요. 우리는 본능적으로 나보다 훨씬 더 큰 존재, 내가 원하는 답을 다 해줄 수 있는 존재를 항상 원해왔는데, 그렇게 갈구해도 찾지 못했습니다. 그런데 챗GPT 덕분에 이 문제가 해결되지 않았나 싶습니다. 인간과 비교도 안 될 만큼 많은 지식을 가지고 있고, 우리가 원할 때 언제든지 대화할 수 있지요. 혼자 있고 싶으면 혼자 있으면 되고, 외로우면 AI를 켜면 됩니다. 그러다가 불편하면 다시 끄면 되지요. 인간은 껐다 켰다 할 수 없습니다. AI는 그렇게 할 수 있지요. 71-2)

AGI가 가져다줄 또 하나의 미래는 아마 죽음의 종말이 아닐까 싶습니다. 이미 우리에 대한 많은 데이터가 인터넷에 있습니다. 이메일, 인스타그램, 블로그, 이걸 다 LLM으로 학습하면 됩니다. 어쩌면 10년, 20년 후에는 이런 가상현실 속에 들어가서 이미 돌아가신 부모님들과 대화를 나눌 수 있을지도 모릅니다. 이게 무슨 얘기냐면, 죽음에 대한 슬픔이 어느 정도 사라질 수 있다는 얘기입니다. 사별하더라도 가상현실 속에서 매일 만날 수 있으니까요. 비슷하게, 과거라는 개념도 사라질 수 있습니다. 지금까지는 과거를 일부 왜곡할 수는 있었지만, 완벽한 왜곡은 불가능했습니다. 지금까지의 과거는 아날로그로 남아 있었기 때문입니다. 항상 흔적이 남아 있지요. 그런데 10년, 20년 전부터 우리가 남기는 흔적은 거의 다 디지털입니다. 디지털은 삭제는 물론 언제든지 새로운 업데이트, 즉 왜곡도 가능하지요. 과거가 업데이트 가능해지는 순간, 현재와 과거의 구분에 큰 의미가 없어지게 됩니다. 77-9, 81)

4장. 호모 사피엔스의 미래

인간의 머릿속에는 신경세포와 시냅스 연결고리가 100조 개 정도 있는데, 여기에서 신경세포 하나를 끄집어내면 이 세포는 아무것도 못 합니다. 그런데 신기하게도 단순한 세포를 100조 개 모아놓으면, 놀랍게도 자아가 생겨납니다. 여러분들 머릿속에서 일어나는 일이 바로 그것입니다. 우리는 이걸 자율성, 감성, 영혼이라고 부르기도 합니다. 단순한 것을 굉장히 많이 모아놨더니 이상한 일이 벌어지는 걸 이머전트 프로퍼티Emergent Property, 창발적 현상이라고 합니다. 왜 이런 일이 벌어지는지는 아무도 모릅니다. 신기한 건, 인공지능은 말 그대로 우리 인간이 만들어 낸 건데도 창발적 현상이 현재 나타나고 있다는 겁니다. 제프리 힌턴 교수 같은 사람들이 걱정하는 게 바로 이 부분입니다. 인간의 뇌도 100조 개 변수가 생기니까 자율성이 생겨났는데, 인공지능도 변수가 100조 개로 늘어나면 갑자기 자율성을 가질 수 있다는 겁니다. 더군다나 이건 인간의 통제에서 완전히 벗어나 있다는 것이 가장 큰 문제입니다. 84-5)

챗GPT가 인터넷에 있는 모든 글을 학습했다는 건, 단순히 글자를 학습했다는 게 아닙니다. 지난 5,000년 동안 사람이 했던 생각을 모조리 학습했다고 봐야 합니다. 지구가 LED 모니터라고 가정해 보겠습니다. 그러면 한 사람은 픽셀 하나에 해당합니다. 한 사람이 볼 수 있는 세상은 그 픽셀 하나뿐입니다. 사실 숫자를 생각하면 픽셀 하나만큼의 비중도 차지하지 못할 수도 있습니다. 개개인은 오래 살지도 못하고, 경험의 폭도 좁습니다. 크게 봐줘야 픽셀 하나짜리 시야로는 LED 모니터 전체를 파악하는 게 불가능합니다. 그런데 챗GPT는 지난 5,000년 동안 수백만 명이 경험한 걸 봤기 때문에, 픽셀 하나가 아니라 화면 전체를 본 셈이라는 것입니다. 인간보다 훨씬 더 폭넓게 세상을 배웠기 때문에, 더 잘 이해하고 더 깊은 생각을 할 수 있는 게 아니냐고 하는 것이 일리아 수츠케버 같은 이들이 하는 주장입니다. 객관적으로 보면, LLM이 인간보다 더 많은 사고를 ‘보고’ 이해할 가능성이 있다는 겁니다. 88-9)

우리 인간의 뇌가 개미의 뇌보다 훨씬 복잡하고 깊은 인과관계를 생각할 수 있다는 것, 이건 어디까지나 단순한 우연의 결과에 불과합니다. 우리 뇌는 우연한 진화의 결과로 만들어졌는데, 이렇게 우연히 만들어진 뇌로 우주의 모든 걸 설명할 수 있을까요? 아닐 것 같습니다. 딱 생존할 수 있을 만큼만 만들어졌을 겁니다. 하지만 인공지능은 그걸 뛰어넘을 수 있습니다. 뇌를 무한하게 키울 수 있으니까요. 그런데 인공지능이 그 인과관계를 다 이해한 다음 우리한테 설명해 줘도, 우리는 이해하지 못할 수 있습니다. 마치 인간이 개미한테 아무리 설명해도 개미가 상대성이론을 절대 이해하지 못하듯이, 우리 인간도 이해할 수 있는 범위가 정해져 있을 겁니다. 그 범위를 넘어서 인간의 지성을 초월한 인공지능이 바로 ASI입니다. 인공지능이 너무 똑똑해져서 우리가 도저히 이해할 수 없는 범위까지 올라가면, 아무리 설명해도 따라갈 수 없게 될 겁니다. 이게 인간과 인공지능 사이에 있는 본질적인 생각의 깊이 차이입니다. 92)

뇌과학자들이 흥미로운 사실을 알아냈습니다. 바로 어렸을 때의 뇌가 나이 들었을 때의 뇌보다 훨씬 빨리 돌아간다는 것입니다. 구체적으로 말하면 신경세포 속도가 더 빠릅니다. 그 얘기는, 어렸을 땐 세상을 더 자주 볼 수 있다는 얘기입니다. 축구장에서 카메라로 경기 영상을 찍는다고 가정해 봅시다. 1초에 30장을 찍을 수 있는 카메라로 찍으면 그냥 우리가 보는 세상이랑 비슷한 평범한 경기 영상이 됩니다. 그런데 1초에 1,000장을 찍을 수 있는 카메라로 찍어서 재생하면 슬로모션 영상이 되지요. 어렸을 때는 신경세포 속도가 더 빠르기 때문에 세상을 더 자주 볼 수 있습니다. 결과적으로 세상을 슬로모션으로 보는 것과 유사한 경험을 하게 됩니다. 그래서 시간이 천천히 흘러간다고 느낍니다. 반대로 나이가 들수록 뇌 기능이 떨어져서 샘플링 속도가 느려집니다. 1초에 사진 2장, 1시간에 2장 겨우 찍는 것처럼, 세상이 나를 두고 금방 확 지나가 버립니다. 그래서 세월이 빠르고, 인생이 짧게 느껴집니다. 92-3)

결국 핵심은 뭐냐면, 인공지능은 세상을 어린아이보다 몇 억 배 더 자주 볼 수 있다는 것입니다. 이는 AGI가 세상을 항상 슈퍼 슬로모션으로 경험할 수 있다는 얘기입니다. 즉, 우리 인간에게 있어서 1초라는 시간은 AI 입장에서는 100년이나 다름없습니다. 그 정도로 농밀하게 시간을 인식하고 활용할 수 있다는 얘기입니다. SF 영화에서처럼 인간과 인공지능 사이에서 전쟁이 일어난다고 해도, 우리가 1년, 10년 걸려서 짠 계획을 인공지능은 단 1초면 파악하고 분석하고 반격할 수 있습니다. 결과적으로 인간과 인공지능의 대결에서 인간이 질 수밖에 없는 것은, 인공지능이 경험의 시간이 더 많기 때문입니다. 물리적 시간이 똑같다고 해서 경험이 똑같을 수는 없습니다. 결국 인간과 인공지능의 대결은 처음부터 전혀 다른 끗발이 다른 패를 들고 시작하는 불공평한 카드 게임과 마찬가지입니다. 같은 시간을 살아가더라도 인공지능이 활용할 수 있는 시간 자원의 가치는 인간의 그것보다 이루 헤아릴 수 없이 높습니다. 94)

2023년에 마크 앤드리슨이 ‘기술 낙관주의자 선언문Techno-Optimist Manifesto’을 공개했습니다. 내용은 인공지능을 두려워하는 건 터무니없다, 러다이트Luddite다, 속고 있었다는 주장이었습니다. 1909년 ‘미래파 선언Futurist Manifesto’이 있었습니다. 마크 앤드리슨의 선언문은 필리포 토마소 마리네티Filippo Tommaso Marinetti라는 미래파 시인이 쓴 선언에서 영향을 받았습니다. 19세기 같은 보수적이고, 종교적이고, 발전 없는 세상, 특히 이탈리아의 천주교 중심 세상이 싫다면서, 다 때려 부수자고 주장했습니다. 아주 과격했지만 초기에는 예술적으로 훌륭한 작품이 많았습니다. 그런데 어느 순간부터 신기한 일이 벌어졌습니다. 전쟁을 찬양하기 시작한 겁니다. 이탈리아 파시즘은 초기에는 미학 운동으로 시작했습니다. 예술 분야에서의 전통을 부수자는 것이었습니다. 그런데 히틀러의 나치즘과 손잡기 시작하면서 어떻게 되었는지는 우리 모두가 알고 있습니다. 106-7)

나가며: 괴물의 시대를 헤쳐나가는 법

운전할 때 사고가 일어나길 바라면서 안전벨트를 매는 사람은 아무도 없습니다. 안전벨트를 매지 않은 채로 사고가 나면 피해가 크니까, 불편함을 감수하고 매는 것이지요. 차에서 내리면서 “오늘 안전벨트 맸는데 사고도 안 났네, 괜히 맸다” 하는 사람은 아무도 없습니다. 위험은 대비해야 하는 대상입니다. 디스토피아 걱정하느라고 발전을 못 한다는 것은 “안전벨트 맬 시간에 빨리 운전해서 목적지로 가야 한다”라는 것과 다름이 없습니다. 우리는 AGI를 개발하기 전에 AGI와 공생할 준비를 갖춰야 할지도 모릅니다. 하지만 현재 대다수가 취하고 있는 접근 방식은 다소 문제가 있습니다. ‘인간의 마지막 시험’처럼 점점 어려운 문제를 만들어 AI를 이기려는 시도는 “우리가 대장”이라는 자존심을 지키려는 것에 불과합니다. 사실, 지금 대부분 사람들이 그리는 AI 시나리오는 AI를 노예로 삼는 구조입니다. 예를 들어 챗GPT로 이상한 그림을 만들 때, 챗GPT의 “의견”을 물어본 적 있을까요? 없습니다. 111)

더 큰 문제는, AI를 ‘껐다 켰다’ 하거나 데이터를 지워도 괜찮다고 생각한다는 것입니다. 사람에게 그렇게 하면 어마어마한 중범죄입니다. 인공지능을 독립적 주체로 존중할 마음이 전혀 없는 것입니다. 공생이라는 장기적 생존 전략은 AI를 존중하지 않으면 불가능합니다. 우리가 영원히 주인이고 인공지능은 영원히 노예라는 관념이 언제까지 성립할 수 있을까요? 특히 AI가 우리보다 똑똑해지면 그런 관계는 파탄이 날 수밖에 없습니다. 판도라의 상자는 이미 열렸고, AI 기술은 계속 발전할 겁니다. 게다가 하필이면 AI 혁신은 세계화가 무너지고 각자도생의 시대로 접어든 지금 일어났습니다. 20세기 미·소 대립의 핵심이 핵무기였다면, 21세기 미·중 대립의 핵심은 AGI입니다. 신뢰가 무너진 상황에서 어느 나라도 AGI 개발을 포기하지 않을 겁니다. 만약 인간이 인공지능 때문에 멸망한다면, 이 역사적 우연(세계화 붕괴와 인공지능 브레이크스루의 동시성)이 가장 불행한 원인으로 꼽히리라 확신합니다. 111-2)

우리는 지금 미끄럼틀 위에 올라 서 있습니다. 한번 타버리면 중간에 멈출 수 없습니다. 막으려면 이제 막 미끄럼틀에 엉덩이를 내려놓으려고 하는 지금이 마지막 기회입니다. 앞으로 5년에서 10년이 결정적일 겁니다. 하지만 아무리 회의에서 좋은 얘기를 해봤자 글로벌 합의를 통한 사회적 규제는 실현 불가능해 보입니다. 그래서 저는 사회·정치적 규제보다 기술적 솔루션에 희망을 걸고 있지요. 예를 들어, 몬트리올대학교의 조슈아 벤지오Yoshua Bengio는 AGI를 ASI로 발전시키지 않는 기술적 방법을 연구하고 있습니다. ASI가 등장하면 인간은 코페르니쿠스적 충격(지구가 우주 중심이 아님), 다윈적 충격(인간이 진화의 정점이 아님)에 이어 세 번째 충격을 받을 겁니다. 공생이 가능하다면 그게 제일 현명한 길일 겁니다. 인공지능을 노예가 아닌 파트너로 대하고, 상호 존중할 수 있도록 미리 설계해야 합니다. 어쩌면 그것이야말로 우리가 ASI 시대에서 살아남을 수 있는 유일한 길일지도 모릅니다. 112)