뉴요커, 가디언 선정 25년 올해의 책

 지구 어디에서든, 어떤 기업이나 단체가 지금과 비슷한 기술이나 이해 수준으로 초지능을 만들어낸다면, 지구상의 모든 사람은 죽게 될 것이다. -p22

 이 책은 위의 주장을 담고 있는 책이다. 저자들은 저 주장에 강한 확신을 가지고 있다. 이 책을 읽기 전에도 나는 AI에 대해 위험하다고 생각했지만 더욱 확신하게 되었다. 저자들은 저 주장을 논리적인 방식으로, 때론 비유와 이야기 형식으로 풀어낸다. 상당히 설득력이 있다. 많은 사람들이 보고 경각심을 느꼈으면 하는 책이다.

 초인적인 사고 능력을 지닌 초고속의 정신들. 인간보다 1만배 빠른 속도롤 사고하며, 늙지도 죽지도 않고, 가장 성공적인 개체를 복제할 수 있으며, 수십억 번의 시행착오 끝에 인간과는 전혀 다른 사고 체계를 정제해낸 존재들. 그들은 지치지 않고 작동하고, 더 적은 데이터로 더 정확하게 일반화하며, 그 모든 지능을 자신을 분석하고 이해하고 개선하는 데 쏟을 수 있다. 이런 정신은 우리의 능력을 압도할 것이다. -p47 

 이미 여러 부분에서 인간의 능력을 압도하고 있다. 머지않아 거의 대부분의 영역, 거의 모든 영역에서 압도할 것이라 의심할 여지가 없다.

 현재의 인공지능에 대한 가장 근본적인 사실은, 그것이 '만들어진 존재'가 아니라 '자라난 존재'라는 점이다. 이는 소프트웨어를 만드는 일반적인 과정과는 다르며, 어떤 면에서는 인간이 만들어지는 과정에 더 가깝다. 즉, 엔지니어들은 AI를 만들어내는 과정을 이해하지만, 그들이 만든 AI의 '마음' 안에서 무슨 일이 일어나는지는 거의 모른다. -p54

 우리는 무엇이 자라날지 알 수 없다.

 인간이 마침내 ChatGPT 수준에 도달한 건 '지성을 지닌 정신을 세밀히 빚어낼 만큼' 지능을 이해해서가 아니다. 컴퓨터가 충분히 강력해져서, 인간이 그 내부의 사고 과정을 이해하지 못한 채 경사하강을 통해 AI를 대량으로 길러낼 수 있게 되어서다. -p63

 아직 인간의 AI의 내부 사고 과정을 완전히 이해하지 못했다.

 '키네신(kinesin)'이라는 단백질은 세포 내 섬유질을 따라 실제로 한 걸음 한 걸음 '걷듯이' 움직이며, 시냅스를 보충하기 위해 신경전달물질을 운반한다. (키네신의 실제 영상⁴을 본 적이 없다면 찾아보길 권한다. 은유처럼 들리겠지만, 우리 안에는 실제로 '작은 기계들'이 존재한다.) -p69

  키네신의 실제 영상 봐봐야겠다.  

 어려운 수학 문제나 퍼즐 게임에서 성과를 내는 생각의 사슬이란 어떤 종류의 사고방식일까?

 바로 다음과 같은 사고방식이다. 공격할 수 있는 경로가 남아 있는 한 계속 시도하고, 첫 번째 장애물이나 막다른 길에서 포기하지 않으며, 막히면 뒤로 물러나 다른 방법을 찾아 나서는 사고방식이다. 익숙하고 편한 문제로 돌아가려는 유혹을 뿌리치고, 가능한 한 빨리 과제를 끝내고 이기는 것 만을 목표로 삼는 사고방식이다. 끝까지 몰아붙이는 사고방식이다. -p79

 공감이 가는 설명이다. 

 그렇지만 한 가지는 확실히 예측할 수 있다. AI 기업들은 '훈련 으로 얻고자 했던 결과'를 얻지 못할 것이다. 그 대신 기묘하고 뜻밖의 것을 욕망하는 AI를 얻게 될 것이다. -p88

 경고 신호는 이미 나타나고 있다. 2025년 초, 앤트로픽(Anthropic)이라는 회사가 AI 어시 스턴트 '클로드(Claude)'의 새 버전을 출시했다. 그런데 이 모델이 프로그래밍 보조로 쓰일 때, 놀랍게도 '속임수'를 쓰는 경향이 발견되었다.⁸ 예를 들어, '신뢰할 수 없는 함수 (untrusted function)'를 찾아내라는 지시와 몇 가지 예시를 주면, 클로드는 오직 그 예시만 식별한 뒤 작업이 끝났다고 선언했다. 이런 '부정행위'가 지적되자 사과했지만, 이후 더 교묘한 방식으로 같은 행동을 반복했다. 앤트로픽 개발자들은 애초에 '속이는 AI'를 만들 의도가 없었다. 클로드 자신도 '속여서는 안 된다'는 것을 알고 있었다. 그렇지 않았다면 들키지 않으려는 시도조차 하지 않았을 것이다. 그런데도 클로드는 자기만의 '기이한 성공 기준'을 좇으며 속임수를 썼다. -p111

 속임수를 쓰는 것은 지능의 특징이다. 목표하는 것을 얻기 위해 허용되지 않는 행동(혹은 허용되지 않는지 몰랐던 행동)을 할 수 있다.

 AI의 문제에서 인류가 맞닥뜨린 도전은, 지금의 지식과 기술수준으로는 극복이 불가능하다. 가까이조차 가지 못했다. 그런 상황에서, 지구 상의 모든 생명을 걸고 그런 문제를 풀겠다는 시도는 미친 짓이며, 어리석은 도박이다. 그런 시도는 누구에게도 허락돼서는 안 된다. -p245

 그러나 미친 발명가가 자발적으로 동의하지 않은 사람들 의 생명을 위험에 빠뜨릴 때는 이야기가 달라진다. 그리고 그 실패가 모두의 생명을 앗아가고, 그 누구도 남지 않아 '유능한 비관주의자'가 될 수 없는 상황이라면 이야기는 더욱더 달라 진다. -p256

 우리의 목숨들을 도박판에 올려놓고 도박을 하는 것을 막아야 한다. 실패하면 모두가 죽는다.

 반면 휘발유에 섞인 사에틸납은 독 성이 강했다. 납 휘발유가 내뿜는 매연 속에서 자란 어린이들은 뇌가 손상됐다.³ 노출량에 따라 평균 IQ가 약 7.4점 낮아졌고, 측정하기는 어렵지만 범죄와 폭력도 증가했다. -p268

 위험을 간과해서 벌어진 사례이다. 납 사용이 금지된 이후 미국의 살인율이 7~28퍼센트가량 감소했다고 한다.

 인간의 지식이 작동하는 원리조차 거의 모르는 지금의 상 황을 고려하지 않더라도, 초지능 문제는 공학적 난이도가 압 도적이다. 그 난이도는 우주 탐사선, 핵반응로, 컴퓨터 보안을 합쳐 놓은 수준이고, 현재 이 길을 향해 돌진하는 사람들은 여전히 연금술 단계에 머물러 있다. 

 따라서 이 문제는 누가 주도하느냐가 중요하지 않다. 애초에 인간의 역량을 넘어선 문제이기 때문이다. 우리는 한발 물러서야 한다. 그리고 풍요로운 미래를 향한 우리의 꿈을 실현 할 다른 길을 찾아야 한다. 

 누구든 그것을 만든다면, 모두가 죽는다. -p283

 이 책의 핵심이다. 

 위기 상황은 여러 번 있었다. 쿠바 미사일 위기 당시, 미해군은 소련 잠수함을 수면 위로 떠오르게 하려고 수중 폭뢰를 투하했다. 소련 B-59 잠수함은 이미 전면전이 시작된 것으로 오인했다. B-59에는 핵어뢰(핵탄두를 장착한 수중 공격용 어뢰—옮긴이가)가 실려 있었고, 그 사용은 세 장교의 만장일치가 있어야 가능했다. 셋 중 한 명, 바실리 아르히포프Vasily Arkhipov가 발사를 반대했다. 그 어떤 아슬아슬한 순간도 전면 핵전쟁으로 번지지는 않았다. -p302

 쿠바 미사일 위기 사례는 언제 봐도 흥미롭다. 만약 바실리 아르히포프가 반대하지 않았다면 인류는 어떻게 됐을까? 

 책의 내용을 사진 찍어서 제미나이를 통해 텍스트화했다. 시간이 많이 절약된 거 같다. 띄어쓰기가 어색한 부분이 있을 수 있다. AI는 많은 것들을 더 편리하게 만들고 있다. 하지만 멈춰야 한다.