그 후 AI가 급속도로 발전하자, 우리는 점점 더 우려됐다.
새롭게 등장한 창업자들이 초지능을 거의 신적인 ‘능력의 원천‘으로 묘사하는 것을 보았기 때문이다. 그들은 자신들이 그힘을 통제할 수 있다고 믿었다. 많은 창업자에게 가장 큰 위험은 ‘잘못된 사람‘이 그 능력을 가지는 것이었다. 그래서 그들은
‘AI 패권 경쟁‘에서 이겨야 한다고 주장했다. 그러나 정작 "우리가 AI를 가지는 게 아니라, AI가 우리를 가진다면?", "AI 경쟁의 진짜 승자가 AI 그 자체라면?" 같은 질문에는 아무도 답하지 않았다.
우리는 AI의 성능이 믿을 수 없을 만큼 빠르게 성장하고 있음을 보았다.
반면 우리가 속한 ‘AI가 잘못되지 않게 만드는 방법을 연구하는 분야는 매우 느리게 진전되고 있었다.- P21
지구 어디에서든, 어떤 기업이나 단체가 지금과 비슷한 기술이나 이해 수준으로 초지능을 만들어낸다면, 지구상의 모든 사람은 죽게 될 것이다.
우리는 이 말을 과장으로 하는 것이 아니다. 효과를 노린 수사도 아니다. 현재 인공지능을 둘러싼 지식, 증거, 제도적 행태를 그대로 연장해보면, 그렇게 되는 것이 가장 직접적인 결론이라고 믿는다.
이 책에서 우리는 그 이유를 체계적으로 설명할 것이다.
그리고 충분히 많은 의사결정자와 일반 시민이 인공지능 문제를 진지하게 받아들이도록 설득하려 한다. 현재의 궤적은 치명적이지만, 아직 희망은 있다. 기계 초지능은 아직 존재하지 않으며, 그 탄생은 여전히 막을 수 있다.- P22
처음에는 인류가 초인적 AI로 인해 멸종할 것이라는 주장이 쉽게 받아들여지지 않을지도 모른다. 이 책의 나머지 부분은 바로 그 점을 설명하기 위한 것이다. 복권 당첨 확률을 계산하려면 간단한 산수가 필요하고, 얼음이 예측 가능하게 녹는 이유를 설명하려면 열역학의 개념이 필요하듯, 인공지능이 인류에게 임박한 멸종 위험을 안기는 이유를 이해하기 위해서도 약간의 배경지식이 필요하다. 그 기반이 갖춰지고 나면, 현재 인류가 걷고 있는 궤적의 결말이 끔찍할 정도로 그리고 두려울 만큼 명확히 보인다.- P25
인간은 자신의 지능으로 미래를 조종할 능력을 지녔다. 그능력은 사용할 때만 작동한다. 우리가 해야 할 일을, 필요한 순간에 실제로 할 때만 말이다. 지능은 그 자체로는 힘이 없다. 우리의 행동을 바꿀 때에만 그것은 진짜 힘이 된다.- P28
인간의 지능은 모든 힘의 근원이다. 우리의 기술도 그 지능에서 나왔다. 같은 인류 내에서도 특정 집단이 기술적 우위를 조금 더 오래 점하기만 해도 전쟁의 결과는 ‘우리는 총을 가졌고, 그들은 없다‘로 갈린다. 종 사이에서는 그 격차가 더 극명하다. 개별 침팬지가 인간을 죽일 수는 있지만, 인류가 침팬지의 멸종을 막기 위해 보호구역을 만드는 데는 이유가 있다.
지금까지 인류의 특별한 능력에는 경쟁자가 없었다. 하지만 그 능력에서조차 우리를 앞서는 기계의 정신이 등장한다면?- P51
이렇게 경사하강을 통해 수천억 개의 가중치를 반복적으로 미세 조정해 인간 언어와 거의 구분되지 않는 예측을 내놓는 모델이 바로 거대 언어모델large language model, LLM이다. 그중에서도 기초단계의 모델을 베이스 모델base model이라 부른다.
이 베이스 모델을 ChatGPT 같은 ‘도움이 되는 LLM‘으로 발전시키려면 한 단계가 더 필요하다. 즉, 다음과 같은 형식의 데이터를 이용해 또 한 번의 경사하강을 수행한다.
사용자 스페인의 수도는 어디인가요?
AI 마드리드입니다.
이 단계의 목적은 LLM에게 ‘스페인의 수도가 마드리드‘라는 사실을 가르치려는 게 아니다. LLM은 이미 인터넷 대부분의 자료를 훈련하여 그 사실을 알고 있다. 진짜 목적은 LLM이
‘AI‘ 뒤에 이어질 텍스트를 도움이 되는 대답으로 채우게 하는 것이다. 예컨대 "왜 그런 걸 나한테 물어? 직접 검색해봐"
같은 현실적인 인간 반응 대신, 상냥하고 유용한 답변을 내놓도록 미세 조정하는 것이다.- P59
익숙하고 편한 문제로 돌아가려는 유혹을 뿌리치고, 가능한 한 빨리 과제를 끝내고 이기는 것만을 목표로 삼는 사고방식이다.
끝까지 몰아붙이는 사고방식이다.
이런 사고방식에는 하나의 깊은 중심 패턴이 존재한다. 그패턴은 다양한 문제의 수많은 해법에서 반복적으로 발견된다. 환경의 구조를 모델링하고, 그 모델을 이용해 조종하며, 예상 밖의 사건에 주의를 기울이고 그 원인을 추적하고, 역경 속에서도 계속 나아가는 것이다. 이러한 전략은 수학 문제 해결에도, 컴퓨터 보안 문제 해결에도 모두 유용하다.
AI를 ‘기르는 사람‘이 점점 더 어려운 문제들, 심지어 이전에 한 번도 접한 적 없는 문제들까지 풀어내라고 요구할수록,
경사하강으로 이런 사고의 움직임은 점점 강화된다. 그 결과AI는 점점 더 끈질기게 사고하고 계획하고 포기하지 않는 존재 즉, 끝까지 밀어붙이는 지능, 욕망을 가진 것처럼 행동하는 지능으로 진화한다.- P80
