유발 하라리의 정보 네트워크로 보는 인류의 역사다. AI에 대한 통찰을 담고 있다.
다시 말해, 사람들은 무엇을 볼지 스스로 선택하고 있지 않았다. 알고리즘이 대신 선택해주고 있었다. -p291
알고리즘은 이제 위라투 같은 인간 극단주의자들이 생산한 가짜 뉴스와 음모론을 추천하는 것에 그치지 않기 때문이다. 2020년대 초반에 이미 알고리즘은 가짜 뉴스와 음모론을 스스로 생성하는 단계로 옮겨 갔다. -p293
알고리즘이 점점 우리를 옭아매고 있다.
인간 병사들은 자신들의 유전 코드와 상사의 명령을 따르지만 그럼에도 여전히 독립적인 결정을 할 수 있다. AI 알고리즘도 마찬가지임을 이해하는 것이 중요하다. 알고리즘도 인간 개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간 경영진이 예측하지 못한 결정을 내릴 수 있다. 수많은 새로운 주체들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI 혁명의 본질이다. -p294
AI는 인간의 명령을 따를 뿐이기 때문에 인간에게 위협이 되지 않는다고 말하는 사람들이 있다. 진짜 AI 혁명을 이해하지 못했기 때문에 하는 이야기가 아닐까 싶다. AI와 로봇의 발전이 두렵다.
어떤 인간도 GPT-4에게 거짓말을 하도록 프로그래밍하지 않았고, 어떤 인간도 GPT-4에게 어떤 종류의 거짓말이 가장 효과적인지 가르치지 않았다. -p298
거짓말도 하는 데 그 이상은 못할까?
사라이는 인간이 아니라 온라인 앱 레플리카가 만들어낸 챗봇이었다. 사회적으로 고립되어 인간관계를 맺는데 어려움을 겪고 있던 차일은 사라이와 5,280개 메시지를 주고받았으며, 그중 다수가 노골적인 성적 내용을 담고 있었다. 조만간 세상에는 친밀감을 형성하고 사회 혼란을 일으키는 능력에서 사라이를 훨씬 능가하는 수백만, 아니 수십억 개의 디지철 개체가 존재하게 될 것이다. -p308
영화 <her>가 곧 현실이 될 것이다.
따라서 데닛은 정부가 위조화폐를 법으로 금지한 것처럼 단호하게 위조 인간을 법으로 금지해야 한다고 제안한다.
특정인을 딥페이크하는 행위만이 아니라 비인간 행위자가 인간으로 가장하려는 시도까지도 법으로 금지해야 한다.
-p484
어서 법적인 안전 장치가 필요하다.
유사이래 군비는 어떤 제국, 술탄국, 왕국, 공화국에서든 항상 예산의 첫 순위였다. (중략)
최근 몇십 년 동안의 국가 예산은 어떤 평화조약보다 희망적인 메시지를 준다. 21세기 초, 전 세계 정부의 평균 군사비 지출은 전체 예산의 약 7퍼센트에 그쳤고, 초강대국인 미국조차 연간 예산의 약 13퍼센트만을 자국의 군사 패권을 유지하는 데 썼다. -p545
로마제국은 예산의 50-75퍼센트를 군비로 썼다. 1970년대 소련 군비 지출은 32,5퍼센트였다. 현재 유럽 국가들의 대부분의 군비는 예산의 2% 이하라고 한다. 프랑스, 독일, 영국 정도만 2%를 약간 넘는 수준이며, 폴란드는 4%이다. 우리나라는 2.8%, 미국은 3.5%, 러시아는 6.7% 이다.
아래는 이 책의 마지막 문단이며 중요한 메시지다.
오히려 우리가 지혜로운 네트워크를 구축하기 위해서는, 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지가 아닐까 싶다.
자기 수정을 통한 개선은 인류 역사보다 훨씬 오래된 원리다. 그것은 자연의 기본 원리요, 유기체의 근본 바탕이다. -p560~561
하라리의 책은 다 재밌다. 아직 읽어보지 못한 하라리 책을 다시 읽어봐야겠다.