피드백을 검토해 너무 늦기 전에 되돌릴 수 있다. 그러나 최종 목표에 이를 때까지 기계가 피드백으로 점검받게 되어 있지 않다면 파국의 가능성은 크게 증가한다. … 공학 기술이 인간의 목적 달성을 가능케 할수록 인간의 목적을 공식화하는 것에도 점점 더 익숙해져야 한다.
― 노버트 위너Norber Wiener (수학자, 철학자, 컴퓨터과학자, 사이버네틱스 창시자) <신 & 골렘 주식회사> 중에서
많은 이들이 AI의 발전에 놀라움과 두려움을 함께 느끼고 있습니다. 심지어 AI를 개발하는 엔지니어들조차 심각성을 느끼며 개발 중단이나 지연을 주장하고 있습니다. 물론 빅테크 사업주들의 경우 ‘사다리 걷어차기’ 전략의 일환으로 감속을 주장하기도 합니다.
그럼에도 불구하고 AI 분야의 노벨상 수상자들조차 AI의 위험에 대해 경고하고 있고, AI 분야의 3대 구루 중 한 명으로 꼽히는 제프리 힌튼의 경우는 AI 개발을 후회한다고까지 언급한 바 있습니다. 향후 상황이 어떻게 전개될지에 대해서 여러 시나리오들이 제시되고 있습니다만, 인간 통제를 벗어난—인간의 가치와 조화/정렬되지 않은—AI는 인류의 멸절을 초래할 수 있다고 경고하는 상황입니다.
우리는 글로벌 시민으로서 AI 개발과 인류사적 의미에 대한 이해를 깊게 하고 앞으로 취해야 할 행동을 함께 모색해볼 필요가 있다고 봅니다. 관심 있는 분들의 참여를 환영합니다 :)
신 & 골렘 주식회사:
사이버네틱스가 [윤리 및] 종교를 침범하는 특정 측면에 관한 논쟁
― 노버트 위너
*전미도서상(1965)
AI, 신의 탄생 인간의 종말:
초지능의 탄생, 그 이후 벌어질 일들
― 엘리에저 유드코스키, 네이트 소아레스
*노벨상 수상자 벤 버냉키 (전 연방준비제도 의장) 추천
신성세―초지능 AI의 진화와 인류세의 종언:
가이아의 현자가 전하는 마지막 비전, 새로운 지구별 시대
― 제임스 러브록
“우리 인류 부족의 한 원로가 축적해온 지혜“ (파이낸셜 타임스)
새로운 질서:
AI 이후의 생존 전략
― 헨리 키신저, 에릭 슈밋, 크레이그 먼디
“AI가 제기하는 위험과 잠재력을 냉철하게 생각하게 한다.”(빌 게이츠)
위의 책들로 진행되는 북토크(’26. 11월 ~ ’27. 2월)에 관심있는 분들은 구글 링크(https://forms.gle/kP6kcTKQHbgCmc9W8)에서 신청해 주세요.