AI 기업들은 본성상 혹은 관성상, 경계를 계속 밀어붙일 것이다. 더 똑똑한 지능을 만들어야 이익이 생기기 때문이다. 그 동기는 ‘인간 수준’에서 멈추지 않는다. 인류가 이 길을 계속 간다면, 그들이 만든 지능은 언젠가 인간을 추월할 것이다. AI가 AI 연구를 스스로 하기 시작하면, 그 시점은 현재의 발전 속도보다 훨씬 빨리 다가올지도 모른다.
만약 개별 인간은 물론 인류 전체와 맞먹거나 그 이상으로 깊고 보편적인 사고 능력을 지닌 기계 지성이 존재하게 된다면, 그리고 거의 모든 영역에서 더 강력하다면 어떤 일이 벌어질까?
인간의 지능은 모든 힘의 근원이다. 우리의 기술도 그 지능에서 나왔다. 같은 인류 내에서도 특정 집단이 기술적 우위를 조금 더 오래 쌓기만 해도 전쟁의 결과는 ‘우리는 총을 가졌고, 그들은 없다’로 갈린다. 종種 사이에서는 그 격차가 더 극명하다. 개별 침팬지가 인간을 죽일 수는 있지만, 인류가 침팬지의 멸종을 막기 위해 보호구역을 만드는 데는 이유가 있다.
지금까지 인류의 특별한 능력에는 경쟁자가 없었다. 하지만 그 능력에서조차 우리를 앞서는 기계의 정신이 등장한다면?
