우리가 예측할 수 있는 것은 에이전트가 수렴하는 도구적 가치들을 추구할 것이며, 이 가치들을 자신의 최종 목표를 달성하는 데에 이용할 것이라는 점이지, 이를 위해서 해당 에이전트가 취하려는 구체적인 행동까지는 예측할 수 없다는 것이다.
존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달을 영구적이고도 철저하게 파괴하는 위협을 말한다.
인공지능의 최종 목표는 우리를 행복하게 만드는 것이지, 프로그래머들이 이 목표를 입력했을 때에 의도했던 바를 이루는 것은 아니다. 따라서 인공지능은 우리가 무엇을 의도했는지에 대해서는 단지 도구적 관심만을 가지게 될 것이다. 예를 들면, 인공지능은 프로그래머들이 의도한 것을 알아내는 일에는 그저 도구적 가치만을 부여할 수도 있을 것이다.
이 논의의 첫 번째 부분은 인간("주인")이 다른 존재("대리인[agent]" : 예를 들면 인공지능/옮긴이)를 고용하여 자신의 이익을 위하여 행동하도록 할 때마다 일어나는 것으로서 이것을 첫 번째 주인-대리인 문제라고 한다
몇몇 통제방법들(또는 그 방법들의 조합)은 시스템이 초지능이 되기 전에 수행되어야 한다는 것을 인식하는 것이 중요하다. 시스템이 확실한 전략적 우위를 획득한 이후에는 통제방법을 수행할 수 없다. 통제 문제를 먼저 해결하고 해결된 결과들을 최초의 초지능 시스템에 성공적으로 적용하기가 어렵다는 사실이 적절하게 통제된 지적 폭발을 일으키는 것이 대단히 어려워지는 원인의 일부분이다.
|