만약 당신이 AI가 ‘무엇을 욕망할지‘, 즉 어떤 목적지를 향해 조종할지 선택할 수 있다면, 이는 좋은 소식이 될 수도 있다. 하지만 목표를 잘못 정하거나 누군가 악의적으로 자신이원하는 결과를 향해 조종되는 AI를 만든다면, 이는 재앙이 될것이다. 그러나 인류가 직면한 문제의 핵심은 ‘누가 AI를 통제하느냐‘의 문제가 아니다.
우리가 직면한 문제는 인공지능을 ‘어딘가로 조종하도록만드는 것‘은 쉽지만, ‘정확히 우리가 원하는 방향으로 조종하도록 만드는 것은 훨씬 어렵다는 데 있다. - P83