무언가를 하기 위해 택할 수 있는 모든 방법 가운데, 자연은 최적의방법을 선호한다는 것이다. 최적의 선택은 어떤 양의 극대화나 극소화로 요약된다. 각 물리 법칙을 서술하는 데에는 수학적으로 동등한 두가지 방법이 있다. 하나는 과거가 미래의 원인이 되는 것이고, 다른 하나는 자연이 무언가를 최적화하는 것이다. 후자는 물리학 입문 과정에서는 다뤄지지 않는다. 수학적인 설명이 더 어렵기 때문이다. 그렇지만 나는 최적화 설명이 더 우아하고 심오하다고 느낀다. - P335
달리 말하면 AGI의 진짜 위험은 악의가 아니라 능력이다. 초지능 AI는자기 목적을 달성하는 데 엄청나게 뛰어날 것인데, 만약 그의 목적이우리의 목적과 일치하지 않으면 우리는 곤경에 처하게 된다. - P347
둘째 과제와 관련해 현재 인기 있는 접근은 기술자스러운 용어로역강화학습 inverse reinforcement learning이라고 알려졌다. 이는 스튜어트 러셀이 출범시킨 버클리의 새로운 연구센터의 주요 과제이기도 하다. - P349
우리는 지능 폭발 이후 무슨 일이 벌어질지 예측할 수 없다. 여기에 주목해 컴퓨터 과학자이자 SF 작가인 베너 빈지는 ‘특이점이라는개념을 내놓았다. 그러나 물리학자이자 AI 연구자인 스티브 오모훈드로steve Omohundro는 2008년 발표한 중요한 소론에서 초지능 AI의 행동의특정한 측면을 예측할 수 있고, 이는 초지능 AI의 궁극적인 목적으로부터 거의 독립적이라고 설명했다. 닉 보스트롬은 책 「슈퍼인텔리전스」에서 이 주장을 검토해 더 전개했다. 기본 아이디어는 궁극적인 목적이 무엇이든, 하위 목적은 예측 가능하다는 것이다. - P352
결론적으로 하위 목적 파생을 고려할 때 우리는 목적 정렬 문제를해결하기 전에는 초지능을 풀어놓으면 안 된다. 초지능에게 인간 우호적인 목적을 부여하는 작업을 아주 신중하게 하지 않을 경우 상황은우리에게 나쁘게 돌아올지 모른다.
이제 목적 정렬 문제에서 가장 골치 아픈 셋째 부분과 씨름해야 한다. 자기 스스로를 향상시키는 초지능이 우리 목적을 배우고 채택하게끔 하는 데 성공했다고 하자. 오모훈드로의 주장대로 초지능이 그 목적을 유지할까? 그럴 만한 근거가 있나? - P356
지능은 복잡한 목적들을 이루는 능력이다. - P374
|