「하나의 (가능하지만 굉장히 단순화된) 모델은 이런 식일 것이다. 우리의 삶은 비교적 단순한 초기 선호(독한 냄새에 대한 혐오감 등)에서 시작한다. 그리고 여기에는 다양한 경험을 통해서 추가로 선호 대상을 늘려가는 성향들이 동반된다(예를 들면, 문화적으로 가치 있고 보상을 수반하는, 물건이나 행동을 좋아하는 경향이 있다). 이 단순한 조기 선호와 성향은 모두 진화 과정을 거지면서 자연적으로 그리고 성선택(sexual selection)을 통해서 형성된 것이므로, 선천적이라고 할 수 있다. 그러나 성인이 되어서 어떤 것을 선호하게 될지는 삶의 경험에 따라서 달라진다. 따라서 우리의 최종 가치에 담긴 정보 콘텐츠는 게놈에 이미 장착된 것이 아니라 경험을 통해서 획득한 것이다.
- P339
결합된 가치 부여에 따른 다른 문제점으로는, 인공지능이 가치 부여를중지시킬 수도 있다는 것이다. 제7장에서 보았듯이, 목표 시스템의 완전성은 수렴하는 도구적 가치이다. 인공지능이 인지 발달 단계 중에서 어느 시점에 도달하면, 가치 부여 메커니즘의 지속적인 가동이 부패 문제 같은 악영향을 미치기 시작한다고 생각할 수 있다. 꼭 나쁜 일이라고 할 수는 없지만, 목표 시스템의 봉쇄가 알맞은 시점에 발현되도록 주의를 기울여야한다. 이 시점은 적절한 가치들이 주어진 후, 그리고 의도하지 않은 추가적인 가치 부여가 초기 가치들을 덮어버리기 전이어야 한다.
- P341
유드코프스키의 제안에 따르면, 씨앗 인공지능에게는 인류의 "일관 추정의지를 수행하라는 최종 목표가 주어진다. CEV의 정의는 다음과 같다.
인류의 일관 추정 의지"는 우리가 더 많이 알았다면, 더 빠르게 생각할 수있었다면, 우리 스스로가 되기를 바라는 그런 사람들이었다면, 함께 더 떨리 성장할 수 있었다면 하고 우리가 원했을 만한 것들을 말한다. 여기서 말하는 추정은 분산되는 것이 아니라 집중되는 것이며, 우리가 바라는 것은 상충되지 않고 일관되게, 우리가 원하는 대로 추정하고 원하는 대로 해석할 수있는 것이다.
- P373
고도로 최적화된 설계를 만들지 않아도 된다. 대신에 고도의 신뢰성을가진 설계를 만들어 스스로의 실패를 인정할 수 있는 충분한 분별력을 갖추도록 해야 한다. 믿을 만한 토대를 갖추었지만 완벽하지 못한 초지능은점차 스스로를 수정해나갈 것이고, 이 과정이 끝나면 마치 처음부터 완벽했던 것처럼 세상 속에서 이로운 최적화 능력을 발휘할 것이다.
- P401
초지능이 나노 기술처럼 잠재적으로 위험한 다른 기술보다 먼저 개발되어야 하는 근거는, 초지능은 나노 기술이 초래하는 존재적 위험을 줄일 수있지만, 그 반대의 일은 일어나지 않기 때문이다. 그러므로 초지능이 먼저만들어지면 초지능에 관련된 존재적 위험만 상대하면 되지만, 나노 기술이먼저 만들어지면 나노 기술의 위협에다가 초지능의 위협까지 마주하게 될것이다. 초지능이 초래하는 존재적 위험이 매우 크고, 초지능 자체가 모든기술들 중에서 가장 위험한 것일지라도 초지능의 개발을 재촉하는 이유가바로 이것이다.
그러나 이러한 "이를수록 좋다"라는 논의는, 초지능이 언제 개발되는가에 상관없이 그 위험성은 같다는 전제에서 출발한다. 이와는 반대로 만약 그 위험성이 시간이 지날수록 줄어든다면, 기계지능 혁명을 늦추는 것이 나을지도 모른다. 지연된 개발로 인해서 다른 형태의 존재적 재앙을 조정하여 처리할 시간을 더 많이 가질 수 있으므로, 초지능의 개발을 늦추는것이 더 바람직할 수도 있다. 만약 초지능과 관련된 존재적 위험이 다른파멸적 기술과 관련된 것보다 훨씬 크다면 더욱더 바람직할 것이다.
- P407
인공지능 또는 전뇌 에물레이션 중 어느 것이 먼저인가? 인공지능 던저 시나리오에서는 존재적 위험을 만드는 전이는 하나밖에 없다. 전뇌 에물레이션 먼저 시나리오에서는위험한 두 빈의 전이가 있다. 첫째는 전뇌 에물레이션의 개발이고, 그 다음은 인공지능의 개발이다. 전뇌 에물레이션 먼저인 전이 시나리오에 따르는 전체적인 존재적 위험은 이들의 합이다. 그러나 전뇌 에물레이션이 이미 성공적으로 정착되고 나면, 인공지능으로의 전이에 따른 위험은 낮아질 수 있다.
- P429
가능한 한 일찍 공동 작업을 시작하는 이유는, 어떤 프로젝트가 먼저초지능을 달성할 것인지에 관한 어떤 사소한 정보도 우리의 시야를 가리는, 소위 무지의 가면의 장점을 취하기 위함이다. 결승점에 가까워질수록경쟁하는 프로젝트와의 상대적인 격차에 대한 불확실성이 줄어들 것이다. 결국 이익을 전 인류에게 분배하는 공동 프로젝트에 동참하는 것이 정당하다는 것을, 선두주자의 이기심을 가진 집단에게 설득하는 것이 점점 더어려워질 것이다. 다른 한편으로는, 초지능의 가능성이 현 상태보다 더 널리 알려지고 기계 초지능을 창조할 수 있는 확실한 길이 보이기 전에는 세계적 규모의 공식적인 공동 기구를 설립하는 것도 어려워 보인다. 게다가 공동 작업에 의해서 초지능의 개발이 진행된다고 해도, 앞에서 언급한 대로 안전성에 대해서는 역효과를 낳을 수도 있다.
그러므로 현시점에서의 이상적인 형태의 공동 작업은 처음에는 특정한공식적인 합의 같은 것을 추진하지 않고, 급하게 기계지능을 발전시키려고하지 않는 것이다. 이런 기준에 맞는 한 가지 제안은 적당한 도덕적 규범을 제기해서 초지능이 공익을 위해서 사용되어야 한다는 서약을 하는 것이다. 그러한 규범은 다음과 같이 표현될 수 있다.
공유재의 원칙(The common good principle)
초지능은 오직 인류 공동의 이익을 위하고 널리 공유되고 있는 도덕적 이상을 펴기 위해서 개발되어야 한다.
- P446
그 누구도 하늘 전체를 뒤덮으면서 전 방위적으로 내리꽂히는 지능 대학산의 폭풍으로부터 안전하게 도망칠 수는 없을 것이다. 그 경우에는 사건을 알려서 도움을 청해야 할 눈에 띄는 어른도 그곳에는 없을 것이다.
이런 상황에서는 어떤 유쾌한 경탄의 소리도 어울리지 않을 것이다. 소스라침과 두려움이 더 근접한 표현일 것이다. 아마도 가장 적합한 태도는마치 우리가 우리의 꿈을 이루거나 꿈을 짓밟을 수 있는 어려운 시험을 준비하듯이, 우리가 할 수 있을 만큼 정당하게 고된 결정을 내리는 것이다.
이것은 광신도들이 내리는 처방전 같은 것이 아니다. 지능 대확산은 여전히 수십 년 이후의 일일 것이다. 우리가 맞닥뜨리고 있는 도전에 대처하기 위해서는, 비록 이 도전이 가장 비정상적이고 인간미가 없는 문제임에도불구하고 우리의 인성, 즉 우리의 근본, 상식 그리고 푸근한 품위 같은 성향에 어느 정도 의지해야 한다. 이 해결책의 단초를 담고 있는 모든 인적자원을 총동원해야 한다.
그럼에도 불구하고 세계적으로 의미 있는 것이 무엇인지를 파악하는 것도 놓치지는 말아야 한다. 매일매일 안개 속에서 사는 듯한 하찮은 일상을 통해서도 우리 시대의 근본적인 임무를 희미하게나마 감지할 수 있다.
이 책에서 우리는 이와 같은 시도를 하지 않았다면, 여전히 비교적 정형화되어 있지 않고 부정적으로 정의되어 있었을 수도 있는, 미래에 대한 견해를 조금이라도 더 파악하려고 시도했다. 이것은 (개인적이고 세속적인 것은 배제한 견해에서 보았을 때) 우리의 주된 도덕적 우선순위로서, 존재적위험을 줄이려고 하고, 인류가 가진 우주의 무한한 자산을 온정적이고 즐겁게 사용하도록 이끌어서 성숙한 문명을 성취하려고 하는 인류의 미래의 꿈일 것이다.
- P457
|