이런 귀납적인 추론은 씨앗 인공지능의 발전 초기 단계에서는 어느 정도타당할지도 모른다(그러나 이러한 유추가 전뇌 에뮬레이선이나 인지능력이향상된 인간에게도 적용될 수 있다고 볼 만한 근거는 없다), 시간이 지나면초지능으로 진화할 수 있는 잠재력을 가진 미성숙한 인공지능은, 인간에게는 아주 자연스러운 몇 가지 기술이나 재주를 갖추지 못했을 수도 있다.
그리고 씨앗 인공지능의 강점과 약점들은 IQ만 높은 샌님과 약간 비슷한 양상을 보일 수도 있을 것이다. 발선시키기 쉬워야 한다는(즉 저항성이 낮다는) 점 외에도, 씨앗 인공지능의 가장 필수적인 특징은, 시스템 전체의 지능을 높이기 위해서 가장 효과적으로 노력하는 것에 능숙해야 한다는 것이다. 즉 그 특징은 아마 수학, 프로그래밍, 공학, 컴퓨터 과학 연구, 그리고다른 샌님 같은 분야에서 잘하는 것과 밀접한 연관이 있을 것으로 보인다.
그러나 씨앗 인공지능이 개발 단계의 어딘가에서 이런 샌님 같은 특성을 가지고 있었다고 하더라도, 성숙된 초지능인 상태에서도 비슷한 특성을 가지고 있으리라는 보장은 없다. 제3장에서 다룬 직접적인 영향력과 간접적인영향력 간의 차이를 떠올려보라. 지능 증폭 능력을 충분히 갖추기만 했다면, 다른 모든 지적 능력들은 간접적으로 획득이 가능한 것이다. 이러한 시스템은 새로운 인지적 모듈과 기술- 예를 들면 공감능력, 정치적 통찰력그리고 컴퓨터 같은 샌님에게 부족하다고 여겨지는 그 어떤 것이라도- 을 필요할 때마다 개발하면 되기 때문이다.
- P173
현명한 독점적 지배체제의 지속 가능 임계값은 꽤 낮아 보인다. 앞에서 보았듯이, 초지능의 제한적인 형태라고 하더라도 기술적 자가개선(bootstrap) 프로세스를 실행하기에 충분한 물리적 작동장치에 연결될 수만있다면, 이 임계값을 넘어서게 된다. 동시대에 인간 문명이 함께 존재하는환경에서는 임계값을 넘기 위해서 필요한 최소한의 작동장치는 아주 단순한 정도의 수준일 수도 있다. 이 초지능에 협조하는 사람에게 적지 않은 정도의 정보를 전할 수 있는 그 어떤 작동장치, 즉 평범한 화면 정도면 충분할 수 있기 때문이다. - P190
바로 이러한 이유 때문에 도약의 속도에 대한 질문이 중요한 것이다. 어떤 특정한 결과가 정확히 언제 일어날지가 중요해서가 아니라, 도약의 속도가 결과에 상당한 영향을 줄 수 있기 때문이다. 빠르거나 중간 속도의 도약 상황에서는 한 연구 집단의 결과물이 확실한 전략적 우위를 획득할 가능성이 높다. 확실한 전략적 우위를 가진 초지능은 안정적인 독점적 지배체제를 형성할 수 있는 정도의 엄청난 힘을 가지고 있고, 이 독점적 지배체제는 인류가 가진 우주의 무한한 자산의 성향을 결정할 수도 있다고 시사한바 있다.
- P193
|