기존의 기술에 비해서 새로운 기술의 우수성을 확신하는 사람들은 다른이들이 자신처럼 새로운 기술에 열띤 지지를 보내지 않아서 실망하는 경우가 종종 있다. 그러나 새롭고 더 우수해 보이는 기술에 대해서 거부감을 가지고 있다고 해서, 그것이 꼭 그들이 무지하거나 비이성적이어서가 아날 수도 있다. 어떤 기술의 유의성(誘意性)이나 규범적 성격은 그것이 사용되는 배경적 맥락 뿐만 아니라, 기술이 미치는 영향을 평가하는 시점에도 달려 있기 때문이다. 즉, 어떤 사람에게는 이익이라고 여겨지는 것이 다른 사람에게는 부담으로 여겨질 수도 있기 때문이다. 기계 메들로 인해서 직물 산업의경제적 효율성은 높아졌지만, 이 기계가 자신들의 장인 기술을 무용지물로만들 것이라고 예상한 수작업으로 베를 짜던 러다이트 방직공들에게는 이러한 기술적 발전을 반대할 만한 상당한 도구적 이유가 있었을 수도 있다.
따라서 여기서 "기술적 개선이 지능적 에이전트들이 추구할 수 있는 광범위하게 수렴하는 도구적 목표를 지칭할 때에는, 어떤 특별한 이해가 전제되어야 한다. 즉 기술은 특정한 사회적 맥락을 바탕으로 이해되어야 하고, 그것의 비용과 편익은 특정 에이전트의 최종 가치를 고려해서 평가되어야 한다는 것이다.
- P208
결국 기술적 개선뿐만 아니라 자원 획득이라는 것도 공통적으로 추구하는도구적 목표의 또다른 형태이다. 기술과 자원이라는 두 가지 모두가 갖추어져야만 물리적 구조물 제조가 가능하기 때문이다.
- P210
그리하여 우리는 용감하게 앞으로 나아갈 것이다. 비록 그 행동이 서술퍼런 칼날이 서 있는 함정 속으로 향하는 것일지라도 말이다.
따라서 인공지능이 멍청했을 때에는 좀더 똑똑해지는 것이 우리에게 더안전한 결과를 제공하지만, 인공지능이 똑똑한 상태에서는 더 똑똑해지는것이 우리의 위험을 가중시키는 결과를 초래할 수도 있음을 알 수 있다. 지금까지 훌륭하게 작동하던 전략, 즉 인공지능의 지능을 더 향상시켜서 인간에게 더 안전하도록 만들겠다는 전략이 어느 순간부터 갑자기 역효과를 내는 일종의 전환점이 있을 것이다. 이런 지점을 위험한 전환(treacherous turn)이라고 할 수 있을 것이다.
위험한 전환 : 아직 힘이 약할 때는 인공지능이 협조적으로 행동한다(인공지능이 점점 더 똑똑해지면 더욱 그러한 경향을 보인다). 그러나 인공지능이 충분히 강해지면, 그 어떤 경고나 도발도 없이, 갑작스럽게 힘을 행사해서 독점적 지배체제를 형성한다. 그리고 자신의 최종 목표에 담겨 있는 기준대로 그것을 가장 잘 달성하기 위해서 직접적으로 세상을 최적화하기 시작한다.
- P220
만약 인공지능에게 보상을 추구하도록 동기 부여를 할 수 있다면 중간 중간에 보상과 적절한 행위를 연계시켜서, 인공지능으로 하여금 원하는 행동을 하도록 할 수 있다는 것이다. 그러나 이런 생각은 인공지능이 확실한 전략적 우위를 획득하면서 무용지물이 된다. 즉 확실한 전략적 우위를 가진 인공지능에게는보상을 극대화한다는 것이, 인공지능을 교육하는 프로그래미를 만족시키는 행위를 하는 것이 아니라, 보상 메커니즘 그 자체에 대한 통제력을 획득하는 것이기 때문이다. 이러한 현상을 와이어헤딩(wicheading : 외부적 행위없이 단지 내부적 자극만으로 쾌락이나 즐거움 같은 긍정적 상태를 느끼는것 옮긴이)이라고 부를 수 있을 것이다. 보편직으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에도달하도록 할 수 있지만, 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상 동기 방식의 동기 부여 체재(regime)를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 즉 인공지능이 보다 직접적으로 원하는 내적 상태에 도달할 수 있는 지능과 능력을 갖추게 되면, 그 수단으로서 필요했던 외부적 행위나 조건들은 더 이상 쓸모가 없어진다. - P227
|