실제로는, 초지능을 통제하는 문제는 상당히 까다로워 보인다. 또한 초지능을 통제하기 위한 기회는 단 한번뿐일 것이다. 일단 인류에게 비우호적인 초지능이 만들어지면, 그것을 대체하거나 변경하려는 시도는 그 비우호적인 초지능에 의해서 가로막히게 될 것이다. 그렇게 되면 우리의 운명은 돌이킬 수 없게 된다.
우선, 인간 수준의 기계지능이 이번 세기 중반까지 만들어질 가능성이 상당히 높아 보이며, 그보다도 더 일찍 개발되거나 또는 더 늦게 개발될 가능성도 무시할 수 없을 정도로 높다(이에 대해서 더 정확한 정보나 분석 자료가 없으므로, 앞에서 살펴본 조사 결과를 참고했다). 또한 일단 인간 수준의 지능에 도달하면, 상당히 이른 시일 안에 초지능으로 발전할 것으로 보인다. 마지막으로, 인공지능의 발달이 미칠 영향에 대해서는 견해가 다양하며, 그중 아주 긍정적인 영향과 인류 멸망이라는 극단적으로 부정적인 영향을 미칠 가능성도 상당한 것으로 보인다.
그에 앞서 지적해야 할 사실은, 현재의 단계에서 인간 수준의 기계지능 개발까지 극복해야 할 난관들이 얼마나 많든지 간에, 인간 수준의 기계지능의 완성이라는 단계에서 발전이 멈추지는 않으리라는 점이다. 그로부터 그다지 멀지 않은 지점에 바로 다음 단계가 있고, 그것은 바로 인간의 지능을 뛰어넘는 수준, 즉 초인간 수준의 기계지능(super-human-level machine intelligence)일 것이다. 인간 수준의 지능에 도달했다고 해서 이러한 발전은 멈추거나 속도를 늦추거나 하지 않고 바로 초인간 수준으로 도약할 가능성이 높다.
인공지능 기술은 다양한 인터넷 서비스의 기반을 이루고 있다. 이러한 소프트웨어들은 전 세계의 이메일 통신을 관리한다. 스팸 메일을 막는 조치를 피하고자 계속 대응해나가는 스팸 메일 제작자들의 노력에도 불구하고, 베이지언 스팸 필터는 대체로 스팸 문제를 잘 저지해왔다. 인공지능을 사용하는 소프트웨어는 신용카드 거래의 자동 승인 및 거부 작업에 사용되고 있고, 사기 행위를 감시하는 데에도 이용된다. 정보 회수 시스템들 또한 머신 러닝 기법을 광범위하게 사용하고 있다. 이견이 있기는 하지만, 구글의 검색 엔진은 지금까지 만들어진 가장 위대한 인공지능 시스템으로 칭송받고 있다. 이 시점에서 우리는 인공지능과 일반적인 소프트웨어 사이의 경계가 그다지 뚜렷하지 않다는 것을 강조할 필요가 있다.
, 인간 지능의 속도 한계(rate-limiting step)는 우리가 얼마나 빨리 가공되지 않은 정보를 뇌로 받아들일 수 있느냐가 아니라, 그 정보로부터 얼마나 빨리 의미를 추출하고 이해할 수 있느냐에 달려 있다
우리는 초지능을 사실상 모든 관심 영역에서 인간의 인지능력을 상회하는 지능이라고 잠정적으로 정의할 수 있다
임계점을 돌파한다는 것은 또다른 중요한 주제 중 하나인 "순환적 자기-개선(recursive self-improvement : 강한 인공지능의 추론적 능력으로, 인공지능 스스로가 자신에게 필요한 더 나은 프로그램을 반복적으로 프로그래밍하는 것/옮긴이)"으로 이어진다. 성공적인 씨앗 인공지능은 반복적으로 자기 자신을 향상시킬 수 있을 것이다. 즉 초기 상태의 인공지능이 더욱 개선된 형태로 자기 자신을 향상시키면, 그 향상된 인공지능은 더 뛰어난 상태로 스스로를 개선할 수 있을 것이고, 이것이 계속 반복된다는 것이다.
이 소단원을 마치기 전에 한 가지 강조할 것이 있다. 그것은 인공지능이 인간의 지능체계와 완전히 똑같을 필요는 전혀 없다는 것이다. 인공지능은 우리와는 완전히 이질적일 수도 있다. 사실 대부분이 그럴 것으로 생각된다. 생물학적 지능과는 아주 다른 인지구조를 가지고 있을지도 모르고, 특히 개발 초기 단계에는 인지능력에서 우리와 아주 다른 강점과 약점을 가지고 있을지도 모른다(물론 뒤에서 다루겠지만, 이들 인공지능은 결국 이러한 초기의 약점을 극복할 수 있을 것이다). 게다가 인공지능이 지향하는 목표 시스템(goal system)은 인간의 목표 시스템과 아주 큰 차이가 있을 수도 있다. 인공 일반 지능이 사랑이나 증오, 또는 자존심 같은 인간의 감정을 행동의 동기로 삼으라는 법은 없다. 오히려 이러한 복잡한 감정을 인공지능에 적용하기 위해서는 신중하고 비용이 많이 드는 노력이 필요할 것이다. 이 부분은 큰 문제이기도 하고, 동시에 좋은 기회일 수도 있다.
|