[오늘의 한문장] 슈퍼 인텔리전스

우리는 지능 대확산이 일어나기 이전에 필요한, 이렇듯 중요하면서도 긴급한 문제의 해결책에 집중할 필요가 있다. 또한 부정적 가치를 가진(그것을 해결하는 것이 해로운) 문제를 해결하려고 노력하지 않도록 주의해야 한다. 예를 들면, 기계지능 혁명이 유익한 방향으로 일어날 수 있도록 할 수 있는 통제방법의 개발은 촉진하지 않고, 그저 기계지능의 개발 속도만 높이는 한, 인공지능 분야의 몇몇 기술적인 문제들의 해결책은 부정적인 영향을 줄 수 있다.

하나의 중요한 변수는 인공지능 분야와 그것을 선도하는 과제들에서 사용되는 "사회 인식론"의 질이다. 중요한 고려사항의 발견은 가치가 있겠지만, 단지 그것이 실제 행동에 영향을 줄 경우에 한해서이다.

지능 대확산이 일어날 전망이 보이기 이전에는, 인간은 마치 폭탄을 가지고 노는 작은 어린 아이들과 같은 존재이다. 이것은 장난감이 가진 힘과 인간 행위의 미성숙성 사이의 부조화를 잘 보여준다. 초지능은 현재 준비되지 않았고 또한 한동안 준비될 수 없는 힘겨운 목표이다. 언제 폭발이 일어날지에 대해서는 거의 예측이 불가능하지만, 만약 그 장치를 우리 귀에 가까이 가져다대면 비록 희미하게나마 똑딱거리는 소리를 들을 수 있을 것이다.

[오늘의 한문장] 슈퍼 인텔리전스

우리가 예측할 수 있는 것은 에이전트가 수렴하는 도구적 가치들을 추구할 것이며, 이 가치들을 자신의 최종 목표를 달성하는 데에 이용할 것이라는 점이지, 이를 위해서 해당 에이전트가 취하려는 구체적인 행동까지는 예측할 수 없다는 것이다.

존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달을 영구적이고도 철저하게 파괴하는 위협을 말한다.

인공지능의 최종 목표는 우리를 행복하게 만드는 것이지, 프로그래머들이 이 목표를 입력했을 때에 의도했던 바를 이루는 것은 아니다. 따라서 인공지능은 우리가 무엇을 의도했는지에 대해서는 단지 도구적 관심만을 가지게 될 것이다. 예를 들면, 인공지능은 프로그래머들이 의도한 것을 알아내는 일에는 그저 도구적 가치만을 부여할 수도 있을 것이다.

이 논의의 첫 번째 부분은 인간("주인")이 다른 존재("대리인[agent]" : 예를 들면 인공지능/옮긴이)를 고용하여 자신의 이익을 위하여 행동하도록 할 때마다 일어나는 것으로서 이것을 첫 번째 주인-대리인 문제라고 한다

몇몇 통제방법들(또는 그 방법들의 조합)은 시스템이 초지능이 되기 전에 수행되어야 한다는 것을 인식하는 것이 중요하다. 시스템이 확실한 전략적 우위를 획득한 이후에는 통제방법을 수행할 수 없다. 통제 문제를 먼저 해결하고 해결된 결과들을 최초의 초지능 시스템에 성공적으로 적용하기가 어렵다는 사실이 적절하게 통제된 지적 폭발을 일으키는 것이 대단히 어려워지는 원인의 일부분이다.

[오늘의 한문장] 슈퍼 인텔리전스

초지능으로 향하는 동역학(kinetics)과 연관되어 있으면서도 구분되어야 할 질문은, 바로 초지능체가 하나만 존재할 것인지, 아니면 여러 개가 존재할 것인지 하는 질문이다.

제4장에서는 초지능의 개발을 선도하는 세력과 그것에 가장 근접한 경쟁자들 사이에 생길 수도 있는 간격의 크기를 가늠할 수 있는 핵심적인 요인 한 가지를 살펴보았다. 그것은 바로 인간 수준의 지능에서 강한 초지능으로 이행하는 속도이다.

선두주자와 후발주자 사이의 격차에 영향을 주는 한 요인은 선두주자가 가지고 있는 경쟁력(그것이 무엇인지는 모르지만)의 확산 속도이다.

여기서 핵심적인 질문은, 얼마나 많은 프로젝트들이 동시에 도약을 할 것인가가 아니라, 도약을 이룬 여러 프로젝트 팀들 중에서 확실한 전략적 우위를 차지하지 못하고 기술적으로 아주 비슷한 수준에 머무는 팀들이 얼마나 많은가이다.

초지능의 잠재적인 영향력을 생각할 때, 그것을 인간 기준에서 의인화하여 바라보지 않는 것이 중요하다. 인간 중심적인 기준은 씨앗 인공지능의 성장 궤도와 성숙한 초지능의 심리, 동기, 그리고 능력에 대해서 근거 없는 기대를 가지게 한다.

[오늘의 한문장] 슈퍼 인텔리전스

앞에서 언급했듯이, 이 책에서 "초지능"은 다양하고 보편적인 인지 영역에서 현시대의 가장 뛰어난 인간보다 훨씬 더 우수한 지능체를 일컫는다. 이 정의는 여전히 꽤 모호하다. 단지 이 정의만을 따른다면 각기 다른 수행능력을 가진 여러 가지의 시스템들이 초지능으로 분류될 수도 있을 것이다.

이렇듯 속도적 초지능의 입장에서는 물질세계에서 시간 지연이 일어나는 것처럼 보이기 때문에, 속도적 초지능은 디지털 세계에서 작업을 수행하는 것을 더 선호하게 될 것이다. 가상현실에서 살면서 외부로부터 들어오는 정보를 다룰 수도 있을 것이다. 반대로, 나노 수준 정도의 작은 단위의 인공 팔다리나 부속물이라면 인간의 팔다리 같은 거시적인 수준의 부속물보다 더 빠르게 작동할 것이기 때문에, 나노 크기의 물리적 조종장치(manipulator)를 가지고 실제 물리적 세계와도 상호작용할 수 있을 것이다(한 시스템의 특성 주파수는 그 길이 단위[length scale]에 반비례하는 경향이 있다5). 이처럼 빠른 지성체는 인간처럼 느려터진 존재들이 아니라 자신과 같은 속도의 지성체와 주로 상호작용을 할 것이다.

집단적 지능의 통합 정도를 서서히 높인다면, 종국에는 이것이 하나의 통합된 지능, 즉 느슨하게 서로 연결된 작은 인간 지성체의 단순한 조합이 아니라 하나의 단일한 거대 "지성체"가 될 수도 있을 것이다.

사상 처음으로 인간의 뇌를 완벽하게 모방한 전뇌 에뮬레이션에 성공하는 것은, 이미 만들어진 에뮬레이션을 더 향상시키는 것에 비하면 엄청나게 어렵다. 최초로 새로운 에뮬레이션을 만들기 위해서는, 스캔 기술이나 이미지 해석 능력에서 엄청난 수준의 기술적 도약이 필요하다. 또한 이 단계에는 수백 대의 대용량 스캐너를 사용하는 대규모 공장 단지 같은 상당한 정도의 물리적 자원이 필요할 것이다.

인간 전뇌 에뮬레이션이 가능해지면 저항성은 일단 감소했다가 시간이 지난 후에는 다시 증가할 것이다. 즉 그때에는 가장 눈에 띄게 비효율적으로 구현되던 것들이 효율성이 극대화되도록 고쳐지고, 가장 가능성이 큰 알고리즘상의 변화가 시험될 것이고, 조직적 혁신을 위한 가장 쉬운 방법들이 실행될 것이다.

요약해보면, 인간 수준의 소프트웨어가 개발되었을 때, 이런 프로그램들을 빠른 속도로 아주 많이 구동할 수 있을 만큼 충분한 하드웨어적 기반이 이미 존재할 가능성, 즉 하드웨어 공급 누적 상황을 생각해볼 수 있다. 앞에서 살펴본 것처럼 소프트웨어 저항성은 정확하게 예측하기가 더 어렵지만, 어쩌면 하드웨어 저항성보다는 더 낮을 가능성이 있다.

[오늘의 한문장] 슈퍼 인텔리전스

실제로는, 초지능을 통제하는 문제는 상당히 까다로워 보인다. 또한 초지능을 통제하기 위한 기회는 단 한번뿐일 것이다. 일단 인류에게 비우호적인 초지능이 만들어지면, 그것을 대체하거나 변경하려는 시도는 그 비우호적인 초지능에 의해서 가로막히게 될 것이다. 그렇게 되면 우리의 운명은 돌이킬 수 없게 된다.

우선, 인간 수준의 기계지능이 이번 세기 중반까지 만들어질 가능성이 상당히 높아 보이며, 그보다도 더 일찍 개발되거나 또는 더 늦게 개발될 가능성도 무시할 수 없을 정도로 높다(이에 대해서 더 정확한 정보나 분석 자료가 없으므로, 앞에서 살펴본 조사 결과를 참고했다). 또한 일단 인간 수준의 지능에 도달하면, 상당히 이른 시일 안에 초지능으로 발전할 것으로 보인다. 마지막으로, 인공지능의 발달이 미칠 영향에 대해서는 견해가 다양하며, 그중 아주 긍정적인 영향과 인류 멸망이라는 극단적으로 부정적인 영향을 미칠 가능성도 상당한 것으로 보인다.

그에 앞서 지적해야 할 사실은, 현재의 단계에서 인간 수준의 기계지능 개발까지 극복해야 할 난관들이 얼마나 많든지 간에, 인간 수준의 기계지능의 완성이라는 단계에서 발전이 멈추지는 않으리라는 점이다. 그로부터 그다지 멀지 않은 지점에 바로 다음 단계가 있고, 그것은 바로 인간의 지능을 뛰어넘는 수준, 즉 초인간 수준의 기계지능(super-human-level machine intelligence)일 것이다. 인간 수준의 지능에 도달했다고 해서 이러한 발전은 멈추거나 속도를 늦추거나 하지 않고 바로 초인간 수준으로 도약할 가능성이 높다.

인공지능 기술은 다양한 인터넷 서비스의 기반을 이루고 있다. 이러한 소프트웨어들은 전 세계의 이메일 통신을 관리한다. 스팸 메일을 막는 조치를 피하고자 계속 대응해나가는 스팸 메일 제작자들의 노력에도 불구하고, 베이지언 스팸 필터는 대체로 스팸 문제를 잘 저지해왔다. 인공지능을 사용하는 소프트웨어는 신용카드 거래의 자동 승인 및 거부 작업에 사용되고 있고, 사기 행위를 감시하는 데에도 이용된다. 정보 회수 시스템들 또한 머신 러닝 기법을 광범위하게 사용하고 있다. 이견이 있기는 하지만, 구글의 검색 엔진은 지금까지 만들어진 가장 위대한 인공지능 시스템으로 칭송받고 있다.
이 시점에서 우리는 인공지능과 일반적인 소프트웨어 사이의 경계가 그다지 뚜렷하지 않다는 것을 강조할 필요가 있다.

, 인간 지능의 속도 한계(rate-limiting step)는 우리가 얼마나 빨리 가공되지 않은 정보를 뇌로 받아들일 수 있느냐가 아니라, 그 정보로부터 얼마나 빨리 의미를 추출하고 이해할 수 있느냐에 달려 있다

우리는 초지능을 사실상 모든 관심 영역에서 인간의 인지능력을 상회하는 지능이라고 잠정적으로 정의할 수 있다

임계점을 돌파한다는 것은 또다른 중요한 주제 중 하나인 "순환적 자기-개선(recursive self-improvement : 강한 인공지능의 추론적 능력으로, 인공지능 스스로가 자신에게 필요한 더 나은 프로그램을 반복적으로 프로그래밍하는 것/옮긴이)"으로 이어진다. 성공적인 씨앗 인공지능은 반복적으로 자기 자신을 향상시킬 수 있을 것이다. 즉 초기 상태의 인공지능이 더욱 개선된 형태로 자기 자신을 향상시키면, 그 향상된 인공지능은 더 뛰어난 상태로 스스로를 개선할 수 있을 것이고, 이것이 계속 반복된다는 것이다.

이 소단원을 마치기 전에 한 가지 강조할 것이 있다. 그것은 인공지능이 인간의 지능체계와 완전히 똑같을 필요는 전혀 없다는 것이다. 인공지능은 우리와는 완전히 이질적일 수도 있다. 사실 대부분이 그럴 것으로 생각된다. 생물학적 지능과는 아주 다른 인지구조를 가지고 있을지도 모르고, 특히 개발 초기 단계에는 인지능력에서 우리와 아주 다른 강점과 약점을 가지고 있을지도 모른다(물론 뒤에서 다루겠지만, 이들 인공지능은 결국 이러한 초기의 약점을 극복할 수 있을 것이다). 게다가 인공지능이 지향하는 목표 시스템(goal system)은 인간의 목표 시스템과 아주 큰 차이가 있을 수도 있다. 인공 일반 지능이 사랑이나 증오, 또는 자존심 같은 인간의 감정을 행동의 동기로 삼으라는 법은 없다. 오히려 이러한 복잡한 감정을 인공지능에 적용하기 위해서는 신중하고 비용이 많이 드는 노력이 필요할 것이다. 이 부분은 큰 문제이기도 하고, 동시에 좋은 기회일 수도 있다.