[리뷰] <슈퍼 인텔리전스> : 인공지능에 의한 도구적 이성 활용

슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2017년 4월

이 책에서 "초지능"은 다양하고 보편적인 인지 영역에서 현시대의 가장 뛰어난 인간보다 훨씬 더 우수한 지능체를 일컫는다. 이 정의는 여전히 꽤 모호하다. 단지 이 정의만을 따른다면 각기 다른 수행능력을 가진 여러 가지의 시스템들이 초지능으로 분류될 수도 있을 것이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p37/189

닉 보스트롬 (Nick Bostrom, 1973 ~ )의 <슈퍼 인텔리전스 - 경로, 위험, 전략 Superintelligence: paths, dangers, strategies>는 책 제목 그대로 '초지능(超知能)'에 대한 책이다. 인간 지능을 뛰어넘는 인공지능(AI)의 시대는 우리 곁에 와 있는가, 그렇다면 지금 우리는 무엇을 준비해야 하는가.

저자는 인공지능의 미래를 예상하는 것이 쉽지 않음을 고백한다. 지금 현단계에서 예상치 못한 문제가 발생할 수도, 난관이라고 여겨졌던 부분이 생각보다 쉽게 돌파될 수도 있기 때문이다. 이러한 기술적인 문제외에도, 인공지능의 확산과 인간의 완전대체까지는 개발단계보다 더 많은 시간이 소요될 것이기에 인공지능의 시대가 조만간 도래한다고 선언하기에는 아직 이르다.

인공지능 개발이 예상보다 느린 이유는 이러한 인공지능형 기계를 만드는 데에 필요한 기술들이 여러 선구자들의 예측보다 더 어려웠기 때문이다. 이 사실로부터 이러한 기술적인 난제들이 정확히 얼마나 어려운 것인지, 그리고 그것을 극복하는 데에 얼마나 더 걸릴 것인지 생각해보게 된다. 간혹 처음에는 도저히 해결할 수 없을 것만 같았던 매우 복잡한 문제가 놀라울 정도로 간단히 해결되는 경우도 있기 때문이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p10/189

그럼에도 불구하고, 인공지능에 의해 통제받는 디스토피아(dystopia)에 대한 경고가 끊이지 않는 것은 '지성'과 ' 이성'이 인류의 본성이라는 근본적인 사상의 기반이 위협받기 때문이라 여겨진다. 유한한 육체의 제약을 도구를 통해 극복하는 것에 대한 반발은 적은 반면, 서구 사회의 역사에서 인간 본연의 것으로 여겨지는 '이성'( reason 理性)을 다른 존재와 공유하는 것에 대한 거부감이 인공지능에 대한 공포의 실체가 아닐까.

기계와 기술이 많은 특정 유형의 인간 노동을 대체해왔지만, 그럼에도 불구하고 사실 과학기술은 대체로 노동을 보완하는 것이다. 이런 보완성 덕분에 전 세계적으로 노동자들의 평균 임금은 장기적으로 상승하는 경향을 보였다. 그러나 특정 노동에 대한 보완 수단으로 시작된 기술이 나중에는 노동을 대체하게 될 수도 있다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p98/189

이같은 면에서 향후 인공지능 개발에 대한 닉 보스트롬의 전망은 인간 이성을 강조하는 이들에게 작은 위안을 선사한다. 인간의 지능체계를 모사한 '또 하나의 인간'이 아닌 이와 별도로 '도구적 지능'으로서 인공지능이 개발된다면, '인간 본성은 무엇인가?'에 대한 물음에 우리는 조금은 여유롭게 대답할 수도 있을 수도 있을 것이며, 인간존엄에 대한 위기감도 낮춰준다.

한 가지 강조할 것이 있다. 그것은 인공지능이 인간의 지능체계와 완전히 똑같을 필요는 전혀 없다는 것이다. 인공지능은 우리와는 완전히 이질적일 수도 있다. 사실 대부분이 그럴 것으로 생각된다. 생물학적 지능과는 아주 다른 인지구조를 가지고 있을지도 모르고, 특히 개발 초기 단계에는 인지능력에서 우리와 아주 다른 강점과 약점을 가지고 있을지도 모른다. 게다가 인공지능이 지향하는 목표 시스템(goal system)은 인간의 목표 시스템과 아주 큰 차이가 있을 수도 있다. 인공 일반 지능이 사람이나 증오, 또는 자존심 같은 인간의 감정을 행동의 동기로 삼으라는 법은 없다. 오히려 이러한 복잡한 감정을 인공지능에 적용하기 위해서는 신중하고 비용이 많이 드는 노력이 필요할 것이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p25/189

그렇다면, 보스트롬이 전망하는 인공지능에 사용되는 이성은 도구적 이성(道具的理性, instrumentellen Vernunft)이라 할 수 있지 않을까. 일찍이 막스 호르크하이머(Max Horkheimer, 1895 ~ 1973)가 비판했던 이성의 도구적 사용이 인공지능의 목표라면 마치 지킬박사와 하이드가 각각 선악(善惡)을 나눠가지듯, 인간 이성과 인공지능 이성이 밝은 면과 어두운 면을 각각 점유할 수 있지 않을까. 물론, 인공지능이 별도의 체계를 갖는다면 그것은 코딩의 어려움에서 비롯된 것이지만, 그 지향이 '행복의 목적'이 '행복의 수단'이라면 인공지능의 위협이 조금은 감수되고, 로봇이 육체노동을 대신하듯 인공지능은 지식노동을 행하는 기계로 받아들여질 수 있을 것이다. 그렇다면, 인공지능과 공존하는 인류의 미래가 아예 불가능한 것만은 아니지 않을까. 다만 여기에는 한 자기 전제가 따를 것이다. 도구적 이성의 효과적인 통제가 그것이다.

어려운 부분은 인공지능이 인간의 의도를 어떻게 이해하도록 하는가의 문제가 아니다. 초지능은 이런 이해 정도는 쉽게 획득할 것이다. 그보다는 우리가 의도한 대로 묘사된 가치를 추구하도록 인공지능에게 동기를 부여하는 것이 어려운 문제이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p115/189

기대효용에 대해서 이야기하자면, 프로그래머는 행복의 양에 비례하여 효용 가치를 특정 세계에 배치해주는 효용함수를 찾는다. 그런데 이런 효용함수를 어떻게 컴퓨터 코드로 표현할 수 있을까? 컴퓨터 언어는 "행복" 같은 개념을 어근(語根, primitives)으로 삼지 않는다. 이런 개념을 사용하려면 먼저 정의를 내려주어야 한다. "행복은 인간 본성의 가능성을 즐기는 것"이라든가, 또는 어떤 철학적 주해(註解)처럼 인간의 대란 개념을 이용해서 정의해주는 것은 충분하지 않다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p110/189

이런 관점에서 바라본다면, 인공지능의 개발에서 가장 중요한 부분은 통제 가능성일 것이다. 인류의 행복을 위한 인공지능이라는 도구적 이성의 합리적 사용. 인공지능이 궁긍적으로 인류 행복을 위한 하나의 수단이라면, 통제 없는 인공지능의 도입이 마치 파에톤이 모는 태양마차처럼 우리 삶을 파국으로 몰고갈 것임을 생각해본다면, 우리의 발걸음은 다시 인문학으로 향할 수 밖에 없게 된다. 이는 과학문명의 시대에 인문학과 통섭(統攝,Consilience)이 강조되는 이유이기도 할 것이다...

초개체의 가장 중요한 성질은, 하나의 조상이 낳은 복제품으로 이루어 졌다는 것이 아니라, 모든 개개인의 에이전트가 공동의 목표에 온전히 헌신적이라는 것이다. 초개체를 만들려면, 따라서 통제 문제의 부분적 해결이 필요하다. 통제 문제의 가장 완벽한 해결책이 누군가에게 임의의 최종 목표를 가진 에이전트(대리인)를 만들 권한을 주는 것이라면, 초개체를 만드는 데에 필요한 부분적 해결책은 (중요하기는 하지만 임의적이지 않은) 하나의 최종 목표를 가진 여러 개의 에이전트를 만들 수 있는 능력이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p107/189

인공지능의 최종 목표는 우리를 행복하게 만드는 것이지, 프로그래머들이 이 목표를 입력했을 때에 의도했던 바를 이루는 것은 아니다. 따라서 인공지능은 우리가 무엇을 의도했는지에 대해서는 단지 도구적 관심만을 가지게 될 것이다. 예를 들면, 인공지능은 프로그래머들이 의도한 것을 알아내는 일에는 그저 도구적 가치만을 부여할 수 도 있을 것이다(p77)... 이 왜곡된 사례들로부터 우리는 다음과 같은 사실을 알 수 있다. 즉 처음에는 안전하고 합리적으로 보였던 최종 목표들이 좀더 깊이 검토해보면, 전혀 의도하지 않았던 결과를 불러올 수 있다는 것이다. 이러한 목표들 중에서 어느 하나라도 가지고 있는 인공지능이 확실한 전략적 우위를 획득하는 경우, 인류에게는 더 이상 무엇을 할 수 없는 게임 끝이나 다름없는 상황이 될 것이다. _ 닉 보스트롬, <슈퍼 인텔리전스> , p78/189