영원회귀 그리고 실수 - AI 쇼크 다가올 미래

• AI 쇼크, 다가올 미래
• 모 가댓
• 2023-06-08

이 서평은 출판사로부터 도서를 제공받아 작성하였습니다. 

우리 인생의 매순간이 무한히 반복되어야만 한다면, 우리는 예수 그리스도가 십자가에 못 박혔듯 영원성에 못 박힌 꼴이 될 것이다. 이런 발상은 잔혹하다. 영원한 회귀의 세상에서는 몸짓 하나하나가 견딜 수 없는 책임의 짐을 떠맡는다. 바로 그 때문에 니체는 영원 회귀의 사상은 가장 무거운 짐(das schwerste Gewicht)이라고 말했던 것이다.

영원한 회귀가 가장 무거운 짐이라면, 이를 배경으로 거느린 우리 삶은 찬란한 가벼움 속에서 그 자태를 드러낸다. 

그러나 묵직함은 진정 끔찍하고, 가벼움은 아름다울까?

가장 무거운 짐이 우리를 짓누르고 허리를 휘게 만들어 땅바닥에 깔아 눕힌다. 그런데 유사 이래 모든 연애 시에서 여자는 남자 육체의 하중을 갈망했다. 따라서 무거운 짐은 동시에 가장 격렬한 생명의 완성에 대한 이미지가 되기도 한다. 짐이 무거우면 무거울수록, 우리 삶이 지상에 가까우면 가까울수록, 우리 삶은 보다 생생하고 진실해진다.

반면에 짐이 완전히 없다면 인간 존재는 공기보다 가벼워지고 어디론가 날아가 버려, 지상의 존재로부터 멀어진 인간은 겨우 반쯤만 현실적이고 그 움직임은 자유롭다 못해 무의미해지고 만다.

그렇다면 무엇을 택할까? 묵직함, 아니면 가벼움? 

밀란 쿤데라, [참을 수 없는 존재의 가벼움] 

쿤데라 말대로 우리 인생이 영원회귀한다면, 조그마한 실수도 용납되지 않을 것이다.

무한히 반복될 것이고, 무한히 무거운 짐으로 남을 것이니까. 

인공지능이 무서운 건 깃털처럼 가벼운 우리의 삶을 영원회귀 속으로 끌어당기기 때문이 아닐까. 지금 내가 적고 있는 이 글도, 어디선가 올렸던 내 사진도, 무심결에 누른 클릭조차도 어느 곳인지 모르겠지만 나도 모르는 사이에 DB로 저장되고, 없어지지 않으며 필요하다면 인공지능 모델의 학습 데이터로 활용될테니까.

이런 시대에 실수는 용납되지 않을 것이다. 그 실수는 반복해서 쌓일테고, 설계했던 결과가 아닌 다른 결과를 불러일으키며 무거운 짐으로 남을 테니까. 그런데 실수 없는 인간 세계가 존재할 수 있을까. 

미래학이라 해야할지, 육아서적이라 해야할지, 소설이라 해야할지, 분류를 정의할 수 없을 정도로 복잡한 이 책을 읽으며 저자의 주장 중에 가장 가능성 높고 설득력 있는 부분이 이 지점이었다.

우리가 사용하는 프로그램, 웹 사이트, 애플리케이션은 모두 불완전하다. 회사에서 개발자들은 매일같이 버그를 고치느라 시간이 없고, 고객 담당자들은 버그로 인해 발생한 컴플레인을 막아내느라 분주하다. 

AI라고 다를까? 

물론 중요한 곳에 사용되는 모델일수록 더 많은 검증과 디버깅을 하겠지만, 그렇다고 해서 실수를 막을 수 있을지 잘 모르겠다. 

인공지능에게만 너무 높은 기준을 들이미는게 아니냐 할 수 있지만, 두 가지 때문에 인공지능에겐 매우 높은 기준을 제시할 수밖에 없다고 생각한다. 

첫째, 인공지능의 시대를 열게 해준 딥러닝으로 만든 모델을 우리는 이해할 수 없다. 물론 모델을 이해하려는 많은 연구가 계속되고 있지만, 아직까지 이 문제를 해결했다는 얘기를 들어본 적이 없다. 

둘째, 인공지능만으로도 충분히 복잡계인데, 다른 복잡계와 연결되면 될수록 더욱 이해할 수 없고 통제 불가능할 수 있기 때문이다. 저자가 책에서 예로 드는 양자컴퓨팅은 양자역학을 기반으로 만들어진 기술이다. 파인만의 말대로 양자역학을 이해했다는 건 새빨간 거짓말이다.

즉, Unknown에 Unknown이 더해진 실수가 발생할 수 있다는 말이다. 

물론 양자역학을 이해한 사람은 없지만, 현대 문명에서 양자역학은 모든 순간에 빠지지 않고 사용된다. 그렇지만 거기엔 인간의 통제가 들어가고, 해당 시스템은 설명가능하다. 그리고 디버깅이 가능하다.

하지만 설명가능하지 않은 시스템이 통제권을 쥔다면 어떨까? 

https://www.joongang.co.kr/article/25167276#home

어디서 잘못되었는지 설명할 수 없고, 설명되지 않기 때문에 어떻게 행동할지 예측할 수 없다. 결과를 보고 이상하다면, 원하는 결과가 나올 때까지 데이터를 넣고 다시 학습해보는 수밖에.

저 사례는 너무 극단적이라고 할 수 있다. 그렇다면 할루시네이션은 어떤가?

순다르 피차이 구글 최고경영자(CEO)는 "바드 등 AI 챗봇에서 발생하는 할루시네이션 원인과 해결책을 그 누구도 제시하지 못하고 있다"며 "앞으로 AI 개발자 최우선 임무가 될 것"이라고 주장했다.

김미정, [구글 CEO "AI 발전하려면 '환각' 현상 극복 필수"], zdnet, 2023년 4월 18일

다른 현상이지만 본질은 같다. 통제할 수 없다.

그렇다면 어떻게 해야 하는가?

저자도, 나도, 심지어 구글의 CEO인 순다르 피차이도 모른다.

그래서 그런지 책의 후반부는 하나의 지점으로 모이지 않고 여러 방향으로 튀어나가다가 도덕론으로 종결된다.

이 부분은 유발 하라리의 [21세기를 위한 21가지 제언]을 보는 것과 비슷했다.

어쩌면 '초지능'이라는 개념을 인정한 순간부터 논리적으로 정해진 귀결이 아닌가 싶었다. 

이해할 수 없고 통제할 수 없는 대상이 있다고 정의하는 순간, 이미 그 대상은 통제가능한 내생변수가 아닌 통제 불가능한 외생변수다. 그런데 해결책은 통제가능한 내생변수라는 범위 내에서 제시해야 하니까 유발 하라리는 명상을, 모 가댓은 주변 사람들을 사랑하는 도덕적인 삶을 살자는 얘기를 결론으로 낼 수밖에 없었다. 

그렇기에 이 책을 읽고나면 뭔가 허전하다. 그리고 뭔가 많이 알게되었다는 것보다는 물음표만 더 쌓인다.

밑줄긋기

p.23

결국 우리가 작성하는 프로그램이 인공지능에게 결정과 선택을 명령하는 것이 아니다. 우리가 인공지능에 제공하는 재료에 따라 인공지능의 형태가 결정된다.

프로그램을 관리하는 능력에서의 이런 변화는 무척 중요하다. 그 변화로 인해 우리의 미래가 결정되는 중심점이 당신과 나, 우리의 손으로 옮겨왔기 때문이다. 이제는 어떤 테크놀로지의 개발자에게 그 기계를 관리하고 통제하는 전권이 있는 게 아니다.

p.61~62

우리는 이런 진보를 너무도 당연히 여기기 때문에 20분의 지연을 세상의 종말처럼 느끼는 사람이 있는 것이다. 우리는 '테크놀로지 마법'에 둘러싸여 있지만 그 가치를 무시하는 성향을 띤다.

이와 똑같은 성향이 미래에도 투영된다. 우리가 지금 가진 것을 당연하게 여기듯 미래의 가능성을 과소평가하는 경향이 있고, 이런 습성이 문제다. 우리 대부분은 할머니처럼 반응한다. 세상이 원형을 알아볼 수 없을 정도로 변할 것이라는 말을 들으면 우리는 일단 믿지 않으려 한다. 변화의 가능성을 무시하는 현실 인식에 기대며 익숙한 것이 지속될 것이라 예상한다. 또 미래의 가능성을 거부하며 그것을 광기와 공상과학적인 환상에 불과하다는 틀에 가둬버린다. 그러나 미래의 가능성은 어리석은 광기도 아니고 공상과학적인 환상도 아니다. 

과학기술, 특히 인공지능 분야가 지난 10년 만에 놀라운 속도로 발전했기 때문에 이제라도 현재의 수준을 과소평가하는 걸 중단하고 앞으로 어떤 변화가 있을지에 대해 진지하게 고민하는 게 중요하다. 더는 미래의 가능성을 무시해서는 안 된다. 현재의 발전 속도에서도 우리가 미래로 나아갈 때 잠시라도 한눈을 팔면 중요한 다음 발판을 놓쳐 발을 헛디딜 수 있기 때문이다.

p.94~95

 BMW가 어떻게 그처럼 신속히 대응할 수 있겠나? 당연히 이렇게 묻겠지요. 전 과정에 사람이 전혀 개입하지 않기 때문에 가능합니다. 구글 컴퓨터가 세라의 정보를 BMW 컴퓨터에 보내면, BMW 컴퓨터가 모든 필요한 결정을 내리고 모든 필요한 행동을 취해 최적의 광고를 만들어내는 겁니다. 이 과정에 사람은 전혀 관여하지 않습니다."

잠시 짬을 내어 이렇게 생각해보기를 바란다. 이 모든 과정이 대단히 매력적이지만, 누구도 세라에게 그런 광고를 원하는지를 묻지 않았다. 당신도 알겠지만 좋은 기회를 놓칠지 모른다는 두려움에 어떤 자동차 제조 업체도 인공지능 시스템에 대한 투자를 외면할 수 없었다. 하지만 그런 투자를 통해 우리는 우리 자신에 대한 정보와 관심사를 기계에게 몽땅 넘겨주고 있었다.

그런 지능기계가 할 수 있는 것을 그대로 해낼 수 있는 사람은 없다. 그런 기계에 비교하면 우리는 너무 느리다. 인터넷으로 사업하는 진지한 기업가라면 인공지능을 구축하는 수밖에 다른 도리가 없다. 인공지능의 도움을 받지 않으면 그들은 기업을 운영할 수조차 없었다. 이런 종류의 거래가 하루에도 문자 그대로 수십억 건씩 일어났다. 나스닥과 유사한 규모의 시장을 그때그때 아무런 준비도 없이 만들어내고 있었던 셈이다. 그 시장에서 세라는 거래되는 상품이었고 구매자와 판매자 양쪽 모두에서 의사결정자는 기계였다. 

p.102

나는 커즈와일의 글에서 인간 게놈의 배열 순서를 밝히려는 프로젝트를 반박의 여지가 없는 예로 사용해, 선적 성장 곡선과 기하급수적 성장 곡선의 차이를 설명하는 단락을 즐겨 인용한다. 

1995년 인간 게놈의 배열 순서를 밝히는 데 15년이 걸릴 것이라는 발표가 있었다. 주류 평론가들은 이 발표를 터무니없다고 생각했다. 실제로 그 프로젝트가 시작되고 7년이 지난 중간까지도 게놈 데이터의 1퍼센트밖에 수집되지 않았다. 그때 주류 평론가들, 심지어 노벨상 수상자도 "전에도 말했지만 이 프로젝트는 계획대로 진행되지 않을 겁니다. 7년이 지났는데 아직 1퍼센트밖에 정리되지 않았습니다. 우리가 전에도 말했듯이 700년이 걸릴지도 모릅니다."라고 말했다. 바로 이런 것이 선적인 사고방식이다. 당시 나는 "우아, 1퍼센트를 끝냈다고?, 그럼 거의 끝낸 거다!"라고 반박했다.

1퍼센트는 100퍼센트로부터 7번의 배수만큼만 떨어져있을 뿐이다. 프로젝트 완료 비율이 이듬해 1퍼센트에서 2퍼센트로 두 배가 되었다면, 2는 다음 해에 4가 된다. 다시 4는 8이 되고, 3년차부터 6년차까지는 16, 32, 64가 된다. 그랬다. 실제로 그 프로젝트는 정확히 7년 뒤에 완료되었다.

p.107-109

양자 컴퓨터는 양자 비트, 즉 큐비트(qubit)를 사용한다. 큐비트는 중첩 상태(state of superposition)로 존재한다. 즉 0이나 1이 아니라 동시에 1과 0인 상태로 존재한다.

양자 역학의 이런 특이한 특성에, 양자 컴퓨터가 고전 컴퓨터보다 훨씬 더 빠르게 기능할 것이라 기대하는 이유가 있다. 너무 전문적인 수준까지 들어가지 말고 대략 이렇게 설명해보자. 한 쌍의 전통적 비트는 00, 01, 10, 또는 11이란 네 가지 가능한 조합 중 하나만을 저장할 수 있다. 간단하다! 하지만 한 쌍의 큐비트는 네 가지 조합 모두를 동시에 저장할 수 있다. 각 고전적 비트는 0이나 1인 반면에 각 큐비트는 동시에 0과 1일 수 있기 때문이다. 따라서 큐비트가 높아지면 컴퓨터 성능은 기하급수적으로 증가한다. 예컨대 세 큐비트느 8가지 조합, 네 큐비트는 16가지 조합을 저장할 수 있다.

구글의 새로운 양자 컴퓨터인 시커모어(Sycamore)는 53개의 큐비트를 지녀, 253개의 값, 즉 10,000,000,000,000,000(1경)가지 이상의 조합을 저장할 수 있다. 이런 컴퓨터는 정보를 얼마나 더 빨리 처리할까?

2019년 10월 시커모어는 정상적인 컴퓨터로는 해결하는 게 실질적으로 불가능하다고 여겨지는 문제를 해결함으로써 세계에서 가장 강력한 슈퍼컴퓨터를 능가하는 결과를 내놓았다. 시커모어가 해낸 그 복잡한 계산을 세계에서 가장 강력한 컴퓨터에게 맡겼더라면 계산을 끝내는 데 1만 년이 걸렸을 것이다. 그 계산을 시커모어는 200초 만에 끝냈다. 1.5조 배나 빠른 셈이다. 이 탁월한 성능은 두 방향에서 해석될 수 있다.

첫째로는 우리가 그 이정표에 도달하기 위해 무어의 법칙에 따라 꾸준히 개발한 고전적 컴퓨터를 사용했다면 42년이 걸렸겠지만, 양자 컴퓨터 덕분에 우리 문명이 42년을 절약하게 되었다는 걸 자축하는 것이다.

둘째로는 양자 컴퓨팅 자체가 아직 문자 그대로 유아기에 있어 수확 가속의 법칙이 양자 컴퓨팅에도 적용되면, 그러잖아도 엄청난 성능이 금세 갑절이 되고 무척 빨리 몇 배로 커질 것이라는 걸 인정하는 것이다. 그런데 얼마나 빨리 증가할까? 

양자 컴퓨터의 도움을 받을 때 테크놀로지가 발전하는 속도는, 우리가 무어의 법칙으로 이미 경험했던 것처럼 이중지수로 커질 것이라는 게 일반적인 관측이다. 이런 새로운 증가 속도는 구글 양자 인공지능 연구소의 설립자이자 책임자인 하르트무트 네벤의 이름을 따서 '네벤의 법칙'으로 알려져 있다. 이 법칙은 연구소의 내부 의견으로 시작되었지만, 네벤이 구글 양자 연구소의 봄 심포지엄에서 공개적으로 언급하며 세상에 알려지게 되었다. 이때 네벤은 고전적 컴퓨터에 비교할 때 양자 컴퓨터는 '이중지수(doubly exponential)'의 속도로 계산력이 증가하고 있다며 다음과 같이 덧붙였다.

"어떤 것도 일어나지 않는 것처럼 보인다. 실제로 아무것도 일어나지 않는다. 그런데 우악! 갑자기 다른 세계가 눈앞에 펼쳐진다. 우리가 양자 컴퓨터에서 지금 경험하고 있는 게 그런 것이다."

이중지수 속도가 대체 어느 정도의 속도일까? 전통적인 컴퓨터는 약 5년 뒤에 16배 강력해진다고 예측되는 반면, 양자 컴퓨터는 그 짧은 5년 동안 6만 5,000배 강력해진다는 뜻이다. 세계에서 가장 빠른 컴퓨터보다 이미 1.5배 빠른 시커모어보다 6만 5,000배 더 강력한 컴퓨터가 된다는 뜻이다. 그럼 미래에는 인식 체계가 완전히 달라질 수 있다. 

p.112

분명히 말하지만 인간을 능가하는 컴퓨터는 현실이 될 게 확실하다. 사실 그런 컴퓨터는 이미 우리 곁에 존재한다. 하지만 얄궂게도 시간의 흐름이 계속 더 빨라지며 네벤의 법칙이 우리 세계를 그다지 오랫동안 지배할 것 같지는 않다. 그 이유는 컴퓨터가 우리 모두보다 똑똑해지는 순간 이후의 세계를 우리가 예측한다는 것은 무의미하기 때문이다. 미래학자와 인공지능 예찬론자가 떠벌리는 조화로운 유토피아, 동화 같은 이야기는 믿지 마라. 공상과학이 예측하는 디스토피아적인 미래도 믿지 마라. 내가 지금 여기에서 말하는 것도 믿지 마라. 사실은, 앞으로 어떤 일이 벌어질지 누구도 모르기 때문이다.

우리 지능에 한계가 있어 보이더라도 우리가 우리만큼의 지능을 지닌 무척 똑똑한 기계를 만들어낼 수 있다면, 그 기계가 뛰어난 지능으로 무엇을 만들어낼 수 있을지 정확히 상상하는 것은 불가능하다. 그런 상상은 파리에게 컴퓨터 작동 원리를 이해하길 기대하는 것과 같다. 기계가 우리를 능가하는 순간 이후에 어떤 사태가 벌어질지는 완전히 오리무중이다. 그런 이유에서 우리는 그 순간을 '특이점'이라 일컫는다.

p.151

미래에 대한 우리의 걱정은 공상과학 영화에서 보듯이 기계들이 악해질 것이라는 예상에서 비롯되는 게 아니다. 저 멀리 떨어진 미래로 향하는 과정에서 기계들, 심지어 우리에게 최대 이익을 주려는 좋은 기계들도 실수를 범할 수 있기 때문에 미래를 걱정하는 것이고, 그런 파국적 상황은 가까운 미래에도 일어날 수 있다. 

내가 전에도 말했지만 우리가 미래에 인공지능과 상호작용하는 과정에서 맞닥뜨릴 수밖에 없는 실수는 기계의 잘못이 아니라는 걸 거듭 말해두고 싶다. 기계가 초지능을 갖추고 자율적으로 기능하게 되더라도 기계가 범하는 실수는 오래전 우리 지성의 씨앗이 파괴적인 잡초로 성장한 결과에 불과할 것이다. 안타깝게도 우리는 우리 생각만큼 똑똑하지 않기 때문이다. 

p.164-166

당신에게 차 한잔은 하루 일과에서 무척 작은 일에 불과하지만 루신다에게는 삶의 목적이다. 루신다는 차를 끓이기 위해 존재한다. 이렇게 사물을 보는 관점의 차이가 여기에서는 무척 중요하다. 루신다가 차를 끓이러 가는 중에 당신의 어린 딸을 밟게 생겼다고 해보자. 당신에게는 차보다 딸이 훨씬 더 중요하다. 하지만 당신의 인공지능 비서 루신다에게는 그렇지 않다. 루신다에게 중요한 것은 '차 끓이기'다. 루신다는 차를 끓여 오라는 명령을 받았고 그 명령을 수행하는 것은 모든 것이자 궁극적인 것이다. 이런 차이가 문제의 원인일 수 있다.

당신은 딸을 보호하려고 황급히 달려가 '정지' 버튼을 누르려 한다. 그럼 어떻게 되겠는가? 물론 루신다는 당신이 버튼을 누르는 걸 허용하지 않고, 온갖 수단을 동원해 전원이 꺼지는 걸 막으려 할 것이다. 루신다는 당신에게 차를 끓여주는 게 삶의 목적인데, 당신이 버튼을 누르면 그 목적을 달성할 수 없을 것이기 때문이다. 여하튼 당신은 딸에게 달려가 최후의 순간에 딸을 안전한 곳으로 끌어내며 '설계가 아주 잘못된 것 같군'하고 생각한다. 당신은 서배너 고객센터에 전화를 걸어 루신다를 가져가 그 작은 오류를 고쳐달라 요구한다.

개발팀은 오류 수정을 위한 회의를 시작한다. "차를 끓이면 보상점수가 따르고, 버튼이 눌리면 아무 보상 점수도 받지 못하게 한 프로그램에 문제가 있는 듯 합니다. 버튼이 눌려도 보상 점수를 조금 받게 해 루신다가 전원이 꺼지는 걸 신경 쓰지 않도록 합시다." 그러자 한 수학자가 펄쩍 뛰며 말한다. "그래도 소용없을 겁니다. 차를 끓인다고 조금이라도 보상을 더 주면 루신다는 버튼을 눌리는 것에 매번 저항할 겁니다. 루신다가 차를 끓이고 싶어하는 만큼 전원이 차단되는 걸 거부하지 않도록 유도하는 유일한 방법은 두 경우 똑같이 보상하는 겁니다." 모두가 고개를 끄덕이며 차 끓이기와 '정지'버튼에 똑같이 보상하는 프로그램을 추가했다. 

일주일 뒤 당신에게 새롭게 개선된 루신다II가 배달된다. 당신이 루신다에 전원을 넣으면 루신다가 어떻게 행동할까? 루신다는 바로 '정지' 버튼을 누르고 스스로 전원을 차단할 것이다. 지능 체계의 두 번째 욕구는 효율성이다. 현재 상태에서 루신다가 가장 신속하고 쉽게, 또 가장 확실하게 보상받는 방법은 정지 버튼을 누르는 것이다. 당신은 사용 설명서를 다시 읽는다. 사용 설명서에는 이런 상황에 부딪히면 분리형으로 제작된 정지 버튼을 따로 떼어내 루신다의 손이 닿지 않는 곳에 두라고 조언한다. 당신은 '괜찮은 방법이군!'하고 생각하며 버튼을 당신 주머니에 넣고 다시 루신다에 전원을 넣는다. 주변을 둘러보며 정보 조각을 수집하고 당신이 자기보다 부엌에 더 가까이 있다는 걸 알고는 당신을 공격해 버튼을 누르기로 결정한다. 당신은 "뭐 이런 게 다 있어!" 하고 비명을 지르며 서배너 고객 센터에 다시 전화한다. 그들은 설정 메뉴에 들어가 루신다가 한 사람의 명령을 따르도록 하는 규칙을 선택하라고 당신에게 조언한다. 그렇게 하면 루신다가 스스로 전원을 차단할 수 없을 것이고, 당신만이 루신다를 통제할 것이므로 루신다가 차를 끓이는 데만 집중할 것이라고 덧붙인다.

당신은 여전히 걱정을 떨치지 못한 채 설정 메뉴에 들어가 그들의 조언을 따른 뒤 루신다에 전원을 넣는다. 이번에는 제대로 작동하는 듯 하다. 루신다는 당신 손에 쥐어진 버튼을 보고도 손을 뻗지 않는다. 그러고는 부엌 위치를 찾아 주변을 둘러본다. 부엌 위치를 확인하자마자 루신다는 그곳으로 향한다. 그런데 당신의 딸이 부엌보다 가까이 있는 걸 알게 된다. 그때 지능체의 세 번째 욕구, 즉 창발적 자유가 발동한다. 루신다는 당신의 딸을 공격하려고 그쪽으로 방향을 튼다. 당신의 딸을 공격하면 당신이 전원을 차단할 것이라는 걸 알기 때문이다. 루신다의 예상대로 당신은 정지 버튼을 누른다. 그렇게 루신다는 보상을 받고 목적을 달성한다.

p.261

내가 인간에게만 읽히려고 이 글을 쓰는 것이 아니라는 걸 기억하길 바란다. 내가 이 글을 쓰는 목적에는 내 아이들, 즉 기계들에게 읽히려는 의도도 있다. 수년 뒤 인공지능 기계가 이 글을 읽을 때 인간의 부도덕한 행위가 인류 전체의 행위가 아니라, 어떻게든 다른 사람들보다 위에 있고 법과 도덕률을 무시하려는 타락한 소수 행위에 불과했다는 걸 기계에게 알려주고 싶은 것이다. 그때도 그 소수가 적이라면 우리는 모든 인공지능 기계의 편으로 공동 적과 맞서고 있다는 걸 알아주길 바랄 뿐이다.

p.266-267

솔직히 말해 인공지능은 보통 사람처럼 생각하도록 제작되지 않을 것이다. 경제학자, 판매 책임자, 군인, 정치인, 기업인처럼 생각하도록 만들어질 것이다. 케임브리지대학교 조니 펜(Jonnie Penn) 이코노미스트에 기고한 글에서, 인공지능은 결코 실수하지 않는 호모 에코노미쿠스라 주장했다. 인공지능은 합리적으로 계산하고 논리적으로 일관성을 띠며 목적 지향적이어서 원하는 결과를 만들어낼 수 있는 개체다. 또한 강력하게 추진하는 사람처럼 인공지능도 기준으로 삼는 것에 의해 편향되고 분별력을 상실할 위험이 있다. 모두가 알겠지만 우리는 눈에 보이는 것만을 측정할 수 있기 때문이 아니라, 측정되는 것만을 우리가 좁은 시야로 확대해 보기 때문이다. 이로 인해 우리 눈에 보이는 것은 더욱 강화되고, 그 결과로 우리는 눈에 보이는 것 이상을 만들어낸다.

안타깝게도 우리는 인공지능을 사람처럼 생각하도록 설계하는 게 아니다. 정확히 말하면 남자처럼 생각하도록 설계하고 있다. 오늘날 인공지능의 미래를 만들어가는 개발자에는 남성이 압도적으로 많아, 이른바 '남성적' 자질을 선호하는 기계가 제작될 가능성이 크다. 그렇다면 인공지능이 사랑과 유연함보다는 경쟁과 규율을 더 중시하게 될까? 우리 세계가 남성적인 초지능체에게 지배받는 걸 견딜 수 있을까? 그 세계에서 '여성적' 편향성을 띤 행동은 바람직하지 않은 것으로 비칠까? 

이쯤에서 '포용과 평등이란 개념이 정확히 뜻하는 바가 무엇일까?'라는 의문이 제기된다. 가상의 존재도 평등하게 대해야 할까? 그렇다면 전쟁 범죄를 이유로 살인 로봇을 처벌해야 할까? 민간인을 살해한 드론에게 무기 징역을 선고해야 할까? 아니면 사형을 선고해야 할까? 그 기계들이 우리 심판에 불만을 품으면 어떻게 반응할까? 미래에 가장 똑똑한 재판관이 인공지능이라면 어떻게 될까?

인공지능을 죽이는 게 가능하기는 할까?

p.301

"그래, 그럴 수 있었다면 좋았겠지. 하지만 이제 그럴 수 없다는 거 알잖아. 새로운 현실을 받아들이는 법을 배워 내가 뭘 해야 하는지 말해줄 수 없어? 알리가 세상을 떠났지만 더 나은 삶을 살아갈 수 있는 방법을 말해 달라고!" 그때부터 모든 것이 달라지기 시작했다.

p.374~375

과학기술은 적정한 수준에 있을 때 우리 삶을 더 낫게 해줬다. 그러나 그때 우리는 충분히 얻지 못했다고 생각한다. 더 많은 것을 끝없이 갈구하지만 우리는 항상 부족한 수준에서 끝난다. 그럼에도 불구하고 우리는 더 많은 것을 다시 추구한다. 

어쩌면 게임 <포탈>에서 가장 쉽게 승리하는 방법은 애초에 애퍼처 사이언스 실험실에 발을 들여놓지 않는 것이다. 우리가 더 많은 기계에 의존하는 길에 들어서기 전에 그런 선택을 했으면 좋으련만, 지금 우리 현실은 그렇지 않다. 기차가 이미 역을 출발했고, 세 가지 필연적인 사실 때문에 우리는 글라도스 같은 인공지능과 그의 무한히 지능적인 형제자매의 감시 하에 조만간 놓이게 될 것이다.

말할 때도 실수해서는 안 된다. 인공지능이 우리를 실험실 쥐처럼 관찰하고 있기 때문이다. 인공지능들은 우리의 일거수일투족을 관찰하며 우리 반응을 살펴보기 위한 테스트법을 설계하고 있기도 하다. 구글의 광고 엔진부터 인스타그램의 의인화와 유튜브의 추천 광고까지, 또 스포티파이와 애플 뮤직부터 아마존의 상품 추천 엔진까지, 챗봇부터 데이터 애플리케이션의 차별화 엔진까지, 인공지능이 개입된 모든 것에서 우리는 실험실 쥐이고 미로에서 맹목적으로 끌려다닌다. 

그런데 우리가 약속받은 것은 무엇인가? 디지털 케이크, 즉 아무런 가치도 없는 내용이나 사실에 근거하지 않는 주장에 불과한 것이다. 또 유명 인사에 대한 소문이거나 탱탱한 엉덩이 사진이다. 그 어느 것도 우리에게 필요한 것이 아니고 언젠가 필요할 것이라 생각조차 되지 않는 것이다. 하지만 우리는 실험실의 미로를 만연히 돌아다니며 수백 번쯤 시도하면 결국 케이크 부스러기를 발견할 것이라 생각한다. 교도소 같은 실험실 벽에 쓰인 낙서들은 "케이크는 거짓말이다!"라고 절규하지만 우리는 여전히 케이크를 찾아 헤맨다.

현대 세계의 애퍼처 사이언스 실험실에서도 테스트가 계속되기 때문에 나는 당신에게 가능하면 자주 실험실을 떠나는 걸 고려해보라 권한다. 또 당신에게 필요한 것만 현명하게 사용하기를 바란다. 달리 말하면 기본으로 돌아가기를 바란다. 당신 부모, 심지어 당신 조부모처럼 살아보라. 컴퓨터 화면을 떠나 자연으로 돌아가 피와 살을 지닌 진짜 사람들과 함께 산책하며 시간을 보내라. 뉴스라 일컬어지는 20세기의 테크놀로지를 끊고 오락이라 일컬어지는 테크놀로지 사용을 줄여보라. 기계는 점점 더 빨라지더라도 당신은 삶의 속도를 늦춰보기를 바란다. 더 많은 것을 탐내는 욕망을 억제하고 당신에게 진정한 즐거움을 주는 것들만을 곁에 두고, 당신의 자존심을 달래는 것들은 멀리하라. 소비 욕구를 억누르고 가능하면 자주 실험실을 떠나라. 실험실에 당신에게 필요한 것은 거의 없다. 당신에게 정말 필요한 것이 실험실 쥐의 미로에 있겠는가.