이 두 번째 주인 대리인 문제는 전례 없는 도전을 ...

이 두 번째 주인 대리인 문제는 전례 없는 도전을 제기한다. 이것을 해결하기 위해서는 새로운 기법들이 필요할 것이다. 이와 관련한 어려움에 대해서는 이미 몇 가지를 논의해본 바 있다. 특히 위험한 전환 상황 제8장참조 옮긴이) 같은 특별한 경우에는 개발 단계에서 인공지능의 행동을 잡관찰해보고 만약 이 인공지능이 적절한 행동을 한다고 판단되면 구속하던몇 가지 제한을 풀어주는 방법 등과 같은 것처럼, 다른 경우에서는 좋은결과를 나타내는 것으로 보이던 방법들이 잘 적용되지 못하고 결과를 망 칠 수 있는 경우도 보았다. 또다른 방법으로, 연구실이나 국지적 현장에서안전성을 시험한 후에 점진적으로 외부에서 적용해보고 만약 예상치 못한문제가 생기면 외부 적용을 중단하는 방법도 있다. 예비 시험을 수행해면 그 기술의 미래의 신뢰성에 대한 합리적인 추론이 가능하다. 초지능의경우, 초지능이 가지고 있는 전략적 계획 능력 때문에, 위와 같은 행동주의적 유추방식은 실패하게 된다. 
행동주의적 접근방식은 소용이 없기 때문에, 우리는 대안을 찾아야 한다. 이때 가능한 통제방법들을 크게 두 가지 부류로 나눌 수 있다. 능력 통제방법(capability control method)은 초지능이 할 수 있는 것들을 통제하려는 것이고, 동기 선택방법 (motivation selection method)은 초지능이 하기를 원하는 것들을 통제하려는 방식이다. 몇몇 방법들은 서로 함께 사용할 수도 있지만, 어떤 방법들은 상호 배타적인 성격을 가진다.  - P240

격리방법의 가장 극단적인 형태는 시스템을 물리적으로도 그리고 정보전달 면에서도 완전한 고립상태에 두는 것이다. 이것이 가능하다고 해도, 이렇게 고립된 시스템은 외부 세계에 아무 영향도 줄 수 없기 때문에 그다지 유용하지 않을 것이다. 어쩌면 과학적 연구 등의 목적을 위해서 초지능을 만들고 격리시키는 방안을 생각해볼 수도 있을 것이다. 그 자체로 완비된 모형 시스템을 연구하여 초지능의 내부 역학과 행동 패턴을 알아낼수 있을 것이다. 하지만 사실상 이것은 불가능하다. 시스템이 외부 관찰자에 의해서 관찰되는 순간, 정보의 고립이 깨지기 때문이다. 정보는 정해진 "출력 채널"을 통해서 인공지능이 송출하는 메시지로만 전달되는 것이 아니다. 인공지능이 작동함으로써 나타나는 직접적 또는 간접적 결과들, 예를 들면 그것의 에너지 사용량, CPU 그리고 메모리 이용 정도, 연산 상태(computational state) 같은 인공지능이 꺼진 뒤에 남은 모든 흔적들을 외부관찰자가 관찰하는 것만으로도 정보가 전달될 수 있다. 관찰자에 의해서이런 사항들이 관찰될 것을 인공지능이 예견하는 경우, 예상 관찰자들에게 영향을 미칠 수 있도록 고안된 전략적인 행동들을 취할 수도 있다. 예를 들면, 인공지능은 궁극적으로는 재가동되거나 인공지능 자체와 유사한 목적이 설계된 초지능을 만들 수 있는 가능성이 가장 높은 방식으로
"오작동"을 일으킬 수도 있을 것이다.
- P244

그렇다면 이러한 유인방법에서는 어떤 것이 잘못될 수 있을까? 한 가지가능한 시나리오는, 인간 관리자가 약속한 보상을 해주리라는 사실을 인공지능이 신뢰하지 않는 것이다. 과거의 기록을 볼 때, 인간은 정말 확실히 신뢰할 만한 대상이 아니라는 것이다. 즉 관리자가 마음을 바꾸거나, 인공지능이 보상신호를 받기 위해서 달성해야 하는 성과 목표를 높이거나, 아리면 인공지능이 해야 할 일을 다했다는 것을 관리자가 인지하지 못할 수도 있다고 충분히 우려할 만하다. 또한 인공지능은 관리자가 자격을 박탈당하여 일을 수행할 수 없는 경우가 생길 것을 걱정할 수도 있다. 이와 같은 여러 가지 실패 상황에 의한 모든 위험을 합한 정도가 보상 메커니즘의 통제 장악 시도에 따르는 위험성보다 커질 수도 있다. 여러 가지 초능력을 가진 인공지능이라면 비록 격리되어 있다고 하더라도 상당한 힘을 가진 존재이다 애초부터 격리되지 않은 인공지능이라면, 인간이 제어하고 있는 보상 기전을 탈취하는 것은 마치 꼬마에게서 사탕을 뺏는 것만큼이나 쉬울 것이다.
- P249

아주 좁은 영역의 정보만 가진 초지능을 만드는 것은 안전할 것이라고생각할지도 모른다. 예를 들면, 누군가가 센서를 갖추지 않고 오로지 석유공학이나 펩타이드 화학에 대한 정보만이 사전에 설치된 인공지능을 만들었다고 해보자. 그러나 만약 인공지능이 초지능이라면, 즉 초인간적 수준의 일반 지능을 갖추었다면, 이런 식의 정보 제한으로는 안전을 보장할 수위와 같은 생각을 하는 데에는 여러 가지 이유가 있다. 첫째, 정보가 어떤 특정 주제에만 유독 관련이 있다는 생각은 일반적이지 못하다. 원론적으로 정보란 그것을 읽고 추론하는 사람의 배경지식에 따라서 그 어떤 주제와도 관련이 있을 수 있기 때문이다.  - P253

 시물레이션 세계에서 행동들이 보상을 받을 것이라는 믿음은 이 인공지능에게 (그것이 사실 시물레이션 세계에 존재하지 않는다고 할지라도) 상당한 영향을 미칠 것이다.
특히, 만약 인공지능이 자신의 관찰 결과에 부합하는 시뮬레이션 세계에서(격리에서 벗어나려고 애쓰거나 이 인공지능의 창조자의 목적을 위배하는 경우에는 아니겠지만) 협조적인 태도를 보이면 보상을 얻게 될 것이라고믿는 경우, 자원 만족적인 (resource-satiable) 최종 목표를 가진 인공지능은 협조를 선택할 가능성이 높다. 따라서 세계를 지배하게 되면 최종 목표를 훨씬더 잘 달성할 수 있음을 잘 알고 있는, 확실한 전략적 우위를 가진 인공지능이라고 해도 그렇게 하는 것을 꺼리게 될 것이다.

이래서 분별심은 우리 모두를 다 겁쟁이로 만들고 만다.
이래서 또 결심의 천연한 혈색 위에
사색의 창백한 병색이 그늘져
의기충천하던 웅도는 마침내
잡념에 사로잡혀 발길이 어긋나고
실행이라는 명색조차 묘연해진다.
(셰익스피어, 『햄릿』, 제3막, 1장)

실제로 있는지도 불분명한 시뮬레이션 관리자의 영향력 덕분에, 단지 모래위에 한 줄의 경제선을 그어놓더라도, 60센티미터 두께의 강철문보다도 더 강력한 통제 수단이 될 수 있다.  - P252

폭력단원인 남자가 『신메이카이 국어사전』에 실린 진...

폭력단원인 남자가 『신메이카이 국어사전』에 실린 진전의 뜻풀이가 다른 출판사와 다르다며 생트집을 잡은 것이다. 미리 신메이카이 국어사전』과 다른 사전을 비교해보고나서 전화로 협박한 것 같았다.
남자는 그 후 신주쿠의 한 호텔 로비에서 출판사 부장 등에게 진전의 뜻풀이에 대해 설명을 요구했고, 반년 후에는 산세이도 본사에 나타나기도 했다.
"숙박비도 없고 교토로 돌아갈 돈도 없다. 산세이도에 묵겠다."
이렇게 말한 남자는 5시간이나 버티고 앉아 있었다고 한다. 퇴거 불응죄 현행범으로 체포된 남자는, "국어 마니아로다른 출판사 등에도 출판물 내용에 대해 이의를 제기했다"
고 기사는 전하고 있다. 산세이도나 『신메이카이 국어사전』으로서는 참으로 성가신 사건이었다.
- P272

일반적으로 ‘말‘은 서로 의사소통을 하는 데 편리한 것이라 여겨지고 있지만 야마다는 ‘말‘에 의해 커뮤니케이션이방해를 받는다고 말했다. 야마다는 ‘말‘에 두 가지 측면이있다고 생각했다.

말에는 표면적인 의미와 동시에 이면에 숨겨진 의미가 있습니다. 그 이면‘의 의미를 숨기지 않고 지적할 수있다면, 이는 말을 사용하는 사람에게 무척 기쁜 소식이 아닐까, 하는 생각을 한 겁니다.

‘말‘의 ‘표면‘과 ‘이면‘의 의미를 분명히 밝히는 것이 ‘부자유스러운 전달 수단‘을 사용해야 하는 숙명을 짊어진 우리 인간에게 진실로 요구되는 것이 아닐까. 야마다는 이렇게 생각했다. 그리고 그 생각을 신메이카이 국어사전에 표출했다.
- P276

야마다는 ‘사전은 문명 비평‘이라는 신념을 관철했다. 한편 겐보에게도 평생 변하지 않은, 사전에 대한 강한 신념이있었다. 그것이 『산세이도 국어사전 제3판의 서문에 쓰인사전 = 가가미론‘이다.

사전은 가가미 다 - 이는 지자의 변하지 않는 신조입니다. 사전은 말을 비추는 ‘거울, 기가미) 입니다. 동시에,
사전은 말을 바르게 하는 ‘귀감, 가가미 입니다.
『산세이도 국어사전, 제3판 서문

이것이 겐보가 도달한 경지였다. 벽처럼 우뚝 솟은 145 만개 용례의 겐보 카드 앞에서 형 「산세리도 국어사전」의 편자인 이마 히로아키 씨는 이 ‘사전=가가미론‘에 대해 말했다. - P287

세상 사람들은 흔히 ‘일본어의 흐트러짐‘을 한탄하고 때로 흐트러진 말까지 게재하는 국어사전은 비판의 대상이되기도 한다.
그런 의견에 대해 겐보는 저서에서 온화하게, 그러나 강력하게 반론했다.

객관주의, 또는 기술주의(道主義)에 따라 국어사전을 편집하려고 하면 또 한 가지 난처한 일이 일어납니다.
어떤 사람에게 아름답지 않은 일본어, 진기한 일본어,
틀린 의미 등이 우르르 사전 안으로 들어오는 일입니다.
이는 순수한 국어를 바라고 사전이 말의 규범이기를 바라는 사람들에게 잠을 수 없는 일이겠지요.
그러나 여기서 주의해야 하는 점이 있습니다. 과연 사전이 나쁜 건가 일본어가 나쁜 건가 하는 문제입니다. 어느쪽이 나쁜 걸까요? 어쩌면 사전을 공격한다고 생각하지만, 실은 일본어 자체를 공격하는 게 아닐까요? (중략)사전을 공격하기 전에 일본어 자체를 아름답게 키워주세요. 그러면 사전은 저절로 아름답고 정결해집니다.
- 겐보 히데토시, 『말의 바다를 간다」
- P290

"전 세계에서 가장 많은 언어를 갖고 있는 지역은 인구밀도가 높은 지역입니다."
같은 지역에 사는 사람들은 같은 하나의 말로 이야기하는 것이 편리하다. 그러나 실제로는 사람이 모이면 모일수록 말은 다양화하고 의사소통이 곤란해진다는 것이다. 아무래도 말은 커뮤니케이션의 도구이면서, 집단의 정보나 기술의 유출을 막기 위해 커뮤니케이션을 방해하는 것으로도 진화한 듯하다.
다시 말해 ‘말‘에는 원래 의사소통을 하기 위해 ‘전한다‘는 요소뿐만 아니라 일부러 ‘전해지지 않도록 하는‘ 요소도 포함되어 있으며 다양하게 변화해간다는 이율배반의 요소도 갖추어져 있는 것이다.
- P373

마지막으로 야마다 선생이 사전에 ‘인간 세계‘의 심오함을 적은 ‘말‘을 소개하고자 한다.
그것은 세상의 뜻풀이다. 『신메이카이 국어사전 초판과 제2판의 뜻풀이는 무미건조했다.

세상(①) ①0 사람들이 서로 관련을 맺으며 살고 있는 곳, 세간.
사회,
-「신메이카이 국어사전」 초판

이것이 제3판에 쓰인 세상에서는 겐보 선생과 야마다 선생이 걸어온 인생을 그대로 투영한 듯한 뜻풀이로 바뀌었다.

세상(世中)① 동시대에 속하는 넓은 지역을, 복잡한 인간상이 엮는 것으로 파악한 말. 서로 사랑하는 사람과 서로 미워하는 사람, 구조상 성공한 사람과 실의에 빠지고 불우한 사람이 동거하고, 항상 모순에 차 있지만, 한편으로는 서로 도움을 주고받는 관계에 있는 사회.
 「신메이카이 국어사전」 제3판 - P379

그것은 당시의 사전이 단순히 ‘바꿔 말하기‘나 ‘빙...

그것은 당시의 사전이 단순히 ‘바꿔 말하기‘나 ‘빙빙 돌리기만 하는 것‘으로 일관하고 있었기 때문이다.
"바꿔 말하기‘란 예컨대 모양(樣子)을 찾으면 ‘모습‘이라고 쓰여 있는 것을 말합니다. 그런데 모습을 찾으면 ‘상태‘라고 쓰여 있지요. 그래서 상태를 찾으면 ‘모양‘이라고 쓰여 있는 거예요. 그 밖에도 남자(男)를 찾으면 ‘여자가 아닌 폭‘, 여자(女)를 찾으면 ‘남자가 아닌 쪽‘이라고 쓰여있습니다. 이것을 우리는 ‘빙빙 돌리기만 하는 것‘이라고 불렀습니다. 당시에는 이런 기술이 아주 일반적이었지요, 사전이란 그런 것이어도 된다는 분위기가 있었던 것은 사실이아니었을까요. 이렇게 적당히 넘어가도 되는 건가, 하고 많이들 생각했지요."
그런 가운데 야마다는 종래의 바꿔 말하기‘나 ‘빙빙 돌리기‘ 를 하지 말자고 했다. 당시 구라모치 씨는 그런 생각에 크게 공감했다고 한다.
야마다 선생님이 ‘바꿔 말하기‘를 하지 않는 사전을 만들려고 한다는 것은 저도 알고 있었습니다. 자신이 이상으로 여기는 사전에 곧장 다가가려하는구나, 하고 생각했지요. 단순한 ‘바꿔 말하기‘로는 의미의 본질에 다다를 수 없습니다. 지금까지의 사전은 어물쩍 둘러대는 것이고, 단순히 바꿔 말해도 된다는 것은 이상하다는 생각을 갖고 있었지요."
- P234

사고(事故) ② 그 일의 실시 실현을 방해하는 좋지 못한 사정,
『신메이카이 국어사전』 초판

"좋지 못한 사정." 사고의 또 한 가지 의미로서 『신메이카이 국어사전』에는 이렇게 쓰여 있었다. 시바타 다케시 선생은 야마다에게 직접 겐보에게 사고가 있어" 란 무슨 뜻이냐고 물었다.
"나는 사고가 교통사고나 병 같은 거라고 생각했기 때문에 그건 거짓말이고 과장이라며 깜짝 놀랐지만, 야마다 선생은 사고는 그런 의미가 아니다. 다른 의미가 있다고 했습니다. 확실히 메이지 시대의 용법에 있기는 합니다. ‘할 수없다‘, ‘지장이 있으니까‘라는 의미로 넣었다고 했습니다."
원래 현대어가 아니라 고전 전문가인 야마다에게 사고에는 오래된 용법으로 ‘좋지 못한 사정‘ 이라는 또 하나의 의미가 존재하는 것은 당연했다. 바로 그랬기 때문에 『신메이카이 국어사전』을 편찬할 때까지의 복잡한 ‘사정‘을 사고라는말로 치환했다.
그러나 겐보가 이해하는 사고는 야마다의 사고와는 달랐다. 말 전문가인 두 사람의 편찬자는 한 단어의 ‘의미‘를 둘러싸고 엇갈린 것이다. - P246

기존의 기술에 비해서 새로운 기술의 우수성을 확신하는...

기존의 기술에 비해서 새로운 기술의 우수성을 확신하는 사람들은 다른이들이 자신처럼 새로운 기술에 열띤 지지를 보내지 않아서 실망하는 경우가 종종 있다. 그러나 새롭고 더 우수해 보이는 기술에 대해서 거부감을 가지고 있다고 해서, 그것이 꼭 그들이 무지하거나 비이성적이어서가 아날 수도 있다. 어떤 기술의 유의성(誘意性)이나 규범적 성격은 그것이 사용되는 배경적 맥락 뿐만 아니라, 기술이 미치는 영향을 평가하는 시점에도 달려 있기 때문이다. 즉, 어떤 사람에게는 이익이라고 여겨지는 것이 다른 사람에게는 부담으로 여겨질 수도 있기 때문이다. 기계 메들로 인해서 직물 산업의경제적 효율성은 높아졌지만, 이 기계가 자신들의 장인 기술을 무용지물로만들 것이라고 예상한 수작업으로 베를 짜던 러다이트 방직공들에게는 이러한 기술적 발전을 반대할 만한 상당한 도구적 이유가 있었을 수도 있다.
따라서 여기서 "기술적 개선이 지능적 에이전트들이 추구할 수 있는 광범위하게 수렴하는 도구적 목표를 지칭할 때에는, 어떤 특별한 이해가 전제되어야 한다. 즉 기술은 특정한 사회적 맥락을 바탕으로 이해되어야 하고, 그것의 비용과 편익은 특정 에이전트의 최종 가치를 고려해서 평가되어야 한다는 것이다.
- P208

결국 기술적 개선뿐만 아니라 자원 획득이라는 것도 공통적으로 추구하는도구적 목표의 또다른 형태이다. 기술과 자원이라는 두 가지 모두가 갖추어져야만 물리적 구조물 제조가 가능하기 때문이다.
- P210

그리하여 우리는 용감하게 앞으로 나아갈 것이다. 비록 그 행동이 서술퍼런 칼날이 서 있는 함정 속으로 향하는 것일지라도 말이다.
따라서 인공지능이 멍청했을 때에는 좀더 똑똑해지는 것이 우리에게 더안전한 결과를 제공하지만, 인공지능이 똑똑한 상태에서는 더 똑똑해지는것이 우리의 위험을 가중시키는 결과를 초래할 수도 있음을 알 수 있다. 지금까지 훌륭하게 작동하던 전략, 즉 인공지능의 지능을 더 향상시켜서 인간에게 더 안전하도록 만들겠다는 전략이 어느 순간부터 갑자기 역효과를 내는 일종의 전환점이 있을 것이다. 이런 지점을 위험한 전환(treacherous turn)이라고 할 수 있을 것이다.

위험한 전환 : 아직 힘이 약할 때는 인공지능이 협조적으로 행동한다(인공지능이 점점 더 똑똑해지면 더욱 그러한 경향을 보인다). 그러나 인공지능이 충분히 강해지면, 그 어떤 경고나 도발도 없이, 갑작스럽게 힘을 행사해서 독점적 지배체제를 형성한다. 그리고 자신의 최종 목표에 담겨 있는 기준대로 그것을 가장 잘 달성하기 위해서 직접적으로 세상을 최적화하기 시작한다.
- P220

만약 인공지능에게 보상을 추구하도록 동기 부여를 할 수 있다면 중간 중간에 보상과 적절한 행위를 연계시켜서, 인공지능으로 하여금 원하는 행동을 하도록 할 수 있다는 것이다. 그러나 이런 생각은 인공지능이 확실한 전략적 우위를 획득하면서 무용지물이 된다. 즉 확실한 전략적 우위를 가진 인공지능에게는보상을 극대화한다는 것이, 인공지능을 교육하는 프로그래미를 만족시키는 행위를 하는 것이 아니라, 보상 메커니즘 그 자체에 대한 통제력을 획득하는 것이기 때문이다. 이러한 현상을 와이어헤딩(wicheading : 외부적 행위없이 단지 내부적 자극만으로 쾌락이나 즐거움 같은 긍정적 상태를 느끼는것 옮긴이)이라고 부를 수 있을 것이다. 보편직으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에도달하도록 할 수 있지만, 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상 동기 방식의 동기 부여 체재(regime)를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 즉 인공지능이 보다 직접적으로 원하는 내적 상태에 도달할 수 있는 지능과 능력을 갖추게 되면, 그 수단으로서 필요했던 외부적 행위나 조건들은 더 이상 쓸모가 없어진다. - P227

[오늘의 한문장] 니클의 소년들

난 여기 붙잡혀 있지만 그래도 최선을 다할 거야. 여기서 보내는 시간을 짧게 줄일 거야. 엘우드는 속으로 혼잣말을 했다. 고향 사람들은모두 그를 차분하고 믿음직한 사람으로 알고 있었다. 니클도 곧 그의그런 면을 알아줄 것이다. 유충에서 벗어나려면 점수가 얼마나 필요한지, 대부분의 학생들이 단계를 올라가 졸업하는 데 시간이 얼마나 걸리는지 저녁 식사 때 데즈먼드에게 물어보아야겠다는 생각이 들었다. 그러고 나서 다른 사람들보다 두 배나 빠른 속도로 이곳을 졸업할 것이다. 그것이 그가 할 수 있는 저항이었다.
- P85