그것은 당시의 사전이 단순히 ‘바꿔 말하기‘나 ‘빙...

그것은 당시의 사전이 단순히 ‘바꿔 말하기‘나 ‘빙빙 돌리기만 하는 것‘으로 일관하고 있었기 때문이다.
"바꿔 말하기‘란 예컨대 모양(樣子)을 찾으면 ‘모습‘이라고 쓰여 있는 것을 말합니다. 그런데 모습을 찾으면 ‘상태‘라고 쓰여 있지요. 그래서 상태를 찾으면 ‘모양‘이라고 쓰여 있는 거예요. 그 밖에도 남자(男)를 찾으면 ‘여자가 아닌 폭‘, 여자(女)를 찾으면 ‘남자가 아닌 쪽‘이라고 쓰여있습니다. 이것을 우리는 ‘빙빙 돌리기만 하는 것‘이라고 불렀습니다. 당시에는 이런 기술이 아주 일반적이었지요, 사전이란 그런 것이어도 된다는 분위기가 있었던 것은 사실이아니었을까요. 이렇게 적당히 넘어가도 되는 건가, 하고 많이들 생각했지요."
그런 가운데 야마다는 종래의 바꿔 말하기‘나 ‘빙빙 돌리기‘ 를 하지 말자고 했다. 당시 구라모치 씨는 그런 생각에 크게 공감했다고 한다.
야마다 선생님이 ‘바꿔 말하기‘를 하지 않는 사전을 만들려고 한다는 것은 저도 알고 있었습니다. 자신이 이상으로 여기는 사전에 곧장 다가가려하는구나, 하고 생각했지요. 단순한 ‘바꿔 말하기‘로는 의미의 본질에 다다를 수 없습니다. 지금까지의 사전은 어물쩍 둘러대는 것이고, 단순히 바꿔 말해도 된다는 것은 이상하다는 생각을 갖고 있었지요."
- P234

사고(事故) ② 그 일의 실시 실현을 방해하는 좋지 못한 사정,
『신메이카이 국어사전』 초판

"좋지 못한 사정." 사고의 또 한 가지 의미로서 『신메이카이 국어사전』에는 이렇게 쓰여 있었다. 시바타 다케시 선생은 야마다에게 직접 겐보에게 사고가 있어" 란 무슨 뜻이냐고 물었다.
"나는 사고가 교통사고나 병 같은 거라고 생각했기 때문에 그건 거짓말이고 과장이라며 깜짝 놀랐지만, 야마다 선생은 사고는 그런 의미가 아니다. 다른 의미가 있다고 했습니다. 확실히 메이지 시대의 용법에 있기는 합니다. ‘할 수없다‘, ‘지장이 있으니까‘라는 의미로 넣었다고 했습니다."
원래 현대어가 아니라 고전 전문가인 야마다에게 사고에는 오래된 용법으로 ‘좋지 못한 사정‘ 이라는 또 하나의 의미가 존재하는 것은 당연했다. 바로 그랬기 때문에 『신메이카이 국어사전』을 편찬할 때까지의 복잡한 ‘사정‘을 사고라는말로 치환했다.
그러나 겐보가 이해하는 사고는 야마다의 사고와는 달랐다. 말 전문가인 두 사람의 편찬자는 한 단어의 ‘의미‘를 둘러싸고 엇갈린 것이다. - P246

기존의 기술에 비해서 새로운 기술의 우수성을 확신하는...

기존의 기술에 비해서 새로운 기술의 우수성을 확신하는 사람들은 다른이들이 자신처럼 새로운 기술에 열띤 지지를 보내지 않아서 실망하는 경우가 종종 있다. 그러나 새롭고 더 우수해 보이는 기술에 대해서 거부감을 가지고 있다고 해서, 그것이 꼭 그들이 무지하거나 비이성적이어서가 아날 수도 있다. 어떤 기술의 유의성(誘意性)이나 규범적 성격은 그것이 사용되는 배경적 맥락 뿐만 아니라, 기술이 미치는 영향을 평가하는 시점에도 달려 있기 때문이다. 즉, 어떤 사람에게는 이익이라고 여겨지는 것이 다른 사람에게는 부담으로 여겨질 수도 있기 때문이다. 기계 메들로 인해서 직물 산업의경제적 효율성은 높아졌지만, 이 기계가 자신들의 장인 기술을 무용지물로만들 것이라고 예상한 수작업으로 베를 짜던 러다이트 방직공들에게는 이러한 기술적 발전을 반대할 만한 상당한 도구적 이유가 있었을 수도 있다.
따라서 여기서 "기술적 개선이 지능적 에이전트들이 추구할 수 있는 광범위하게 수렴하는 도구적 목표를 지칭할 때에는, 어떤 특별한 이해가 전제되어야 한다. 즉 기술은 특정한 사회적 맥락을 바탕으로 이해되어야 하고, 그것의 비용과 편익은 특정 에이전트의 최종 가치를 고려해서 평가되어야 한다는 것이다.
- P208

결국 기술적 개선뿐만 아니라 자원 획득이라는 것도 공통적으로 추구하는도구적 목표의 또다른 형태이다. 기술과 자원이라는 두 가지 모두가 갖추어져야만 물리적 구조물 제조가 가능하기 때문이다.
- P210

그리하여 우리는 용감하게 앞으로 나아갈 것이다. 비록 그 행동이 서술퍼런 칼날이 서 있는 함정 속으로 향하는 것일지라도 말이다.
따라서 인공지능이 멍청했을 때에는 좀더 똑똑해지는 것이 우리에게 더안전한 결과를 제공하지만, 인공지능이 똑똑한 상태에서는 더 똑똑해지는것이 우리의 위험을 가중시키는 결과를 초래할 수도 있음을 알 수 있다. 지금까지 훌륭하게 작동하던 전략, 즉 인공지능의 지능을 더 향상시켜서 인간에게 더 안전하도록 만들겠다는 전략이 어느 순간부터 갑자기 역효과를 내는 일종의 전환점이 있을 것이다. 이런 지점을 위험한 전환(treacherous turn)이라고 할 수 있을 것이다.

위험한 전환 : 아직 힘이 약할 때는 인공지능이 협조적으로 행동한다(인공지능이 점점 더 똑똑해지면 더욱 그러한 경향을 보인다). 그러나 인공지능이 충분히 강해지면, 그 어떤 경고나 도발도 없이, 갑작스럽게 힘을 행사해서 독점적 지배체제를 형성한다. 그리고 자신의 최종 목표에 담겨 있는 기준대로 그것을 가장 잘 달성하기 위해서 직접적으로 세상을 최적화하기 시작한다.
- P220

만약 인공지능에게 보상을 추구하도록 동기 부여를 할 수 있다면 중간 중간에 보상과 적절한 행위를 연계시켜서, 인공지능으로 하여금 원하는 행동을 하도록 할 수 있다는 것이다. 그러나 이런 생각은 인공지능이 확실한 전략적 우위를 획득하면서 무용지물이 된다. 즉 확실한 전략적 우위를 가진 인공지능에게는보상을 극대화한다는 것이, 인공지능을 교육하는 프로그래미를 만족시키는 행위를 하는 것이 아니라, 보상 메커니즘 그 자체에 대한 통제력을 획득하는 것이기 때문이다. 이러한 현상을 와이어헤딩(wicheading : 외부적 행위없이 단지 내부적 자극만으로 쾌락이나 즐거움 같은 긍정적 상태를 느끼는것 옮긴이)이라고 부를 수 있을 것이다. 보편직으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에도달하도록 할 수 있지만, 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상 동기 방식의 동기 부여 체재(regime)를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 즉 인공지능이 보다 직접적으로 원하는 내적 상태에 도달할 수 있는 지능과 능력을 갖추게 되면, 그 수단으로서 필요했던 외부적 행위나 조건들은 더 이상 쓸모가 없어진다. - P227

[오늘의 한문장] 니클의 소년들

난 여기 붙잡혀 있지만 그래도 최선을 다할 거야. 여기서 보내는 시간을 짧게 줄일 거야. 엘우드는 속으로 혼잣말을 했다. 고향 사람들은모두 그를 차분하고 믿음직한 사람으로 알고 있었다. 니클도 곧 그의그런 면을 알아줄 것이다. 유충에서 벗어나려면 점수가 얼마나 필요한지, 대부분의 학생들이 단계를 올라가 졸업하는 데 시간이 얼마나 걸리는지 저녁 식사 때 데즈먼드에게 물어보아야겠다는 생각이 들었다. 그러고 나서 다른 사람들보다 두 배나 빠른 속도로 이곳을 졸업할 것이다. 그것이 그가 할 수 있는 저항이었다.
- P85

이런 귀납적인 추론은 씨앗 인공지능의 발전 초기 단...

이런 귀납적인 추론은 씨앗 인공지능의 발전 초기 단계에서는 어느 정도타당할지도 모른다(그러나 이러한 유추가 전뇌 에뮬레이선이나 인지능력이향상된 인간에게도 적용될 수 있다고 볼 만한 근거는 없다), 시간이 지나면초지능으로 진화할 수 있는 잠재력을 가진 미성숙한 인공지능은, 인간에게는 아주 자연스러운 몇 가지 기술이나 재주를 갖추지 못했을 수도 있다.
그리고 씨앗 인공지능의 강점과 약점들은 IQ만 높은 샌님과 약간 비슷한 양상을 보일 수도 있을 것이다. 발선시키기 쉬워야 한다는(즉 저항성이 낮다는) 점 외에도, 씨앗 인공지능의 가장 필수적인 특징은, 시스템 전체의 지능을 높이기 위해서 가장 효과적으로 노력하는 것에 능숙해야 한다는 것이다. 즉 그 특징은 아마 수학, 프로그래밍, 공학, 컴퓨터 과학 연구, 그리고다른 샌님 같은 분야에서 잘하는 것과 밀접한 연관이 있을 것으로 보인다.
그러나 씨앗 인공지능이 개발 단계의 어딘가에서 이런 샌님 같은 특성을 가지고 있었다고 하더라도, 성숙된 초지능인 상태에서도 비슷한 특성을 가지고 있으리라는 보장은 없다. 제3장에서 다룬 직접적인 영향력과 간접적인영향력 간의 차이를 떠올려보라. 지능 증폭 능력을 충분히 갖추기만 했다면, 다른 모든 지적 능력들은 간접적으로 획득이 가능한 것이다. 이러한 시스템은 새로운 인지적 모듈과 기술- 예를 들면 공감능력, 정치적 통찰력그리고 컴퓨터 같은 샌님에게 부족하다고 여겨지는 그 어떤 것이라도- 을 필요할 때마다 개발하면 되기 때문이다.
- P173

현명한 독점적 지배체제의 지속 가능 임계값은 꽤 낮아 보인다. 앞에서 보았듯이, 초지능의 제한적인 형태라고 하더라도 기술적 자가개선(bootstrap) 프로세스를 실행하기에 충분한 물리적 작동장치에 연결될 수만있다면, 이 임계값을 넘어서게 된다. 동시대에 인간 문명이 함께 존재하는환경에서는 임계값을 넘기 위해서 필요한 최소한의 작동장치는 아주 단순한 정도의 수준일 수도 있다. 이 초지능에 협조하는 사람에게 적지 않은 정도의 정보를 전할 수 있는 그 어떤 작동장치, 즉 평범한 화면 정도면 충분할 수 있기 때문이다. - P190

바로 이러한 이유 때문에 도약의 속도에 대한 질문이 중요한 것이다. 어떤 특정한 결과가 정확히 언제 일어날지가 중요해서가 아니라, 도약의 속도가 결과에 상당한 영향을 줄 수 있기 때문이다. 빠르거나 중간 속도의 도약 상황에서는 한 연구 집단의 결과물이 확실한 전략적 우위를 획득할 가능성이 높다. 확실한 전략적 우위를 가진 초지능은 안정적인 독점적 지배체제를 형성할 수 있는 정도의 엄청난 힘을 가지고 있고, 이 독점적 지배체제는 인류가 가진 우주의 무한한 자산의 성향을 결정할 수도 있다고 시사한바 있다.
- P193

[오늘의 한문장] 새로운 단어를 찾습니다

「신메이카이 국어사전」은 개성이 강한 독특한 뜻풀이로 세상에 널리 알려지게 되었다. 하지만 야마다가 그런 뜻풀이를 쓴 것은 다른 사전의 모방을 되풀이하는 사전계에 대한 격분과 순수하게 사전의 진보와 발전을 바라는 마음에서였다. 나중에 야마다가 쓴 『신메이카이 국어사전의 초판 서문에는 야마다가 생각했던, 새로운 특색 있는 사전의 모습이 나타나 있다.

존엄한 인간이 하니의 인격으로 취급되는 것처럼, 사전 한 권에는 마땅히 편자 특유의 맛이 뭔가의 의미로 배어나와야 하는 것이라고 생각한다.
- 「신메이카이 국어사전』 초판의 서문 「새로운 것을 지향하며」
- P204