기존의 기술에 비해서 새로운 기술의 우수성을 확신하는...

기존의 기술에 비해서 새로운 기술의 우수성을 확신하는 사람들은 다른이들이 자신처럼 새로운 기술에 열띤 지지를 보내지 않아서 실망하는 경우가 종종 있다. 그러나 새롭고 더 우수해 보이는 기술에 대해서 거부감을 가지고 있다고 해서, 그것이 꼭 그들이 무지하거나 비이성적이어서가 아날 수도 있다. 어떤 기술의 유의성(誘意性)이나 규범적 성격은 그것이 사용되는 배경적 맥락 뿐만 아니라, 기술이 미치는 영향을 평가하는 시점에도 달려 있기 때문이다. 즉, 어떤 사람에게는 이익이라고 여겨지는 것이 다른 사람에게는 부담으로 여겨질 수도 있기 때문이다. 기계 메들로 인해서 직물 산업의경제적 효율성은 높아졌지만, 이 기계가 자신들의 장인 기술을 무용지물로만들 것이라고 예상한 수작업으로 베를 짜던 러다이트 방직공들에게는 이러한 기술적 발전을 반대할 만한 상당한 도구적 이유가 있었을 수도 있다.
따라서 여기서 "기술적 개선이 지능적 에이전트들이 추구할 수 있는 광범위하게 수렴하는 도구적 목표를 지칭할 때에는, 어떤 특별한 이해가 전제되어야 한다. 즉 기술은 특정한 사회적 맥락을 바탕으로 이해되어야 하고, 그것의 비용과 편익은 특정 에이전트의 최종 가치를 고려해서 평가되어야 한다는 것이다.
- P208

결국 기술적 개선뿐만 아니라 자원 획득이라는 것도 공통적으로 추구하는도구적 목표의 또다른 형태이다. 기술과 자원이라는 두 가지 모두가 갖추어져야만 물리적 구조물 제조가 가능하기 때문이다.
- P210

그리하여 우리는 용감하게 앞으로 나아갈 것이다. 비록 그 행동이 서술퍼런 칼날이 서 있는 함정 속으로 향하는 것일지라도 말이다.
따라서 인공지능이 멍청했을 때에는 좀더 똑똑해지는 것이 우리에게 더안전한 결과를 제공하지만, 인공지능이 똑똑한 상태에서는 더 똑똑해지는것이 우리의 위험을 가중시키는 결과를 초래할 수도 있음을 알 수 있다. 지금까지 훌륭하게 작동하던 전략, 즉 인공지능의 지능을 더 향상시켜서 인간에게 더 안전하도록 만들겠다는 전략이 어느 순간부터 갑자기 역효과를 내는 일종의 전환점이 있을 것이다. 이런 지점을 위험한 전환(treacherous turn)이라고 할 수 있을 것이다.

위험한 전환 : 아직 힘이 약할 때는 인공지능이 협조적으로 행동한다(인공지능이 점점 더 똑똑해지면 더욱 그러한 경향을 보인다). 그러나 인공지능이 충분히 강해지면, 그 어떤 경고나 도발도 없이, 갑작스럽게 힘을 행사해서 독점적 지배체제를 형성한다. 그리고 자신의 최종 목표에 담겨 있는 기준대로 그것을 가장 잘 달성하기 위해서 직접적으로 세상을 최적화하기 시작한다.
- P220

만약 인공지능에게 보상을 추구하도록 동기 부여를 할 수 있다면 중간 중간에 보상과 적절한 행위를 연계시켜서, 인공지능으로 하여금 원하는 행동을 하도록 할 수 있다는 것이다. 그러나 이런 생각은 인공지능이 확실한 전략적 우위를 획득하면서 무용지물이 된다. 즉 확실한 전략적 우위를 가진 인공지능에게는보상을 극대화한다는 것이, 인공지능을 교육하는 프로그래미를 만족시키는 행위를 하는 것이 아니라, 보상 메커니즘 그 자체에 대한 통제력을 획득하는 것이기 때문이다. 이러한 현상을 와이어헤딩(wicheading : 외부적 행위없이 단지 내부적 자극만으로 쾌락이나 즐거움 같은 긍정적 상태를 느끼는것 옮긴이)이라고 부를 수 있을 것이다. 보편직으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에도달하도록 할 수 있지만, 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상 동기 방식의 동기 부여 체재(regime)를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 즉 인공지능이 보다 직접적으로 원하는 내적 상태에 도달할 수 있는 지능과 능력을 갖추게 되면, 그 수단으로서 필요했던 외부적 행위나 조건들은 더 이상 쓸모가 없어진다. - P227

[오늘의 한문장] 니클의 소년들

난 여기 붙잡혀 있지만 그래도 최선을 다할 거야. 여기서 보내는 시간을 짧게 줄일 거야. 엘우드는 속으로 혼잣말을 했다. 고향 사람들은모두 그를 차분하고 믿음직한 사람으로 알고 있었다. 니클도 곧 그의그런 면을 알아줄 것이다. 유충에서 벗어나려면 점수가 얼마나 필요한지, 대부분의 학생들이 단계를 올라가 졸업하는 데 시간이 얼마나 걸리는지 저녁 식사 때 데즈먼드에게 물어보아야겠다는 생각이 들었다. 그러고 나서 다른 사람들보다 두 배나 빠른 속도로 이곳을 졸업할 것이다. 그것이 그가 할 수 있는 저항이었다.
- P85

이런 귀납적인 추론은 씨앗 인공지능의 발전 초기 단...

이런 귀납적인 추론은 씨앗 인공지능의 발전 초기 단계에서는 어느 정도타당할지도 모른다(그러나 이러한 유추가 전뇌 에뮬레이선이나 인지능력이향상된 인간에게도 적용될 수 있다고 볼 만한 근거는 없다), 시간이 지나면초지능으로 진화할 수 있는 잠재력을 가진 미성숙한 인공지능은, 인간에게는 아주 자연스러운 몇 가지 기술이나 재주를 갖추지 못했을 수도 있다.
그리고 씨앗 인공지능의 강점과 약점들은 IQ만 높은 샌님과 약간 비슷한 양상을 보일 수도 있을 것이다. 발선시키기 쉬워야 한다는(즉 저항성이 낮다는) 점 외에도, 씨앗 인공지능의 가장 필수적인 특징은, 시스템 전체의 지능을 높이기 위해서 가장 효과적으로 노력하는 것에 능숙해야 한다는 것이다. 즉 그 특징은 아마 수학, 프로그래밍, 공학, 컴퓨터 과학 연구, 그리고다른 샌님 같은 분야에서 잘하는 것과 밀접한 연관이 있을 것으로 보인다.
그러나 씨앗 인공지능이 개발 단계의 어딘가에서 이런 샌님 같은 특성을 가지고 있었다고 하더라도, 성숙된 초지능인 상태에서도 비슷한 특성을 가지고 있으리라는 보장은 없다. 제3장에서 다룬 직접적인 영향력과 간접적인영향력 간의 차이를 떠올려보라. 지능 증폭 능력을 충분히 갖추기만 했다면, 다른 모든 지적 능력들은 간접적으로 획득이 가능한 것이다. 이러한 시스템은 새로운 인지적 모듈과 기술- 예를 들면 공감능력, 정치적 통찰력그리고 컴퓨터 같은 샌님에게 부족하다고 여겨지는 그 어떤 것이라도- 을 필요할 때마다 개발하면 되기 때문이다.
- P173

현명한 독점적 지배체제의 지속 가능 임계값은 꽤 낮아 보인다. 앞에서 보았듯이, 초지능의 제한적인 형태라고 하더라도 기술적 자가개선(bootstrap) 프로세스를 실행하기에 충분한 물리적 작동장치에 연결될 수만있다면, 이 임계값을 넘어서게 된다. 동시대에 인간 문명이 함께 존재하는환경에서는 임계값을 넘기 위해서 필요한 최소한의 작동장치는 아주 단순한 정도의 수준일 수도 있다. 이 초지능에 협조하는 사람에게 적지 않은 정도의 정보를 전할 수 있는 그 어떤 작동장치, 즉 평범한 화면 정도면 충분할 수 있기 때문이다. - P190

바로 이러한 이유 때문에 도약의 속도에 대한 질문이 중요한 것이다. 어떤 특정한 결과가 정확히 언제 일어날지가 중요해서가 아니라, 도약의 속도가 결과에 상당한 영향을 줄 수 있기 때문이다. 빠르거나 중간 속도의 도약 상황에서는 한 연구 집단의 결과물이 확실한 전략적 우위를 획득할 가능성이 높다. 확실한 전략적 우위를 가진 초지능은 안정적인 독점적 지배체제를 형성할 수 있는 정도의 엄청난 힘을 가지고 있고, 이 독점적 지배체제는 인류가 가진 우주의 무한한 자산의 성향을 결정할 수도 있다고 시사한바 있다.
- P193

[오늘의 한문장] 새로운 단어를 찾습니다

「신메이카이 국어사전」은 개성이 강한 독특한 뜻풀이로 세상에 널리 알려지게 되었다. 하지만 야마다가 그런 뜻풀이를 쓴 것은 다른 사전의 모방을 되풀이하는 사전계에 대한 격분과 순수하게 사전의 진보와 발전을 바라는 마음에서였다. 나중에 야마다가 쓴 『신메이카이 국어사전의 초판 서문에는 야마다가 생각했던, 새로운 특색 있는 사전의 모습이 나타나 있다.

존엄한 인간이 하니의 인격으로 취급되는 것처럼, 사전 한 권에는 마땅히 편자 특유의 맛이 뭔가의 의미로 배어나와야 하는 것이라고 생각한다.
- 「신메이카이 국어사전』 초판의 서문 「새로운 것을 지향하며」
- P204

겐보가 탈고하고 나서 1년도 지나지 않은 1941년 ...

겐보가 탈고하고 나서 1년도 지나지 않은 1941년 12월 8일, 진주만 공격으로 태평양 전쟁이 시작되었다. 정세는 하루하루 악화되어 다양한 물자 부족을 겪게 되었다. 당연히사전을 인쇄할 종이도 충분히 공급되지 않는 상황이었다.
당시의 신문에는 심각하게 사전이 부족하다는 상황이 드러나 있다.

"국어사전을 내라."
"중등학생용 국어사전, 한일사전(和辭典)은 4월 이래거의 모습이 보이지 않는다."
- 1942년 7월 14일자 (아사히신문> 
석간사전은 공동으로 사용하자. 다음 달쯤부터 조금씩 나온다."
사전류가 부족해 지금 학생들을 힘들게 하고 있다."
- 1913년 5월 일자 (아사히신문) 석간 - P97

겐보 선생은 말의 ‘현재‘를 반영한 사전을 만들기 위해서는 ‘살아 있는 말을 철저히 조사할 수밖에 없다고 생각했다. 그러므로 용례 수집은 단순히 사전에 실을 예문을 찾기위해 한 것이 아니었다. 실제로 현재 사용되는 대량의 용례를 기초로 신조어뿐만 아니라 지금 사람들이 사용하는 말의 ‘의미‘를 알고 새로운 용법과 의미의 변화를 파악하기 위해서였다. 전쟁 중에 나온 『메이카이 국어사전』 초판의 서문에 쓰여 있는 것처럼 "국어의 현실을 충실히 기록" 하려고한다면, 확실한 방법은 풍부한 용례를 모으는 것밖에 없다고 생각했던 것이다. - P155