프롤로그 우리는 지구의 중력에 얽매인 채 삶을...

프롤로그 

우리는 지구의 중력에 얽매인 채 삶을 살아간다. 그래서 걸음을 내디딜 때마다 바위나 흙을 접할 수밖에 없다. 포장도로나 바닥 마루를 덮는다고 해도 한 꺼풀 벗겨내면 마찬가지다. 항공기를 타고 이륙할 때면 중력의 손아귀에서 벗어났다고 생각할지 모르지만, 그 흥분은 잠깐일 뿐이다. 몇 시간 지나지 않아 중력이 다시금 이기면서, 우리는 단단한 땅으로 돌아올 것이다.
게다가 우리가 지구에 매여 있는 것이 오로지 중력 때문만은 아니다. 우리가 먹는 음식은 대기나 바다에 있는 이산화탄소와 흙이나 바다에서 흡수한 물과 영양소로부터 만들어진다. 또 숨을 들이쉴 때마다 허파에 들어오는 풍부한 산소는 음식물의 에너지를 추출하는데 쓰이며, 대기의 이산화탄소는 우리가 얼어붙지 않게 막아준다. 또냉장고 문의 강철, 음료수 캔의 알루미늄, 동전의 구리, 스마트폰의 희토류 등 필수로 쓰이는 갖가지 금속도 모두 지구에서 나온다. 우리에게 이런 온갖 것을 내어주고 우리를 지탱하며 지진이나 태풍이 찾아올 때처럼 이따금 해를 끼치기도 하는 이 거대한 공에 대다수가 별 관심이 없다는 점을 생각하면 놀랍기 그지없다. - P13

빅뱅으로 생성된 물질은 대부분 가장 단순한 원소인 수소 원자였고, 중수소(수소에 중성자가 하나 추가된 것)와 헬륨도 약간 있었다.
리품도 아주 조금 있었고, 다른 가벼운 원소들도 그보다 더 적게 생기긴 했다. 하지만 미미한 수준이었다. 사실 생겨난 것이 더 있긴 했다. 그러나 우리는 그것이 무엇인지 잘 모른다. 1950년대에 천문학자들은 별과 은하 별, 가스, 먼지가 마찬가지로 중력으로 묶여 있는 집함)의움직임을 이용하여 깊은 우주에서의 중력을 계산하기 시작했다. 그런데 하늘에서 보이는 알려진 모든 물체들의 질량을 더했을 때, 그들은 하늘에서 관측한 사항들을 설명하기에는 질량이 모자란다는 점을알아차렸다. 우주에 다른 무언가가 있어야 했다. 중력을 통해 일반적인 물질과 상호작용을 하면서도 빛과는 상호작용을 하지 않는 무언가가 있는 것이 틀림없었다. 천문학자들은 그것에 암흑물질 dark matter이라는 이름을 붙였다. 그들은 그 뒤로 암흑물질이 무엇일지 곰곰이 생각했지만, 아무도 확실하게 말하지 못한다. 게다가 우주가 돌아가는 양상을 설명하려면 암흑에너지 dark energy 라는 더욱 수수께끼 같은것도 있어야 했다. 암흑물질과 암흑에너지는 존재하는 모든 것의 약 95퍼센트를 차지한다고 여겨진다. 즉, 우주를 만드는 데 주된 역할을 한다고 여겨지는데도 우리가 찾아내지 못한 수수께끼의 구성 요소들이다. 우리는 아직 배울 것이 많다.
- P25

구체적으로 지구는 어떤 과정을 거쳐서 모습을 갖추었고, 우리는 지구의 유아기에 관해 무엇을 알 수 있을까? 빛이 우주의 역사를 말해준다면, 암석은 우리 행성의 역사를 알려준다. 그랜드캐니언을 바라보거나 루이스 호수를 둘러싼 산봉우리들에 감탄할 때, 우리는 돌에 새겨진 지구의 역사서들로 가득한 자연의 도서관을 보고 있는 것이다.  - P30

[오늘의 한문장] 스윙걸스

도모코의 색소폰 소리를 다쿠오도 들었다. 말로 하지 않아도서로의 마음은 신기하게도 통했다. 어느 쪽이나 같은 「A열차로 가자」를 연주하고 있다는 것은 ‘빅밴드 하자!‘ 라는 것이었다. 마음을 확인하는 것처럼 두 사람의 소리는 냇물을 사이에 두고 합주가 되었다. 두 사람 다 기뻐서 눈에 살짝 물기가 맺혔다.
"그만 두지 않아도 돼, 할 수 있을지 몰라. 아니, 하자, 재즈재즈 하자!"
그런 대화를 주고받는 것처럼 두 사람의 섹션은 언제까지고 계속되었다.
- P143

[오늘의 한문장] 스윙걸스

여학생들은 교문을 나서자 아무도 입을 열지 않고 걷기 시작했다. 당장이라도 소나기가 내릴 것 같은 잔뜩 흐린 얼굴이었다. 모처럼의 여름방학, 그토록 빨리 빠져나가고 싶은 학교였는데 지금은 쫓겨나는 것이 괴롭고 괴로워서 견딜 수가 없다.
교사가 멀어져 보이지 않게 되자 갑자기 한 아이가 울기 시작했다. 도모코다.
"으아아아앙!"
그것을 계기로 봇물 터지듯이 모두가 울었다. 누구도 감정을 억누를 수가 없었다.
"으아아아아아아앙!"
우는 것밖에 할 수 없었다. 그 눈물 집단을 마을 사람들은 놀란 채 바라보았다.  - P113

「하나의 (가능하지만 굉장히 단순화된) 모델은 이런 ...

「하나의 (가능하지만 굉장히 단순화된) 모델은 이런 식일 것이다. 우리의 삶은 비교적 단순한 초기 선호(독한 냄새에 대한 혐오감 등)에서 시작한다. 그리고 여기에는 다양한 경험을 통해서 추가로 선호 대상을 늘려가는 성향들이 동반된다(예를 들면, 문화적으로 가치 있고 보상을 수반하는, 물건이나 행동을 좋아하는 경향이 있다). 이 단순한 조기 선호와 성향은 모두 진화 과정을 거지면서 자연적으로 그리고 성선택(sexual selection)을 통해서 형성된 것이므로, 선천적이라고 할 수 있다. 그러나 성인이 되어서 어떤 것을 선호하게 될지는 삶의 경험에 따라서 달라진다. 따라서 우리의 최종 가치에 담긴 정보 콘텐츠는 게놈에 이미 장착된 것이 아니라 경험을 통해서 획득한 것이다.
- P339

결합된 가치 부여에 따른 다른 문제점으로는, 인공지능이 가치 부여를중지시킬 수도 있다는 것이다. 제7장에서 보았듯이, 목표 시스템의 완전성은 수렴하는 도구적 가치이다. 인공지능이 인지 발달 단계 중에서 어느 시점에 도달하면, 가치 부여 메커니즘의 지속적인 가동이 부패 문제 같은 악영향을 미치기 시작한다고 생각할 수 있다. 꼭 나쁜 일이라고 할 수는 없지만, 목표 시스템의 봉쇄가 알맞은 시점에 발현되도록 주의를 기울여야한다. 이 시점은 적절한 가치들이 주어진 후, 그리고 의도하지 않은 추가적인 가치 부여가 초기 가치들을 덮어버리기 전이어야 한다.
- P341

유드코프스키의 제안에 따르면, 씨앗 인공지능에게는 인류의 "일관 추정의지를 수행하라는 최종 목표가 주어진다. CEV의 정의는 다음과 같다.

인류의 일관 추정 의지"는 우리가 더 많이 알았다면, 더 빠르게 생각할 수있었다면, 우리 스스로가 되기를 바라는 그런 사람들이었다면, 함께 더 떨리 성장할 수 있었다면 하고 우리가 원했을 만한 것들을 말한다. 여기서 말하는 추정은 분산되는 것이 아니라 집중되는 것이며, 우리가 바라는 것은 상충되지 않고 일관되게, 우리가 원하는 대로 추정하고 원하는 대로 해석할 수있는 것이다.
- P373

고도로 최적화된 설계를 만들지 않아도 된다. 대신에 고도의 신뢰성을가진 설계를 만들어 스스로의 실패를 인정할 수 있는 충분한 분별력을 갖추도록 해야 한다. 믿을 만한 토대를 갖추었지만 완벽하지 못한 초지능은점차 스스로를 수정해나갈 것이고, 이 과정이 끝나면 마치 처음부터 완벽했던 것처럼 세상 속에서 이로운 최적화 능력을 발휘할 것이다.
- P401

초지능이 나노 기술처럼 잠재적으로 위험한 다른 기술보다 먼저 개발되어야 하는 근거는, 초지능은 나노 기술이 초래하는 존재적 위험을 줄일 수있지만, 그 반대의 일은 일어나지 않기 때문이다. 그러므로 초지능이 먼저만들어지면 초지능에 관련된 존재적 위험만 상대하면 되지만, 나노 기술이먼저 만들어지면 나노 기술의 위협에다가 초지능의 위협까지 마주하게 될것이다. 초지능이 초래하는 존재적 위험이 매우 크고, 초지능 자체가 모든기술들 중에서 가장 위험한 것일지라도 초지능의 개발을 재촉하는 이유가바로 이것이다.
그러나 이러한 "이를수록 좋다"라는 논의는, 초지능이 언제 개발되는가에 상관없이 그 위험성은 같다는 전제에서 출발한다. 이와는 반대로 만약 그 위험성이 시간이 지날수록 줄어든다면, 기계지능 혁명을 늦추는 것이 나을지도 모른다. 지연된 개발로 인해서 다른 형태의 존재적 재앙을 조정하여 처리할 시간을 더 많이 가질 수 있으므로, 초지능의 개발을 늦추는것이 더 바람직할 수도 있다. 만약 초지능과 관련된 존재적 위험이 다른파멸적 기술과 관련된 것보다 훨씬 크다면 더욱더 바람직할 것이다.
- P407

인공지능 또는 전뇌 에물레이션 중 어느 것이 먼저인가? 인공지능 던저 시나리오에서는 존재적 위험을 만드는 전이는 하나밖에 없다. 전뇌 에물레이션 먼저 시나리오에서는위험한 두 빈의 전이가 있다. 첫째는 전뇌 에물레이션의 개발이고, 그 다음은 인공지능의 개발이다. 전뇌 에물레이션 먼저인 전이 시나리오에 따르는 전체적인 존재적 위험은 이들의 합이다. 그러나 전뇌 에물레이션이 이미 성공적으로 정착되고 나면, 인공지능으로의 전이에 따른 위험은 낮아질 수 있다.
- P429

가능한 한 일찍 공동 작업을 시작하는 이유는, 어떤 프로젝트가 먼저초지능을 달성할 것인지에 관한 어떤 사소한 정보도 우리의 시야를 가리는, 소위 무지의 가면의 장점을 취하기 위함이다. 결승점에 가까워질수록경쟁하는 프로젝트와의 상대적인 격차에 대한 불확실성이 줄어들 것이다. 결국 이익을 전 인류에게 분배하는 공동 프로젝트에 동참하는 것이 정당하다는 것을, 선두주자의 이기심을 가진 집단에게 설득하는 것이 점점 더어려워질 것이다. 다른 한편으로는, 초지능의 가능성이 현 상태보다 더 널리 알려지고 기계 초지능을 창조할 수 있는 확실한 길이 보이기 전에는 세계적 규모의 공식적인 공동 기구를 설립하는 것도 어려워 보인다. 게다가 공동 작업에 의해서 초지능의 개발이 진행된다고 해도, 앞에서 언급한 대로 안전성에 대해서는 역효과를 낳을 수도 있다.
그러므로 현시점에서의 이상적인 형태의 공동 작업은 처음에는 특정한공식적인 합의 같은 것을 추진하지 않고, 급하게 기계지능을 발전시키려고하지 않는 것이다. 이런 기준에 맞는 한 가지 제안은 적당한 도덕적 규범을 제기해서 초지능이 공익을 위해서 사용되어야 한다는 서약을 하는 것이다. 그러한 규범은 다음과 같이 표현될 수 있다.

공유재의 원칙(The common good principle)
초지능은 오직 인류 공동의 이익을 위하고 널리 공유되고 있는 도덕적 이상을 펴기 위해서 개발되어야 한다.
- P446

그 누구도 하늘 전체를 뒤덮으면서 전 방위적으로 내리꽂히는 지능 대학산의 폭풍으로부터 안전하게 도망칠 수는 없을 것이다. 그 경우에는 사건을 알려서 도움을 청해야 할 눈에 띄는 어른도 그곳에는 없을 것이다.
이런 상황에서는 어떤 유쾌한 경탄의 소리도 어울리지 않을 것이다. 소스라침과 두려움이 더 근접한 표현일 것이다. 아마도 가장 적합한 태도는마치 우리가 우리의 꿈을 이루거나 꿈을 짓밟을 수 있는 어려운 시험을 준비하듯이, 우리가 할 수 있을 만큼 정당하게 고된 결정을 내리는 것이다.
이것은 광신도들이 내리는 처방전 같은 것이 아니다. 지능 대확산은 여전히 수십 년 이후의 일일 것이다. 우리가 맞닥뜨리고 있는 도전에 대처하기 위해서는, 비록 이 도전이 가장 비정상적이고 인간미가 없는 문제임에도불구하고 우리의 인성, 즉 우리의 근본, 상식 그리고 푸근한 품위 같은 성향에 어느 정도 의지해야 한다. 이 해결책의 단초를 담고 있는 모든 인적자원을 총동원해야 한다.
그럼에도 불구하고 세계적으로 의미 있는 것이 무엇인지를 파악하는 것도 놓치지는 말아야 한다. 매일매일 안개 속에서 사는 듯한 하찮은 일상을 통해서도 우리 시대의 근본적인 임무를 희미하게나마 감지할 수 있다.
이 책에서 우리는 이와 같은 시도를 하지 않았다면, 여전히 비교적 정형화되어 있지 않고 부정적으로 정의되어 있었을 수도 있는, 미래에 대한 견해를 조금이라도 더 파악하려고 시도했다. 이것은 (개인적이고 세속적인 것은 배제한 견해에서 보았을 때) 우리의 주된 도덕적 우선순위로서, 존재적위험을 줄이려고 하고, 인류가 가진 우주의 무한한 자산을 온정적이고 즐겁게 사용하도록 이끌어서 성숙한 문명을 성취하려고 하는 인류의 미래의 꿈일 것이다.
- P457

제1장 A열차로 가자 도호쿠라고 하면 사람들은 대...

제1장 A열차로 가자

도호쿠라고 하면 사람들은 대개 ‘눈(雪]의 고장‘ 을 연상한다.
그다음이 춥다‘는 것. 그래서 어쩐지 여름에도 시원할 거라는이미지가 있다. 하지만 그것은 잘못이다. 도호쿠도 더운 곳은엄청 덥다. 산으로 둘러싸인 이 고장은 매년 30도가 넘는 날이 아주 흔하다.
그런 도호쿠의 어느 읍내에서 여름에 일어난 일이다.
야마카와 고등학교는 그 읍내의 한가운데쯤에 있다.
- P11

머릿속이 하얘졌다. 텔레비전 화면은 스튜디오로 바뀌어 있다. 아나운서가 계속했다.
"..… 오늘 한낮 기온이 33도를 넘는 한여름 날씨여서 도시락의 보존 상태가 좋지 않은 탓으로 보입니다..
희미하게 들려온 그런 말로, 도모코의 마음에 작은 꽃이 피어나기 시작했다.
보존 상태가 좋지 않은 탓..…. 보존 상태....‘ 그래, 아무도 도시락을 운반한 여학생이 상하게 했다고는 말하지 않았어!
난 또, 누구 탓도 아닌 거야! 아아, 이거 참.
작은 꽃은 어느새 큰 해바라기 밭이 되어 도모코의 가슴속을 다 채워 버렸다.
- P54