[마이리뷰] 슈퍼 인텔리전스

슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2017년 4월

(고릴라보다) 우리가 유리한 점이 딱 하나 있다. 바로 우리는 우리 손으로 초지능을 만든다는 것이다. 이론상으로, 우리는 인간 가치를 수호하는초지능을 만들 수도 있다. 우리에게는 그렇게 할 만한 강한 동기가 있다.
그러나 실제로는, 초지능을 통제하는 문제는 상당히 까다로워 보인다. 또한 초지능을 통제하기 위한 기회는 단 한번뿐일 것이다. - P11

버너 빈지의 중요한 최초 논문으로부터 레이 커즈와일 같은 사람의 문헌에 이르기까지 모든 논문들이 조만간 기술적 특이점(technological singularity)이 나타날 것이라고 내다보고 있다. 그럼에도 "특이점"이라는 단어는 서로다른 여러 가지 개념들로 그 의미가 분명하지 않게 사용되어왔고, 이 단어로인해서 (새천년에 대한 낙관론과 비슷한) 그다지 탐탁지 않은 "기술 유토피아적 분위기가 생기게 되었다. 이러한 대부분의 의미와 관점들은 이 책에서 다룰 논지와는 관련이 없으므로, "특이점"이라는 단어 대신 더 정확한 용어를 사용함으로써 명확하게 할 수 있다 - P19

이 책에서 사용되는 특이점과 관련된 개념은 지능 대확산(intelligenceexplosion)의 가능성으로, 그중에서도 특히 기계가 초지능(superintelligence)을 가질 수 있을 것이라는 생각이다. - P20

극단적인 변화를 예언하는 사람들에게, 이 20년이라는 시간은 몹시 절묘한 시간 간격이다. 20년이라는 기간은 계속해서 관심의 대상이 될 수 있을만큼 적절히 짧기도 하지만, 현재에는 짐작만 가능한 일련의 돌파구가 어쩌면 그때쯤에나 나타날 것이라고 상상할 수 있을 만큼, 긴 시간이기도 하다. 반면 이것보다 더 짧은 기간을 상정한 경우를 생각해보자. - P21

조합적 대확산의 문제를 해결하기 위해서는, 초기 인공지능 시스템에서는 거의 개발되지 못한 성능인 경험적 탐색(heuristic search), 계획(planning),
그리고 유동적인 추상적 표현(flexible abstract representation)을 활용하여 선행지식에서 유용한 장점을 이끌어내고, 목표 영역(target domain)의 구조를개발할 수 있는 알고리즘이 필요하다. 초기 인공지능 시스템의 성능이 열악했던 원인은, 불확실성을 다루는 방식이 미흡하고 불안정하며, 근거 없는상징적 표현에 대한 의존이 크고, 관련 데이터가 부족하며, 메모리 용량과연산 처리 속도 등의 하드웨어적 한계 때문이었다. - P27

컴퓨터 과학자 도널드 크누스는 "인공지능이 ‘생각‘을 필요로 하는 거의 모든 일들을 해내는 데에 성공했지만, 사람이나 동물들이 생각을 하지 않고도 할 수 있는 일들에는실패했다. 어찌된 것인지 후자가 더 성공하기 어렵다!"라고 놀라움을 금치못했다. 시각적 장면을 분석하고, - P39

[마이리뷰] 맥스 테그마크의 라이프 3.0

[전자책] 맥스 테그마크의 라이프 3.0 - 인공지능이 열어갈 인류와 생명의 미래
맥스 테그마크 지음, 백우진 옮김 / 동아시아 / 2017년 12월

무언가를 하기 위해 택할 수 있는 모든 방법 가운데, 자연은 최적의방법을 선호한다는 것이다. 최적의 선택은 어떤 양의 극대화나 극소화로 요약된다. 각 물리 법칙을 서술하는 데에는 수학적으로 동등한 두가지 방법이 있다. 하나는 과거가 미래의 원인이 되는 것이고, 다른 하나는 자연이 무언가를 최적화하는 것이다. 후자는 물리학 입문 과정에서는 다뤄지지 않는다. 수학적인 설명이 더 어렵기 때문이다. 그렇지만 나는 최적화 설명이 더 우아하고 심오하다고 느낀다. - P335

달리 말하면 AGI의 진짜 위험은 악의가 아니라 능력이다. 초지능 AI는자기 목적을 달성하는 데 엄청나게 뛰어날 것인데, 만약 그의 목적이우리의 목적과 일치하지 않으면 우리는 곤경에 처하게 된다. - P347

둘째 과제와 관련해 현재 인기 있는 접근은 기술자스러운 용어로역강화학습 inverse reinforcement learning이라고 알려졌다. 이는 스튜어트 러셀이 출범시킨 버클리의 새로운 연구센터의 주요 과제이기도 하다. - P349

우리는 지능 폭발 이후 무슨 일이 벌어질지 예측할 수 없다. 여기에 주목해 컴퓨터 과학자이자 SF 작가인 베너 빈지는 ‘특이점이라는개념을 내놓았다. 그러나 물리학자이자 AI 연구자인 스티브 오모훈드로steve Omohundro는 2008년 발표한 중요한 소론에서 초지능 AI의 행동의특정한 측면을 예측할 수 있고, 이는 초지능 AI의 궁극적인 목적으로부터 거의 독립적이라고 설명했다. 닉 보스트롬은 책 「슈퍼인텔리전스」에서 이 주장을 검토해 더 전개했다. 기본 아이디어는 궁극적인 목적이 무엇이든, 하위 목적은 예측 가능하다는 것이다. - P352

결론적으로 하위 목적 파생을 고려할 때 우리는 목적 정렬 문제를해결하기 전에는 초지능을 풀어놓으면 안 된다. 초지능에게 인간 우호적인 목적을 부여하는 작업을 아주 신중하게 하지 않을 경우 상황은우리에게 나쁘게 돌아올지 모른다.
이제 목적 정렬 문제에서 가장 골치 아픈 셋째 부분과 씨름해야 한다. 자기 스스로를 향상시키는 초지능이 우리 목적을 배우고 채택하게끔 하는 데 성공했다고 하자. 오모훈드로의 주장대로 초지능이 그 목적을 유지할까? 그럴 만한 근거가 있나? - P356

지능은 복잡한 목적들을 이루는 능력이다. - P374

[마이리뷰] 맥스 테그마크의 라이프 3.0

[전자책] 맥스 테그마크의 라이프 3.0 - 인공지능이 열어갈 인류와 생명의 미래
맥스 테그마크 지음, 백우진 옮김 / 동아시아 / 2017년 12월

기술은 삶이 전에 없이 흥성하도록 하는 잠재력을 품고 있다.
그 잠재력은 스스로를 파괴하는 것일 수도 있다.
- 생명의 미래 연구소- - P40

아무도 생명이 거의 없는 공간인 우주를 다양한 생물권으로 변신시켜 수십억 년, 수조 년 동안 번성하도록 함으로써 우리 우주가 마침내 잠재력을 다 발휘하고 완전히 깨어나도록 하지 못한다. 이런 점을 고려할 때 생명은 라이프 3.0으로 최종 업그레이드가 돼야 한다. 소프트웨어는 물론이고 하드웨어도 설계하는 능력을 갖추자는 얘기이다. 말하자면 라이프 3.0은 자신의 운명의 주인이 돼 마침내 진화의 족쇄에서 완전히 벗어나는 것이다. - P48

내가 처음으로 스튜어트 러셀Stuart Russell을 2014년 6월 파리의 한 카페에서 만났을 때 그는 전형적인 영국 신사라는 인상을 줬다. 그는 언변이 유창하고 사려 깊은 데다 목소리가 부드러웠지만 눈빛이 모험심으로 반짝였다. 어린 시절 내 영웅은 쥘 베른Jules Verne의 1873년 소설『80일간의 세계일주의 주인공인 필리어스 포크였는데, 그는 포크가환생한 인물 같았다. 그는 이 주제에 대해 표준이 되는 교과서를 저술했고 살아 있는 AI 연구자 중에서 매우 유명한 인물로 꼽혔는데도, 겸손하고 다감해 나를 편하게 했다. 그는 "AI 연구의 진전을 보면서 인간수준 AGI가 이번 세기에 정말 가능하겠다는 주장을 받아들이게 됐다" 라고 설명한 뒤, 자신은 희망적이지만 좋은 결과가 보장된 건 아니라고 말했다. - P55

인생은 여행이다. 목적지가 아니다.
- 랄프 왈도 에머슨


-알라딘 eBook <맥스 테그마크의 라이프 3.0> (맥스 테그마크 지음, 백우진 옮김) 중에서

(7장 맨 앞)

AI 논란 중 가장 껄끄러운 부분이 무엇이냐는 질문에 한 단어로 대답해야 한다면, 나는 ‘목적’이라고 말하겠다. 우리는 AI에게 목적을 부여해야 하는가? 그렇다면 그 목적은 무엇이어야 하는가? AI에게 어떻게 목적을 심어줄 것인가? AI는 더 영리해진 뒤에도 전에 우리에게서 받은 목적을 유지할까? 우리보다 똑똑한 AI의 목적을 우리가 바꿀 수 있을까? 우리의 궁극적인 목적은 무엇인가? 이들 질문은 어려울 뿐 아니라 생명의 미래라는 측면에서 중요하다.

-알라딘 eBook <맥스 테그마크의 라이프 3.0> (맥스 테그마크 지음, 백우진 옮김) 중에서

[마이리뷰] 인에비터블 미래의 정체

인에비터블 미래의 정체 - 12가지 법칙으로 다가오는 피할 수 없는 것들
케빈 켈리 지음, 이한음 옮김 / 청림출판 / 2017년 1월

눈을 크게 뜨고 경계하면서 받아들이는 편이 훨씬 더 낫다. 이 책에서 내 의도는 디지털 변화의 뿌리를 포용할 수 있도록 그것을 드러내는 것이다. 일단 간파하면, 우리는 그것에 맞서 싸우기보다는 그것의 특성을 활용할 수 있다. 대량 복제는 계속된다. 대규모 추적과 전면적인 감시도 계속된다. 소유권 개념은 변하고 있다. 가상현실은 현실이 되고 있다. 우리는 인공지능과 로봇이 개선되고, 새로운 사업 분야를 창출하고, 현재의 직업을 앗아가는 것을 막지 못한다. 우리가 처음느낄 충동에 반할지도 모르겠지만, 우리는 이 기술의 끊임없는 재조합을 받아들여야 한다. 이 기술을 막으려 하기보다는 그것과 협력해야만기술이 제공하는 것을 최대한 이용할 수 있다. 그렇다고 손을 놓고 있자는 말은 아니다. 법적 수단과 기술적 수단 양쪽을 다 써서 새로 출현하는 발명품이 실제로(가상으로가 아니라) 해를 끼치는 것을 막을 필요가있다. 우리는 각각의 새로운 발명품을 교화하고 길들일 필요가 있다.
하지만 깊이 관여하고, 직접 경험하고, 경계하면서 받아들여야 그렇게할 수 있다. - P11

소유는 예전보다 덜 중요해지고 있다. 대신에 접근하기Accessing‘가점점 더 중요해지고 있다.
당신이 세계 최대의 대여점 안에서 살고 있다고 하자. 무언가를 소유할 이유가 어디 있겠는가? 손만 뻗으면 필요한 것은 무엇이든 빌릴수 있는데? 즉시 빌림으로써 당신은 소유의 혜택을 대부분 얻는 한편으로 소유의 단점은 거의 피한다. 당신은 쓸고 닦고, 고치고, 보관하고,
정리하고, 보험을 들고, 갱신하고, 유지할 책임을 전혀 지지 않는다. 이대여점이 무한한 공간에 온갖 물건이 가득 들어가 있는 마법의 벽장, 메리 포핀스의 손가방이라면? 당신은 그저 수리수리마수리 하면서 탁두드려서 불러내기만 하면 된다. 그러면 짠 하고 나타날 것이다. - P168

아마존 설립자인 제프 베조스Jeff Bezos는 2007년에 킨들 전자책 단말기를 처음 소개할 때, 그것이 제품이 아니라고 주장했다. 읽을거리에접근할 권리를 파는 서비스라고 말했다. 이 변화는 7년 뒤 아마존이거의 100만 권에 달하는 전자책을 모두 읽을 수 있는 도서관 유료 회원 서비스를 도입함으로써 더 명확해졌다. - P171

상품은 소유를 부추기지만 서비스는 소유를 단념시킨다. 소유하는특권에 따라오는 배타성, 통제권, 책임이 서비스에는 없기 때문이다.
구입하는 소유권’에서 ‘구독하는 접근권으로의 전환은 많은 관습을 뒤엎는다. 소유권 획득은 무심결에 변덕스럽게 이루어진다. 더 나은 무언가가 나오면 와락 움켜쥐는 식이다. 반면에 구독은 생산자와소비자 사이의 끊임없는 상호작용을 일으키는 업데이트, 발행, 판본의끝없는 흐름을 낳는다. 일회성 사건이 아니다. 지속적인 관계다. - P172

비트코인의 명성은 주로 그것이 부추기고 있는 익명성과 암시장에서 비롯되는 것일 수도 있다. 하지만 익명성은 잊어라. 그것은 부수적인 특성일 뿐이다. 비트코인의 가장 중요한 혁신은 그것을 추진하는 수학적 기술인 ‘블록체인blockchain‘이다.
블록체인은 화폐뿐 아니라 다른 많은 시스템을 탈중심화할 수 있는근본적인 발명품이다. - P183

아버지는 내게 아무것도 소유하지 않으면 책임감도 소속감도 느끼지 못하지 않냐고 묻곤 하신다. 나는 정반대라고 답한다. 원시시대와깊이 연결되어 있다는 느낌을 받는다. 나는 아무것도 소유하지 않은채, 당장 쓸 도구를 고안하여 쓰고 떠날 때에는 그냥 버리면서 자연의복합단지를 돌아다니던 고대의 수렵채집인 같은 느낌을 받는다. 쌓아놓을 헛간이 필요한 쪽은 농민이다. 디지털 원주민은 자유롭게 앞으로달려가서 미지의 세계를 탐험한다. 소유가 아니라 접근을 통해 나는다음에 무엇이 나오든 준비가 된, 민첩하고 활기찬 상태를 유지한다. - P202

[마이리뷰] 왓츠 인 마이 아이패드

[전자책] 왓츠 인 마이 아이패드 - 유튜브 그해처럼 아이패드 200% 활용할 수 있다면
황민정 지음 / 북스고 / 2021년 10월

영어 공부를 할 때 넷플릭스 자막을 PDF로 만들어 주는 크롬 확장 프로그램인 Language Learning with Netflix를 사용해서 좋아하는 영화의 자막으로 영어 공부도 하고 있어요.

-알라딘 eBook <왓츠 인 마이 아이패드> (황민정 지음) 중에서

종이책을 읽을 때보다는 눈이 피로하다는 단점이 있지만, 개인적으로 저는 아이패드로 독서할 때의 장점이 더 크게 와 닿았어요. 적극적으로 메모하면서 읽다보니 자연스레 내용에 집중이 더 잘 되고, 기억에도 많이 남았어요. 무엇보다 하나의 아이패드로 여러 책을 가지고 다닐 수 있어서 굳이 무겁게 책을 들고 다니지 않더라도 아이패드만 있으면 언제 어디서든 책을 읽을 수 있어요.

-알라딘 eBook <왓츠 인 마이 아이패드> (황민정 지음) 중에서