[전자책] 슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2020년 7월
평점 :
장바구니담기


그보다는 우리가 의도한 대로 묘사된 가치를 추구하도록 인공지능에게 동기를 부여하는 것이 어려운 문제이다. 우리의 의도를 이해하는 인공지능의 능력만으로는 이것을 보장할 수 없다. 즉 우리가 의도한 것을 정확히 이해한다고 해도─단어들에 대한 다른 해석에 따라 동기 부여가 된다거나 우리가 제공한 단어들에 아예 무관심하거나 하는 방법으로─전혀 무관심해질 수 있다.

-알라딘 eBook <슈퍼 인텔리전스> (닉 보스트롬 지음, 조성진 옮김) 중에서


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
공유하기 북마크하기찜하기 thankstoThanksTo
 
 
 
[전자책] 슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2020년 7월
평점 :
장바구니담기


우리는 초지능을사실상 모든 관심 영역에서 인간의 인지능력을 상회하는 지능이라고 잠정적으로 정의할 수 있다.1

-알라딘 eBook <슈퍼 인텔리전스> (닉 보스트롬 지음, 조성진 옮김) 중에서

이 소단원을 마치기 전에 한 가지 강조할 것이 있다. 그것은 인공지능이 인간의 지능체계와 완전히 똑같을 필요는 전혀 없다는 것이다

-알라딘 eBook <슈퍼 인텔리전스> (닉 보스트롬 지음, 조성진 옮김) 중에서


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
공유하기 북마크하기찜하기 thankstoThanksTo
 
 
 
[전자책] 슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2020년 7월
평점 :
장바구니담기


우리는 초지능을사실상 모든 관심 영역에서 인간의 인지능력을 상회하는 지능이라고 잠정적으로 정의할 수 있다.

-알라딘 eBook <슈퍼 인텔리전스> (닉 보스트롬 지음, 조성진 옮김) 중에서


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
공유하기 북마크하기찜하기 thankstoThanksTo
 
 
 
슈퍼 인텔리전스 - 경로, 위험, 전략
닉 보스트롬 지음, 조성진 옮김 / 까치 / 2017년 4월
평점 :
장바구니담기


(고릴라보다) 우리가 유리한 점이 딱 하나 있다. 바로 우리는 우리 손으로 초지능을 만든다는 것이다. 이론상으로, 우리는 인간 가치를 수호하는초지능을 만들 수도 있다. 우리에게는 그렇게 할 만한 강한 동기가 있다.
그러나 실제로는, 초지능을 통제하는 문제는 상당히 까다로워 보인다. 또한 초지능을 통제하기 위한 기회는 단 한번뿐일 것이다. - P11

버너 빈지의 중요한 최초 논문으로부터 레이 커즈와일 같은 사람의 문헌에 이르기까지 모든 논문들이 조만간 기술적 특이점(technological singularity)이 나타날 것이라고 내다보고 있다. 그럼에도 "특이점"이라는 단어는 서로다른 여러 가지 개념들로 그 의미가 분명하지 않게 사용되어왔고, 이 단어로인해서 (새천년에 대한 낙관론과 비슷한) 그다지 탐탁지 않은 "기술 유토피아적 분위기가 생기게 되었다. 이러한 대부분의 의미와 관점들은 이 책에서 다룰 논지와는 관련이 없으므로, "특이점"이라는 단어 대신 더 정확한 용어를 사용함으로써 명확하게 할 수 있다 - P19

이 책에서 사용되는 특이점과 관련된 개념은 지능 대확산(intelligenceexplosion)의 가능성으로, 그중에서도 특히 기계가 초지능(superintelligence)을 가질 수 있을 것이라는 생각이다. - P20

극단적인 변화를 예언하는 사람들에게, 이 20년이라는 시간은 몹시 절묘한 시간 간격이다. 20년이라는 기간은 계속해서 관심의 대상이 될 수 있을만큼 적절히 짧기도 하지만, 현재에는 짐작만 가능한 일련의 돌파구가 어쩌면 그때쯤에나 나타날 것이라고 상상할 수 있을 만큼, 긴 시간이기도 하다. 반면 이것보다 더 짧은 기간을 상정한 경우를 생각해보자. - P21

조합적 대확산의 문제를 해결하기 위해서는, 초기 인공지능 시스템에서는 거의 개발되지 못한 성능인 경험적 탐색(heuristic search), 계획(planning),
그리고 유동적인 추상적 표현(flexible abstract representation)을 활용하여 선행지식에서 유용한 장점을 이끌어내고, 목표 영역(target domain)의 구조를개발할 수 있는 알고리즘이 필요하다. 초기 인공지능 시스템의 성능이 열악했던 원인은, 불확실성을 다루는 방식이 미흡하고 불안정하며, 근거 없는상징적 표현에 대한 의존이 크고, 관련 데이터가 부족하며, 메모리 용량과연산 처리 속도 등의 하드웨어적 한계 때문이었다. - P27

컴퓨터 과학자 도널드 크누스는 "인공지능이 ‘생각‘을 필요로 하는 거의 모든 일들을 해내는 데에 성공했지만, 사람이나 동물들이 생각을 하지 않고도 할 수 있는 일들에는실패했다. 어찌된 것인지 후자가 더 성공하기 어렵다!"라고 놀라움을 금치못했다. 시각적 장면을 분석하고, - P39


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
공유하기 북마크하기찜하기 thankstoThanksTo
 
 
 
[전자책] 맥스 테그마크의 라이프 3.0 - 인공지능이 열어갈 인류와 생명의 미래
맥스 테그마크 지음, 백우진 옮김 / 동아시아 / 2017년 12월
평점 :
판매중지


무언가를 하기 위해 택할 수 있는 모든 방법 가운데, 자연은 최적의방법을 선호한다는 것이다. 최적의 선택은 어떤 양의 극대화나 극소화로 요약된다. 각 물리 법칙을 서술하는 데에는 수학적으로 동등한 두가지 방법이 있다. 하나는 과거가 미래의 원인이 되는 것이고, 다른 하나는 자연이 무언가를 최적화하는 것이다. 후자는 물리학 입문 과정에서는 다뤄지지 않는다. 수학적인 설명이 더 어렵기 때문이다. 그렇지만 나는 최적화 설명이 더 우아하고 심오하다고 느낀다. - P335

달리 말하면 AGI의 진짜 위험은 악의가 아니라 능력이다. 초지능 AI는자기 목적을 달성하는 데 엄청나게 뛰어날 것인데, 만약 그의 목적이우리의 목적과 일치하지 않으면 우리는 곤경에 처하게 된다. - P347

둘째 과제와 관련해 현재 인기 있는 접근은 기술자스러운 용어로역강화학습 inverse reinforcement learning이라고 알려졌다. 이는 스튜어트 러셀이 출범시킨 버클리의 새로운 연구센터의 주요 과제이기도 하다. - P349

우리는 지능 폭발 이후 무슨 일이 벌어질지 예측할 수 없다. 여기에 주목해 컴퓨터 과학자이자 SF 작가인 베너 빈지는 ‘특이점이라는개념을 내놓았다. 그러나 물리학자이자 AI 연구자인 스티브 오모훈드로steve Omohundro는 2008년 발표한 중요한 소론에서 초지능 AI의 행동의특정한 측면을 예측할 수 있고, 이는 초지능 AI의 궁극적인 목적으로부터 거의 독립적이라고 설명했다. 닉 보스트롬은 책 「슈퍼인텔리전스」에서 이 주장을 검토해 더 전개했다. 기본 아이디어는 궁극적인 목적이 무엇이든, 하위 목적은 예측 가능하다는 것이다. - P352

결론적으로 하위 목적 파생을 고려할 때 우리는 목적 정렬 문제를해결하기 전에는 초지능을 풀어놓으면 안 된다. 초지능에게 인간 우호적인 목적을 부여하는 작업을 아주 신중하게 하지 않을 경우 상황은우리에게 나쁘게 돌아올지 모른다.
이제 목적 정렬 문제에서 가장 골치 아픈 셋째 부분과 씨름해야 한다. 자기 스스로를 향상시키는 초지능이 우리 목적을 배우고 채택하게끔 하는 데 성공했다고 하자. 오모훈드로의 주장대로 초지능이 그 목적을 유지할까? 그럴 만한 근거가 있나? - P356

지능은 복잡한 목적들을 이루는 능력이다. - P374


댓글(0) 먼댓글(0) 좋아요(0)
좋아요
공유하기 북마크하기찜하기 thankstoThanksTo