직관은 어떻게 만들어질까? 바로 경험과 학습을 통해 만들어진다. - P7
현대 뇌과학에서 학습은 신경세포들간의 연결고리(시냅스)에서 일어난다고 이야기한다. 자주 보고, 듣고, 경험하는 정보를 저장하는 세포들 간의 연결성이 강화되어, 비슷한 정보를 받아들일 때 활성화될 확률이 높아진다. - P7
기존 인공신경망의 한계를 극복한 깊은 층수 구조의 인공신경망을 보통 ‘딥러닝‘이라고 부른다. - P9
딥러닝은 인간의 뇌를 모방했다. 우주에서 가장 뛰어난 학습능력을 가진 기계는 여전히 우리 머리 안에 있는 1.5킬로그램짜리 뇌다. - P10
새로운 기술을 받아들이지 않는 나라와 민족은 역사에서 사라져버린다는 것이, 단순하지만 잔혹한 ‘세상의 방정식‘임을 기억해야 한다. - P13
인공지능을 개발할 때 가장 처음 겪는 어려움은 인간에게 쉬운 일을 기계에게 구현시키기는 매우 힘들다는 점입니다. - P19
우리가 기대하는 인공지능 로봇이 경쟁력이 있으려면 결국 기계가 스스로 세상을 인식하고 스스로 판단을 내려야 합니다. - P30
역사적으로 실념론realism은 플라톤이 처음 주장했습니다. 플라톤의 철학은 ‘우리 눈에 보이는 세상이 진짜 세상이 아니다. 사실은 우리 눈에 보이지 않는 이데아 세상이 어딘가에 존재한다‘입니다. 우리 눈에 보이는 세상은 이데아 세상의 그림자이죠. - P40
실념론적 관점의 종교철학에서는 이 이론으로 세상을 이해합니다. 모든 물질의 이데아, 그러니까 참된 강아지, 참된 바나나, 참된 책상이 존재합니다. 또 이 이데아의 이데아를 신으로 해석하죠. 결국 모든 게 아주 완벽한 것의 완벽한 것에서 투영된 것이 있고, 우리는 또 투영된 영상의 그림자를 보고 있다는 거죠. 이러한 이론을 아우구스티누스는 기독교에 응용했고, 아베로스는 플라톤의 이 개념을 계승한 플로티누스의 아이디어를 이슬람에 응용했습니다. - P42
유명론nominalism은 아리스토텔레스부터 시작되었습니다. 아리스토텔레스는 이데아 세상을 믿지 않았습니다. 그런건 존재하지도 않는다는 거죠. 즉, 증명할 수도 없는 세상은 존재할 수가 없고, 우리가 보편적인 물체를 알아볼 수 있는 유일한 이유는 결국 우리의 경험과 경험에 무언가 교집합이 존재하고 그 교집합이 바로 보편적인 물체가 되기 때문이라고 말합니다. 다시 말해서 저 수많은 강아지들을 강아지라고 인식할 수 있는 것은 우리가 경험한 강아지들에 우리는 알 수 없더라도 무언가 교집합이 있다는 거죠. 강아지들만 가지고 있는 무엇이, 말할 수는 없지만 분명히 존재한다고 이야기합니다. - P42
유명론의 특징은 강아지의 모든 강아지, 우리가 경험한 모든 강아지들의 공통점은 사실 단 하나뿐이라는 겁니다. 뭘까요? 바로 ‘이름‘입니다. 강아지는 강아지라는 이름을 가졌다는 공통점 외에 다른 공통점은 없습니다. 그래서 이름을 상당히 중요하다고 말했지요. - P43
유명론적 소설책의 대표작으로 얼마 전 작고한 이탈리아 작가 움베르토 에코의《장미의 이름》이 있습니다. 중세시대에 ‘장미‘는 세상의 가장 선하고 아름다운 것을 표현하는 의미로 쓰였는데, 선하고 아름다운 것의 공통점은 선하고 아름답다는 이름, ‘장미‘밖에 존재하지 않는다는 게 이 책이 주장하고자 했던 메시지죠. - P43
플라톤의 실념론이든 아리스토텔레스의 유명론이든 어쨌든 보편적으로 이해한다는 것에 대한 논의 자체가 상당히 오랫동안 인간이 이해하고자 노력했던 문제라는 것입니다. - P43
우리가 바라는 인공지능을 만들기 위해서는 결국 인간이 세상을 어떻게 보편적으로 이해하는지 정확히 알 필요가 있습니다. - P47
‘호토스 에스틴hotos estin, 존재는 하나다‘ _파르메니데스 - P48
헤라클레이토스가 한 말 중에서 가장 유명한 말은 physis kryptesthai philei입니다. 해석하자면 ‘physis‘는 ‘자연‘이란 뜻이고 ‘kryptesthai‘는 ‘cryptology‘, ‘Krypton‘ ‘비밀스러운‘, ‘숨다‘라는 뜻입니다. ‘philei‘는 ‘사랑한다, 좋아한다‘라는 뜻으로 ‘지혜를 사랑한다‘ 라는 의미를 가진 단어인 ‘philosophy‘에도 등장하는 말입니다. 그러니까 이 말인즉슨 ‘자연은 숨는 걸 좋아한다‘입니다. - P50
자연은 숨으려고 하는데 과학이 자꾸만 이 옷을 벗기려고 노력을 하죠. - P51
라이프니츠의 가장 유명한 아이디어는 ‘창조할 수 있는 최선의 우주‘입니다. - P63
쉬운 문제는 환경요인(외부요인) 대비 복잡도가 낮다고 정의해야 한다고 합니다. 쉽게 이야기하자면 표현하기 쉬운 문제, 혹은 이미 알고 있는 것으로 표현할 수 있는 문제를 쉽다고 정의해야 하는 것이죠. - P81
폰 노이만은 컴퓨터에서 가장 중요한 것은 분리된 CPU와 메모리라고 이야기했습니다. 메모리에는 기억을 가진 것처럼 정보를 심어두어야 하고 CPU는 계산을 해내는 영역이라고 말했죠. ‘계산하는 방‘과 ‘기억‘은 분리시켜놔야 한다는 것이 기본 구조입니다. - P82
폰 노이만은 뇌는 넓은 폭의 논리를 사용한다고 생각했습니다. 그래서 병렬 연산을 제시한 거예요. 병렬적으로 연산한다는, 즉 한꺼번에 하나하나 하는 것이 아니라 아주 넓게 계산한다는 아이디어를 제시했죠. - P89
뇌 안에 10¹¹개 정도 되는 상당히 많은 신경세포들이 있고, 신경세포 하나들은 수천 개 또는 수만 개의 다른 세포들과 연결되어 있습니다. 뇌를 아무리 해부해봤자 영상도 없고, 기억도 없고, 자아도 없고, 감성도 없고, 아무것도 없고, 유일하게 존재하는 건 끝없이 많은 시냅스들입니다. 그것만 가지고 계산을 하고 문제를 해결합니다. - P90
뇌과학에서는 전두엽이 인간의 판단력을 좌우한다고 알려져 있습니다. 판단한다는 것은 계산의 일종이라고 볼 수도 있습니다. 그리고 동일하게 일치된 판단을 두고 성격이라고 생각하기도 하죠. 성격이란 건 매우 복잡하게 형성될 것이라고 생각합니다. 유전적인 이유도 있을 것 같고, 어렸을 때의 교육, 환경, 선생님, 친구 이 모든 게 합쳐져서 나의 성격, ‘나는 누구인가‘를 만들어냈다고 우리는 생각하죠. 하지만 전두엽에 있는 세포 수십만 개만 망가뜨려도 그 사람의 성격은 완전히 변할 수 있습니다. - P92
해마만 도려내면 앞으로의 기억은 저장되지 않습니다. - P92
인간의 뇌는 각 상황에서 저장할 가치가 있는 정보와 저장할 필요가 없는 정보를 구별하여 저장합니다. 그리고 그 구별한 정보들도 압축을 합니다. 아주 굵은 가지만 남겨두죠. 그리고 그 기억을 나중에 기억할 때에는 내가 예전부터 알았던 이야기, 내가 들은 이야기, 남들이 나한테 보여주는 이야기, 그런 것들을 합쳐서 새롭게 이야기를 만들어서 기억한다고 생각합니다. 다시 말하자면 ‘기억한다‘라는 것은 어디에다 정보를 저장했다가 가져오는 것이 아니고 매번 새로 만들어내는 것이나 다름없죠. - P93
뇌에서는 정보가 무늬(패턴) 위주로 입력됩니다. - P93
뇌에서 일어나는 신경망 패턴을 사전화하면 패턴만 보고도 무엇을 보았는지 읽을 수 있게 됩니다. - P93
눈은 물체에서 반사된 광자를 렌즈로 모은 다음에 그 렌즈에서 모은 빛을 망막에 영사시키는 역할을 합니다. - P96
망막에는 여러 계층의 세포들 있는데, 그 세포들에는 광수용기 photo-receptor라는 세포들이 있어서 빛에 반응을 합니다. 광수용기 세포들은 빛을 전기에너지로 바꿔서 뇌에 전기신호를 전달합니다. - P96
색깔, 형태, 입체감은 뇌가 만들어낸 착시현상 - P98
우리 뇌에는 10¹¹개의 신경세포들이 10¹⁵개의 시냅스라는 연결선으로 연결되어 있습니다. 그중 3분의 1 정도는 유전적으로 만들어지고, 3분의 1은 환경을 통해서 만들어지고, 나머지 3분의 1은 그냥 랜덤으로 만들어집니다. - P100
언어의 해상도가 인식의 해상도보다 훨씬 더 낮음 - P103
우리가 말, 단어만 통해서는 상대방의 생각을 절대로 파악할 수가 없다 - P103
아주 짧은 시간의 경험도 우리 뇌는 재해석을 하게 하는 여지를 둔다 - P-1
과학이나 공학에서는 데이터와 모델이 일치하지 않으면 모델을 수정하라고 배웁니다. 하지만 뇌는 그렇게 하지 않죠. - P107
인풋과 아웃풋이 일치하면 아무런 변명을 할 필요가 없어요. 일치하지 않기 때문에 변명이 길어지고, 말이 길어지고, 강연도 하고, 책도 쓰고 하겠지요. - P108
인간을 포함한 모든 동물들은 태어나서부터 한정된 시간을 가지고 있는데, 그 기간을 ‘결정적 시기‘라고 부릅니다. 그 기간은 정해져 있습니다. 오리는 태어나서 1~2시간, 고양이는 태어나서 4~8주, 원숭이는 태어나서 1년, 사람은 태어나서 10~12년이라고 알려져 있죠. 그 기간 동안은 뇌가 젖은 찰흙 같아서 자주 사용되는 길들은 살아남고 자주 사용되지 않는 길들은 뇌 안에서 싹 지워버립니다. - P111
결정적 시기를 한 특정 상황에서 보내다 보면 아주 자연스럽게 이 상황에 최적화된 뇌가 만들어지게 됩니다. 일종의학습이라고 이해할 수 있지요. - P111
결국 우리가 보통 이야기하는 지능, 세상을 알아보는 능력은 설명을 통해서 배우는 게 아니고 경험과 학습을 통해서 배웁니다. - P117
뇌의 시각 정보를 프로세싱하는 신경세포망들을 논리적으로 나누다 보니 뇌는 계층적인 구조를 가지고 있더랍니다. 10층에서 15층 정도 되는 구조로 차곡차곡 쌓여 있죠. 한 10층에서 15층 정도되는 큰 빌딩이라고 생각하시면 됩니다. - P118
인간의 사물 인식 과정은 어떻게 보면 대기업 구조를 가졌다고 이해하면 됩니다. 맨 아래층의 신입사원들은 정말 아는 게 없죠. 신입사원들이 알고 관심 있는 건 본인 책상 위에 있는 한 픽셀짜리 정보입니다. 내 책상 위에서 일어나는 일에 대해서 세상을 분석하고 그 보고서를 써서 2층에 있는 과장한테 보냅니다. 그럼 과장은 더 이상 세상의 정보에는 관심이 없고 10명의 신입사원이 쓴 보고서를 가지고 보고서에 대한 보고서를 또 씁니다. 2층에 있는 과장은 또 3층에 있는 부장한테 보고서를 보내고, 부장은 10명의 과장들이 쓴 보고서를 가지고 또 보고서에 대한 보고서에 대한 보고서를 작성하는 거예요. 쭉 올라가면 맨 위에 있는 이사나 사장 같은 임원진들은 거시적인 시야를 갖게 됩니다. 계속 압축된 그림으로 세상을 보기 때문이죠. - P122
딥러닝은 더 이상 인간의 기계에게 세상을 설명하지 않습니다. 세상에 관한 엄청나게 많은 데이터를 그냥 집어넣어주는 겁니다. 빅데이터가 있기 때문에 가능하겠지요. 기계는 이 엄청난 양의 데이터를 자체 인공신경망 구조를 통해 스스로 학습합니다. 무엇을 학습할까요? 이 데이터에 포함된 통계학적인 정보에 대해 점점 더 압축된 표현을 만들어내는 과정을 학습이라고 말합니다. - P126
‘세계는 일어나는 모든 것이다.‘ - P134
‘일어나는 것, 즉 사실은 사태들의 존립이다.‘ - P134
‘사실들의 논리적 그림이 사고다.‘ - P134
‘명제는 요소 명제들의 진리함수다.‘ - P134
낸드플래시nand flash에 대해 들어보신 적 있을 겁니다. 많이 사용하고 있죠. 낸드플래시가 좋은 이유는 NAND (NOT and AND)라는 규칙을 가지고 나머지 논리규칙을 다 만들어낼 수 있기 때문입니다. 가장 보편적인 논리규칙이라고 알려져 있어요. 그래서 아주 콤팩트한 플래시 드라이브를 만들 때 낸드플래시를 쓰지요. - P136
‘말할 수 없는 것에 관해서는 침묵해야 한다.‘ - P140
|