이같이 특정한 단어나 표현, 나아가 문장의 의미는 주변의 맥락에 따라 파악된다는 가정에 기반을 두고 언어의 의미를 파악하는 언어학의 분과를 ‘분포 의미론’이라고 부릅니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P90
파인 튜닝은 웹의 대규모 코퍼스를 통해 훈련된 ‘다음 단어 맞추기 기능’을 업그레이드하고, 사용자가 원하는 언어를 생산하도록 훈련하는 단계입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P92
반사실적 사고, 즉 우리가 경험하는 세계의 상태와 운동을 기반으로 사실이 아닌 세계를 가정하고 이에 따라 현재 혹은 미래가 어떻게 바뀔지를 추론하는 능력 또한 인간에 국한된 역량이라고 주장하지요. 그러면서 "정교해 보이는 인공지능의 사고와 언어에 지능이 없는 데서 오는 도덕적 무관심에 유의하라. 여기서 챗GPT는 표절과 무관심·무책임이라는 악의 평범성과 유사한 것을 보여 준다"라며 준엄한 경고를 날립니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P96
인공지능은 추상어이고 개념어일 뿐, 실제 세계에서 작동하는 인공지능은 언제나 ‘artificial intelligences’ 즉 ‘인공지능들’이라는 복수로 존재한다는 점을 잊지 말아야 합니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P99
인간의 시간 경험은 ①수백만 년에 걸친 진화의 시간 및 ②공동체가 축적해 온 문화적 시간과 교류하는 ③각자의 생애사를 통과한 몸의 시간을 경유하여 이루어집니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P104
기계는 질적으로 다른 시간을 ‘경험’합니다. 모델의 복잡도·연산의 성격·하드웨어 인프라·데이터 세트의 크기·최적화 방법 등에 따라 크게 차이가 나지만 초소규모 인공지능 모델의 경우 몇 초, 대규모 모델의 경우 최대 몇 주 정도의 시간을 통해 탄생됩니다. 이후 데이터와 알고리즘의 업데이트를 통해 ‘성장’하고 ‘진화’하지요. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P105
즉 계통발생과 개체발생이 사회를 통해 접속 가능한 문화·기술·교육 등과 교류하며 인간의 학습이 일어납니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P106
인간의 학습은 개개인이 경험하는 총체에 기반을 둡니다. 여기에서 가장 중요한 측면은 인간은 생물학적인 몸을 가진 존재이며 몸 자체라는 것입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P111
또 하나 간과해서는 안 되는 차이는 학습 과정에서 감정을 경험하는지의 여부입니다. 인공지능은 기계학습을 통해 다양한 데이터를 ‘배웁니다’. 그런데 그 과정에서 어떤 감정도 느낄 수가 없지요. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P111
일부 기술자본 엘리트가 말하는 21세기 최고의 기술혁신은 감정노동의 외주화에 의해 가능한 것이었습니다. 기계가 언어를 능숙하게 구사하도록 하려고 노동자는 차마 입에 담지 못할 고통을 감내해야 했던 것입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P114
앞에서 논의한 ‘토큰화’와 ‘임베딩’을 떠올리면 ‘벡터 공간에 매핑한다’는 말을 이해하기 쉬울 텐데요. 토큰 임베딩은 말을 기계가 이해할 수 있는 수학으로 변환하려고 단어를 행렬로 바꾸어 표현하는 일입니다. 텍스트가 워드투벡 알고리즘을 통과한다는 것은 지금 여러분이 읽고 계신 단어와 문장이 행렬의 체계로 변환됨을 의미합니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P114
이런 워드투벡 알고리즘과 관련해 널리 알려진 공식이 하나 있으니, 바로 "King(왕) – Man(남성)+ Woman(여성) = Queen(여왕)"입니다. 쉽게 말해서, 단어를 행렬로 바꾸어 의미 공간에 위치시키면, ‘King’이 점하는 자리에서 남성을 제거하고 여성을 더하는 연산으로 ‘Queen’이 나온다는 것입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P115
저는 언어를 수학으로 ‘번역’하는 작업이야말로 인공지능 연구자들의 탁월함이 발휘되고 있는 영역이라고 생각합니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P115
현재 거대언어모델의 기반이 되는 트랜스포머 아키텍처는 이런 워드투벡의 문제를 ‘위치 인코딩’positional encoding이라는 기법을 발전시켜 극복하고 있습니다. 단어가 점하는 위치를 맥락에 따라 역동적으로 부호화함으로써 단어의 의미 또한 동적으로 파악하는 알고리즘을 구현하고 있는 것입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P117
이렇듯 인간은 특정한 단어들을 특정한 자리에 놓기보다 단어들 사이를 유영하고 그들 사이의 관계를 끝없이 재정의하며, 그들을 시시각각 재배치합니다. 이는 언어가 근본적으로 텍스트라기보다는 텍스트와 콘텍스트가 역동적으로 결합하는 방식이라는 사실에서 연유하고요. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P118
워드투벡이나 트랜스포머 모델의 위치 인코딩과 같은 임베딩은 많은 데이터를 빠른 시간에 처리하며 놀라운 일을 수행하지만, 삶에 뿌리박은 언어를 만들고자 하는 사람이 필요로 하는 것은 웹상의 방대한 언어 빅데이터가 아니라, 여태껏 자신이 걸어온 길 그리고 지금 자신이 발 딛고 있는 자리에 맞는 적확하고도 온기를 담은 언어입니다. 그리고 때로 그 언어는 침묵이고, 주저함이고, 끝맺지 못한 문장이고, 떨림이며, 푹 숙인 고개입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P119
글쓰기는 이 두 과정, 즉 표현ex-pression과 내압in-pression이 끊임없이 교섭하는 과정입니다. 끄집어내는 일임과 동시에 끄집어낸 것에 의해 영향을 받는 일. 이 두 과정이 뫼비우스의 띠처럼 엮여 돌아갑니다. 글을 쓰는 과정에 깊이 빠져들수록 어디가 안이고 어디가 밖인지, 어디까지가 머릿속 생각이고 어디서부터가 스크린 위 언어인지의 경계가 흐려집니다. 생각은 언어가 되고 언어는 생각이 됩니다. 사고와 언어의 유기적 결합이 일어납니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P123
결국 텍스트와 사고가 변증법적으로 엮이는 과정을 수반하는가 아닌가는 인간과 기계의 쓰기를 구분하는 중요한 기준입니다. - <인공지능은나의읽기쓰기를어떻게바꿀까>, 김성우 - 밀리의 서재
https://www.millie.co.kr/v3/bookDetail/b619a4c1825e4174 - P124
|