어떻게 하면 신피질의 유연성과 추상화 능력을 디지털로 복제할 수 있을까?
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P52
초차원 언어 처리의 가장 유망한 응용 중 하나는 ‘트랜스포머’transfor-mer라는 AI 시스템이다. 이것은 입력 데이터 중에서 가장 적절한 부분에 연산 능력을 집중시키는(인간의 신피질이 우리의 사고에 가장 중요한 정보에 주의를 집중하게 만드는 것과 거의 같은 방식으로) ‘주의’ 메커니즘을 사용하는 딥러닝 모델이다
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P58
그렇다면 규모가 왜 그토록 중요할까? 간단히 말하면, 규모는 모델이 훈련 데이터의 더 깊은 특징에 접근할 수 있게 해준다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P60
그러한 모델 중에서 상업적으로 출시되고 사용자에게 깊은 인상을 주는 방식으로 창의성을 보여준 최초의 모델은 바로 GPT-3였다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P61
향후 몇 년 사이에 그런 능력은 인간의 엄청난 잠재력을 분출시킬 텐데, 전에는 소프트웨어를 통해 창의적인 아이디어를 실행하는 데 코딩 기술이 필수였지만 이제는 더 이상 그것이 걸림돌이 되지 않기 때문이다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P64
2022년 11월, 오픈AI는 챗GPTChat-GPT라는 인터페이스를 출시했는데, 이를 통해 일반 대중이 처음으로 대규모 언어 모델 GPT-3.5와 손쉽게 상호 작용할 수 있게 되었다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P66
지난 몇 년의 성과가 보여주듯이, 우리는 이미 신피질의 능력을 재현하는 길을 향해 잘 나아가고 있다. 오늘날 남아 있는 AI의 결함은 몇 가지 주요 영역으로 나누어지는데, 그중에서 가장 중요한 것은 맥락 기억과 상식, 사회적 상호 작용이다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P68
맥락 기억은 대화나 글로 표현된 모든 개념이 서로 어떻게 동역학적으로 결합돼 있는지 추적하는 능력이다. 관련 있는 맥락의 크기가 증가하면, 개념 사이의 관계의 수는 기하급수적으로 증가한다. 이 장 앞에서 나왔던 복잡성 한계를 떠올려보라.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P69
GPT-4가 대화 도중에 앞에서 들은 내용을 잊어버리는 것은 이 때문이고, 일관성 있고 논리적인 구성으로 소설을 쓰지 못하는 것도 이 때문이다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P69
두 가지 측면에서 좋은 소식이 있다. 적절한 맥락 데이터에 더 효율적으로 집중하는 AI의 설계에서 큰 진전이 일어나고 있고, 가격 대비 성능의 기하급수적 개선 덕분에 10년 안에 계산 비용이 99% 이상 떨어질 가능성이 있다.
-알라딘 eBook <마침내 특이점이 시작된다> (레이 커즈와일) 중에서 - P69
|