마법 같은 일이다. 이러한 신경망은 실제로 어떻게 학습할까? 어떻게 이미지를 고양이나 개로 분류하는 법을 ‘배우는’ 걸까?
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P62
GPT-4가 단순히 다른 사람의 창의적인 저술을 앵무새처럼 따라 하고 있을 수도 있지만, 지금까지 이에 대한 증거는 발견하지 못했다. 만약 인간 창작자가 존재한다면, 정중히 사과드린다.
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P64
트랜스포머 모델에 처리할 문장을 제시했을 때, 트랜스포머는 각 단어를 독립적으로 보지 않습니다. 대신에 모든 단어를 한꺼번에 살펴보고 각각의 단어 쌍에 대해 ‘주의력 점수(attention score)’를 계산합니다.
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P64
입력된 각 단어에 서로 다른 정도의 주의를 기울이는 이러한 능력은 중요한 단어들이 이웃해 있지 않아도 문장의 구조와 의미를 포착하는 데 도움이 됩니다.
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P65
이 모델은 많은 예제에 노출되고 주의력 점수와 모델 가중치를 점진적으로 조정해 출력값이 예제와 더욱더 가까워지도록 훈련됩니다. 이 과정은 악기를 배울 때 처음에는 많은 실수를 하지만 연습하면 점점 더 실력이 좋아지는 것과 비슷합니다.
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P65
트랜스포머는 다음과 같이 매우 복잡하고 난해한 구조를 탐색해 답변에서 다음 단어를 선택하는 데 도움을 준다.
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P72
트랜스포머의 일은 이 초입방체에서 대화의 더 넓은 맥락을 나타내는 점을 찾는 것이다. 트랜스포머는 입력된 각각의 단어를 대상으로 어텐션 메커니즘attention mechanism을 사용해 앞 내용의 맥락에서 해당 단어의 의미를 이해하는 데 가장 관련성이 높은 단어에 집중한다(가능한 경우 일부 LLM은 특정 단어 뒤에 오는 단어들의 문맥을 포함한다).
-알라딘 eBook <제리 카플란 생성형 AI는 어떤 미래를 만드는가> (제리 카플란 지음, 정미진 옮김) 중에서- P72
