트랜스포머로 시작하는 자연어 처리

트랜스포머로 시작하는 자연어 처리 - 자연어 처리 기초부터 BERT, RoBERTa, 코파일럿, GPT-4 모델까지
Denis Rothman 지음, 김윤기 외 옮김 / 영진.com(영진닷컴) / 2024년 7월

2016년 이세돌과 알파고의 바둑 대결은 알파고의 4:1 승리로 끝났습니다. 처음 체스 프로그램이 세계 챔피언을 꺾었을 때에도 엄청난 충격이었는데 체스는 경우의 수를 계산할 수 있기 때문에 컴퓨터의 성능이 좋아지면서 그럴 수 있는 일로 받아들여졌습니다. 반면 바둑은 경우의 수가 무궁무진해서 컴퓨터가 인간을 꺾을 수 없을 것이라고 했었는데 충격적이게도 알파고의 완벽한 승리로 끝났네요. 이후 AI 기술은 빠른 속도로 발전하기 시작하였는데 재작년에 등장한 ChatGPT 는 또다른 점에서 충격을 주었습니다. 그동안의 AI 는 사람이 아닌 AI 라는 것을 명확하게 알 수 있었지만 ChatGPT 의 대화 능력은 튜링 테스트가 무의미할 정도로 거의 사람과 비슷하였습니다.

AI 의 역사는 오래 되었는데 그동안 두 번의 빙하기를 겪으면서 침체되기도 하였습니다. 하지만 최근에는 무서운 속도로 발전하고 있고 실제 우리 생활에도 밀접한 영향을 미치고 있습니다. '트랜스포머로 시작하는 자연어 처리' 는 이러한 AI 기술의 기반이 되고 있는 트랜스포머와 함께 이를 이용해 어떻게 서비스를 개발할 수 있을지 자세히 설명하고 있습니다.

AI 는 머신러닝에서 딥러닝으로 발전하고 있는데 트랜스포머를 소개한 한 논문은 기존 기술에 파장을 불러 일으켰습니다. 논문의 제목은 'Attention is All You Need' 로 논문하면 떠오르는 딱딱한 이미지와 거리가 먼 데다가 자부심마저 넘쳐나는 느낌입니다. AI 와 일부 관련된 일을 하다보니 눈문을 읽어보았지만 사실 거의 이해를 하지 못했었네요. 트랜스포머는 핵심적인 부분이기 때문에 정확하게 아는 것이 중요한데 이 책에서도 상당한 분량을 할애해 설명하고 있습니다. 트랜스포머를 소개한 단편적인 글들을 보기는 했었지만 책에서 자세한 설명과 함께 읽다보니 이해하는데 많은 도움이 되었습니다.

자연어를 처리하는 초기 모델들과는 달리 최근 나오는 모델들은 파라미터의 개수도 훨씬 많을 뿐만 아니라 GPU 연산도 많이 필요해서 작은 회사나 개인이 모델을 직접 만들기 어렵습니다. 그래서 IT 기업이나 연구기관에서는 이른바 파운데이션 모델이라는 미리 학습된 모델을 공개하고 있고 필요하면 누구나 데이터를 추가해서 파인튜닝해 새로운 모델을 만들 수 있네요. 추가로 학습할 데이터가 얼마나 있는지, 그리고 학습 파라미터를 어떻게 설정하는지에 따라 학습 결과는 크게 달라질 수 있습니다. 이 책에서는 이러한 파라미터를 설정하는 방법이 자세히 나와있습니다. 그냥 무턱대로 조금씩 값을 바꿔 나가기에는 시간이나 GPU 자원이 모자란데 이에 대한 노하우를 얻을 수 있었네요.

책에서 가장 재미있게 읽었던 부분이 기계 번역기를 만드는 방법이었습니다. 처음 구글 번역이 나왔을때 무척 획기적이었지만 기본적인 단어가 틀리는 경우도 많았습니다. 그래서 인터넷 유머 게시판에도 이러한 사례들이 자주 올라왔었는데 이제는 수십개 이상의 언어를 지원하면서 일상 대화는 말할 것도 없고 전문적인 문장도 매우 매끄럽게 번역을 해주네요. 기본적으로 한 문장과 이를 다른 언어도 번역한 문장을 다수 수집한 후에 서로 매칭을 시켜 학습을 합니다. 구글에서 만든 trax 라이브러리를 이용한 기계 번역기 개발은 그대로 따라하거나 아니면 출판사 웹사이트에 올라온 코드를 다운로드 받으면 되는데 한줄씩 타이핑을 하다보니 대략적으로 원리를 이해할 수 있었네요. 번역 결과를 평가하는 방법인 BLEU 도 소개하고 있어서 AI Hub 등에 올라오는 언어 데이터로 한번 나만의 기계 번역기 만들기에 도전해봐야 겠습니다.

요즘은 하루게 다르게 최신 기술이나 모델이 쏟아져 나오면서 한 달만 되어도 트렌드에서 뒤쳐져 버립니다. 그래도 AI 를 관통하는 핵심 기술은 큰 변함이 없는데 조금씩 공부하는 입장에서 이 책은 두께 만큼이나 든든한 바이블이 되고 있네요. 한번 열심히 공부해서 다른 사람들에게도 문제 해결 방법을 알려줄만큼 실력을 쌓아야 겠습니다.

* 출판사에서 보내준 책을 읽고 서평을 썼습니다.