Do it! BERT와 GPT로 배우는 자연어 처리

Do it! BERT와 GPT로 배우는 자연어 처리 - 트랜스포머 핵심 원리와 허깅페이스 패키지 활용법 ㅣ Do it! 시리즈
이기창 지음 / 이지스퍼블리싱 / 2021년 12월

저자의 전작 <한국어 임베딩>의 연장판이라 볼 수 있습니다. 전작과 마찬가지로, 적당한 설명과 적당한 생략으로 각 모델들의 가장 중요한 부분을 설명하는데 집중했습니다. 토크나이저와 셀프어텐션 설명이 충분히 있어 논문을 읽기 전에 읽는다면 논문을 이해하기 쉬울 것 같습니다. 다만, 논문을 안 읽어도 될 정도로 자세하고 상세한 설명은 있지 않으니, 이 책 만으로 BERT와 GPT를 완전히 이해하는 것은 무리입니다.

실습은 저자가 250페이지 안에 여러 과제를 다루기 위해 따로 만든 라이브러리를 씁니다. 실제 task를 할 때에 비해 추상화되거나 생략된 부분이 많기 때문에 책에 나온 코드를 그대로 내 문제를 해결하는데 쓸 수는 없습니다. 다만 책의 내용을 보면서 어떤 문제일 때 어떤 방식으로 모델을 구성하고 사용해야 할 지는 이해하기 쉬우니, 이 또한 모델을 구축하기 전에 읽어두면 구현의 방향성을 잡기 쉬울 것 같습니다.