흐름을 잡기에 좋은 책

구글 BERT의 정석 - 인공지능, 자연어 처리를 위한 BERT의 모든 것
수다르산 라비찬디란 지음, 전희원.정승환.김형준 옮김 / 한빛미디어 / 2021년 11월

이달에 받은 책은 <구글 BERT의 정석>

마침 자연어처리, 고급자연어처리, 정보검색 등 자연어처리에 관한 과목들을 공부하고 있어서 꼭 읽어보고 싶었다. 

트랜스포머에 관한 이야기가 빠질 수는 없지. 트랜스포머에서 인코더 부분만 가져온 것이 BERT(Bidirectional Encoder Representations from Transformers)이기 때문이다. 트랜스포머의 인코더 부분, 디코더 부분 설명에 이어 BERT 이해하기, 활용하기 부분이 나오고 BERT에서 파생된 모델인 ALBERT, RoBERTs, ELECTRA, SpanBERT가 소개된다. 여기까지가 책의 절반을 차지한다.

'지식 증류'라는 표현은 좀 낯선데 Knowledge Distillation은 낯익다. (많이 쓰는 표현이기는 한데 꼭 이렇게 번역해서 써야만 하는 걸까?) 여기에서 Teacher와 Student 개념이 나온다.

마지막 Part 3은 BERT를 적용하는 단계로서 텍스트 요약, 다국어, 언어별 BERT, sentence-BERT, domain-BERT가 소개된다. 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대한 이야기도 나오는데 내가 참고하고 싶었던 부분이 바로 이 부분이라 반가웠다. 비록 소스코드가 제공되기는 하지만 각 내용들에 대한 설명은 반 페이지~한 페이지 정도라는 것은 아쉬움이 든다. 

결과적으로 다루고 있는 영역은 굉장히 다양한데 실제 깊이 알고 싶었던 내용에 대한 설명은 살짝 부족한 느낌이....목차를 보고 기대를 많이 했었는데.^^

자연어처리, 트랜스포머, BERT에 대해 넓게 훑고 싶어하는 사람에게 권한다.  흐름을 이해하고 개념을 잡는 데에는 도움이 될 것이다.

​한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.