트랜스포머를 활용한 자연어 처리

트랜스포머를 활용한 자연어 처리 - 허깅페이스 개발팀이 알려주는 자연어 애플리케이션 구축
루이스 턴스톨.레안드로 폰 베라.토마스 울프 지음, 박해선 옮김 / 한빛미디어 / 2022년 11월

자연어 처리는 모든 사람이 관심을 두는 분야입니다.

트랜스포머 하면 무엇이 떠 오르시나요?

영화 트랜스포머를 떠올리는 분들도 계실 겁니다.

트랜스포머는 자동차 로봇이 아닌 이 책의 트랜스포머는 라이브러리를 의미합니다.

살펴볼 책은 ‘트랜스포머를 활용한 자연어 처리’입니다.

자연어 처리 분야에서 사용되는 신경망 알고리즘으로 Hugging face 오픈 소스 개발자들이 공동 집필한 책인데요.

최근 RNN에서 트랜스포머 라이브러리로 완전히 대체되고 있습니다.

2가지 정도 요약해 보도록 하겠습니다.

1) 자연어 처리 텍스트 분류 어려운 점

일반적으로 언어는 복잡하기 때문에 기계가 인간의 언어를 이해하기는 어렵습니다.

그 이유로 언어는 매우 복잡한 구조로 되어 있으며, 시간과 장소, 상황, 의도 등을 고려하여 사용됩니다.

또한 기계는 인간의 생각과 감정을 이해하지 못하고 가지고 있는 데이터를 바탕으로 판단합니다.

이 판단을 사전 학습을 통해서 할 수도 있고 알고리즘을 통해 알아서 계산할 수도 있습니다.

2) 트랜스포머 라이브러리 알아보기

트랜스포머 라이브러리는 인공 신경망에서 순환 신경망(RNN)과 같은 순차적인 정보가 중요한 작업을 처리할 때 우수한 성능을 보입니다.

트랜스포머는 입력 시퀀스를 처리할 때 순차적인 정보가 중요한 작업에 적합한데요.

입력 시퀀스에서 각 요소가 서로 어떻게 영향을 주고받는지를 모델링할 수 있게 도와줍니다.

사용하는 예로는 뉴스 내용을 요약하는 모델과 상품에 대해 질문하면 답변을 주는 모델도 구축하며 배울 수 있습니다.

내부 핵심은 러스트 언어로 작성되어 빠르게 동작합니다.

Ps

트랜스포머 라이브러리에 대한 모델 활용법을 소개해줍니다.

소개된 모델을 활용해 실습도 해보며 다양한 모델을 구축해볼 수 있습니다.

모델을 구축해보며 효율적인 모델은 어떻게 만드는지와 상황에 따른 해결법도 알려줍니다.

이 책은 트랜스포머 라이브러리에 대해서 익히는 데 큰 도움이 됩니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."