트랜스포머 모델 활용하기

10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치 - 가볍게 시작하는 허깅페이스 트랜스포머 실전 강의
프렘 팀시나 지음, 임선집 옮김 / 루비페이퍼 / 2025년 2월

10가지 프로젝트로 끝내는

트랜스포머 활용 가이드 with 파이토치

책의 인사말에서 언급한 내용으로 아래와 같이 제공

자연어 처리(NLP), 컴퓨터 비전, 음성 처리, 테이블 데이터 처리, 강화학습, 멀티모달을 다루면서 이론적 이해와 실무적 애플리케이션을 제공

특히 마음에 들었던 부분은

독자의 포괄적인 이해를 톱기 위해 허깅페이스 생태계(eco-system), 전이학습, 트랜스포머 모델 배포 및 서빙에 관한 별도의 장을 제공하며, 더블어 파이토치 2.0과 허깅페이스를 활용한 트랜스포머 모델의 모범 사례와 디버깅에 대해서 다룸

다양한 응용 과정에서 발생할 수 있는 문제 및 해결을 위한 디버깅에 대한 언급이 있어서, 이 부분에 대한 기대를 가졌다.

우선 여기서 언급되는 트랜스포머(Transfoermer) 는 구글이 자연어처리를 위해서 2017년에 발표한 모델로 AI분야의 혁신을 이끌고 있는 언어모델이며, 우리가 알고 있는 ChatGPT 또한 트랜스포머 모델을 기반으로 한 것이다.

개발 환경 구축

우선적으로 작업을 위한 개발 환경 구축이 필요합니다.

이 책에서는 역자의 한마디 를 통해서 구글 코랩 환경에서 코드 실행을 할 수 있는 환경을 제시하고 방법을 이야기 합니다. (p.38 ~ 39 참조)

추가로 원서에서는 개인 PC 환경에 아나콘다를 이용한 가상 환경을 통해서 주피터 노트북을 여는 과정으로 진행한다.

(이를 위한 링크를 책 p.38에 언급은 되어있지만, 실제 링크가 오류가 있는 듯 하다. 하지만, 해당 링크로도 접근은 가능함)

Building-Transformer-Models-with-PyTorch-2.0/General/SettingVirtualEnvironment.ipynb at main · bpbpublications/Building-Transformer-Models-with-PyTorch-2.0 · GitHub

저의 경우, 앞으로 컴퓨터비전 작업을 위해서는 개인 PC에 환경 구축하는 게 좋을 듯 합니다. 만약 구글드라이브 공간이 넉넉하고, 단순하게 책에 예제를 따라해보는 수준이라면 코랩 이용을 추천

각 장에서 다루는 예제 소스코드들은 코랩에서 수행 할 수 있도록 부분 부분 분류가되어 있으면 설명을 진행하고 있다.

가장 아쉬운 부분은 17장에서 소개되는 모범 사례 및 디버깅 부분인데,

특히 디버깅에 대한 상세 소개를 기대했었는데, 에러 메시지와 이와 관련된 부연 설명들이 있을 줄 알았는데, 단순하게 일반적인 이야기로 풀어나갔다.

처음 접하는 사람들에게는 크게 와닿지 않을 듯 하다.

현재 나에게 가장 관심이 있는 부분은

7장 컴퓨터 비전(CV) 모델

8장 트랜스포머 컴퓨터 비전 작업

트랜스포머, 파이토치, 코랩, 허깅페이스, 모델, 자연어처리, 컴퓨터비전