LLM으로 무엇을 할 수 있는지 궁금하시면 꼭 보세요

GPT API를 활용한 인공지능 앱 개발 - 오픈AI o1, 랭체인, 라마인덱스로 만드는 AI 프로그램, 2판 ㅣ O'reilly 오라일리 (한빛미디어)
올리비에 케일린 외 지음, 이일섭 외 옮김 / 한빛미디어 / 2024년 12월

1장은 일반인도 알아야 할 기본 개념을 설명하고 있다. 만일 GPT가 처음이라면 1장은 꼭 읽고 넘어가면 좋겠다. LLM은 계속 발전하고 있기 때문에 지금 리뷰를 쓰고 있는 이 순간에도 새로운 모델, 새로운 기능이 나오고 있다고 해도 과언이 아니다. 강의날 새벽까지 작성한 강의자료를 강의시간 직전까지도 수정해야 한다는 것이 이 분야 강사들의 고충이니까. 항상 최신 정보, 최신 모델에 대한 소식을 접할 수 있는 커뮤니티 하나 정도 가입해 두는 것도 좋다.

2장은 오픈AI의 API 활용법을 설명하기 전에 playground에서 코딩 없이 오픈AI의 언어모델을 사용하는 법을 알아 본다. (https://platform.openai.com/playground - 나의 경우에는 현재 gpt-4o 모델을 기본으로 사용하도록 뜬다)

그리고 API키 발급법, 키를 환경변수로 설정하고 관리하는 법, 호출하는 법을 찬찬히 설명하고 있다.

첫 코드를 실행해 봤다. 한국어로 '안녕!'하고 인사하면 한국어로 대답하고, 영어로 'Hello World!'라고 인사했더니 영어로 대답한다. (똘똘하다) 이제 본격적으로 개념 설명, 함수 호출에 필요한 매개변수 설명, 출력의 각 필드가 의미하는 것이 무엇인지, 멀티모달 LLM 예시, 토큰, 임베딩에 관한 설명이 이어진다. 토큰은 비용과 관계 있기 때문에라도 중요하다. 그리고 텍스트를 음성으로 변환하기(TTS, Text-to-Speech), 음성 인식, 이미지 생성, 이미지 편집, 이미지 변형의 예시를 보여준다. 놀라운 것은 소스코드가 굉장히 짧다는 것. 이쯤 오면 초보자도 자신감을 얻지 않을까.

3장에서 본격적인 프로젝트

• 뉴스 생성 솔루션 구축

• 유튜브 동영상 요약

• <젤다의 전설> 챗봇

• 개인 어이스턴트

• 문서 정리

• 감성 분석 (감정 분석)

이 중에 유튜브 동영상 요약하는 코드를 이용해서 <GPT API를 활용한 인공지능 앱 개발> 책에 대한 출판사 리뷰 내용을 요약해 보았다.

API를 사용한다는 것은 결국 비용을 지불할 수 밖에 없다는 뜻이기 때문에 비용을 관리하는 방법에 대해서도 설명하고 있다.

4장에서는 GPT-4o 및 챗GPT 활용 고급 기법을 다루고 있다. 모델을 개선하는 것이다.

프롬프트를 효과적으로 설계하는 방법. 단계별 사고, 퓨삿 러닝, 사용자 피드백을 통한 반복적인 개선 등에 관한 내용이다. 간단하게 나와있기는 하지만 도움이 된다. 파인 튜닝에 대해서도 설명하고 있는데, 지금까지 오픈소스 모델을 다운로드 해서 나의 데이터를 넣고 파인튜닝 하는 방법에 대해서만 고민했지, 코드나 오픈AI 웹페이지(https://platform.openai.com/finetune)를 통해서 오픈AI 모델을 파인튜닝 하는 방법은 생각해 본 적이 없었기에 신기했다.

GPTs와는 어떻게 다른지 챗GPT에게 물어보니 다음과 같은 답을 줬다. 코드로 호출해서 사용할 수 있는지 없는지가 나에겐 가장 큰 차이점이다. 필요한 기능을 GPTs로 만들었지만 파이썬 코드로 자동화 할 수가 없어서 불편했기 때문이다.

Fine-tuning이 적합한 경우

✅ 대규모 데이터셋을 기반으로 특정 도메인 AI를 개발할 때

✅ 기업용 고객 서비스 챗봇, 법률/의료 문서 분석 AI 등 전문성을 강화할 때

✅ 기본 GPT 모델보다 특정 스타일이나 브랜드에 최적화된 응답이 필요할 때

GPTs가 적합한 경우

✅ 비개발자도 쉽게 맞춤형 AI를 만들고 싶을 때

✅ 프롬프트 엔지니어링과 지침 설정만으로 간단한 AI 커스터마이징을 원할 때

✅ ChatGPT 인터페이스에서 특정 역할(예: AI 멘토, 여행 가이드)을 수행하는 AI를 원할 때

요즘 Langchain과 RAG를 열공 중이다. 4.3 RAG파트도 개괄적인 내용이긴 하지만 흐름을 이해하는 데는 도움이 된다.

5장은 프레임워크로 LLM 기능 높이기이다.

랭체인 개념, 라이브러리, 프롬프트, 에이전트, 도구, 메모리, 임베딩, 그리고 라마인덱스, GPTs, 어시스턴트 API 등에 대해 설명한다. 사실 나는 <GPT API를 활용한 인공지능 앱 개발>이라는 제목에서 '앱 개발'에 방점을 찍고 이 책을 골랐는데, 이 '앱'이 내가 생각했던 앱과는 차이가 있었다. 이 아쉬움을 달래기 위해서인가 Appendix A에서는 GPT의 활용도를 높이는 도구로 streamlit을 소개한다. 사실 요즘 gradio를 더 많이 쓰고 있긴 한데....

전체적으로 기본 개념과 흐름을 이해하고, LLM으로 무엇을 할 수 있는지 생각해보고, 내가 필요한 것을 어떻게 구현할 수 있을지 설계하는데 도움이 되는 책이다.

대상 독자는 LLM의 잠재성을 탐구하고 싶은 일반인, GPT 개념을 배우고 실습을 통하여 실력을 쌓고 싶은 학생, AI를 활용한 파이썬 애플리케이션 개발에 관심이 있는 프로그래머입니다.

이 출판사 리뷰에서처럼 대상도 명확한 책이다. 나는 또 심화학습을 위해 이 책에서 소개해 준 사이트들을 집중탐구하러 가야지.