원리 이해와 실습으로 응용의 폭을 넓혀주는 교과서 같은 책

[전자책] 할루시네이션을 줄여주는 프롬프트 엔지니어링 - 랭체인, RAG, 에이전트로 신뢰성 있는 LLM 활용
한성민 / 한빛미디어 / 2025년 9월

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

할루시네이션은 입력된 데이터와 무관하게 사실이 아닌 출력을 생성하는 현상이다. 쉽게 말해 질문에 틀리거나 엉뚱한 답변을 하는 것이다. 대한민국의 수도는 어디? 물었는데, 워싱턴이에요. 또는 오늘 주식이 얼마입니다. 말하는 것과 같다.

사실 이런 경험은 챗GPT, 제미나이 같은 LLM 인공지능 서비스를 써본 사람이라면 누구나 한 번쯤은 경험해 봤을 것이다. 그나마 어느 정도 아는 쪽이면 의심이라도 할 수 있지만, 전혀 모르는 분야 경우, AI가 너무나 뻔뻔하게 거짓말을 잘하기 때문에 그냥 믿고 확인 안 하면, 곤란한 상황에 빠질 수 있다. 그래서 이런 할루시네이션을 줄이는 다양한 방법들이 나왔고 이것이 바로 프롬프트 엔지니어링인 것이다.

한때 프롬프트 엔지니어 인기가 상종가를 친 적이 있었다. 나도 그때 프롬프트 엔지니어링이 뭔가 궁금해서 열심히 찾아봤지만, 제대로 된 설명이나 책은 드물었다. 얼마 지나 관련 책들이 나왔는데, 도움 되는 면도 있었지만, 대부분 "이렇게 하면 된다"라는 예시만 나열하는 수준이라 실망스러웠다. 문제마다 따로 접근해야 하는 비효율적 방식은 마치 밑 빠진 독에 물 붓기 같았고, 이런 것에 '엔지니어링'이라는 이름이 붙는다는 게 이해되지 않았다.

그런데 이번에 한성민 저자의 '할루시네이션을 줄여주는 프롬프트 엔지니어링'의 체계화된 이론과 실습 학습을 통해 왜 엔지니어링이 되는지 확실히 알 수 있었다.

'할루시네이션을 줄여주는 프롬프트 엔지니어링'에서는 막연히 '이렇게 프롬프트를 작성하면 더 좋은 결과가 나와요'가 아니라, 프롬프트 기법에 따른 처리 과정과 할루시네이션 발생 차이, 왜 그렇게 되는지 명확히 설명하고 있다. 다른 책에서 설명하지 않은 중간 과정이 이 책에는 담겨 있는 것이다. 내부 메커니즘을 이해하게 되니, 응용의 폭도 넓어지게 된다.

그리고 이 책에서는 일반 프롬프트뿐만 아니라, 랭체인, RAG, 에이전트도 다룬다. 이를 활용하여 챗봇이나 주식 분석, 문서 요약, 법률 자문 등의 AI 에이전트 앱을 개발할 수 있다. 특히 랭체인 경우, 전에 본 한빛의 책에서 쉽고 빠르게 응용 앱을 만드는 것을 배울 수 있었는데, 이번 책에서는 그때 미처 생각지 못한 할루시네이션이라는 측면을 다루고 있어서, 보다 신뢰성 높은 AI 에이전트 앱을 만드는데 많은 도움을 준다.

'할루시네이션을 줄여주는 프롬프트 엔지니어링'의 책 구성을 살펴보면, 473쪽 분량에 5개의 챕터와 부록으로 되어 있다. 프롬프트 엔지니어링 개요, 할루시네이션 예방 기법, 심화: 프롬프트 응용, 그라운딩과 지식 통합, 실전 프로젝트 : 에이전트 만들기 순이다. 프롬프트 개선 사례도 나오지만 그보다는 내부 원리나 설계 쪽 내용 위주다.

이 책을 읽고 있으면, 저자가 독자에게 가급적 많은 것을 전달하고 싶어 안달이 난 거 같다는 느낌이 든다. 다루는 주제도 많고, 곳곳에 주석이나 NOTE 코너를 통해 추가 정보도 많이 담았다. 설명도 깔끔하게 이해할 수 있게 잘 되어 있다. 설명에 사용된 예들이 쏙쏙 머리에 박힌다. 용어나 중요 내용은 주황색으로 강조해 놔서 한눈에 쏙쏙 들어온다.

보통 첫 챕터는 워밍업 정도로 가볍게 풀어 나가는데, 여기서는 기본 개념 잡아주고, 바로 실습 준비로 들어간다. Google Colaboratory, OpenAI API, Gemini API를 설치한다. Colab에서는 파이썬을 이용해서 코딩을 하는데, 난이도가 높은 코딩은 아니므로 파이썬 기본 문법 정도 알고 있으면 충분하다. 코딩과 테스트를 통해 할루시네이션 상황을 구현해 보고, 비교와 평가도 해보며, 프롬프트 엔지니어링 기법의 장단점을 알아본다.

'할루시네이션을 줄여주는 프롬프트 엔지니어링'의 내용은 꼬리에 꼬리를 무는 형태로 점진적으로 지식을 쌓는 형태다. 챕터 2에 나오는 홀루시네이션의 세 가지 유형, 사실적, 논리적, 문맥적 할루시네이션을 제대로 숙지하면, 뒤에 나오는 CoT, 지식 생성 프롬프팅, 자기검증, CoVe 등 각종 프롬프트 엔지니어링 기법들이 지향하는 개선 방향을 제대로 알 수 있다. 재미있었던 것은 나름 내가 본능적으로 할루시네이션을 줄이는 프롬프트를 만들고 있었다는 것을 알 수 있었다.

그라운딩, RAG, 지식 그래프, LLM 할루시네이션 평가 방법과 도구에 관련된 것도 배울 수 있어 좋았다. 이 책 덕분에 새로운 것도 많이 배우고, 흩어졌던 지식들을 정확한 용어와 함께 체계적으로 정리할 수 있었다.

책에서 말하듯, 할루시네이션은 버그가 아니라 LLM의 가장 큰 특징이다. 그래서 이를 줄여 나가는 과정은 마치 거짓말을 하지 않도록 아이를 차근차근 가르치는 일처럼 느껴졌다. 그리고 겉보기엔 모든 것을 다 아는 듯한 척척박사 LLM의 내부적인 한계에 어떤 것들이 있는지 명확히 이해할 수 있었다.

결과적으로 '할루시네이션을 줄여주는 프롬프트 엔지니어링'은 할루시네이션과 프롬프트 엔지니어링이란 전문적인 주제를 기초부터 응용까지 차근차근 짚어주는 훌륭한 교과서였다.

프롬프트 엔지니어링의 본질을 제대로 이해하고 싶은 이들에게, 이 책을 적극 추천한다.