콩 심은 데 콩 나는 인공지능 바르게 쓰는 방법

왜 내가 쓰는 AI만 멍청해 보일까? - 같은 AI를 써도 결과가 달라지는 진짜 이유
이한빛 지음 / 생능북스 / 2026년 7월

* 출판사로부터 도서를 제공받아 작성한 주관적인 리뷰입니다.

인공지능이 많은 편리함과 생산성을 높여 주지만, 반면 쓰면 쓸수록 멍청하다는 생각도 자두 든다. 단순한 질문도 틀린 대답을 하기도 하고, 최신 자료 대신 오래된 자료를 알려주는 경우도 많다. 지난번에는 잘못 알려준 준비 서류 때문에 왔다 갔다 시간 낭비만 한 적도 있다. 이런 일이 반복되면, 감정도 없는 AI에게 화가 나서 욕이 저절로 나온다. 

그래서 인공지능의 오류, 할루시네이션을 줄이기 위해, 데이터분석 전문가이자 AI연구가인 이한빛 저자의 '왜 내가 쓰는 AI만 멍청해 보일까?'을 보게 되었다. 물론 이 책을 보기 이전에 할루시네이션에 관한 책이나 프롬프트 엔지니어링 관련 책도 여럿 봐왔다. 그래도 많은 부족함을 느끼다 보니 지혜를 얻고자 읽게 되었다.

'왜 내가 쓰는 AI만 멍청해 보일까?'는 단순히 효과 좋은 프롬프트 샘플을 제시하는 책이 아니다. AI가 왜 멍청한 대답을 하는지, 그 원인과 메커니즘을 알아보고, 발생할 수 있는 문제들을 분석한 뒤, 다양한 곳에서 쓸 수 있는 프롬프트 형태를 제안하고 있다. 뭐랄까, 일회성으로 물고기를 주는 것이 아닌, 아예 낚시 잘하는 방법을 알려주는 느낌의 책이다.

일단 우리는 이미 채팅 상담 경험이 많다 보니, AI 역시 비슷한 방법으로 쓰게 된다. 대단한 능력을 가진 인공지능이니 현명하고 똑똑한 대답을 기대하면서 질문을 하거나 무언가를 도와 달라고 한다. 그리고 그 바탕에는 인공지능이 사람과 비슷하다는 생각이 깔려 있다. 하지만 인공지능은 단순히 학습한 것들을 다시 검색하고 가중치, 통계적 계산을 통해 질문에 가까운 것을 대답할 뿐이다. 즉 우리가 시작부터 엄청난 착각을 하고 있는 것이다.

사람과 사람의 대화에는 맥락이라는 게 있기에, 오래 알아 온 사이일수록 구체적으로 말을 안 해도 대화할 수 있다. "가가 가가?", "거시기 해서, 거시기 했다" 이런 대화가 가능하다. 그러나 인공지능은 그런 맥락을 모른다. 제미나이나 코파일럿, 챗GPT를 오랜 동안 썼으니 내 사정을 잘 알 거 같지만, 대단한 착각이다. 서비스 요금 체계만 달라져도 과거에 대화는 써먹지 못한다. 게다가 시간이 지나면, 과거의 맥락이 사라지기도 한다. 최근에 제미나이의 말투가 달라져서 이상하다 생각했는데, 얼마 전에 알고리즘이 업데이트가 되었다고 한다. 하루아침에 다른 상담자로 바뀐 거처럼 된다. 이런 인공지능의 내부 메커니즘을 바로 알고, 받아 들여야 인공지능을 바르게 쓸 수 있게 된다.

'왜 내가 쓰는 AI만 멍청해 보일까?' 초반에 나오는 이야기가 바로 이러한 것들이다. 책에 나오는 프롬프트 예들을 보면, 우리가 흔히 하는 실수들이다. 인공지능은 눈치코치 없는 존재다. 맥락을 바로 이해하지 못하며, 오래 가지고 있지도 못한다. 지난번에 자세히 말했으니, 이번엔 말 안 해도 알겠지 해서는 안 된다. 인공지능에게 질문한 기록이 있고 카테고리로 관리할 수 있지만, 그걸 절대적으로 믿어선 안된다. 

"나 시험 망했어", "그거 알지?" 이런 프롬프트는 AI의 멍청한 대답만 나오게 한다. 그 대답은 질문자에게 맞춰진 것이 아닌, 학습된 평균적인 대답일 뿐이다. 따라서 AI의 현명한 답변을 기대한다면, 질문 또한 현명해야 한다. AI가 잘 이해할 수 있게 공백이 없는 전제 조건을 구체적으로 담아야 한다.

그렇다고 머릿속에 떠오르는 것을 나열만 하는 것은 좋은 방법이 아니다. '왜 내가 쓰는 AI만 멍청해 보일까?'에서 제시하는 형태처럼, 상태, 목적, 제약, 필요시 단계적 분해라는 설명 엔지니어링 기본 구조를 따르는 것이 좋다. 이게 낚시 방법이다. 상당히 심플하고 간단하다. 여태 이걸 잘 몰라서 인공지능에 불편하고, 화를 냈던 거였다. 이를 보다 잘 이해하기 위해 책 후반부에 몇 가지 사용 예를 들어 구제적으로 설명하고 있다. 

'왜 내가 쓰는 AI만 멍청해 보일까?'를 보고 콩 심은 데 콩 나고, 팥 심은 데 팥 난다는 속담이 떠올랐다. 이 책을 통해서 프롬프트 엔지니어링의 핵심을 명확히 이해할 수 있었다. 인공지능에게 우문현답은 없다. 현문현답만 있다. 인공지능이 멍청한 대답을 하는 것은 내가 인공지능에 맞는 질문을 제대로 못했기 때문이다. 인공지능을 바르게 사용하는 방법 또는 인공지능을 보다 잘 활용하고 싶은 분이라면, '왜 내가 쓰는 AI만 멍청해 보일까?'를 참고하면 큰 도움이 될 것이다.