또한 이 책의 4부에서는 '챗GPT의 한계'에 대해 알려주는데, 이 또한 반드시 알아두어야 할 부분이다.
챗GPT를 손에 쥐고 나에게 도움이 되는 방향으로 이용하기 위해서는 그 한계에 대해서도 명확히 이해하고 있어야 한다. (344쪽)
특히 챗GPT가 생성한 답변이 100퍼센트 사실이라고 믿어서는 안 된다고 강조하는데, 챗GPT와 같은 생성형 AI는 확률적으로 적절한 대답을 생성하는 것이지 그것이 항상 정확한 사실을 담보하지는 않는다(345쪽)는 것이다.
또한 챗GPT는 현재 2021년까지의 데이터만을 학습한 상태이기 때문에 2021년 이후에 일어난 사건이나 데이터에 대해서는 정확한 답변을 줄 수 없다(345쪽)는 점도 알아두어야 한다.
물론 정확도의 문제는 차차 개선되겠지만 챗GPT가 알려주는 답변이 모두 진실이라고 생각하면 안 될 것이다.
거기에 대해 이 책에서는 할루시네이션이라고 말한다.
그보다 주의해야 할 문제는 할루시네이션이다. 직역하면 '환각'이라는 뜻으로, AI 모델이 아예 현실에 근거하지 않거나 사실적 근거가 부족함에도 불구하고 이를 사실인 것처럼 이야기하는 것을 의미한다. 쉽게 말해 AI가 설득력 있게 들리는, 거짓말을 한다는 것이다. (346쪽)
특히 챗GPT에게 특정 주제를 다룬 논문이나 책을 찾아 달라고 하면, 존재하는 논문과 책 리스트 사이로 존재하지 않는 그럴듯한 논문과 책 제목을 슬쩍 포함해서 답변을 생성하니 이를 체크하지 않고 그대로 사용했다가는 낭패를 볼 수도 있다고 조언한다.
할루시네이션이 발생하는 것은 챗GPT가 근본적으로 새로운 텍스트를 만드는 생성형 AI이기 때문이다. 챗GPT는 딥러닝으로 데이터를 학습한 뒤, 학습된 패턴에 따라 응답을 생성한다. 이 과정에서 질문의 의도나 문맥, 배경을 완전히 이해하고 응답을 생성하는 것이 아니라 확률적으로 가장 적합한 문장을 만들어내는 것이다. 또한, 챗GPT는 인간과 달리 진짜와 가짜 정보를 구분하는 데 서툴다. 인간이 가지고 있는 상식적인 지식과 추론 능력이 아직은 다소 부족하기 때문에 이런 현상이 일어나는 것이다. (347~348쪽)
챗GPT를 이용하면서 어떤 점을 주의할지 생각하기 위해서 챗GPT의 한계를 알고 사용하는 것이 관건이겠다.