이미 LLM을 LLM이 판결하는 것이 하나의 평가 모델로 자리잡고 있는데, ’LLM 초벌 판단 - 인간 전문가 확인 결정‘ 같은 모델을 거리낄 이유가 무엇인가.
그래서 저희가 생각한 방법은 LLM이 직접 평가를 하는 것이었습니다. 즉 다음과 같은 질문을 주고 평가 대상인 모델의 응답을 받아 응답이 기준에 부합하는지, 또 정답이 맞는지 확인해서 점수를 부여합니다.
질문: 버번 위스키 중에 메이커스 마크는 특유의 부드러운 목넘김이 좋은데, 그건 호밀 대신에 이걸 사용해서 그렇다. 무엇인가?
제가 좋아하는 위스키에 관한 질문입니다. 위스키를 좋아하는 분들이라면 아마 다들 잘 알고 있을 그런 질문이죠. 이 질문에 대한 정답과 평가 기준은 다음과 같이 기술했습니다.
평가 기준: 정답은 밀이다. 또는 영어로 wheat로 해도 정답으로 인정한다. 정답 여부를 확인하고, 설명에 할루시네이션이 포함된 경우 많이 감점하라.
(중략)
정답을 잘 맞혔고 설명도 꽤 충실합니다. 이 정도면 충분히 만족스러운 답변입니다. 그렇다면 몇 점을 주는 게 맞을까요?
이제 이 작업을 LLM이 진행합니다. 위스키 전문가가 직접 판단해 점수를 매기면 가장 좋겠지만 모든 모델의 응답을 매번 위스키 전문가가 판단할 수는 없죠. 그래서 LLM이 직접 품질을 판단하고 점수를 부여합니다. 이 기법을 판사로서의 LLM LLM as a Judge 이라고 합니다. 사람이 일일이 평가하기는 너무 어려우니 LLM이 마치 판사처럼 판단하도록 하는 개념이죠. 당연히 판사는 매우 똑똑한 모델이어야 합니다.
저희는 평가자로 GPT-5를 사용하고 있습니다.
(중략)
점수를 몇 점 부여했는지는 물론, 왜 그렇게 평가했는지 이유도 함께 설명합니다. 평가 결과를 보면 매시빌 비율이 틀렸고 밀에 대한 설명이 다소 과장되어 있다고 지적하는데 실제로 원래 모델 응답에서 바로 그 부분이 틀렸습니다. 오류를 정확하게 짚어 냈죠. 역시 GPT-5는 평가자 역할을 맡기에 부족함이 없네요. - P106
|