모르는 것을 모른다고 하지 않고 계속 답하게 하면, LLM의 할루시네이션은 구조적으로 반드시 발생한다. Kalai & Vempala의 Calibrated Language Models Must Hallucinate는 컴퓨터 과학 분야 최상위 학회 중 하나인 STOC 2024에 정식 채택된 논문입니다.

연수를 다닐 때 소개드리는 논문인데요. LLM의 할루시네이션은 아무리 모델이 발전해도 구조적으로 반드시 발생할 수 밖에 없다는 것을 수학적으로 증명하는 논문입니다. (단, 전제조건은 모르는 것을 모른다고 대답하지 말라고 지시하는 것입니다.) 모델이 아무리 발전해도 LLM이 가진 본질적인 한계들은 계속 존재할 것입니다. 저희는 기술을 잘 이용해먹으면서도 그것을 맹신하기보다는 한계점을 명확히 인지해야겠습니다. AI 서논술형 채점이라는 것은 LLM에게 반드시 학생 서술에 대해 점수를 출력하도록 요구합니다. 몇 점을 메길지 모르겠다고 말할 수 없는 구조이죠. 그런데 저희가 이 채점 결과를 신뢰할 수 있을까요? 선생님들의 의견이 궁금합니다.