AI 채점이 논리정연한 근거 설명과 함께 제시된다고 해서 평가의 신뢰성이 보장되는 것은 아니다. LLM을 활용한 채점은 평가의 투명성을 높이기 위해 학생 답안의 장단점을 먼저 단계별로 분석한 뒤, 최종 점수를 출력하는 CoT(Chain-of-Thought) 방식을 널리 활용한다. 그러나 CoT로 생성된 설명은 모델의 실제 내적 의사결정 과정을 충실히 반영하기보다, 사후에 왜곡 및 합리화될 수 있다는 구조적 한계를 지닌다. Turpin 등(2023)의 연구에 따르면, LLM은 프롬프트 내 주입된 편향적 단서에 영향을 받아 결론을 내리면서도, 생성된 CoT 설명에서는 해당 편향의 영향을 전혀 밝히지 않은 채 논리적인 근거를 그럴듯하게 사후 구성하는 경향을 보였다. 이는 LLM의 학습 및 정렬 방식이 '자신의 실제 판단 과정을 정직하게 보고하는 능력'을 평가하는 것이 아니라, 인간 평가자 눈에 '얼마나 논리적이고 그럴듯하게 보이는가'를 보상하도록 설계되어 있기 때문이다. 따라서 AI 채점 모델이 답안의 특징(문장 길이, 특정 어휘 등)에 편향을 갖고 점수를 매기더라도, 피드백 자체는 완벽한 교육적 근거인 것처럼 포장될 위험이 있다. 즉, AI에 의한 채점 피드백이 유려하게 보인다고 하여 그것이 AI 평가에 대한 맹목적 신뢰로 이어지는 것은 바람직하지 않다. ■ 참고 문헌 Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language models don't always say what they think: Unfaithful explanations in chain-of-thought prompting. Advances in Neural Information Processing Systems, 36, 74952–74965. https://doi.org/10.52202/075280-3275