그렇다면 AI는 단답형 문항 채점에서는 탁월한가? Hardy(2026)는 LLM이 단답형 문항(20~60자)의 채점에서도 명확한 한계가 있음을 증명하였다. 주요 발견을 정리하면 아래와 같다. (1) 답안에 특정 키워드가 들어있는지 확인하는 문제는 채점 정확도가 높으나, 지문을 읽고 맥락이나 인물의 감정, 은유적 의미를 이해해서 써야 하는 문제에서는 AI의 채점 정확도가 낮다. 이는 AI가 문맥 전체의 깊은 뜻을 '이해'하는 게 아니라, 다음에 올 법한 단어를 확률적으로 나열하도록 학습된 모델이기 때문이다. (2) 채점은 학생이 쓴 글 앞뒤 전체를 꼼꼼히 훑어보며 기준에 맞는지 판정하는 일이다. 하지만 GPT 방식의 문장 생성용 AI는 글을 한 방향으로 읽으며 뒤에 올 단어를 붙이는 구조이기 때문에, 학생 답안의 사소한 단어에 혼란스러워하거나 채점 이유를 그럴듯하게 할루시네이션으로 만들어내는 경향이 강하다. (3) 사람이 채점하기 쉬운 문제라고 해서 AI에게도 쉬운 것은 아니다. 사람이 채점할 때 어려움을 느끼는 이유는 답안이 모호하거나 채점 기준이 주관적일 때지만, AI가 채점할 때 오류가 생기는 이유는 학생의 맞춤법 오류, 토큰화 오류, 프롬프트 문구의 미세한 변화에서 기인한다. LLM의 특징을 이해하면, 분량이 짧은 단답형 문항에도 AI 채점을 적용하는 일이 그리 간단한 일이 아님을 알 수 있다. 결국, 자동 채점은 기술을 단순히 적용하는 문제가 아니라 측정하고자 하는 학생의 능력을 채점 도구가 왜곡 없이 정확하게 측정하고 있는지, 즉 구인 타당성을 확보해야 하는 문제로 보아야 한다. ■참고 문헌 Hardy, M. (2026). Autoscoring anticlimax: A meta-analytic understanding of AI's short-answer shortcomings and wording weaknesses (arXiv:2603.04820v2). arXiv. https://doi.org/10.48550/arXiv.2603.04820