서논술형 평가에 있어 AI 채점 지원이 과연 유효한가? 이 질문에 대해 Yeadon 등(2026)은 서논술형 평가는 다른 문항 유형과 근본적으로 다르기에 AI 평가가 유효하지 않을 수 있음을 제안한다. 연구의 주요 발견을 정리하면 아래와 같다. (1) AI가 채점을 잘하느냐 못하느냐는 '기준 참조 가능성', 즉 채점 기준을 잣대처럼 명확하게 대어볼 수 있는가에 달려 있음. (2) 서논술형 에세이 평가에서의 채점은 논리 흐름, 표현력, 종합적 맥락을 봐야 하기 때문에 채점자마다 주관이 개입됨. 즉, 기준 참조 가능성이 낮음. (3) AI에게 잘 쓴 예시 답안과 점수표를 제공하면, AI가 매긴 점수의 평균과 점수 분포가 인간 채점자가 매긴 점수와 완벽하게 비슷해지지만, 어떤 글이 90점짜리이고 어떤 글이 60점짜리인지 구별해내는 능력은 상당히 낮음. 즉, 실제로 AI가 에세이의 내용과 논리를 이해해서 채점한 것이 아니라, 점수 분포만 모사한 것임. AI를 서논술형 평가의 채점에 적용하는 것도 AI에 대한 비판적 이해가 필요하다. 특히 서논술형 평가에서 AI가 점수를 매기는 채점자의 역할로서 작동하는 것은 바람직하지 않다. 따라서, 인간의 평가적 판단력이 필요한 영역과 위임이 가능한 영역을 명확히 구분하여, 교사의 인지적 에너지가 학생의 이해를 추적하는데 온전히 사용될 수 있도록 AI는 절대적으로 보조적인 역할을 수행하여야 한다. ■참고 문헌 Yeadon, W., Hardy, T., Mackay, P., & Agra, E. (2026). Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats. arXiv preprint arXiv:2603.14732. https://doi.org/10.48550/arXiv.2603.14732