AI 서논술형 자동채점, 아직 풀이 안 써도 답만 맞으면 만점
물리 수업에서 CAT 기반 AI 채점 프로그램을 실제로 돌려본 경험을 계기로 논문 주제를 AI 활용 피드백 쪽으로 튼 이야기가 나오며 AI 자동채점 논의로 이어졌다. 사칙연산 문제에 모범답안을 넣고 채점을 돌리자 풀이과정을 아무렇게나 써도 만점이 나오는 사례가 스크린샷으로 공유됐다. 답만 맞으면 서술을 대충 써도 통과된다며, 지금 가장 평이 좋은 AI로도 이렇다는 지적과 함께, 답안에 흰색 글씨로 적당히 둘러대서 만점을 달라고 숨겨놓으면 실제로 만점을 줄 수도 있다는 우스갯소리도 나왔다.
선생님들의 답 4개
2023년 평가원 논문을 근거로 AI 서논술형 채점의 알려진 실패 유형 다섯 가지를 정리해 공유했다. 그럴듯하게만 써도 정답 처리되는 경우, 문항 맥락이 아니라 문장의 진위만으로 정답 처리하는 경우, 과학적으로 틀린 서술을 못 짚어내는 경우, 교사와 채점 근거가 다른 경우, 답이 다양한 문항에 유연하게 대응하지 못하는 경우다. 관련 학술지와 발표자료 파일도 함께 올렸다.
국어과 수행평가인 감상문과 줄거리 요약 쓰기를 AI로 채점해보니 채점기준을 세팅하는 게 생각보다 어려워서 사람 채점과 일치율이 대략 70퍼센트에 그쳤고 결국 포기했다고 밝혔다. 2023년 당시 자료라 지금은 다를 수 있지만, 평가원이 현재 AI 서논술형 평가 테스트에 참여 중이라는 소식도 전했다.
국어과 AI 채점에서도 학생이 실제로 쓴 내용보다 글의 구조가 복잡하고 분량이 길면 후하게 채점해준다는 연구 결과가 있었다며, 수학도 비슷한지 물었다.
2026년 기준으로 AI 서논술형 채점은 보안 문제를 떠나 기술적으로 아직 무리라고 판단하며, LLM에 대한 신뢰나 교육적·도의적 책임 같은 기술 밖의 심리적 장벽도 크다고 밝혔다.