AI 채점 연구: 등급 비율은 맞히는데 누가 A인지는 거의 못 맞힙니다

페이스북 친구인 윤신영 선생님이 공유해 주신 최근 연구입니다. 쉽게 설명하면 AI가 구조화된 문항은 비교적 채점을 잘 하는데 개방형 에세이 문항은 채점을 잘 못한다는 거예요. 학생 30명 중 A를 몇 명, B를 몇 명 받을지 비율은 정확히 맞히는데, 정작 누가 A를 받아야 하는지는 거의 못 맞힙니다. 겉으로 보기엔 점수가 비슷하니까 잘 채점하네 싶지만 실제로는 그 글을 이해해서 순위를 매긴 게 아니라 점수 분포의 모양만 흉내내는 거죠. 개인적으로 서논술형 평가를 성공적으로 도입하기 위한 필수 전제 조건은 교사의 역량이나 AI 기술이 아니라 고등학교 교육과 대입이 분리되는 것이라고 생각합니다. AI 기술만 믿고 도입했다간 고교학점제보다 훨씬 큰 폭탄이 될 거라 봅니다. 관련 링크 https://arxiv.org/abs/2603.14732 https://n.news.naver.com/article/023/0003991014

선생님들의 답 1개