AI로 서논술형을 채점하는 게 실제로 쓸 만한가요?

Ai가 보조강사 정도의 도움은 주는것같습니다. 사람이 하면 한번정도 피드백줄것을 ai가 도움을 주면 세네번 더해줄수있으니까요. 수학에서 도움이 됐던 부분은 학생 개인별로 문제만들기 활동입니다. 각자 다른 단원의 실생활 문제를 직접 만들고 풀이하는 과정을 300명 가까이 채점하기 불가능해서 못하고있다가 서논술형채점 도움받아서 했어요. 결과는 만족스러웠습니다. Ai가 읽을 수 있게 순차적으로 수행지 구성한것도 한몫했어요. 일일히 처음부터 채점이 아니라 채점한걸 바탕으로 제가 점검하는 수준의 채점이 되어서 수월해졌었어요. Ai가 이렇게 채점했으니까 넌 이점수야! 이러면 교사가 제 얼굴에 침뱉기인것같아요. 최종평가자는 교사가 되어야 하고 점검과정이 필수. 무엇보다 세특소스가 나오니깐 더 활용하고있기도 해요.

저도 1학기 때 ICR 프로그램으로 여러교과 수행평가지 돌려봤는데, 수학은 GG 쳤습니다. 학생들의 상상초월하는 답안들을 보고 교사도 해석이 안되는 이상한 답안이 있는데 이걸 AI한테 맞다 그르다라고 학습시켜버리면 채점 기준이 난리가 나버리겠구나 싶더라고요. 문장의 호흡이 길어지니까 채점 정확도가 97% 정도 되던게 70%로 떨어지더라고요. 수학 수식 OCR 능력과 더불어 양대 난제일 듯 합니다. 답안 사례가 다양하거나 문장 호흡이 긴 답안은 사람이 채점하더라도 신뢰도를 위해 키워드 채점을 하게 되더라고요.

서논술형 채점도 결국 문제가 정해지면, 거기에 맞는 few shot, 루브릭 넣고 채점하면 어느정도 기준점은 잡아갈 수 있다고 생각은 해요. ocr이야 지금도 gemini가 워낙 잘잡아주니, 서논술형수능 바라보는 시점에는 로컬이든 혹은 gemini 계약해서 따로 쓰든 하지 않을까요? 다만 이 방법이 도입되면 피드백이나 루브릭에 맞게 글쓰는 연습이 필요할테고 사교육이 다시 그쪽으로 마케팅하지 않을지. 도입한다면 채점기준이나 로직을 평가원 해설처럼 공개해야 한다고 생각하는데 공개하는 순간 흠.. 그래서 전 채점기능은 만들어도 잘 안쓰고, 피드백 정도만 개별화해서 쓰게 되더라구요. 결국 갈수록 교사의 역량(교육과정이나 평가 등)이 중요해질 것 같습니다.

저도 채점은 여전히 ai로는 자신 없습니다. 그리고 ai에게 완전히 일임하지 못한다면 결국 사람이 다시 한번 봐야하구 ai토큰 휴먼토큰 이중 낭비..ㅋㅋㅋ

32년 수능 서논술형 때문이에요. 스노클은 사고의 확장을 요구하여 학생들에게 피드백을 통해서 학생 개인별 맞춤 학습에 있고, 개인 채점 기준을 만들어서 피드백을 줄 수도 있어요.