AI 서·논술형 채점에 대한 선생님들의 생각

절대평가와 서논술형 평가를 동시에 진행하게 되었을 시 등급컷 근방에 있는 학생들의 무차별적인 이의제기, 모든 문항에 대해서 점수를 받을 수 있는지 확인하고자 하는 이의제기 등 다양한 상황을 배제할 수 없을 것입니다. (당장 학교 내신 시험에서만 봐도 항상 인문계 선생님들께 엄청난 이의제기가 들어옴.) 그러면 그 이의제기는 누가 검토하고 재채점을 할 수 있을까요? 만약 AI에게 맡긴다고 하면 채점도 AI, 검토도 AI일 경우 오류가 발생했을 시 수능에 대한 신뢰도는 더욱 떨어지게 될 수도 있고 학교에서도 많은 혼란을 가질 수 밖에 없을 것이라 생각이 되네요 ㅠㅠ

서논술형의 본래 취지는 개방적인 사고일 텐데.... 그걸 어디까지 품을 수 있을까 싶기는 하고, 사람이 하는데 또 하려면 하지 않을까 싶기도 하고, 하지만 그는 변수까지 품을 그릇은 못 되는데 싶기도 하고... 한 치 앞 주식도 모르겠는데 이걸 어떻게 알겠냐 싶기도 하고...ㅠ

서논술형문제의 출제 의도 자체가, 학생의 개방적인 사고를 촉진하기 위함인데, 그와 동시에 변별을 할 수 있는 평가라거나, 혹은 교육과정 성취기준 및 성취수준에 맞게 채점을 해야 하는 상황이라면, 실제 교육 현실 내에서는 결국 평가요소와 루브릭에 따라 완벽한 개방형 서논술형은 불가할 것 같습니다. 차라리, 서논술형 지필평가라거나 수행평가임에도 모든 학생이 동시에 평가에 임할 수 있는 환경에서 주어진 자료와 제시문만 활용한다면 모를까요.

어쩌면 사람보다 더 객관적이고 정확할수 있지만 절대 독자적일수는 없습니다. 사람이 검수는 꼭 해야합니다

객관적 채점기준 확보가 가능할지 의심이 됩니다. 매번 ai채점을 돌릴 때마다 다른 결과값과 채점값이 나오는데 여기에 순응할 학부모와 학생들이 얼마나 될지...

지금 당장은 ai모델의 태생적인 한계로 어렵겠지만 언젠가는 가능할 것이고 그러한 방향으로 나아갈 것이라고 생각합니다

모르는 것을 모른다고 하지 않고 계속 답하게 하면, LLM의 할루시네이션은 구조적으로 반드시 발생한다. Kalai & Vempala의 Calibrated Language Models Must Hallucinate는 컴퓨터 과학 분야 최상위 학회 중 하나인 STOC 2024에 정식 채택된 논문입니다.

연수 다닐 때 소개드리는 논문인데요. LLM의 할루시네이션은 아무리 모델이 발전해도 구조적으로 반드시 발생할 수 밖에 없다는 것을 수학적으로 증명하는 논문입니다. (단, 전제조건은 모르는 것을 모른다고 대답하지 말라고 하는 지시하는 것입니다.) 모델이 아무리 발전해도 LLM이 가진 본질적인 한계들은 계속 존재할 것입니다. 저희는 기술을 잘 이용해먹으면서도 그것을 맹신하기보다는 한계점을 명확히 인지해야겠습니다. AI 서논술형 채점이라는 것은 LLM에게 반드시 학생 서술에 대해 점수를 출력하도록 요구합니다. 몇 점을 메길지 모르겠다고 말할 수 없는 구조이죠. 그런데 저희가 이 채점 결과를 신뢰할 수 있을까요? 선생님들의 의견이 궁금합니다.

서논술형평가를 AI를 통해 실시하는 경우, 국어과 채점시에는 같은 내용을 다른 문장으로 반복하거나 하는 경우에 점수를 잘 받는 경우가 있다고 들었습니다. 국어과에서는 문장의 유려함과 더불어 단락의 구조, 글 전체의 내용 구조, 논증구조를 따져 채점해야 하는 경우가 많을 것 같은데, 이에 대한 주관적 평가를 AI에게만 맡겨도 되는지 불안하네요...

요즘 워낙 AI가 빠르게 발전하는걸 보니까 서논술형 채점에 대한 것도 나중에는 자연스럽게 AI에게 맡기게 되지 않을까 생각해봅니다. 물론 신뢰를 쌓아가는 과정이 생기겠지만, 10년 이내에 AI채점에 더 신뢰가 쌓여 '엥 그걸 사람이 채점한다고?'라고 생각하는게 흔한 세상이 오지 않을까... 마치 자율주행이 이제 너무 당연해져서 '엥? 사람이 운전한다고? 안탈래,,,'라고 말하게 될 것 처럼요.

ai 서논술형 채점의 가장 큰 문제는 그 과정을 인간이 통제하기가 어렵다는 것이라 생각합니다. llm은 본질적으로 확률 통계적 계산에 따른 답변을 내놓고, 이 과정에 대해 한 개인의 교사가 완전히 통제하기는 어렵다고 생각합니다. 서논술형 채점에서 가장 중요한것은 채점을 하는 평가자의 전문성에서 기반합니다. 현단계에서는 왜 이것을 이렇게 평가했는지에 대한 완벽한 통제가 어렵고 이는 전문성에 기반한 평가라는 측면을 약화시키 수 있다고 생각합니다

토요일에 성취도평가 관련 연수를 다녀왔는데 ai채점에 대한 이야기가 나왔었어요. 직접 서술형 문제 모의 채점을 해봤는데, 채점기준대로 채점하면 0점이지만 맥락과 과정을 보면 2점을 줄 수 있겠더라고요. 과목마다 ai채점의 효과가 다르겠지만, 수학과에서는 채점기준이 명확해야지만 가능할 것 같아요. 근데 이 부분이 문제죠. 수학적 풀이는 다양할 수 있는데 이 부분을 모두 ai에게 알려주고 채점을 시킬 수 있을지. 쉽지는 않을 것 같습니다. 정해진 채점기준, 사고의 확장. 이 두가지를 동시에 만족 시킬 수 있을까요?