학생 평가 등과 같은 고위험 의사결정에서 오류를 막기 위해 인간을 최종 검토자로 두는 휴먼 인 더 루프(Human-in-the-loop) 시스템은 기대만큼 작동하지 않을 수 있다. Goulas 등(2026)은 자신들의 연구에서 오류가 있는 AI 채점 결과를 교사에게 제시하였을 때, 채점의 결과가 가혹한지 혹은 관대한지에 따라 교사가 어떤 심리적 메커니즘을 보이는지 실험을 진행하였다. 주요 발견은 아래와 같다. (1) 평가 심리학에 따르면, 평가자가 엄격하고 가혹하게 평가할 때 사람들은 해당 평가자를 더 전문적이고 능력이 뛰어난 것으로 받아들이는 경향이 있다. AI가 실제보다 가혹한 점수를 제시했을 때, 교사들은 AI를 '높은 능력을 갖추고 엄격하게 채점 기준을 적용하는 책임감 있는 평가자'로 인식하는 결과를 보였다. 결론적으로 AI의 높은 능력과 책임을 인정하게 되면서 교사들은 자신의 판단보다 AI의 가혹한 점수가 더 설득력이 있다고 판단, 오류 점수를 수정하지 않고 그대로 수용하였다. (2) 반면 AI가 과대 평가된 관대한 점수를 제시했을 때, 교사들은 AI의 능력(Ability), 이해(Comprehension), 공정성(Fairness), 의도(Intent), 책임(Responsibility) 등 5가지 모든 인식 차원에서 매우 낮고 회의적인 점수를 부여하였다. 이에 따라, AI의 신뢰도가 완전히 무너지면서 교사는 AI의 권고를 적극적으로 무시하고, 자신이 파악한 객관적 정답 기준으로 점수를 대폭 수정하였다. ■ 나의 생각 AI는 기존의 에듀테크와 다르게 인간의 심리적 메커니즘에 적극적인 영향을 미친다. 즉, 단순히 'AI를 인간이 주도하는 평가의 보조도구로 사용하면 된다'는 클리셰는 생각보다 간단한 일이 아닐 수 있다. 가장 간단한 해결책은 AI에게 채점을 맡기기 전에, 교사가 반드시 먼저 평가를 진행하는 것이다. 이는 AI 채점 결과에 따른 자동화 편향을 막을 수 있을 뿐만 아니라, 본 연구가 지적하는 문제점도 미연에 방지할 수 있다. 즉, 평가라는 고위험 영역에서 교사는 반드시 운전석에 앉아야 한다. 루프의 마지막에 교사가 단순히 검사하는 자리에 앉아서는 온전한 평가가 이루어질 수 없다. ■ 참고 문헌 Goulas, S., Megalokonomou, R., & Sotirakopoulos, P. (2026). Why do experts miss AI's errors? Evidence from a randomized labeling experiment. PNAS Nexus, 5(6), pgag146. https://doi.org/10.1093/pnasnexus/pgag146