《彭博社》 刊登了一则大学生作业被误判为 AI 生成的案例,美国学生 Moira Olmsted 在一堂必修课中提交了一份书面阅读摘要作业,却因遭 AI 侦测工具误判为可能是由 AI 生成的而分数挂零,且她的作业不只一次被标记为 AI 生成。
Olmsted 表示,她其实患有自闭症类群障碍,因此写作的方式会较为公式化,增加被误认为是 AI 生成的几率。这项不实指控可能威胁到她的大学学位,虽然该份作业的分数最终被更改,但老师也警告她若再次发生就要比照抄袭处理。
用来检测 Olmsted 作业的 AI 侦测工具为「Turnitin 」,能帮助教育工作者辨识出学生作业中是否可能带有 AI 生成的内容,常被高等教育机构使用,但去年范登堡大学因担心工具的准确性而停用。
Turnitin 公司称工具对于整篇文章的误判率低于 1%,分析句子时则存有 4% 的误判率,公司也强调他们在训练数据集中有刻意「过度采样」代表性较为不足的群体,来降低误判率,但工具并没有针对自闭症学生的数据进行训练。
AI 侦测工具的准确度再现隐忧
Olmsted 的案例凸显了 AI 作弊侦测工具的仍存有的准确性问题。彭博社实测了两款知名 AI 侦测工具「GPTZero」和「Copyleaks」,并拿 500 篇 ChatGPT 推出前(确定并非由 AI 生成、且并未被用于训练 AI)的大学申请文档来测试。结果显示,两款 AI 侦测服务错误地将 1% 到 2% 的文档标记为可能由 AI 撰写。
彭博社还使用 GPTZero 来检测一篇由人类撰写的论文,GPTZero 先错误地将其判定为 98.1% 几率是由 AI 生成,但在使用可将文章修改成更像人类写作的风格的工具「Hix Bypass」后,GPTZero 判论文是由 AI 生成的几率大幅降至 5.3%。
非母语学生更容易面对被 AI 误判,增加课堂内的对立
AI 侦测工具通常会藉文本的复杂度和变化的多元程度来判断,这导致使用更通俗、公式化写作风格的学生,包括自闭症患者、英语作为第二语言等学生,更容易面临被 AI 侦测工具误判的情况。
史丹佛大学先前的研究发现,AI 侦测工具在检查美国八年级学生的作文时,准确度「近乎完美」,但在检查非英语母语学生的作文时,却将超过一半的作文标记为 AI 生成。
由于作业被误判的可能性存在,也让课堂氛围变得更加猜忌,破坏师生关系,大学生们现在会采取各种措施来证明自己作品为原创,例如录制写作过程、使用 Google 文档追踪修改记录,甚至耗费大量心力要改变自己的措辞,以致文章品质下降。
外媒呼吁要改善这些情况,AI 侦测工具的训练数据集就需更加多元化,要涵盖不同写作风格和背景的学生作品。老师在评估学生的作业时,也要纳入学生的个体差异,避免因刻板印象而做出错误的判断。
Copyleaks 目前合作的学校现在都允许学生使用服务,可查看自己作业的 AI 分数,Turnitin 则正在开发一种帮助学生展示写作过程的服务。
另外,专家也表示,教育工作者也应该改变对 AI 的态度,更开放的态度将 AI 当作学习的辅助工具,而非一项威胁。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com),另:文中部分素材可能会引用自其他平台,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除