OpenAI最近在一篇促销博客文章中为教育工作者提供了使用ChatGPT的教学指南,并给出了一些推荐的提示。在相关的常见问题解答中,他们正式承认了我们已经知道的事实:AI写作检测器无法可靠地工作,尽管经常被用来惩罚学生,产生误报。
在FAQ的一个部分标题为“AI检测器是否有效?”中,OpenAI写道:“简而言之,答案是否定的。尽管一些人(包括OpenAI)发布了声称可以检测AI生成内容的工具,但没有一个工具能够可靠地区分AI生成和人类生成的内容。”
今年7月,我们深入探讨了为什么像GPTZero这样的AI写作检测器不起作用,专家们称其为“大部分都是骗人的”。由于依赖未经验证的检测指标,这些检测器经常产生误报。最终,AI生成的文本并没有什么特别之处,总是能够与人类生成的文本区分开,并且检测器可以通过重新表述来击败。同样的一个月,OpenAI停止了其AI分类器,这是一个实验性工具,用于检测AI生成的文本。它的准确率仅为26%。
OpenAI的新FAQ还解答了另一个误解,即ChatGPT本身能否知道文本是否是AI生成的。OpenAI写道:“此外,ChatGPT对于什么内容可能是AI生成的并没有‘知识’。它有时会对问题作出虚构的回答,比如‘你写的这篇[文章]吗?’或‘这可能是由AI生成的吗?’这些回答是随机的,并没有基于事实。”
在这方面,OpenAI还提到了其AI模型倾向于虚构错误信息的倾向,这一点我们在Ars上也有详细报道。“有时,ChatGPT听起来令人信服,但它可能会给出不正确或误导性的信息(在文献中常称为‘幻觉’),”该公司写道。“它甚至会虚构引号或引用,因此不要将其作为您研究的唯一来源。”
尽管自动化的AI检测器不起作用,这并不意味着人类永远无法检测到AI写作。例如,熟悉学生典型写作风格的教师可以发现他们的风格或能力突然发生了变化。此外,一些粗制滥造的企图将AI生成的作品冒充人类写作也会留下明显的痕迹,例如“作为AI语言模型”,这意味着某人复制并粘贴了ChatGPT的输出内容而没有仔细检查。最近,科学期刊《自然》上的一篇文章展示了人类注意到一篇科学论文中的词组“Regenerate response”,这是ChatGPT中的一个按钮标签。
就目前的技术来说,最安全的做法是完全避免使用自动化的AI检测工具。常驻AI分析师、沃顿商学院教授Ethan Mollick在今年7月对Ars表示:“迄今为止,AI写作是不可检测的,而且可能会一直如此。AI检测器的误报率很高,不应作为依据。”
极客FUN (eiefun.com) 专注最新科技和人工智能领域,为您提供最新科技和AI的相关资讯、教程和免费AI工具。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com),另:文中部分素材可能会引用自其他平台,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除