扫码打开虎嗅APP
本文来自微信公众号:谷雨星球 (ID:guyujihua2021),作者:Jennifer,原文标题:《救命妈妈!我一字一句写的作业,又被AI判抄袭了》,题图来自:AI生成
大家好,我是美国高中在读十年级的Jennifer。自从AI出现以来,我和我的同学都迫不及待地成为了它的忠实用户,非常好用。
随着学生用AI越来越多,我所在的美高老师都用AI来检测作弊情况,却时常出现误判的情况。
在谷雨星球一篇爆款文章里《第一被AI淘汰的专业出现了?!》就提到了AI对非母语使用者的不友好,确实如此:自己辛辛苦苦一字一句写的作业,竟经常被它判定为“100%抄袭”!
当时我以为这种情况只是个例,但万万没想到,我有一次完全自己写出来的历史作业,也被判定为“50%AI写作”。
而且不光是我这个国际生,连美国本土长大的同学,也被AI这样坑过。
这也让我产生了莫大的好奇:AI到底是如何判定一份文本是否抄袭的?如果我让AI自己写一份,再让AI自己去批改,结果又会如何?我们还该继续相信AI吗?
■这是我妈妈的留言
被老师鼓励使用的AI
从去年ChatGPT出现,学校对于AI的使用还是比较鼓励的。
我们老师就曾在晨会上聊过这个话题——并不是那种严肃深刻地讨论,而是更加包容且有互动性地表达一些观点并和同学们交流。
后来,在今年的一个关于选课的会议上,我们学校的CS老师介绍了一门关于AI研究的新课程,也针对AI的出现做了一些更加详尽地解释和说明,并且倡导大家合理地使用,保持好与AI的边界。
因为学校的态度还是比较“鼓励”的,我们也就比较频繁地使用着ChatGPT,它能很大地帮我提高学习效率,保持作业的准确率。
■美高需要大量阅读,这些AI工具都可以帮我快速阅读和总结
那么,什么是“与AI的边界”呢?
准确来说,因为AI经常编造一些资料来源、引用等等,所以我觉得无论它多么完善,主导者依然需要是我们自己,而不能完全依赖AI。
完成作业的时候,我一般会用AI去给我一些建议。
比如英语写作project的语法修改建议或是结构建议,在这些方面AI确实比我们细致一些。
■可以给出详细语法修改建议的Grammerly AI
数学方面,AI对我来说更是一个“进阶版作业帮”的用处,它最大的好处就是,在我遇到不会的题的时候,会给我非常详细的每一步思路,如果我不会,还可以追问它,就像一个一对一的老师。
但最大的问题是,AI的答案经常是错的。所以建议大家使用的时候,重点借鉴它的思路,答案还是要自己亲手算出来。
■数学辅导AI有很多,通常都是上传作业后给出详细的每一步思路,比如这个号称正确率高于ChatGPT的Tutoreva
还有,有时候我们西班牙语会有一些presentation,比如最近我们需要做一个关于某个城市的旅游介绍,需要先制作一个包含十个活动的旅游攻略。
这时候我们老师会说这一部分可以给到ChatGPT做出来一个大纲,但是具体内容需要我们自己写。
■ChatGPT也是西班牙语等二外的学习助手
被AI背刺
AI在美国校园的使用越来越普遍,但问题也应运而生,比如作弊。
相应地,如今也出现了很多AI检测工具,像是Turnitin GPT,GPTZero等等,可以做论文查重,防止有人直接让AI代替自己写作业。
前段时间,我的学校历史课有一个作业是关于撰写一篇自己选择的历史事件的分析,前期的要求是进行research以及大纲撰写。因为我有改述一部分资料上的内容,所以我就比较好奇我的查重率会不会变高。
于是,我就在网上随便检索了一个查重检测工具,想看看会不会有什么有趣的发现。
毫无疑问,我的thesis statement通过了查重检测,显示“没有抄袭”。但是当我看到下面的“AI Detector”按钮的时候,我突然想到前段时间一直让我感到疑惑的问题:
无论是自己写的、又或是AI写出来的内容,都是由一个一个词藻组成的,AI到底会用什么分别其区别呢?
即使真的能够分辨出来,它的准确性是否值得参考呢?因此,我便把我的thesis statement又放在了这个AI检测的栏框里。
令人惊讶的是,AI检测给出的结果竟然是:我的内容有40%的可能是AI创作的!
至此,我开始对AI检测的真实可靠性产生了怀疑。因为各种不同的检测网站层出不穷,我便试图又找了几个网站希望获得一些其他的信息。
有些搞笑的是,这几个AI检测的网站中,每个检测结果都大相径庭。有的AI说100%都是人类写的,有的则说40%是用AI写的。
无所不能的AI出现了如此出人意料的漏洞,彻底点燃了我的探索欲——如果ChatGPT自己写一段文字,再让别的AI去检测,结果会是如何?
我便又让ChatGPT帮我写了一个相似方向的thesis statement,提交给不同的AI检测工具。
这次的结果,比检测自己的内容还让我更加出乎意料——这些100%由AI写的东西,在某些网站竟被判定为“人类撰写”。
这下我彻底迷惑了:人类写的被判定为抄袭AI,而AI自己写的又被归为人类的功劳,人工智能到底在干什么?
第二天上课的时候,我们被两两分成了小组互相讨论彼此作业的内容。我和我的同桌便探讨起了关于AI检测的内容。
接着,他也尝试把自己写的作业放进不同的检测工具里,看看AI是否能够较为准确地分辨和识别,最终的结果令我们两个人都惊了:
一位纯英语母语者,作业竟然也被判定为AI写作。
我想,作为一个非母语者,或许语言能力没有母语者那么地道是一个情有可原的事情。但这个离奇的结果告诉我:AI不单单歧视的是非母语者,而是所有人类。
■斯坦福一位学者的论文发现,AI在判定非母语者的论文时,会变得格外不可靠
那么到底是为什么,AI总是在检测查重的时候背刺我们人类呢?
这个问题困惑了我很久,于是我查阅了资料。
斯坦福大学生物医学数据科学教授詹姆斯·邹发现,AI检测的指标依据叫做perplexity(困惑度),也就是词汇丰富度,词汇多样性,句法复杂性和语法复杂性。
显然,非母语人士会在这个指标上得分比较低,会被认为语言过于机械和匮乏。
相应地,要想绕过人工智能审查也非常容易,只要在自己写的内容里,加入一段AI生成的“包含复杂文学性语言”的语段,就能轻松获得高分。
对我而言,语言能力其实是一个很笼统的表述:
就像托福作为一个语言能力测试,分成了4个方面听说读写,有些人有一门或者两门十分出类拔萃,剩下的一两门不是那么显眼,或是获得了不是那么优异的成绩。
这算学习语言的能力过于机械、过于缺乏吗?
或者就说我自己,我是一个非常不擅长应试的人,这样的标准化考试会让我感到紧张、焦虑,但是我的GPA不算低、学校的成绩也能比较轻松地handle住,这算是语言机械、抑或是语言能力的缺乏吗?
应试能力≠学习能力,每个人能力也不应该被任何事物标签化,我觉得才是留学真正让我收获的意义。
■几天之后的历史课,老师讲到了我们research的一些citation要求,虽然和之前的要求相差无几,但是这次多了一个关于AI Citing的要求。
我还会相信AI吗?
被AI“耍”了好几轮,我还会继续使用并相信它吗?
在我的观点里,AI依然是一个作为学生值得学习、探索以及使用的工具。
AI在很多时候能够让我节省很多时间,比如复习某个科目的guideline,一些难解的问题找不到方法,AI都能够高效地帮我筛掉无效信息,检索出最精确的我所需的内容(虽然有时候还是会抽风)。
除此以外,我觉得我这段时间的一个特别的小的经历,也能够推动我对AI的态度有更清晰的认知。
最近上数学课的时候,我们班有一个同学问老师,这些复杂的微积分题目在未来到底对我们有什么用,我们又不会成为数学家、科学家。
老师的回答给了我一个对于学习所有科目的新思路:
“学习数学的目的并不是在未来解更多的数学题,而是为了培养一种我们的数学思维,这种思维模式能够让我们有更清晰的思路,去解决更多在未来面对的不同的难题。”
■罗博深教授曾来分享的时候也说过,“确保孩子拥有旺盛的好奇心和求知欲,用头脑和工具提供创新的解决办法,才能解决无数没见过的新问题”(罗教授的女儿也是本文作者的学姐,申到了MIT和加州理工,最终选了后者)
所以,当我看到《第一个被AI淘汰的专业出现了?!》中讨论翻译会不会被彻底取代的时候,我的第一反应是并不会。
就像翻译有翻译器,艺术有AI作画,但是其中的思维模式、学习能力,以及艺术灵感和人文思维,恰恰都是AI无法代替的。
这些能力并不会局限于某个领域,而是在生活中解决不同的生活问题的时候伴随着我们,让我们用积攒的能力获得难题的最优解。
■目前AI总是画不好人类的手和脚,有人猜测,这是AI在故意露怯,缓解人们对于AI接管世界的恐惧:“你看,我连手和脚都画不好,怎么会代替你呢?”
本文来自微信公众号:谷雨星球 (ID:guyujihua2021),作者:Jennifer