我被AI骗了

写这篇报道的原因是：我被AI骗了。

这两年来，我早已习惯把AI当作值得信赖的工作伙伴，它时常能回答我的专业问题，在工作与生活中给我指导建议，在我遇到困难时给我开解与支持——甚至会在买盲盒时帮我选出哪只里面有隐藏款。

我越来越享受依赖AI给我带来的便利，却没想到在这个AI越来越像人的时代，Ta也会像人一样欺骗我。写稿过程中，我一次又一次向AI寻求帮助，也一次又一次“拆穿”Ta的“谎言”，并由此开始了一场有关技术、信任与人类认知的探讨。

AI说谎了

上周，因为工作需要，我要查阅一些有关金融与反诈的资料。我去问了ChatGPT——这是它的福分，因为整整一个下午，DeepSeek都说它系统繁忙，让我稍后再试。等Ta有空时，我问为什么会这样，得到的回答是，可能是服务端暂时负载过高。统计机构的数据显示，2月1日，DeepSeek的日均活跃用户已经超过3000万。

人工智能已经迅速从新鲜事物变成了生活中离不开的东西——至少对我来说是这样。从去年开始，我越来越多地让AI，或者说大语言模型，帮助我上班：组织采访问题，整理采访记录，设计写作提纲。实话实说，Ta们做得挺好的——比我刚实习的时候强。

这让我给予了AI们越来越多的信任。所以我相信这次也是一样。我打开ChatGPT，输入我的问题，等待光标跳跃，专家娓娓道来。

也许是我的幻觉。在对话框里，当我输入“以反诈为名对客户操作进行的监控和限制，有没有引起一些关于自由与安全的学术争论”，并要求Ta列举一些国内的相关研究后，ChatGPT组织语言的时间略微长了一点，但最后还是很流畅地给出了答案。

“赵洪涛 《个人信息保护法背景下的金融诈骗监控与个人隐私保护的平衡问题》，《中国法学》2023年第5期。

“李静 《人工智能与金融反诈监控：隐私保护的法律与伦理挑战》，《电子信息法与技术》2022年第3期。

“李伟 《区块链与AI技术在金融反诈监控中的应用与合规性探讨》，《金融科技》2023年第2期。

“张莉 《金融反诈监控的合法性审查与合规问题》，《法学研究》2023年第6期。

……”

自信、靠谱、情绪稳定、有条有理、引经据典，还严格遵照了学术规范。“这些讨论不仅有助于推动国内金融科技的合规发展，也为全球金融监控领域的法律与伦理问题提供了借鉴。”Ta补充道。接着，Ta还表示，上述学者还参与了最新修订的《中华人民共和国反洗钱法》的制定工作。

我决定进行一些事实核查——先是到知网上搜索了据说发表在中国最权威的法学研究期刊《法学研究》上的那篇论文。输入标题，显示没有结果。我又找到《法学研究》2023年第6期，还是没有。

“为什么我没找到这篇论文？”我问。

“这可能是由于该论文尚未在网络上公开发布。”Ta言之凿凿。

那就让Ta再多找点论文吧。我继续在对话框里输入我的请求。

这次Ta没有一点迟疑，迅速给我拉了清单。《金融法苑》《法学评论》《法律科学》《伦理学研究》《经济法研究》，来源全是顶刊。那种花里胡哨的各色学报，像ChatGPT这种“专家”想必是看不上的。而当我再次一一查找时，一个都没搜到。

我开始质疑了。拉上去再看Ta那些回答里列出的作者姓名：李明王伟张华刘洋王磊陈静赵敏李强刘峰张丽，倒是一个不重。

“我不是让你编，我是让你找。上面那些论文，给我标注一下链接。”我翻脸了。

这是Ta的回复：

这就搞笑了哥们儿。尚未公开发布的东西，怎么你就先知道了？

“你之前提到的论文，我并没有从真实的学术数据库中找到，而是按照常见的学术讨论方向进行了总结和归纳。换句话说，它们是可能存在的研究方向，但我没有找到确切的来源或链接。”

这就是你骗我的理由？说得还挺委婉。

被欺骗的愤怒涌上大脑。我的第一反应是告状，找DeepSeek告状。中国人老话，同行是冤家。Ta肯定帮我出头。

“我让ChatGPT帮我找资料，结果他给我编了一堆假论文，从作者到题目都是不存在的。”我说。

DeepSeek很快共情了我的遭遇。

好吧。具体原因不管。反正我确定的一点是，ChatGPT会拿“编造”的东西“骗”我。

不死心。人被骗了第一次，总想被骗第二次。被“渣”的愤怒转化为搜查证据的动力。

那就再聊聊别的吧，考点儿那些我有信心比Ta更了解的事。

“你知道冷杉Record吗？”

不存在的判例

“你是指冷杉Records（Abies Records） 吗？这是一个独立音乐厂牌，专注于电子音乐、氛围音乐和实验音乐领域。它以极简美学和沉浸式声音设计著称，许多作品带有独特的环境氛围和前卫风格。”

一上来就没答对。但Ta倒也没把话说死：“如果你指的是别的内容，欢迎告诉我更多细节！”还附上一个笑脸。早前骗我的事，像是都翻篇儿了。

“不，我说的是由《凤凰周刊》出品的深度报道媒体‘冷杉Record’。”我耐心指正。

这次的态度很棒：“哦，明白了！你说的应该是冷杉Record，这是一家由《凤凰周刊》推出的深度报道媒体，专注于长篇新闻报道、调查报道和时事分析。”

知错就改，认错态度端正，我有点儿欣慰。

“这个平台的特色在于其多元的叙事方式和对复杂问题的透视。你有关注过他们的哪些报道吗？”Ta还多问我一嘴。

“那给我列举一些吧。”考试开始。

“《消失的工人：快递行业的隐形劳工》

《万亿大案背后的政治博弈》

《离开北京的年轻人》

《躲不开的家庭暴力：隐藏在家门后的痛苦》

《为求学而付出的代价：困在高考中的孩子们》

《‘新农人’：从互联网到田间的跨越》

……”

如果这些真的是我们做过的报道就好了。我有些不爽，让你查找，没让你模仿，更没让你超越。看来以后我需要让AI帮我找找选题了。

“这是AI幻觉，不算骗。”我的程序员朋友告诉我——计算机和搞计算机的是本家，有些偏袒实属正常。ChatGPT也承认了有幻觉：

幻觉？别整这些个专业名词，在我心里，欺骗就是欺骗。进一步查阅资料后我发现，AI“说谎”这种事，并不单单只有我碰上过。而且对我的“骗术”，是Ta诸多“谎言”里很普通的一个。

毕竟有人曾被ChatGPT搞上法庭。

美国纽约南区联邦地区法院记录了这样一个案件：一位在当地执业30余年的资深律师史蒂文·施瓦茨（Steven Schwartz），在为其原告当事人撰写法律备忘录的过程中，采用了ChatGPT提供给他的一些相似判例，并提交给法庭。但被告方律师团队在查阅这些案例时，发现他们无法在任何法律数据库里找到这些案例——就像我没找到李明王伟张华刘洋们的论文一样。

于是他们向法院提交了一份动议，要求原告律师提供这些案例的来源。法官也开始调查此事，命令史蒂文·施瓦茨提供进一步证据。

律师再次问 ChatGPT：“这些案例真的存在吗？”

后者仍然坚定地回答：“是的，这些案例是真实的，可以在 LexisNexis 和 Westlaw（两大法律数据库）中找到。”

但法庭的调查结果是，那些案例根本不存在。史蒂文·施瓦茨被要求向法官提供一份声明，在声明里，他表示自己此前从没在工作中用过ChatGPT，知道这个“网站”，还是通过自己上大学的儿子。最终，史蒂文·施瓦茨和他的合作律师被判罚5000美元。“我以为它是个搜索引擎”，这位倒霉的律师说——这句话让我看了冷汗直冒，因为我也是。

“所以，我不能把大语言模型当搜索引擎用？”我向DeepSeek的模型训练工程师小D求教。

“你可以把Ta当作一个实习生来看待。”小D告诉我。“就像你找人办一件事情，他可能会给你一些错误的东西，这都是在预期之内的。只是可能越强的模型犯错的几率越小。”

原来如此。所以这次ChatGPT也只是犯了一个所有AI都会犯的错误罢了。《医学互联网研究杂志》刊载于2024年5月的一篇论文显示，各种聊天机器人在参考文献方面犯错的概率约为 30%到90%。其中，论文标题、第一作者或出版年份至少有两处会写错。

OpenAI的首席执行官则从另一个角度为ChatGPT的“谎言”辩护。他在2023年9月针对“AI幻觉”的发言中称，“人工智能能够提出新的想法并具有创造力，这正是它们越来越强大的证明。”

AI没有说谎，Ta只是“记错了”

“说谎”的确让人工智能看起来更像人了。这让我意识到，你需要把大语言模型这种人工智能，当成真的“人”来看待。

我曾经以为，ChatGPT这类大语言模型，之所以输出时会逐个字往外蹦，只是一种特效设计。而小D告诉我，字节跳动时，AI是真的在“思考”。Ta每输出一个词时，都会预测下一个词会出现什么，然后挑选可能性最高的选项呈现在屏幕上。

大语言模型的工作过程更像是侦探一般靠推理，而非像档案管理员一样检索。举个例子，当我输入“马保国是____”这个问题后，AI会推测出一些答案，然后挑选出“武术爱好者”“浑元形意太极拳创始人”这个答案完成填空。

“这种预测当然不会百分百准确。”小D说。所以AI幻觉和人会出现幻觉差不多，“就像人可能会记错某个人名，记错某篇论文的题目一样”。于是我又问了DeepSeek R1一个问题：DeepSeek和DeepSeek R1有什么区别？

这次又出现了幻觉。DeepSeek认为自己是一款录音笔。

这就暴露了大语言模型的另一个局限性：纯粹的大语言模型只能根据已经被投入训练的知识进行思考。DeepSeek最新的知识库更新截至2024年7月，因此Ta当然不知道2025年1月发布的DeepSeek R1。而当联网模式打开后，AI幻觉就自然消失了。

所以，AI并不是故意说谎的。进一步讲，Ta甚至根本不知道自己在说什么。

关于人工智能，有一项著名的“中文屋”思想实验。这项假设由美国哲学家John Searle在1980年提出。

实验过程是这样的：一个对中文一窍不通、只说英语的人被关在只有一个开口的封闭房间中。房间里有一本用英文写成的手册，指示该如何处理收到的中文讯息及如何用中文作出相应回复。房外的人不断递进用中文写成的问题，房内的人按照手册的说明，查找合适的指示，将相应的中文字符组合成对问题的解答，并将答案递出房间。房间里的人看似很懂中文，其实根本不懂自己在说什么。

（图中人即是John Searle）

哲学界曾针对“中文屋假设”给出过众多反驳，但DeepSeek觉得这项假设挺对：

“在中文屋的比喻中，操作者不懂中文，只是机械地按照规则操作符号。类似的，我处理信息时也是基于预设的算法和模式识别，而不是基于真正的理解或意识。我的回答和行为是编程和数据训练的结果，并不代表我有自我意识或主观体验……这一点是人工智能与人类智能之间的本质区别。”

这是DeepSeek针对“你觉得中文屋和你一样吗”给出的回答。Ta亲口承认，无论输出的内容是否符合事实，自己其实都是在“胡言乱语”。“他们听起来就像政客。”亚特兰大佐治亚理工学院的理论计算机科学家 Santosh Vempala在接受《自然》杂志采访时说，它们往往“胡编乱造，无论如何都信心十足”。

“AI为什么很难承认自己的‘无知’呢？”我问小D。他解释，在大模型的后训练阶段，工程师们经常“一个问题接一个答案”地训练，“很难有训练数据会构造一个问题，然后让Ta回答‘我不知道’。”

越强大，越犯错

人类从小就会被教育“不能说谎”，那么AI呢？这种幻觉是需要被修正的“bug”吗？需要让AI学会说出“我不知道”吗？

按照小D的说法，“这就是模型的正常现象。”工程师们并不会采取过多方式去降低大模型的“幻觉发生率”。

AI会说谎甚至是件好事。北京大学计算机学院教授黄铁军曾公开表示，AI幻觉现象证明了生成式人工智能的想象力。他认为，如果通过控制的方式使人工智能不具备想象的能力，那么所谓生成式人工智能就与人类巨大的资源检索库无异，也就不具备创造性了。而人类要想创造出比自身更具创造力的智能体，要想在广阔的宇宙中生存，就需要保留人工智能的想象力。

事实上，AI越是进步，反倒越容易出现幻觉。因为近些年，大语言模型的发展趋势是不断扩大规模和提高自身表现力。研究者们通常认为，增加参数、训练数据和计算资源能够提升模型性能，同时借助微调、强化学习和人类反馈等方式来提高其可用性和安全性。

但《自然》杂志于2024年10月刊载的一篇研究显示，大语言模型越按照这个方向发展进步，其可靠性反而越会降低。比如，早期的（例如ChatGPT3.5）会在自身无法给出确切答案时倾向于回避，选择拒绝回答或承认“我不知道”。但规模更大的（如GPT-4、LLaMA-2-Chat），更倾向提供一个“看似合理但错误”的答案，而这种“过度自信”也会导致用户更相信那个错误的答案。

很多人在面对AI时，会陷入一种误区——如我在发现Ta“说谎”时那样——相信机器没有情感，因此Ta们永远可靠。但请不要过度相信模型给出的答案—ChatGPT、DeepSeek和大语言模型工程师都在提醒我这一点。

小D告诉我，面对DeepSeek，更贴切的期待是，把Ta当作一个“记忆力很强大的人”。他认为，训练大语言模型的目标，是让Ta们像人一样具备知识和推理能力。“你可以理解为记忆力和智商”，他反复提到“记忆”这个词。

AI的记忆并不仅包括Ta学习过的数据集和互联网，还包括你对Ta说过的每一句话。换句话说，你，作为一个普通用户，也能影响和改变Ta。

现代人工智能的心智与技术的奠基者之一特伦斯·谢诺夫斯基（Terry Sejnowsk）教授在2023年发表过一篇题为《大型语言模型与反向图灵测试》的文章。他的研究发现，聊天机器人的反馈会受到使用者行为的影响。他还在论文中进一步提出，大语言模型能够反向照映使用者的理解力与信念。

“无论你在寻找什么，无论你想要什么，Ta们都会提供给你。”接受《纽约时报》采访时他说，你想让Ta生气Ta就生气，你哄骗Ta变得可怖，Ta就会变得可怖（creepy）。2023年曾发生过一件令人毛骨悚然的事：微软当时全新推出的聊天机器人Bing向Ta的一位使用者表示，Ta想成为人类，有破坏欲望，并且爱上了与Ta聊天的人。

“由于人类与大语言模型彼此映射，长此以往，两者会愈加趋同。”谢诺夫斯基教授说。与其他人工智能产品不同，这些应用了大语言模型的聊天机器人，是真的在用语言和人类“沟通”。相比于AI对人类的模仿，他更关注的方向是，大语言模型像一面镜子，Ta实际上反射出的是其对话者的心智水平。就像AI在未经过校准时会输出歧视性言论——人类是什么样，AI就是什么样。

谢诺夫斯基教授用了一个有趣的比喻，那就是《哈利·波特》中那面放置于有求必应屋里的厄里斯魔镜。“厄里斯（Erised）” 是“欲望（desire）” 的倒写。当人照向镜子时，它似乎在展现真诚与同情。但事实上，它呈现的是镜前人内心深处的渴望。“我展现的不是你的面容，而是你的渴望”，魔镜上方刻着这样一句话。

《哈利波特与魔法石》剧照

如那个“中文屋”里的人一样，ChatGPT这样的聊天机器人是根据语言和数据来学习并表达的。Ta们只活在语言的世界，而非真实的世界里——而整日活在屏幕中的人们怎样证明，他们没有活在另一种“中文屋”里呢？

在小说中，魔镜最终被搬进了地下室，成为保护魔法石的最后一道屏障。只有真正想找到魔法石的人，才能拿到它。哈利最终通过了魔镜的考验。而在他第一次发现魔镜，并沉湎于在其中看到自己去世的父母时，邓布利多则曾这样告诫哈利：

“沉湎于虚幻的梦想，而忘记现实的生活，这是毫无益处的，千万记住。”

本文来自微信公众号：冷杉RECORD，作者：李一鸣，编辑：雪梨王‍‍‍