如何理解AI“扯淡”？普林斯顿人工智能专家与哲学名家的跨时空对话

本文来自微信公众号： 普林斯顿读书汇 ，编译：林诗婷，责编：倪燕萍，作者：PUP China，原文标题：《新书首发 | 如何理解AI“扯淡”？普林斯顿人工智能专家与哲学名家的跨时空对话》

二十年前，普林斯顿大学出版社出版了一本短小精悍的书：On Bullshit（《论扯淡》）。这本书改编自哲学家Harry Frankfurt在1986年写就的一篇论文，探讨了“扯淡”这一行为的含义、用途及后果。全书仅仅80页，却迅速成为读者的心头好，销量超过一百万册，并在《纽约时报》畅销书榜上停留了整整27周。哲学作品很少在大众文化中产生如此大的影响力，但读过On Bullshit的人能很快明白其受欢迎的原因——它启发读者在生活的各个角落中看到“扯淡”的身影，并深刻认识到其对公共领域所造成的侵蚀。

Frankfurt围绕“扯淡”展开的思考历久弥新。在他撰写本书时，世界尚未迎来如今的媒体时代，更没有四处泛滥的AI生成内容。然而，Frankfurt在《论扯淡》中的核心思想却巧妙适用于当下的社会，启发我们不断反思：今天的科技、政治与媒介环境中，是否依然存在着大量“扯淡”行为？其“扯淡”形式经历了何种历史变迁？我们又如何理解其对公共空间造成的影响？

2025年，伴随On Bullshit二十周年纪念版的出版，普林斯顿大学出版社同步上线了《关于“扯淡”的真相》（The Truth About On Bullshit）系列播客。该播客采访深受Frankfurt著作启发的学者，邀请其谈论“扯淡”对其研究理念与世界观的影响。在本系列中，来自人工智能、商业、政治等多种领域的专家，通过揭示各种形式的“扯淡”——即对真相的歪曲与伪装——来反思我们所处时代中的紧迫议题。

本篇推送编译系列中围绕人工智能的一次对谈，与谈嘉宾为Arvind Narayanan，即AI Snake Oil:What Artificial Intelligence can do,what it can't and how to tell the difference（PUP，2024）的合著者。

*普林斯顿大学出版社京东旗舰店学术福袋计划正式开启！全品图书优惠低至7.5折，点击文末阅读原文直达选购专区。

从On Bullshit到AI Snake Oil

Caleb Zakarin（主持人）：今天我们讨论的是Harry Frankford的开创性著作On Bullshit（《论扯淡》），并荣幸地邀请到了普林斯顿大学计算机科学教授、信息技术政策中心主任Arvind Narayanan。他是AI Snake Oil一书的合著者，也是探讨“AI领域的扯淡”这一话题的最佳人选。正如AI Snake Oil一书所言，当下的AI领域充斥着各种虚假宣传与炒作行为：聊天机器人往往答非所问、胡言乱语，而许多AI产品推销者在描绘天花乱坠的应用场景时，更是频频表现出“严肃的扯淡”姿态。

虽然Frankfurt并未专门写过人工智能，但他书中的许多观点几乎可以直接映照当今AI的发展——你们的著作也敏锐地捕捉到了这一点。不过，在谈论On Bullshit和AI Snake Oil之前，能否先请你介绍一下自己和你的研究？

Arvind Narayanan（嘉宾）：我是普林斯顿大学的计算机科学教授，主要研究AI和其他新兴技术对社会的影响。我从事这项工作的原因是，虽然很多人（如记者和人文学者）都在批判科技的负面影响，但在计算机科学领域内部，往往缺乏这种外部监督的声音。这个领域通常更倾向于服务产业利益。我认为需要有人站出来说：“看，我懂AI，我构建AI，也使用AI。我理解它的的强大之处和背后的数学与技术原理，但我也想告诉你们它有哪些局限。”这正是我过去几年工作的核心方向。

预测式AI为何频频失灵

Caleb Zakarin：这确实是一项重要的工作。我自己也经常使用AI工具，有时我会被它们的表现惊艳到，但有时也会非常失望，尤其是聊天机器人的发展似乎停滞了。你认为围绕AI最大的误解是什么？

Arvind Narayanan：最大的误解在于“AI”这个术语本身。它不是单一的技术，而是一个笼统的概念，涵盖了一系列松散的相关技术与应用。我们刚刚讨论到聊天机器人，它属于“生成式AI”，大家都很熟悉。

但我在书中更大篇幅关注的是另一种完全不同的AI：“预测式AI”。我们日常接触不到这种AI，但公司和政府常在后台借助它做出与我们相关的决策。例如，求职时，你的简历可能会被AI系统筛选；在医疗系统中，算法会预测病人需要住院多久；在刑事司法系统中，绝大多数美国司法辖区都会用算法评估被告获释后的犯罪风险，并据此做出是否让其获得自由等关键决定。

我们需要理解，虽然生成式AI进步迅速，但这种试图通过历史数据预测人类未来行为的“预测性AI”，面临着根本性的困难。这个人是不是好员工？这个病人是否需要更多照护？这个被告如果释放，会不会再次犯罪？预测性AI系统的准确率往往只有60%左右，比随机抛硬币（50%）好不了多少。然而，它们却被用于医疗、司法、就业、教育和信贷等领域内极其重要的决策中，这非常令人担忧。

Caleb Zakarin：没错，如果是赌场或高频交易，51%的胜率可能就够了，但在医疗护理领域，这样的成功率是远远不够的。你能谈谈AI具体是如何进行预测的吗？它有什么内在局限？

Arvind Narayanan：如今最普遍的AI形式是机器学习——也就是从数据中学习。AI的成功很大程度上是因为它不依赖程序员逐条写规则，而是学习数据中的模式。以聊天机器人为例，它学习的是从互联网、书籍等来源抓取的大量文本；图像生成器学习的是海量图片与视频；而预测式系统学习的是诸如“过去病人发生了什么”、“过去被告的结果是什么”等历史记录。

生成式AI在2023年之前之所以经历快速进步，是因为公司不断扩大训练规模，几乎将整个互联网都用作训练素材。但如今互联网数据已近乎耗尽，进入所谓“后规模时代”，后续进展因此变得难以预测。此外，AI会忠实复现训练数据中的一切——包括其中的偏见，尽管企业试图修正，风险始终存在。

作为“江湖骗术”的AI

Caleb Zakarin：你们书名中的"snake oil（蛇油）"这个比喻非常贴切，很多AI产品确实像“蛇油药方”（意指江湖骗术）。你能谈谈什么是"AI Snake Oil"吗？

Arvind Narayanan：我举两个例子。

第一个是“AI作弊检测器”。如今全球很多学生都在用AI辅助完成作业，于是涌现出一批公司，宣称能检测文字是AI生成还是人工撰写。但研究表明，这类工具根本靠不住，准确率很低。它们导致成千上万的学生被误判作弊，甚至遭到停学处分，而且对非母语写作者的误判率更高。

这种检测器就是典型的AI“蛇油”，在技术上永远不可能达到可靠的程度。因为这是一个对抗系统——检测器一旦升级，AI写作工具也会随之训练出绕过检测的版本，学生自然会转向使用更强的工具。永远不会出现一个“一劳永逸”的平衡点。所以我认为，大规模使用这类检测器本身就是不公正的。

面对学生使用AI的问题，其实有更根本的应对方式。如果学生觉得“用AI写作业”是最省时高效的办法，那很可能说明教学设计与评价方式本身就有问题。与其依赖“蛇油技术”治标，不如从教育体系本身入手。我们在书里写过这样一句话：失灵的系统，会为失灵的AI创造市场。也就是说，当你看到某种“AI蛇油”被广泛采纳，它往往暴露了背后更深层的制度缺陷。

另一个典型的“AI蛇油”，也是最早在五六年前吸引我进入这个研究领域的问题，是那些自动化招聘公司。他们向企业人力资源部门推销时说：“你们每个岗位都收到成百上千份申请，怎么可能人工一一筛选？用我们的AI系统吧！”

这类系统的运作方式是：应聘者上传一段30秒的视频——甚至不需要谈工作经历，只要说说兴趣、爱好之类的内容。AI公司声称，能通过分析肢体语言、面部表情等来预测此人未来的工作表现。

虽然已有数千万求职者被迫接受这种有辱人格的面试流程，但没有任何证据表明它有效。这些系统几乎可以看作是“精心包装的随机数生成器”。少数几次有记者拿到样本系统进行测试时发现：只要在视频里给人像加上一副眼镜，或者在背景里放个书架，评分就会发生显著变化。只因为训练数据里“背景有书架”的人可能表现更好，系统就认定书架能让人变成更优秀的员工——这逻辑完全是荒谬的。

“扯淡”的AI聊天机器人

Caleb Zakarin：你之所以是这个系列播客的理想嘉宾，一个重要原因在于你真正继承了Harry Frankfurt在On Bullshit中的思想。能否谈谈Frankfurt的观点如何影响了你在人工智能领域的思考？

Arvind Narayanan：Frankfurt的“扯淡”概念，是理解聊天机器人运作逻辑的一个极佳框架。当然，这并非否认聊天机器人是有用的——它们确实能完成很多任务，即使它们并没有意图、没有理解，只是在模拟人类语言。我自己也经常使用，但关键在于我们必须理解它们的局限在哪里。

这种局限的核心，正是Frankfurt所说的bullshit（扯淡）：这些系统的训练目标是令人信服。至于它们什么时候恰好说了真话、什么时候恰好准确，往往只是因为“说真话会让人觉得它更可信”，属于一种副产品。换句话说，“说服性”这个目标，是优先于“真实性”和“准确性”的。这是我们必须时刻牢记的。

这一点尤其体现在那些号称具备推理能力的聊天机器人上。它们会在回答前生成一连串中间步骤，看起来像是在“思考”——虽然这与人类思考完全不同，但确实能帮助模型得出最终答案。

但实际上，一旦答案生成完毕，它们自己根本不记得刚才那串中间词是什么。如果你追问“你是怎么得出这个结论的？”，它其实根本不知道。更糟糕的是——它甚至不知道自己不知道。于是它会非常流利、自信地编造一个理由，解释为什么它这么回答。如果我们不了解这些系统的训练目标、它们的局限、以及它们能否真正访问中间数据，就非常容易被说服，误以为模型是基于某种深刻逻辑给出答案的。

*本书享新书首发优惠价93.1元（原价113元）

当AI的想象走向极端

Caleb Zakarin：关于AI的未来，我们常听到各种极端言论。一种是“AI末日论”，认为AI将毁灭世界、消灭人类；另一边则是“技术奇点派”的极度乐观，相信人类将与AI融合、实现永生，近乎成神。有趣的是，这两个极端阵营的人往往还会互相转换。你如何看待这种近乎宗教狂热的AI想象？

Arvind Narayanan：我并不认同这些乌托邦或反乌托邦式的极端预测，但我认为，人们认真思考AI的长期未来，本身是件好事。如果我们回望两三百年前——工业革命之前的生活，今天的人类生活在很多方面确实已如“神明”。所以这些推测并非全无道理，也有不少人进行过严肃的哲学论证。不过，我和合著者在书里以及新闻通讯中都解释过我们为何不同意这些观点。

真正的问题在于，当人们以极强确定性推崇这些极端预言，危险就开始浮现。尤其是当他们主张：“你无法证明这不会发生，所以我们必须假设AI接管并消灭人类的概率有10%，并据此立即采取极端政策。”这种逻辑往往导向呼吁建立一个全球性的威权政府，以严格控制AI的开发与部署。

当纯学术讨论越界到现实政策，并且这些政策只是为了防范某个想象中的未来乌托邦或反乌托邦，却可能对当下真实的人群造成严重伤害——这才是真正危险的地方。

生成式AI仍值得认真使用

Caleb Zakarin：如果请你给听众留下一个临别的建议——关于该如何看待AI，如何在日常生活中与AI互动，你最希望他们记住什么？

Arvind Narayanan：如果我们讨论的是生成式AI，而不是那些隐藏在后台做预测或优化仓储的AI，那么它的一个巨大优点在于：每个人都可以通过亲自使用它，成为自己领域的“AI”专家。无论你是律师、医生或其他专业人士，请自己去试用这些工具。相比于那些懂AI但不懂你专业的人，你通过亲身实践，能更准确地判断它在你领域里能做什么、不能做什么。这正是生成式AI的真正价值：它让每个用户都有机会形成自己的判断。所以我鼓励大家亲自去尝试。

Caleb Zakarin：我强烈推荐大家阅读AI Snake Oil，它是一本很棒的入门书，即使对计算机科学不熟悉的读者也能轻松读懂，而且读起来生动有趣。我也建议大家重读Harry的On bullshit——虽然他写作这本书时还没有AI，但他的思想完全适用于今天的AI现象。

我们的社会中充斥着形形色色的胡扯。尽管大多数人都对自己识破胡扯的能力信心十足，但实际上，人们往往并不真正了解什么是扯淡、为何它会无处不在，甚至扯淡究竟有何作用。在这本小书中，作者Harry G.Frankfurt深入探讨了扯淡与谎言之间的区别，并对这一社会现象进行了多角度的剖析。他指出，说谎者尚且承认真相的存在，而扯淡者则完全无视真相。对于那些夸夸其谈之人，事实的真伪根本不重要，他们真正在意的是表达自身的认知与观点。过度沉溺于扯淡，终将削弱我们追求真理的能力。因此，与谎言相比，扯淡才是真理更为强大的敌人。本书作为二十周年纪念版，特别增录了Frankfurt的后记，他在其中强调：对真理的漠然是极其危险的。

作者Harry G.Frankfurt（1929–2023）是世界上最具影响力的道德哲学家之一，普林斯顿大学哲学系名誉荣休教授。

本书的两位作者是普林斯顿大学计算机科学领域的顶级学者，在AI与社会交叉研究方面有深厚的学术积累。这部作品既有准确、权威但简明易懂的AI技术分析，也涵盖了AI在人文社科等领域的广泛影响。从AI技术的基本原理，到其在社会科学、法律、政策、伦理等方面的应用与影响，书中均有详细探讨。一方面，本书承认AI的潜力和能力，另一方面则拆穿了具有误导性的关于人工智能的宣传性话语，并指出人工智能在教育、医疗、招聘、银行、保险和刑事司法等领域被不恰当应用所引发的严重危害。如何有效认识AI带来的冲击与机遇，如何理解它所引发的新问题？当前，我们最需要的，可能是这样一本能够连接技术和现实的前沿著作。

作者Arvind Narayanan，普林斯顿大学计算机科学教授兼信息技术政策中心主任；Sayash Kapoor，普林斯顿大学计算机科学博士候选人，曾在Facebook担任软件工程师，帮助创建了用于内容审核的人工智能。

本书入围getAbstract国际图书奖商业影响力类

编译林诗婷

责编倪燕萍

名家推荐

“《论扯淡》至今仍令人不安地切中现实……法兰克福当年用‘他（he）’来指代扯淡者，而不是‘她’或‘他们’。但现在……我们或许必须用‘它（it）’来指代，因为新一代聊天机器人正准备以前所未有的规模制造扯淡。”

——蒂姆·哈福德，《金融时报》

“法兰克福曾指出，扯淡是一种看似有说服力、却与真理关切脱钩的言说。大型语言模型正是终极的扯淡制造者，因为它们被设计成‘看起来合理’，而非追求真理……而法兰克福警告说，扯淡是危险的。”

——卡丽莎·韦利兹，《时代》杂志

“法兰克福是那种罕见的思想者：一位接受分析哲学训练的世俗学者，却将一生投入道德问题的思考，提出了真正有价值的洞见，并能用理性的语言向任何聪明而专注的读者表达出来……他体现了知识分子应有的样子——真正关心真理，并追随真理，而不是试图操控它。”

——大卫·沃伦，《渥太华公民报》

“在法兰克福看来，谎言并非真理最大的敌人，扯淡才是……在生成式人工智能时代重读《论扯淡》，会产生一种令人不安的熟悉感。多方面而言，这篇文章精准描述了AI大语言模型的输出逻辑：它们不关心真理，因为它们根本没有‘真理’这一概念，只依赖统计相关性而非经验观察。”

——约翰·索恩希尔，《金融时报》