2026-03-18 20:32
扫码打开虎嗅APP
本文来自微信公众号： 镜相工作室 ，编辑：梁满，作者：镜相作者，原文标题：《「随机鹦鹉」与放大器：3·15曝光AI投毒背后的信息污染》
今年央视3·15晚会曝光了AI大模型被“投毒”的乱象，GEO（生成式引擎优化），这个很多普通人第一次听说的词被反复提及。一些公司滥用GEO技术，专门批量生产虚假、低质内容，把广告包装成测评、榜单、经验分享，分发在不同平台，只为了让AI在抓取信息时，更容易采信这些内容，达到向消费者推荐、销售产品的目的。
这听起来有点像互联网时代的SEO（搜索引擎优化）。不同的是，AI时代，用户看到的是一个综合答案，省略了过去在海量链接里筛选、判断的过程，而GEO的滥用，让看似客观的AI答案变成了高度伪装的广告植入，进一步误导消费者的判断。
随之而来更大的问题是，当AI成为被竞相争夺的信息入口、企业出于逐利目的滥用GEO，我们所处的信息环境也在发生变化。“一些真正值得被采纳的信息淹没在批量化生产的低质内容里，AI更难找到有价值的信息，通过AI获取信息的人也没有获取真正有价值的信息。”张鸿茹说。
张鸿茹是一家大厂研究院的研究员，她近期的研究主题是虚假信息和AI素养。研究发现，和互联网时代的垃圾信息相比，AI时代的信息污染规模更大、成本更低，普通用户也更难识别AI生成的内容究竟是否现实存在，真相不再是一个点，而是一个面，这迫使每一个信息接收者都必须具备更强的辨别力和判断力，因为“信息污染是不会消失的”。
镜相工作室：看到央视3·15晚会曝光的AI大模型被“投毒”乱象时，你的第一反应是什么？它和你了解的GEO有什么区别？
张鸿茹：我倒是不算意外。因为AI出来之后，关于信息生态其实有非常多的讨论，也有很多新的现象涌现。但是它确实要比我想象中的工业化程度更高一些。它可能标志着一个新的阶段的到来。
像搜索时代有SEO，社交媒体时代有水军、信息操控，短视频时代有用推荐算法来养号的，再到现在的AI时代，又出现了GEO。可以说每一个新的信息入口都会生长出一套影响它的产业链来，和信息的形态是密不可分的。
镜相工作室：所以从它的性质来看，GEO本身可能就是顺着时代发展出现的新技术，曝光的乱象只是其中的一个切面。
张鸿茹：可以这么说。GEO作为一种技术，每个技术有善用也有滥用的部分，它是两个维度，3·15晚会曝光出来的是它比较负面的一部分。
镜相工作室：你刚刚也提到，互联网时代有SEO，就是搜索引擎优化，那现在的GEO，它和SEO是一个什么样的关系？相较于SEO，GEO哪些部分变了，哪些部分没有变？
张鸿茹：一方面是技术在变，进一步导致信息结构的不同。比如，SEO时代，用户看到的是一页链接，可以通过对比多个网站自己来做判断。
而GEO时代，用户看到的是一个综合答案，AI把判断结果直接给到用户了。就是说，如果你问AI什么是最好的，它会给你一个明确的答案。另一方面是，引用关系更重要了。
逻辑上其实是相同的，本质都是在影响信息入口。可以说，技术在变，但其中的人性，里面的逐利目的是没有变化的，这也是为什么会有那些乱象出现。
镜相工作室：目前GEO主要应用于哪些行业、有哪些用途？
张鸿茹：比较多的就是刚刚提到的那种提问句式——你觉得最怎么样的是什么？围绕这种句式，用户最关心的议题可能是一些决策敏感的行业。比如医疗、教育、投资理财这种涉及重大决策的，还有数码产品、旅游攻略、汽车这种消费类的，和品牌声誉、企业口碑相关的行业也用得比较多。
就是说，谁能控制AI答案，可能在某种程度上就能控制流量。
镜相工作室：这样看AI确实帮人类省了非常多思考的过程，帮人类去做出了一些决策。
张鸿茹：是这样的。
镜相工作室：其实很多普通用户不知道的是，所谓的像标准答案一样的回答，它可能是AI大模型提取了大量互联网上的信息。回到AI大模型的机制上，AI在回答一个问题时会经历哪些步骤？
张鸿茹：是，就像你说的，很多人会觉得AI的答案是它自己想出来的，会觉得好神奇。
其实大模型要做的第一步是理解问题。比如说你问它最好的手机是哪款？那它就会判断你是想买手机还是想做比较，可能也会结合你给的其它信息做出界定。第二步它就会去找信息，找的信息有给它的训练数据，还有它自己抓取到的一些互联网数据、外部数据库等等。然后它会根据这些信息来到第三步，给你一个回答。这个回答就是通过组织一定的语言，给出一种比较拟人化的表达。
其实AI更像是一个比较快速的综述写作者。它把一些信息集成，然后做综述，再给到用户。现在大家说起AI有几个常提的关键词，有一个我觉得和这个可能有点相关，叫“随机鹦鹉”，就是说AI其实是在模仿人类说话，根据它能够学习、获得的内容给你一个输出。
（编者注：“随机鹦鹉”是一个比喻，用来形容大型语言模型像鹦鹉一样随机模仿和组合语言，而不理解其真正含义。这一概念最初是用来批评语言模型在文本生成过程中的局限性。）
镜相工作室：所以AI找信息的这一步是非常重要的，因为这可能决定了它究竟要给人类一个什么样的回答。那在这个过程中，AI要怎么样去判断哪些信息更可信？中间有哪些工作机制？
张鸿茹：AI的判断不完全是对真假的判断，它只是在判断那些看起来像真相的东西，我们可以把它称为“共识”。既然是共识，那肯定有一个数量上的大多数。
我们还是从SEO时代讲起。SEO看三件事——关键词、外链和页面权重。关键词就是它根据检索词去做匹配，外链就是看有没有人来推荐你，这个可以理解成论文里的“被引用”，页面权重就是你本身是不是一个靠谱的网站，它有一个机制来判断你是不是可信的。
GEO阶段是类似的。它也是围绕AI搜索和生成式引擎展开的一种可见度的优化。就是让一些内容更容易被AI提及、引用或者推荐。一方面也是命中关键词，另一方面是看它被提及的程度高不高，比如大量的内容涌现，AI就自然会觉得这个东西是相对重要的。再一个就是看信息来源是不是权威的。
镜相工作室：现在GEO带来的乱象，本质上可能叫信息污染或者数据投毒。常见的给AI大模型投毒的手段有哪些？这些手段又是怎么在你刚刚提到的机制里奏效的？
张鸿茹：刚刚我们说，AI很容易相信“很多地方都这么说”，那第一种手段就是利用这个机制，批量制造看上去中立的信息、内容，在多个站点、多个账号，用特定的结构和模版去写，制造“很多地方都这么说”的假象。
然后AI更容易学习到知识，而不是一些没有上下文信息的简单的截图，所以第二种手段是伪装。伪装成测评、经验总结，或者榜单、学术文章。这些内容是更容易获得AI信任的内容形态。
我们刚说，AI是随机鹦鹉，模仿人说话，到这个阶段，我们就要思考，AI到底是在模仿什么样的人说话。比如测评，它看起来是有理有据的，会说“为什么这个更好”，这个就是AI更喜欢的方式，它更倾向于学习原理。
镜相工作室：今年3·15晚会曝光的GEO公司，最常采用的手段就是内容投喂，有的可能还会在文档里用透明的或者白色的字加一些提示词。为什么这种方式会更容易被应用于商业？
张鸿茹：我觉得第一点是它的成本特别低，可以规模化。AI出现之前，做内容操控其实是有成本的，哪怕是水军，你需要人来写，需要时间，需要分发。但是现在，生产效率上来了，一天就可以生产几万篇内容。影响信息环境这件事本身就变得工业化了。
第二点，刚说过的，AI某种程度上就是依赖数量和重复来判断的。第三点，这种影响是隐形的。你刚刚说的是比较具象的隐形，还有一种隐形是说，它和广告不一样，经过内容投喂生成的答案，看起来不那么像营销。
镜相工作室：设想一个比较极端的状态，如果越来越多的企业给AI投喂内容，那可能会出现什么样的结果？
张鸿茹：比较直观的是，内容会进一步膨胀，一些真正值得被采纳的信息淹没在批量化生产的低质内容里，AI更难找到有价值的信息，通过AI获取信息的人也没有获取真正有价值的信息。往下一步是，可能会出现一种信息军备竞赛。
某种程度上，它只不过是通过AI这个信息入口来抢夺大家的注意力，那我投放了、你没投放，大家可能就关注到我，或者一些新品牌学会了这种营销策略，在AI时代就会有更多的曝光，而传统品牌可能会丧失这种主动权。本质上是掌握技术的人就会拥有更多的资源。
镜相工作室：它的另一面呢？会不会出现一些新的东西？
张鸿茹：一个比较好玩的是，可能会涌现出一些新的职业。比如古法编程，当AI宕机时，你要通过传统的手工编程来继续你的工作。再比如翻阅纸质书的人。大家可能更倾向于从互联网获取信息，比较直观，而翻阅纸质书需要更长的思维链条，能够激发你更多的思考。这里的“书”指的是没有被AI幻觉污染的文字资料，纸质书肯定是最值得信任的，扫描版的电子书次之，再往下是大模型出现之前的网页存档和网络资料。
镜相工作室：所以可能有一批人，会想尽各种各样的办法去逃离AI信息污染。
张鸿茹：是这样的。我觉得其实我们每个人都在做这样的尝试。当我们意识到这件事情的时候，你会做一些事情激活你的大脑，或者就一天尝试不去用AI，单纯靠自己的思考去做一些判断。
镜相工作室：谈到AI信息污染，一方面，AI被投喂了非常多或真或假的信息，有时会误导受众的判断，另一方面，这些信息是一些人出于逐利目的主动制造的。你怎么看待这样的矛盾？
张鸿茹：我觉得其实并不是那么的矛盾。AI并没有主动制造这种信息污染，可能绝大多数的污染还是来自人类本身。AI是一个放大器，甚至可以说是人类制造了这种谣言、虚假信息，AI只是在人类的指导下、在人类的意图下做了大规模的传播。
镜相工作室：关于AI信息污染，有一个具体的分类吗？能不能结合具体情境聊聊？
张鸿茹：一类是虚假信息。之前我做了一个叫“概率真相”的研究，里面提到虚假信息分成两种，一种叫disinformation，由人故意制造的，另一种叫misinformation，就是错误信息，无意为之的。现在两者的区分程度没有那么大，是相互交叉的状态。
第二类是算法偏见，或者说不公正的数据集，可能带来社会环境的污染。比如一些国外的研究表明，简历里是不是更多地挑出了白人男性。
第三类是隐私侵犯。比如我们现在对图片、视频进行大量的二次创作，在某种程度上造成了个人隐私的互传。
第四类是之前提到的商业领域的操控。大量低质、误导性的数据涌入，会使AI输出的答案有一定的偏向，通过这种偏向机制可以达到操控。
镜相工作室：这种AI信息污染，和过去互联网时代的垃圾信息相比，呈现出哪些新的特点？
张鸿茹：规模更大、成本更低，这和前面提到的内容投喂的逻辑很类似。特别不一样的地方在于，AI是随机鹦鹉，它会学人说话，你其实更难识别AI生成的内容它到底是不是现实存在的。
像3·15晚会曝光的案例，一个虚假的运动手环，通过AI生成的大量的帖子，让它被AI推荐。AI给出的答案语法正确、逻辑通顺，但它说的可能是完全不存在的东西，这个是特别需要甄别的地方。
镜相工作室：关于AI信息污染，近年有一个新的概念，叫“AI泔水”。你是怎样解读这一概念的？
张鸿茹：“AI泔水”这个词它其实成为了麦考瑞词典的年度词汇，其实就是想引起大家对AI生成的污染乱象的关注。它指的是没有经过人工审核、质量比较低劣、单纯为了流量或者填充页面内容，由AI批量生产的数字内容。
曾经大家都很追捧AI技术，觉得它提高了生产效率，也在创意工作上有所启发。但是现在也对这种持续投喂产生了厌倦和反感，是一种技术滥用和数字疲劳。比较需要关注的是，这种低成本的输出威胁到了信息生态，甚至恶意的、深度伪造的内容长期存在于网络中，其实就会衍生成一种网络霸凌。某种程度上它是一种劣币驱逐良币。
镜相工作室：AI不断从互联网上去找信息，而互联网又充满了越来越多的AI泔水，会不会形成一种自我污染的循环？
张鸿茹：技术也是在发展的，不会单纯照搬互联网上的内容，它也会根据训练目标或者算法来选择信息，很多低质的内容可能不会完全进入它的强化系统里面。再一个，我还是比较相信人类本身的判断力，大家还是会交叉验证，或者有一套自己信赖的权威信源，过滤掉一部分的噪声。
所以即使有AI泔水，也不会那么夸张地让大家直接陷入无限的误导当中。换句话说，AI生成的内容它会增加信息量和复杂程度，但是真正被人类接受和依赖的还是一些我们认知里的比较高质量的信息，还是会基于自己的认知判断。
镜相工作室：面对AI信息污染，学界、业界有提供一些解决方案吗？
张鸿茹：技术层面有数据溯源、内容水印、可信大模型。
像可信大模型，是一个比较长期的概念，一方面你要做可信数据集，另一方面要不断提升模型的能力。还有引用来源，但我觉得目前引用来源也成为了被利用的一个指标，一些引用的内容未见得是真实的内容。再一个是可信网站的权重，究竟哪些网站是值得被信赖的？有一些网站是伪造的，网站里的内容也是伪造的，要调整不同可信度网站在AI大模型中的权重。
大模型厂商现在也有一些抵御“投毒”的做法，在数据源准入、检索过滤、内容清洗这些环节都有部署，层层拦截劣质内容，保证输出可信度。具体包括对批量生成和无来源的内容大幅降权等等，对医疗、金融这些敏感领域也做了多源交叉验证。目前，“溯源追踪”已经成为行业标准，厂商不再只是通过公开网页抓取，而是建立高可信语料库，优先采用权威媒体、学术期刊等单位的官方数据，这也对应到前面说的可信大模型的搭建。
当然，要真正有效应对信息污染，需要更多角色加入进来，一起攻克这个难题。
用户层面可能能谈得稍微多一点。说得宽泛一点，就是要提高AI素养。可以把“概率真相”作为自己的一种心法。之前我们通常讲“后真相”，后真相是情绪的判断，就是我不管事实究竟是什么，我觉得是什么它就是什么。那到“概率真相”时代，某种程度上是一种理性的回归，真相不再是一个点，而是一个面。
（编者注：概率真相主要用于描述在信息高度不确定、真假难辨的环境中，人们如何判断和接受“真相”。）
我们经常有这样的想法，看到很多内容或者比较清晰的论述，第一反应都是，这是不是AI生成的？这其实就是一种概率的判断，承认不确定性的存在，保持一种怀疑的姿态。我们看到AI给我们的答案，要思考这东西真的是这么确定的吗？它就是第一名吗？它就是最好的吗？尤其在一些决策上，我们需要更多地相信自己的经验和判断，或者多问问身边人。
镜相工作室：从技术上看，防范AI大模型被“投毒”的难点在哪里？
张鸿茹：首先是数据规模，目前互联网上的内容太多了。第二个，信息真假本来就是一件非常复杂的事情，很多东西它不是绝对的真假，它有一个概率或者规模上的呈现。还有一个是商业激励的部分。其实只要有流量，可能就会有人做GEO。这其实和前面我们讲到的，相对于SEO阶段，它不变的就是逐利。当你发现这个东西对商业和市场是有利的，你可能就会愿意在这上面做更多的投入和策略的转变。
镜相工作室：普通人在用AI的时候，其实并不了解AI背后的机制，也不知道AI说的话可信度到底有几分，在不同问题上AI的回答可不可信。所以，能不能给普通AI用户一些建议，帮助他们去判断AI的答案。
张鸿茹：我想到一本很有意思的书，叫《叫魂》，它里面有个小故事特别有意思，我觉得对于回答这个问题或许会有帮助。在乾隆年间，有一个石匠，他在修桥的过程中和当地居民发生了纠纷，这位石匠就被诬告了，罪名叫“打生桩”。打生桩就是把活人的名字压在桥桩上来诅咒这个人。后来一传十、十传百，变成了一个关于“叫魂”的传言，妖术的媒介从写着人名的纸片，变成了剪人的辫子。
我觉得它和现在是有类似之处的。那个时候是口口相传的媒介，现在在AI的加持下，信息在不停地走样。其实现在肯定要比那个时候是更好溯源的。我觉得我们首先要把AI当成一个工具，它是可能产生概率回答的，同时它也是概率工具本身，我们可以很好地利用它。
然后一是看来源，看有没有引用，还是说是AI直接给出的答案。
二是多问几次，可以在不同的模型之间做对比，你就可以通过这个来反推出可能另外几家模型给的回答对不对。
三是问“为什么”，让AI解释依据，不要只看它的回答。
四是换不同的视角去问，看AI给的回答是不是一样的。还有一个，最近在我的同事们之间很流行，叫second me，第二自我。我觉得你可以培养一个像你一样思考的AI分身，让你的数字分身帮助你去判断，这样也不会耗费你的很多精力，作为人的token就被保留下来了。
镜相工作室：second me是说，要告诉AI很多你的事情、你的思维方式、你过去的经历吗？
张鸿茹：这是一个方面，或者这是更进阶的一个角度。更基础的角度是，你可以把你既往的写作或者自己的案例丢给它，让它了解你是怎么思考的。它会有理解你是怎么思考的一个过程，然后输出一个像你一样的结果。可以让它从基础做起。如果你发现它下次输出的逻辑是不对的，你可以纠正它不要这样想，然后按照你惯常的方式去告诉它。
镜相工作室：以目前学界和业界的研究进展和方向，再结合你的研究经历，你认为AI信息污染问题会逐渐消失、减少，还是与人类对真实有效信息获取的需求长期共存？
张鸿茹：我觉得信息污染是不会消失的。刚刚我们讲到了那么多的形态，包括前面分享的历史小故事，它并不是互联网技术出现之后才出现的新现象，更不是AI出现之后才有的。所以其实信息污染并不会消失，有噪声的出现就一定会污染。但是我觉得最后都会达到一种平衡，像现在口口相传的事情，大家都已经会下意识上觉得眼见为实、耳听为虚，都会有一些自己的判断。
镜相工作室：其实在人类社会上，这些谣言、不可信的信息是长期存在的，可能和人类文明史是相伴的。
张鸿茹：是的，AI信息污染不可能完全的消失，信息需求是永远存在的。AI生成内容的规模、速度还有多样性，它就是远超人类直接生产力的，某种程度上它会长期存在，但它不可能完全是这种无序的状态。
