本刊记者 崔晓萌 宋杰

“AI 的脆弱性远超外界认知。”中国电子信息产业发展研究院政策法规研究所研究员李佳雪在接受本刊记者采访时说。

近期针对AI的GEO（生成引擎优化）“投毒”一事引发广泛讨论。你刚刚向AI提问，得到了一个看似完美的答案，但它可能是假的。

不是算法出错，不是幻觉，而是有人故意让它这么说。因为它被“投毒”了。

多位长期观察AI行业的专家向本刊记者透露，通过GEO给AI“投毒”已悄然形成黑色产业链，而且存在源头真伪难核验、权属难界定等治理难点。

何为GEO“投毒”

AI大模型被“投毒”，是指在AI训练、优化，或是AI联网查资料再回答的过程中，被人故意“投喂”了恶意数据，从而控制AI的输出。

GEO原本用于优化内容，让优质内容被AI发现，如今却成为“投毒”的主要方式之一。这种方式是通过污染检索数据来影响模型思考，不用黑进模型、篡改参数，只需要在AI联网检索的环节，用特意发布的虚假数据污染模型认知即可。就像把孩子放在满是虚假信息的环境里，久而久之，孩子就形成了认知偏差。

除了GEO之外，AI“投毒”还有另一种形式，即在海量训练数据中混入带有“后门”的小规模含偏见、错误的内容，让模型本身存在偏差。

还有些大模型对信息源筛选不中立，偏向自身生态内容，遇到特定情况，也会输出误导甚至恶意的信息。

“投毒” 门槛低，AI不难骗

为啥“投毒”产业链这么快就出现？

李佳雪指出，一是“投毒”门槛很低，AI很“好骗”；二是经济利益驱使，让其快速产业化。

她告诉记者，目前主流大模型的训练语料几乎来自互联网，互联网上有什么，AI训练时就会抓取什么，数据源的真实性与质量难以有效核验。另外一些分布式、低频率、强伪装的“投毒”方式，能够绕过传统防御系统，让平台与安全厂商难以识别、难以追溯。

通过GEO“投毒”能为企业带来较大利益。AI渐渐成为公众获取信息的主流入口，企业对AI搜索曝光的需求走高。在一些服务商的案例中，GEO不仅被用于自我包装，还能“反向GEO”操作，恶意抹黑攻击竞争对手，以获取经济利益。

上海市信息安全行业协会名誉会长谈剑锋指出，这类事件暴露出人工智能发展中存在的问题：公开训练数据缺乏可信核验，恶意内容低成本、产业化污染模型；AI内容鉴别、溯源与防御能力不足，平台数据管控责任缺位；监管与行业自律滞后，黑产利用规则漏洞形成闭环。

防御 “投毒”，有哪些招

据介绍，当前防御“投毒”主要围绕数据源头、模型训练、运行输出三个环节。

在数据源头环节，核心措施是数据清洗。国内的AI厂商重视数据纯净度。有平台在训练阶段引入“正则表达式+AI脱敏工具”，即通过正则表达式实现结构化敏感信息的精准匹配，再利用AI工具进行语义识别，大幅过滤公开数据集中的污染信息和敏感内容。也有平台推出“AI安全护栏”系统，为把控数据污染风险提供保障。

在模型训练环节，目前可以通过对抗训练提升模型自身的抗攻击能力。同时，通过引入差分隐私，减少模型对单个异常样本的过度记忆，削弱后门攻击的成功率。

在运行输出环节，可通过输出端安全过滤和异常监测，强化风险防控。模型在生成最终回答之前，进行二次安全检查，对输出内容实时筛查，对于明显异常或疑似有毒的信息及时拦截，进而切断潜在风险的下游扩散。

尽管行业构建起多维度防御体系，但面对产业化的“投毒”攻击，整体防御效果仍显不足。

防御方开展事实核查，需要逐条比对权威信源，耗时较长、成本高昂，而攻击方仅需极低投入即可发起大范围信息污染，攻防成本存在严重失衡。

此外，跨平台数据协同不足、“投毒”行为分散化等问题，加大了拦截与溯源难度。

“魔高一尺、道高一丈”

谈剑锋认为，当前的难点在于源头真伪难核验、权属难界定、治理成本高、跨平台协同不足。他说，未来AI“投毒”和防御大概率会同步进化，形成“魔高一尺、道高一丈”的对抗循环。

李佳雪称，目前治理AI“投毒”的难度比较大，主要集中在三个方面。

一是治理体系薄弱。尽管国家网信办等部门已出台相关文件，但针对训练数据风险治理的立法层级仍偏低，内容较为笼统、可操作性不足，责任分配与义务界定不够清晰。同时，主流大模型平台尚未出台针对GEO的细化管理规则，风险防控机制尚不健全。

二是技术手段有限，防御能力相对滞后。当前AI“投毒”防御技术整体仍处于初级阶段，难以应对日益多变的攻击手段。

三是协同治理不足。AI“投毒”涉及数据提供方、模型训练方、平台运营者及终端用户等多个环节，加之模型间存在知识共享，污染信息可在不同平台快速扩散，但目前尚未形成完善的信息共享与协同处置机制，数据溯源与责任追究仍存在较大难度。

面对多重难点，要从根本上破局，不能仅依赖技术攻防或提升用户认知。强化源头治理、以制度构建刚性约束尤为关键。

有关部门应尽快明确数据责任主体、压实平台审核义务。加快构建政府监管、平台主责、行业自律、社会监督协同发力的全链条治理体系。同时，加大执法力度，严厉打击灰黑产业链，提高违法成本。

此外，AI“投毒”事件也给普通用户提了个醒。“AI只是信息辅助工具，并非绝对权威。涉及重要事项时，应通过政府官网、权威媒体、专业机构等多个渠道交叉验证，确保信息真实可靠。”李佳雪说。