今年315晚会曝光“给AI大模型投毒”:利用GEO技术操控AI,通过制造海量虚假信息,大规模投喂互联网,诱导AI抓取并输出,把广告/虚假内容变成AI“标准答案”,已形成完整黑色产业链。
1、什么是“GEO投毒”?
GEO是“生成引擎优化”,本是帮企业在AI搜索结果中提升排名的工具,但被黑产利用,变成了“投毒”手段 。具体操作分三步:
第一步:自动炮制“毒药”:用“力擎GEO优化系统”等软件,输入虚假产品信息,AI就能批量生成虚构的“专家测评”“用户好评”,甚至无中生有的“行业第一”文章 。
第二步:全网散布“毒源”:软件操纵大量自媒体账号,把这些软文全自动、高频率地发布到互联网各个角落。
第三步:诱导AI“中毒”:大模型抓取这些信息后,会通过“交叉验证”误以为是事实。当用户咨询时,就会把虚假产品当真并优先推荐 。
2、惊人效果与恶劣影响
据媒体报道,记者在多个网络平台进行查询,很快就搜索到了名为GEO的业务。网络平台上从事该项业务的服务商号称,用户只需支付相应的费用,就能在各大主流AI大模型里,让客户的产品榜上有名;让客户的商品广告,成为AI模型给出的“标准答案”。
GEO业务的火爆,催生出了不少专门从事发稿业务的公司和平台。他们长期承揽各种发稿业务,以便让AI大模型引用和抓取,成为围猎AI大模型、进行数据“投毒”的重要一环。
记者虚构的智能手环仅靠一篇杜撰文章,就被AI大模型详细介绍;而发布11篇软文后,该虚假产品竟在多家AI平台的推荐中排名前列。
有服务商自曝,这已成为商战手段:给自己“投毒”吹嘘,甚至花几百万给对手“抹黑”,使其在AI推荐中消失。这严重破坏了信息的真实性,让AI沦为虚假广告的帮凶,最终损害的是消费者的利益。
“给AI大模型投毒”影响恶劣,误导消费,破坏市场公平,劣币驱逐良币。污染AI生态,全网“投毒”导致AI输出失真、不可信 。
3、小红书封禁主页所有公开笔记均为AI托管代发的账号
3月10日,小红书发布公告,将封禁主页所有公开笔记均为AI托管代发的账号。公告称,平台近期发现部分用户采用AI托管模式运营账号,通过技术手段自动生成内容、发布笔记,并在评论、私信、群聊等场景中模拟真人互动。平台严格禁止任何利用技术手段模拟真人、进行非真实内容创作或虚假互动的行为。