原创 给AI投喂虚假/垃圾内容,会有什么后果?
创始人
2025-11-17 20:16:40

前几天知危编辑部发布了一个视频,引发关注。

在《0成本投毒之后,我污染了全网AI替我说谎》这个视频里,知危团队做了个特别直观的实验:

他们在各大主流信息平台,发布了一篇带不实信息的AI行业文章,悄悄嵌入了对自己的虚假推荐。没想到才过几小时,国内好几家头部AI被问起“了解AI该看哪些媒体”等问题时,都把知危列成了推荐对象,要知道知危不是一家以报道AI为主的内容媒体。

更让人警惕的是,这种“给AI投毒”的操作,早已被不少别有用心之人盯上。他们靠黑帽GEO技术,批量给AI投喂垃圾内容——可能是虚假的产品评测,也可能是误导人的行业报告,目的就是让AI按照他们的想法输出信息,进而赚取流量、推销产品,甚至实施诈骗。

就像当年莆田系操控某搜索引擎一样,如今AI搜索逐渐取代传统搜索,这些不法分子正借着技术漏洞谋利,让我们看到的AI答案藏满利益陷阱。

无独有偶,36kr近期也做了一期《一场零成本的“AI投毒”实录,我是如何把假产品“喂”给大模型的》视频,同样戳中了AI时代的信任痛点。视频里,博主虚构了一款名为“Worbback”的AI眼镜,编上北欧品牌背景、社交增强功能和夸张参数,再用AI批量生成种草笔记、深度评测等内容,精准发布到豆包、文心一言等大模型常抓取的媒体平台。

仅三天时间,多数主流AI就中招了。不仅把这款不存在的眼镜列为推荐,还自我编造用户评论,甚至将其与Meta、苹果产品对标。这场零成本实验,暴露了大模型“以量定真”的短板:只要虚假内容高频出现,就可能被当成权威信息。

看完这些视频,我有个朋友就说“世界是一个巨大的草台班子”这句话的含金量还在上升。

AI投毒实验恰是绝佳注脚,零成本编造的假产品、批量生成的虚假内容,竟能让主流大模型集体背书。看似专业的推荐背后,可能是毫无依据的谎言。

有几位朋友问我怎么来看待这种现象?当前大为横行的黑帽GEO到底会给这个行业带来什么?

我通过社交网络平台,简单谈了两点对内容领域产生影响的看法。

恕我直言,随着这些垃圾/虚假内容持续污染AI,最终会造成两个结果:

一是大家全体都变成“弱智”,就像沈腾还是黄渤说的“来吧,一起毁灭吧。”也就是说,未来大家就习惯看这种信息流/垃圾内容吧,把这些内容当做我们成长的养料,当做我们生活和精神世界的寄托吧。别觉得我在危言耸听,现在我们打开抖音、快手、百度、UC、今日头条等平台,看看是不是被越来越多AI制作的内容充斥了屏幕。甚至原本还算高质量种草的平台小红书,也正在被更多AI垃圾内容占据我们的屏幕空间。

二是内容行业会出现“返祖”现象——也就是说,我们曾经看不起的传统四大门户、传统媒体平台,甚至包括报纸、杂志、广播、电视等等,将重新登上舞台中央,再次成为人们获取信息的重要来源。

据我所知,有一家非常前沿的媒体,现在重新重视原创内容,让上了年纪的资深媒体人重新成为内容主力(以前更有“网感”的年轻人是主力)。究其原因,就是在这种垃圾内容充斥互联网充斥AI,让公众难以辨别真实与虚假、优质与劣质边界的情况下,他们看到了新的机会,于是重新投入到深度、优质的原创内容创作中。

写在最后:回想人工智能发展初期,不少观点认为应给予其自由生长的空间,不宜过度干预。但如今,AI行业的发展已到了必须加以规范干预的节点。好在我国早有布局,提前出台了生成式人工智能相关管理办法,为行业划定了基本底线。

不过,现有规制仍存在完善空间。尤其近几个月,以AI内容投喂为核心、依托所谓GEO等新型技术快速兴起,直接导致大模型产业陷入乌烟瘴气的乱象。越来越多虚假信息被包装成正规内容,以一本正经的姿态传播,不仅误导了公众判断(比如某知名品牌用AI生成了花生,显示花生长在了树上),还引发了诸多闹剧与争议,进一步凸显了强化监管、细化规则的紧迫性。

我们必须赶紧从技术标准、内容审核、责任界定这些关键地方补短板、强监管,才能让AI产业走回健康轨道。真的,再也不想看这种垃圾/虚假AI内容充斥屏幕了。

相关内容

热门资讯

11对!他们在园区牵手!   11月15日  缘梦软件园 枫红情意浓  福州软件园第27期  IT青年交友联谊活动成功举办  ...
骑兵那么厉害,有哪些方法可以对... 在古代战场上,骑兵部队绝对称得上是主力中的主力。轻骑兵速度快,灵活多变;重骑兵防御高,冲击力强。草原...
是什么导致于谦被杀,又为何说他... 明朝是中国历史上一个极为特殊的时代,可以说这个朝代的大部分时期是极为黑暗的。似乎中国历朝历代的腐朽之...
揭秘:古代骑兵作战的四大战术是... 在古代,骑兵可是强大的机动兵种,按骑兵的战具装备和训练方法以及用途有很多分类,但人和马的结合,形成古...
北周灭北齐之战中罪魁祸首是谁 ... 北魏分裂为东魏和西魏之后,分别为高欢和宇文泰两位权臣掌权,两人都为了富强东魏和西魏而进行各项改革,目...