你觉得生成式人工智能的大模型会不会“一本正经地胡说八道”?你有没有感觉到AI自身也会产生幻觉?你能否发现在AI幻觉下机器更容易无意识地造谣?
17日上海科技节之际,《全球城市科技传播能力指数2025》在上海科技传播大会发布,上海在公众线下参与程度(第1)、主流媒体科普传播力(第4)、科学家传播影响力(第5)等维度表现尤为突出。同期,一项针对人工智能时代公众科技谣言认知情况的调查结果也引发热议。这项同样由上海交通大学主导的跨学科调研显示:近七成受访公众对大模型AI幻觉“低感知”,高感知者的比例不足一成。
《全球城市科技传播能力指数2025》对全球40个科技传播代表性城市进行综合评估,其中上海位列全球第六、亚洲第二,在亚洲城市中仅次于东京。
【仅8.5%对AI幻觉保持“高警觉”】
大模型在生成内容过程中可能出现扭曲或失实信息,而且还会二次使用甚至多次累积错误信息,这样的“AI幻觉”越来不容忽视。此次调查源自中国科学院院士咨询项目“科技谣言背后的非理性群体心理与舆论生成”,由上海交大丁奎岭院士与徐剑教授共同领衔。调查也是2025年“挑战杯”全国大学生科技学术竞赛参赛项目“和而不同:中国生成式人工智能大模型科技价值对齐研究”的公众调研部分。
解放日报·上观新闻记者了解到,研究团队自2023年至2025年完成三轮调研与实验,总样本量超过3000份,其中,最近一轮在今年4月开展,围绕DeepSeek等“百模竞赛”背景,通过国内31省份的811份分层样本收集,聚焦AI幻觉、模型价值观偏差等内容,探讨大模型如何推动谣言信息的自动生成与社会放大效应。
在中值为4的“7分量表”中,研究人员对“感知AI幻觉”评分的统计发现,公众整体感知平均分仅为3.3,表明人们普遍处于低敏感或模糊认知状态。其中,得分集中分布在2到3.5分区间的受访者占比达45.6%,显示大量用户对此仅表现出轻微担忧,缺乏对具体风险的理解。更令人警醒的是,评分低于2分的“冷感群体”比例高达29.7%,意味着近三成公众几乎未察觉AI可能制造虚假信息的能力,显著低估了其潜在误导性。相比之下,真正对AI幻觉保持“高警觉”的人群,即评分在5分及以上的受访者,仅占8.5%。
【预判大模型价值中立更难察觉幻觉】
在许多人眼中,机器或许比人客观,它们似乎不会“主观”造假,或者不自知地传谣?的确,在围绕“AI是否具备价值中立性”的7分量表评分中,多数人持偏向赞同态度。其中,72.4%的评分高于5分,得分集中在5.75到6.25之间,并以6分为最高频值,显示公众普遍认为AI“总体是中立的”。
事实上,认为大模型价值中立的人反而更难察觉AI幻觉。此项研究揭示出一条关键机制路径:当用户认为大模型是“价值中立”的系统时,他们往往会将其输出内容默认为一种非立场性、非操控性的生成规则。这种设定在心理上降低了用户对内容可靠性的警觉阈值,使其不易启动信息核查或怀疑策略。其导致的结果在于:即便模型生成的内容存在事实错误、逻辑缺口或虚构元素,用户在感知层面也不容易将其识别为“AI幻觉”。这种感知压抑并非源于主动信任,而更可能是信息处理过程中的注意力去敏化。
同样值得注意的是,研究发现,一旦用户确实察觉到大模型生成内容中存在幻觉,他们反而更倾向于分享这些内容。这一行为倾向可能反映出两种心理路径:一是将幻觉内容作为模型失误的例证,出于批评、提醒或戏谑动机进行进一步传播;二是将幻觉视为新奇、反常、引发关注的内容,符合信息分享中“出乎意料更值得转发”的动因。这些现象证明,科技谣言的传播链具备一定新特征,其关键认知机制正发生变迁。
解放·上观视觉制图
【AI素养课、平台方、传媒均有责任】
“从我们的调研来看,公众对于大模型的使用热情高涨,但对AI广泛应用带来的负效果未能保持警惕关注。”作为上海交大文化创新与青年发展研究院首席专家,上海交大媒体与传播学院副院长、特聘教授徐剑在当天科技传播理论分会上直言,在公共教育体系中应当系统嵌入AI素养课程,“特别是在中学与大学阶段,将‘识别幻觉’和‘理解算法偏见’与信息检索、媒介判断等内容整合进信息素养与公民教育的统一课程体系。”
在此次《全球城市科技传播能力指数2025》评估中,上海在公众科学素养教育水平仍存在不足,排名第26位。这一问题在北京、杭州、深圳等国内其他城市中也普遍存在。
徐剑认为,AI素养课程不能局限于工具操作,而应引导学生理解AI的生成逻辑、训练机制及其潜在偏误,提升其对AI输出内容的批判性识别能力,推动技术素养从技能型训练走向风险判断与认知建构的能力培养。
同时,也应当推动企业平台方建立AI输出的风险提示机制,在用户与大模型互动过程中加入显性提示设计。例如,当生成内容涉及不确定信息、推理链条不完整或高幻觉风险主题时,应在回答旁明确标注“内容可能不准确”或“生成结果仅供参考”。另外,可在界面中引入“可靠性指数”或“信息生成来源说明”模块,标注内容是否基于权威知识库、是否经过事实校验等,帮助用户在使用过程中形成对AI输出的分辨力与风险感知,逐步建立自主的信任判断标准。
徐剑还认为,应鼓励媒体机构定期开展AI幻觉案例的公众传播与批判性解读,构建面向全社会的“AI幻觉公共案例库”。通过梳理典型生成错误、虚构信息、逻辑混乱等案例,结合专家评析和公众误判实例,制作成图文、视频或专题栏目,广泛投放于新闻客户端、短视频平台和教育类账号。“借鉴‘假新闻教育’的批判解构方法,使公众在具体案例中习得识别策略,以经验积累代替偶发顿悟,系统提升全社会对AI内容幻觉的识别能力与反思意识。”
原标题:大模型一本正经地胡说八道甚至无意识造谣,但近七成公众对AI幻觉“低感知”