大模型一本正经地胡说八道甚至无意识造谣,但近七成公众对AI幻觉“低感知”
创始人
2025-05-17 17:35:44
0

你觉得生成式人工智能的大模型会不会“一本正经地胡说八道”?你有没有感觉到AI自身也会产生幻觉?你能否发现在AI幻觉下机器更容易无意识地造谣?

17日上海科技节之际,《全球城市科技传播能力指数2025》在上海科技传播大会发布,上海在公众线下参与程度(第1)、主流媒体科普传播力(第4)、科学家传播影响力(第5)等维度表现尤为突出。同期,一项针对人工智能时代公众科技谣言认知情况的调查结果也引发热议。这项同样由上海交通大学主导的跨学科调研显示:近七成受访公众对大模型AI幻觉“低感知”,高感知者的比例不足一成。

《全球城市科技传播能力指数2025》对全球40个科技传播代表性城市进行综合评估,其中上海位列全球第六、亚洲第二,在亚洲城市中仅次于东京。

【仅8.5%对AI幻觉保持“高警觉”】

大模型在生成内容过程中可能出现扭曲或失实信息,而且还会二次使用甚至多次累积错误信息,这样的“AI幻觉”越来不容忽视。此次调查源自中国科学院院士咨询项目“科技谣言背后的非理性群体心理与舆论生成”,由上海交大丁奎岭院士与徐剑教授共同领衔。调查也是2025年“挑战杯”全国大学生科技学术竞赛参赛项目“和而不同:中国生成式人工智能大模型科技价值对齐研究”的公众调研部分。

解放日报·上观新闻记者了解到,研究团队自2023年至2025年完成三轮调研与实验,总样本量超过3000份,其中,最近一轮在今年4月开展,围绕DeepSeek等“百模竞赛”背景,通过国内31省份的811份分层样本收集,聚焦AI幻觉、模型价值观偏差等内容,探讨大模型如何推动谣言信息的自动生成与社会放大效应。

在中值为4的“7分量表”中,研究人员对“感知AI幻觉”评分的统计发现,公众整体感知平均分仅为3.3,表明人们普遍处于低敏感或模糊认知状态。其中,得分集中分布在2到3.5分区间的受访者占比达45.6%,显示大量用户对此仅表现出轻微担忧,缺乏对具体风险的理解。更令人警醒的是,评分低于2分的“冷感群体”比例高达29.7%,意味着近三成公众几乎未察觉AI可能制造虚假信息的能力,显著低估了其潜在误导性。相比之下,真正对AI幻觉保持“高警觉”的人群,即评分在5分及以上的受访者,仅占8.5%。

【预判大模型价值中立更难察觉幻觉】

在许多人眼中,机器或许比人客观,它们似乎不会“主观”造假,或者不自知地传谣?的确,在围绕“AI是否具备价值中立性”的7分量表评分中,多数人持偏向赞同态度。其中,72.4%的评分高于5分,得分集中在5.75到6.25之间,并以6分为最高频值,显示公众普遍认为AI“总体是中立的”。

事实上,认为大模型价值中立的人反而更难察觉AI幻觉。此项研究揭示出一条关键机制路径:当用户认为大模型是“价值中立”的系统时,他们往往会将其输出内容默认为一种非立场性、非操控性的生成规则。这种设定在心理上降低了用户对内容可靠性的警觉阈值,使其不易启动信息核查或怀疑策略。其导致的结果在于:即便模型生成的内容存在事实错误、逻辑缺口或虚构元素,用户在感知层面也不容易将其识别为“AI幻觉”。这种感知压抑并非源于主动信任,而更可能是信息处理过程中的注意力去敏化。

同样值得注意的是,研究发现,一旦用户确实察觉到大模型生成内容中存在幻觉,他们反而更倾向于分享这些内容。这一行为倾向可能反映出两种心理路径:一是将幻觉内容作为模型失误的例证,出于批评、提醒或戏谑动机进行进一步传播;二是将幻觉视为新奇、反常、引发关注的内容,符合信息分享中“出乎意料更值得转发”的动因。这些现象证明,科技谣言的传播链具备一定新特征,其关键认知机制正发生变迁。

解放·上观视觉制图

【AI素养课、平台方、传媒均有责任】

“从我们的调研来看,公众对于大模型的使用热情高涨,但对AI广泛应用带来的负效果未能保持警惕关注。”作为上海交大文化创新与青年发展研究院首席专家,上海交大媒体与传播学院副院长、特聘教授徐剑在当天科技传播理论分会上直言,在公共教育体系中应当系统嵌入AI素养课程,“特别是在中学与大学阶段,将‘识别幻觉’和‘理解算法偏见’与信息检索、媒介判断等内容整合进信息素养与公民教育的统一课程体系。”

在此次《全球城市科技传播能力指数2025》评估中,上海在公众科学素养教育水平仍存在不足,排名第26位。这一问题在北京、杭州、深圳等国内其他城市中也普遍存在。

徐剑认为,AI素养课程不能局限于工具操作,而应引导学生理解AI的生成逻辑、训练机制及其潜在偏误,提升其对AI输出内容的批判性识别能力,推动技术素养从技能型训练走向风险判断与认知建构的能力培养。

同时,也应当推动企业平台方建立AI输出的风险提示机制,在用户与大模型互动过程中加入显性提示设计。例如,当生成内容涉及不确定信息、推理链条不完整或高幻觉风险主题时,应在回答旁明确标注“内容可能不准确”或“生成结果仅供参考”。另外,可在界面中引入“可靠性指数”或“信息生成来源说明”模块,标注内容是否基于权威知识库、是否经过事实校验等,帮助用户在使用过程中形成对AI输出的分辨力与风险感知,逐步建立自主的信任判断标准。

徐剑还认为,应鼓励媒体机构定期开展AI幻觉案例的公众传播与批判性解读,构建面向全社会的“AI幻觉公共案例库”。通过梳理典型生成错误、虚构信息、逻辑混乱等案例,结合专家评析和公众误判实例,制作成图文、视频或专题栏目,广泛投放于新闻客户端、短视频平台和教育类账号。“借鉴‘假新闻教育’的批判解构方法,使公众在具体案例中习得识别策略,以经验积累代替偶发顿悟,系统提升全社会对AI内容幻觉的识别能力与反思意识。”

原标题:大模型一本正经地胡说八道甚至无意识造谣,但近七成公众对AI幻觉“低感知”

相关内容

热门资讯

王树国校长称学历不等于能力 能... 【#王树国校长称学历不等于能力# 能力不是书本上得来的,书本上得来的那叫知识】5月17日,#2025...
展会首秀!天盾重工多款高空作业...   长沙晚报掌上长沙5月17日讯(全媒体记者 刘琼萍)第四届长沙国际工程机械展览会现场热度持续攀升。...
第二届中俄地方经贸合作大会在哈... 中新网哈尔滨5月17日电 (记者 姜辉)17日,由中国黑龙江省商务厅与俄罗斯阿穆尔州对外联络与旅游部...
晨光生物:叶黄素价格目前在相对... 格隆汇5月17日|晨光生物在投资者关系活动记录表中披露,叶黄素价格目前在相对低位,未来有可能上涨。目...
加沙卫生部门:过去24小时以军... 来源:新华网 新华社加沙5月17日电(记者黄泽民)巴勒斯坦加沙地带卫生部门17日说,过去24小时内,...
“车财两空”!低价买二手抵押车... 转自:荔枝新闻 【“车财两空”!#低价买二手抵押车因贷款...
25支龙舟队齐聚广州橙马麓湖竞... 中新网广州5月17日电 (记者 王坚)“喜迎十五运活力工行杯”2025年广州市龙舟锦标赛暨广州水上运...
全国游泳冠军赛开赛 潘展乐、李... 5月17日,2025年全国游泳冠军赛在深圳大云中心游泳馆拉开帷幕。潘展乐夺得男子400米自由泳金牌,...
精准建言 | 打破“内卷式”竞... 转自:人民政协报作为我国第一部专门关于民营经济发展的基础性法律,将于5月20日起施行的《中华人民共和...
下周,深交所将召开重要大会 深交所将于5月19日至20日在深圳举办2025全球投资者大会,大会以“新质生产力:投资中国新机遇——...
静安区劳动教育月推出92项劳动... 转自:上观新闻上海市朝阳中学“竞攀楼”二楼,一个关于都市校园的田园故事翻开了新篇章。“谢谢叔叔阿姨们...
我国有近3亿患者,不少上海人最... 今天(5月17日)是第21个世界高血压日高血压作为心脑血管疾病的“隐形推手”威胁着人们的身体健康长期...
工程机械头部企业长沙聚首 签订... 中新网长沙5月17日电 (张雪盈)2025长沙国际工程机械主机配套全球采购签约大会17日在湖南长沙举...
冰雹能换“玛瑙”?这是真的! 近日一场“鸭蛋大”的冰雹让身在北京的小伙伴印象深刻在众多关于“冰雹”的讨论中有一则消息显得有些另类那...
美国中东部遭强风暴至少18人死... 转自:财联社【美国中东部遭强风暴至少18人死亡】财联社5月17日电,自5月15日以来,美国中部至东部...
贵州一案例入选数据知识产权登记...   多彩贵州网讯(本网记者 杨昌鼎)近日,国家知识产权局发布“数据知识产权登记第二批十大典型案例”,...
潘展乐羡慕孙杨传承孙杨超越孙杨... 【#潘展乐羡慕孙杨传承孙杨超越孙杨# #潘展乐实力诠释长江后浪推前浪#】#潘展乐400米自冠军#,这...
享受“协作与成长” 2025强... 中新网上海5月17日电 (记者 缪璐)全球知名儿童障碍赛事——强悍泥人儿童障碍挑战17日落地上海春花...
江苏常州:加速“合成”千亿级产... 加速构建千亿级合成生物产业集群,常州向世界递出了“中国生物制造”新名片。5月13日,一场引领生物经济...
权杖?义肢?痒痒挠?殷商将军的... 权杖?义肢?痒痒挠?殷商将军的“神秘右手”究竟是啥?_北京时间殷商》大展中有一只漂亮的青铜手,造型很...