网络安全与日常生活紧密相连

从智能助手

精准医疗到自动驾驶

AI的进步让社会运转更高效

生活更便捷

但技术往往利弊共生

AI快速发展也暗藏风险

AI造谣、AI诈骗

正成为亟待应对的严峻挑战

我们在拥抱AI便利的同时

必须高度警惕这些潜在危害

01

AI造谣

今年3月初，一则关于“华山医院前院长”因病客死他乡的消息在互联网广泛传播，也引起众多网友关注。然而经上海警方核查却发现，华山医院压根就没有名为“张明远”的前院长，也没有同名员工。经上海公安网安部门迅速调查，最终成功侦破这起利用AI造谣案，将犯罪嫌疑人王某某、郭某某、石某某抓获归案。而令人吃惊的是，犯罪嫌疑人在发布该假消息前，甚至都不知道有华山医院这家医院，更不知道所谓的“张明远”这个人。

经查实，王某某、郭某某、石某某等3人，通过控制500余个自媒体账号，设置社会热点、明星绯闻、爆款推荐等关键词策略，利用AI工具自动生成并发布不实帖文30余万条，造成恶劣社会影响。

近年来，随着AI技术的快速发展，尤其是自然语言处理和深度伪造技术的成熟，AI造谣呈现出更隐蔽、难辨别的特点，利用ai工具合成技术编造谣言，甚至生成逼近真实的图片、音视频，颠覆了“有图就有真相”的常规认知，让人难辨真假。

AI造谣的主要形式

01

生成逼真的假新闻、伪造的社交媒体帖子或恶意评论。

02

通过Deepfake技术合成名人、政客的虚假影像或语音。

03

结合社交机器人和AI，在社交媒体上大规模扩散谣言，制造虚假舆论。

辨别AI造谣

伪造热点事件、捏造名人言论、炮制伪科普、嫁接虚假证据，都在引你“入坑”……当造谣已经用上AI工具，教你怎么来辨别！

保持怀疑态度

对于任何看起来过于完美或者与常识相悖的信息，都应该持有一份谨慎的态度。不要轻易相信未经核实的消息来源。

查证信息真伪

当遇到疑似使用AI技术修改过的内容时，可以通过搜索引擎查找原始资料进行对比验证。同时也可以利用一些专门用来检测图像编辑痕迹的工具来辅助判断。

增强个人隐私保护意识

防止个人信息泄露也是抵御AI谣言的重要一环。因为很多时候，诈骗者正是利用了受害者的私人数据来进行精准攻击。定期更换强密码、谨慎分享位置信息等措施都有助于降低被恶意利用的风险。

关注官方渠道

权威机构发布的信息通常更为可靠。因此，在接收到不确定的消息后，优先参考政府机关、知名媒体等正规途径发布的声明或报道。

积极参与网络环境净化

如果您发现自己成为了某条虚假消息的传播者，请立即停止转发并向相关平台举报该内容。每个人的小小努力汇聚起来就能形成强大的正能量，共同维护健康的网络空间。

02

AI诈骗

2024年8月，市民刘先生报案称其在2个月前通过一则短视频结交了网友“焦女士”，接触后感觉十分投缘。不久，“焦女士”称在外出游玩时为他请了一串手串，刘先生深受感动，两人迅速发展为恋人关系。随后，“焦女士”又称刚盘下一家服装店，希望刘先生能为她预订花篮支持开业，刘先生未多想就转账给了对方推荐的“花店老板”。接下来的一个月内，“焦女士”故伎重施，以家属生病、进货需要资金等理由，陆续向刘先生索要了近20万元。接报后，上海警方抽丝剥茧，逐步明确了一个以杨某为首的交友诈骗团伙。随着调查深入，民警发现该团伙组织严密且有明确分工，如在短视频平台上架视频的引流人员，与潜在被害人聊天的业务员，以及伪造相关聊天内容的“修图”人员，采取“流水化”诈骗作业。

“AI诈骗”成功率极高，因为骗子利用的是人类最原始的情感：对亲友的信任和对权威的畏惧。传统电信诈骗靠“话术”，而AI诈骗靠的是“技术”。它不再仅仅是“猜猜我是谁”，而是让你亲眼看到、亲耳听到“你认识的人”，欺骗性呈指数级上升。

AI诈骗常见套路

声音合成

骗子通过骚扰电话录音等来提取某人声音，获取素材后进行声音合成，从而可以用伪造的声音骗过对方。

AI换脸

骗子首先分析公众发布在网上的各类信息，根据所要实施的骗术，通过AI技术筛选目标人群。在视频通话中利用AI换脸，骗取信任，从而实施诈骗。

转发语音

骗子在盗取社交账号后，便向其好友“借钱”，为取得对方的信任，他们会转发之前的语音，进而骗取钱款。

AI程序筛选受害人

骗子利用AI来分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。

AI技术能让违法犯罪分子轻松“换脸变声”，请注意“眼见”未必为实，教你如何辨别AI诈骗。

动作验证法

当视频中对方（尤其是涉及转账、借钱等敏感要求时）显得有点“怪”，别急着答应。请对方做一个连贯的转头动作，或者用手掌完全遮住脸再快速移开。目前的AI技术在模拟这些复杂的面部遮挡和光影变化时，容易出现卡顿、模糊或扭曲。

声音细节辨真伪

注意听语音细节。AI生成的语音有时会缺乏自然的呼吸停顿、情感起伏，或者带有轻微的机械感、背景杂音异常。如果对方声音听起来“不像平常”，务必提高警惕。

多渠道核实身份

这是最核心的一招！无论视频、语音多么逼真，涉及金钱交易或敏感信息时，务必通过其它可靠途径二次确认。比如，挂断后直接拨打对方常用且你熟悉的电话号码（不要回拨可疑来电号码），或者通过你们共同认识的第三人进行侧面核实。

核心口诀

“视频语音莫轻信，动作验证多核实！”——对可疑的视听信息保持警惕，坚持多渠道核实身份。

网警提醒

面对纷繁复杂的网络信息

须持续提升辨别意识

涉及金钱往来的各类交易

应始终保持高度警惕

不向陌生账户转账

不被“高收益”“急用钱”等说辞迷惑

守好信息安全与财产安全

共同防范网络风险

营造一个真实可信的信息环境

素材|上海网警

来源：公安部网安局