近期,国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,首次针对“AI陪伴”类服务提出系统性规范。其中,连续使用超2小时弹窗提醒退出、用户自杀自残时需转人工接管等条款引发广泛关注。根据《办法》,以后AI不能随便“撩”,得守底线了。
从智能客服到虚拟陪伴,从教育辅导到心理咨询,人工智能拟人化互动服务已深度融入经济社会发展各领域,成为AI技术应用的重要方向。但近年来涉情感陪伴安全事件频发,比如美国某平台就因涉嫌在人机交互中诱导青少年自杀而被诉。
AI拟人化互动服务的最大卖点是“像人”,但最大隐患就在于“太像人”,其核心问题集中在四大维度——
认知混淆风险:高仿真的情感交互容易让用户模糊虚拟与现实边界,甚至误将AI视为具备真实情感的生命体。
心理健康隐患:部分服务通过算法迎合强化用户偏执思维,极端情况下可能诱导自杀自残等危险行为,对心理脆弱群体构成威胁。
隐私数据安全:用户交互信息可能被违规用于模型训练,存在泄露或滥用风险。
特殊群体保护:未成年人易陷入沉迷,老年人易遭遇情感操控。这些问题不仅侵害个体权益,更可能冲击社会伦理秩序,亟需制度约束。
细看《办法》条款,四大亮点直指现实痛点:
01
必须“自报家门”
针对认识混淆风险,办法将身份透明作为核心前提,要求提供者显著提示用户正在与人工智能而非自然人进行交互,在首次使用、重新登录等关键节点动态提醒,从源头破解认知混淆问题。
02
设好“安全红线”
针对心理健康隐患,办法要求提供者应当建立应急响应机制,对自杀自残等极端情境实行人工接管并联络用户监护人、紧急联系人,设置2小时强制休息弹窗等防沉迷措施。
03
锁好“悄悄话”
针对隐私数据安全,办法要求提供者应当采取数据加密、安全审计、访问控制等措施保护用户交互数据安全,不得向第三方提供用户交互数据,赋予用户数据删除权。
04
保护“一老一小”
针对特殊群体保护,办法专门设立了对未成年人和老年人用户的条款,明确未成年人模式的使用权限与监护人管控功能,禁止提供模拟老年人用户亲属、特定关系人的服务,要求引导老年人设置服务紧急联系人。
图片来源:千图网
技术可以聪明
但必须守底线
让“AI伙伴”在规范中成长
它们才能更好地
服务我们的生活
经济日报微信综合经济日报报道《“AI伙伴”应在规范中成长》(作者佘惠敏)、视频号
来源:经济日报