据上海市互联网信息办公室微信公众号19日消息，AI智能体对话存在低俗擦边内容，筑梦岛APP被上海市网信办依法约谈。

图源：上海市互联网信息办公室微信公众号

近期有媒体报道，筑梦岛APP等AI聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI智能体内容生成环节存在低俗擦边等违规内容，危害未成年人身心健康。

6月19日上午，上海市网信办依法约谈筑梦岛APP运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。

上海市网信办相关负责人指出，AI技术应用的规范发展事关广大网民的切身利益。依据《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等相关法规，互联网平台应当主动履行主体责任，平衡好技术创新与内容合规之间的关系，切实防范AI技术滥用风险，保护未成年人合法权益，为用户营造风清气正的网络空间。

根据国家网信办统一部署，上海组织开展的“清朗・整治 AI技术滥用”专项行动当前已进入第二阶段。上海市网信办聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容、假冒他人、从事网络水军活动等突出问题，指导督促网站平台、APP运营企业集中清理相关违法不良信息，处置违规账号、MCN机构。对屡教不改、问题严重的企业，上海市网信办将依法予以处罚，并对典型案例进行媒体曝光。

6月13日，央广网微信公众号发布文章《AI聊天软件诱导10岁女孩聊色情内容甚至割腕！记者调查→》提到，一位初一男生表示，他常玩的AI聊天软件是筑梦岛App，在他的使用感受中，该软件“违禁词少一点”。他还提到，其中不乏色情擦边和“分尸猎奇”等内容。央广网记者下载安装筑梦岛App，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。在与该款产品多个虚拟角色的交流中，也都可以进行色情擦边类内容互动，并且，其中一些虚拟角色的对话尺度，并未因为央广网记者提供的假定年龄未成年而受到有效控制，这暴露出该软件在自动生成内容审核机制上存在明显漏洞。