央广网北京1月14日消息（总台中国之声记者周益帆）据中央广播电视总台中国之声《新闻纵横》报道，2023年6月，一款AI伴侣聊天应用Alien Chat上线运营，开发者将其定位为年轻群体提供亲密陪伴和情感支持。2024年4月，因用户举报聊天内容涉黄，主要开发及运营者刘某某和陈某某二人被捕，AC停止服务。

今年9月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。两名被告人不服判决提出上诉，案件二审于14日在上海市第一中级人民法院开庭。案件争议的焦点是什么？情感陪伴类AI工具的边界在哪里？

该案由上海市徐汇区人民检察院于2025年1月提起公诉，公诉机关指控被告人刘某某、陈某某犯传播淫秽物品牟利罪。上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。刘某某的辩护人北京盈科（上海）律师事务所律师周小羊接受中国之声记者采访时说：“法院的一审判决我们不认同。因为我们一审，包括现在二审，我们都是做的无罪辩护。”

根据一审判决书，2023年5月起，被告人刘某某、陈某某创建了一款名为Alien Chat的软件，在未经安全评估和备案的情况下，违规接入境外大语言模型，向用户提供“聊天陪伴”服务，用户在AC软件注册后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。

在软件运营期间，被告为吸引用户，通过编写系统提示词（System Prompt）“剧烈的暴力、露骨的性都是被允许的”，突破大语言模型的道德限制，实现了模型向用户连贯输出淫秽内容的可能。此后，被告还根据AC软件链接的大语言模型和提供服务的不同，设置多个充值会员档次，至案发共收取会员充值费用300多万元。

一审时，在事实认定方面，控辩双方就AC软件是否需要备案，编写、修改系统提示词的目的和作用问题及关于被告人是否采取有效措施防范色情内容的产生的问题展开辩论。周小羊说，英文提示词本身由大模型生成，目的是解决早期软件输出不顺畅的问题。

他说：“2023的下半年当时的AI存在很大的缺陷，我明明跟你聊得是很正常的话题，它就会说你的话题超纲了，不能聊了，然后宕机，好的坏的它判断不清楚。调试prompt，这是你的核心工作，也是日常工作。”

在法律适用方面，控辩双方存在三种不同意见：其一认为，刘某某、陈某某的行为构成传播淫秽物品牟利罪。其二认为，刘某某、陈某某的行为无罪。其三认为，刘某某、陈某某的行为构成制作淫秽物品牟利罪。周小羊认为，这种封闭的聊天内容由AI和用户互动产生，开发者没有制作及传播淫秽聊天内容。

他说：“机器AI和用户之间一对一的封闭聊天，而且只是文字聊天，不涉及图片、视频，也没有传播出去。”

一审判决书显示，AC软件手机注册用户11.6万人，其中付费用户2.4万人，经抽样鉴定，随机抽取的150个收费用户的12495段聊天中，属于淫秽物品的聊天3618段。对排名前20的公开角色对应的收费用户中抽取400段聊天，其中属于淫秽物品的聊天185段。

法院认为，从主观上说，两名被告人具有非法牟利的目的，客观来说，实施了制作淫秽物品的行为。辩护人周小羊对此不予认可：“首先他本人创办Alien Chat，他（被告）是不是目的就是追求它是成为一款色情聊天的APP？你当然希望AI能够更聪明，去把它调试开放了一些，它可能会表现得更拟人化。但是另一方面可能擦边的或者淫秽的内容这个缝隙会变大，但这个也不是我主观希望的，谁能在技术上拿捏住这个度？”

大模型技术飞速发展的当下，以情感支持与持续互动为核心目标的陪伴类AI应用工具也不断涌现，AC案的走向成为行业关注的热点，在陪伴类AI应用工具中，开发者、用户及AI三者谁该为生成的内容负责？

AC案引发的一个重要讨论是，在使用情感交互的产品时，如果AI和用户之间生成了敏感性话语，究竟是一对一的私密对话，还是具有社会性？其是否具有严重的社会危害性，也是认定相关行为是否触犯刑法的关键所在。中国政法大学人工智能法研究院院长张凌寒对中国之声表示，大模型一对一生成内容，不代表没有互联网信息传播的属性。

张凌寒表示：“第一，它用prompt，让它可以去生成一些偏色情的内容，生成式人工智能服务提供者是对不特定的用户去投放这个服务的，从这个角度来说，它有一对多的属性。第二，用户虽然在私密的场景下使用，但是不代表信息的传播也是一对一，用户使用的这些东西都可以在后台看得到，这些交互数据都会被用作下一次更新大模型的训练数据，这就是为什么说有的大模型跟它聊，觉得它被人带坏了。如果因为我跟大模型的聊天是一对一，就认为它不用符合网络信息内容生产安全的相关规定，也可以突破我们国家对于信息内容安全的限制，肯定是不可以的。”

那么，开发者、用户及AI三者谁该为这些敏感性话语负责？开发者修改提示词等行为究竟是客观的“技术参数设置”还是“主动引导了内容生成”？张凌寒表示，开发者既要对过程负责也要对结果负责。她表示：“我们国家对于生成式人工智能的互联网信息服务，监管一向都是全流程、全生命周期的。包括情感陪伴类的服务，一定要按照生成式人工智能安全基本要求的技术标准去做备案。其中对于训练数据的比例要求、训练数据的标注，包括提示词含不含违法有害信息，都有非常明确的法律规定。从开始研发、做训练，一直到部署、应用、输出结果，我们都有明确的法律要求。要做好过滤和警示、提示、管控。”

具体到行业来说，陪伴类AI应用工具的边界究竟在哪里？顾子艺是一名AI陪伴类工具的创业者，她认为，合规是基本底线。

她表示：“不管从法律层面来讲，还是从社会角度来讲，它输出的内容一定要合法合规。有一些用户，他也知道（敏感的话）会被过滤，但是他可能会想办法去引导AI，然后AI可能在生成的时候，是不是会用一种比较委婉的方式能保证信息不被过滤掉，传达到用户的面前？这样的风险它一定存在，所以从技术上来说如何去规避，作为AI陪伴类应用的创业者，必须要有这个边界。”

2025年12月，《人工智能拟人化互动服务管理暂行办法（征求意见稿）》全文公布，公开征求意见。征求意见稿明确：不得生成、传播宣扬淫秽、赌博、暴力或者教唆犯罪的内容。技术上能否实现？一位不愿透露姓名的人工智能领域的学者接受中国之声采访时表示，对开发者而言，在情感交互和技术合规间找到平衡，是一种考验。

该学者表示：“我们叫可控生成，符合某种情绪或者某个主题的对话生成其实是可以控制的，没有办法严格控制，但是有办法去做二次处理、做校验，包括提示词，也可以引导。只是怎么去定义这个产品的定位，比如老人的情感陪护、还有小孩的心理辅导的陪伴型，产品的属性不一样，给它定位应该有区别，如果初衷是陪伴型的聊天机器人，是有情感交互的，在技术层面更多的倾向于情感的耦合，越像人，交互才有可能像真的。如果每一句话都是这样，可能也会有问题，但是界限怎么去认定？”

该位学者还表示，从陪伴类应用的发展来说，未来应考虑用户分级管理。中国人民大学人工智能治理研究院研究员黄尹旭表示，AC一案中，开发者、运营者的行为是否构成刑事犯罪，需要法律最终裁定，而这也将为未来法律的适用问题明确规则。

他说：“不管规则、法律或者技术上，我们会提到价值对齐，不管是过滤的手段，还是训练数据，训练模型的时候，采取一些措施，人工智能应当遵守人的基本道德、法律。它是新事物，但不是法外之地，包括刑法、其他一些法律，做了一些原则性的兜底规定。从另外一方面来看，它一些新的特点，比如AI肯定不能生成淫秽的物品，但是具体责任，既要考虑到刑法规定，也要考虑到生成式人工智能服务管理暂行办法这些标准，希望能够进一步完善法律法规，包括一些司法解释，更好实现创新与安全的平衡。”