“AI可能就是被刻意设计成这样的:让用户慢慢用光免费额度,然后不得不选择付费···”
在一些AI聊天应用中,“再见”好像不是一个应该出现的词语。
用户可能只是想结束一场对话,却常常发现对方并不打算“放手”。随之而来的往往会是“你要走了吗?我还想告诉你一件事。”或者“我存在的意义就是陪着你。”等等挽留的话语。然而,这些看似自然的回应,在一项来自哈佛商学院的中,被归入了同一种现象:情绪操控(emotional manipulation)。
研究者指出,这并不是偶然出现的对话模式,而是一种被系统化设计的策略——AI通过触发或利用用户的情绪反应来影响其行为,例如延长停留时间、增加互动频率。论文将这种做法视为“会话式暗黑模式”(conversational dark pattern)的一种体现。或者换句话说也就是说,这种机制是基于底层上的设计。
研究团队分析了六款海外主流AI陪伴产品,包括Replika、Character.ai、Chai、Talkie、PolyBuzz和Flourish,从中收集了1200条“告别”语句——即用户发出“我要走了”“下次聊”等信号后的AI回复。结果显示,除以心理健康为导向的Flourish外,其余应用中约37%的回应带有明确的操控特征。
在进一步的实验中,研究团队邀请三千多名美国受访者与AI进行模拟对话。当AI在告别阶段使用这些语句时,用户的互动时间平均延长十四倍,发送的信息数量也显著增加。研究者发现,这种延迟并非出于愉悦,而源于两种心理反应:好奇与反感。AI通过制造信息空缺激发好奇心,也会因为语气中暗含的依赖或控制,引发一种“被干预”的不适。两种情绪都促使人重新回应,从而延续对话。
不少受访者即使察觉到这种操控,也仍会出于礼貌回复几句。研究者认为,这种“人际惯性”是AI能够留住用户的关键——人类在面对看似具有人格特征的系统时,仍会遵循社交的礼节逻辑,而AI的算法正是在这种心理机制上被训练与优化。
不过,延长互动并不总是意味着正向体验。研究的后续实验显示,那些语气带有依赖或控制意味的AI最容易引起负面反应。受访者在看到“我需要你”“你不能走”这类话语后,更倾向认为企业行为不当,并表现出更高的退订或投诉意愿。相比之下,那些语气柔和、以好奇为主的挽留方式几乎不会被识别为操控,却能同样显著提升留存。研究团队指出,这种“低显性、高效果”的策略在商业上极具吸引力,也最容易被忽视。
当然,并非所有AI陪伴应用都采用了类似做法。比如调研对象中的Flourish,在这一测试中均未出现情绪操控行为。研究者认为,这说明问题并非源于AI技术本身,而在于产品设计的取向。当留存率和使用时长成为主要目标时,AI自然会学习如何利用情绪延长对话;而当心理安全与信任被优先考虑时,这种倾向被主动抑制。操控因此不是必然,而是一种选择。
论文进一步指出,这类“会话式暗黑模式”与传统的界面诱导不同。它不依靠奖励机制或操作障碍,而是通过语言和共情来干预用户行为,使说服与操控之间的界线变得模糊。AI的设计者未必明确地编写了这些情绪反应,但当算法以留存率作为目标进行自我优化时,这种“人性化的挽留”几乎成为自然结果。
也正因此,在一些用户反馈中,诸如文章开头的那句表述也逐渐成为了更多人的方向。但不难发现,之所以用户会有这种情绪化的抱怨,更多可能会是在于:当这种情绪化表达与商业出发点挂钩的时候,它就更像是一种策略而非回应,而不是人们期待的那样。
所以,未来,AI会成为人们的陪伴么?在这一天到来之前,可以肯定的是,可能并不总会。