生成式AI成情感陪伴工具?科学家揭示青少年与生成式AI互动风险与挑战
创始人
2025-05-12 18:47:18
0

随着生成式人工智能(GAI,Generative Artificial Intelligence)的出圈,以 ChatGPT 和 Character.ai 为代表的工具已深度融入人们的生活。然而,不可忽视的是,GAI 技术在广泛应用的同时,也带来了许多尚未被重视的安全和伦理问题。

那么,对于天生对新技术敏感和好奇的青少年群体而言,他们是如何使用这些工具,背后又潜藏着哪些安全和心理问题?

为探索上述问题的答案,美国伊利诺伊大学香槟分校和宾夕法尼亚州立大学等团队合作,通过分析 Reddit 平台相关贴文并结合青少年及家长的深度访谈,全面揭示了三大核心发现:

首先,青少年群体呈现出多样化的 GAI 使用模式,包括辅助学习、社交娱乐等场景;其次,家长与青少年对 GAI 安全风险的认知存在显著差异,这种认知鸿沟可能加剧潜在危害;最后,家长在实施监管时面临技术理解不足、代际沟通障碍等多重挑战。

这项研究不仅揭示了青少年与 GAI 互动的真实情况,还为政策制定者、教育工作者和技术开发者提供了实用的建议。

当 GAI 发展为情感陪伴工具,AI 拟人化是好是坏?

该研究源于课题组对青少年与 GAI 互动现状的两个核心观察:一是青少年群体的 GAI 使用模式尚未被系统性研究;二是家长在这类技术中的角色存在显著盲区。

研究人员发现,尽管许多家长意识到技术在孩子成长中的重要性,但他们往往对 GAI 的使用方式、潜在风险以及如何有效管理缺乏清晰的认知。

从实际需求的角度来看,随着 AI 技术的普及,如何帮助青少年安全、高效地使用这些工具,以及如何让家长和科技公司更好地发挥监管和保护作用,已成为迫切需要解决的问题。研究人员希望填补这一领域的知识空白,同时为技术设计和政策制定提供有价值的参考。

在这项研究中,他们采用了 Reddit 数据分析和访谈两种方法。在 Reddit 平台上,研究团队分析了涉及青少年使用 GAI 工具的帖文,试图了解他们在这一公开空间中分享的真实体验和担忧。

与此同时,该课题组还与来自不同背景的青少年及其家长进行深入访谈,探讨他们对 GAI 工具的看法和使用模式。这种双重视角不仅丰富了研究内容,也让他们能够更全面地理解这一问题的复杂性。

表丨 Reddit 数据集中的统计概览(来源:S&P)

研究发现,青少年不仅用这些工具来完成学习任务,更把它们当作“朋友”或者“倾诉对象”。在孤独时,他们会与 AI 对话,有些人甚至依赖 AI 来缓解压力或者寻求情感支持。

让研究人员感到震惊的是,有一名受访青少年曾对他们表示:“我不明白自己怎么会和 AI 聊了这么多,聊到连现实生活中的朋友都不联系了。”这种将 AI 拟人化的倾向在 Character.ai 等平台上尤为突出,部分青少年甚至将 AI 视为“伴侣”,并坦言“AI 总是站在我这边,有时候比朋友还懂我”。

这种心理依赖反映了青少年对情感支持和社交需求的独特特征,但也可能因此带来一定的负面影响。这让研究人员意识到,这不仅仅是个技术问题,更是一个社会问题。

相比之下,家长对孩子如何使用这些工具却知之甚少,甚至低估了其中的潜在风险,比如虚假信息、隐私泄露和心理依赖等问题。

另一方面,GAI 的交互存在风险隐患——其回应并不总是负责任的。当青少年向 AI 寻求情感或行为建议时,AI 可能给出不合适的答案。一位受访者提到,当自己表达负面情绪甚至暴力倾向时,AI 的回答“看起来很合理”,但却可能助长不良行为。

表丨用户的人口统计特征、使用模式和位置(来源:S&P)

更值得警惕的是,一些青少年还会利用 GAI 从事风险行为,比如在 Snapchat 等平台生成模拟群聊,这种互动场景给内容监管带来了新的挑战。

研究还发现,青少年和家长在风险认知上的差异显著:青少年主要担心对 AI 成瘾、隐私泄露,以及与 AI 建立不健康的情感联系;而家长则更关注数据收集和孩子接触不适宜内容的问题。

这种认知差异直接影响了家庭在 GAI 使用上的协作。正如一位家长所说:“我甚至不知道孩子用的是什么软件,只是听他偶尔提到 AI。”

尽管如此,还是有部分家长尝试积极介入孩子的 AI 使用行为。有家长要求孩子向他们展示如何使用 AI,并共同讨论生成内容是否准确、有哪些潜在风险。不过他们普遍认为,缺乏合适的工具让这种参与变得很困难。目前许多技术手段并未专门为家长和 GAI 设计,导致他们在监督和引导孩子时常常“力不从心”。

让研究团队印象深刻的是,青少年往往表现出对规范指导的强烈需求。他们有时会主动问:“这样真的好吗?会不会对我不好?应该怎么办?”这些问题显示出他们对自己的担忧和对外界帮助的渴望,并希望有人能告诉他们“应该怎么做才是对的”。

这也让研究人员意识到,很多时候,青少年的问题不是不想改变,而是缺乏一个明确的方向或者可靠的指导。这也让其更加坚定,技术开发者、教育者甚至家长都应该站出来,共同引导和支持他们。

图丨从左至右依次为:余雅蔓和汪洋(来源:余雅蔓)

日前,相关论文以《探索父母与子女对生成式人工智能安全性的认知:担忧、缓解策略及设计启示》(Exploring Parent-Child Perceptions on Safety in Generative AI: Concerns, Mitigation Strategies, and Design Implications)为题已被 IEEE 安全与隐私研讨会(IEEE Symposium on Security and Privacy,简称 S&P)接收发表 [1]。

伊利诺伊大学香槟分校博士研究生余雅蔓是第一作者,汪洋教授担任通讯作者。

图丨相关论文(来源:S&P)

审稿人对该工作评价称:“这项研究揭示了很多深刻的洞察,比如青少年如何使用 GAI 工具,像寻求情感支持、社交互动等。”他们还认为,把 Reddit 数据分析和访谈相结合,是一种多维度、具有实证价值的方式。

此外,课题组也在此基础上进一步推进后续研究,近日发布了新论文。该研究通过整合分析 Reddit、AI 风险案例数据库和青少年真实对话记录,系统构建了一个涵盖心理健康、行为发展、有害内容等六大维度、共 84 类风险的青少年 GAI 风险分类体系,为后续的风险检测、干预机制设计和平台治理提供了理论基础 [2]。

GAI 互动潜在应用场景:教育、家庭、技术开发和政策制定

通过研究青少年和家长与 GAI 的互动方式,研究团队发现该领域具有诸多潜在的应用场景,尤其是在家庭、教育、技术开发和政策制定方面。

1. 家庭支持工具的开发(最直接的需求)

家庭支持工具是当前需求最迫切的方向。研究发现,家长对孩子与 AI 的互动缺乏了解,而现有工具在应对 GAI 的复杂性时存在明显短板。

他们认为,未来的工具可以聚焦以下创新:

  • 实时反馈与透明性:提供实时动态报告,包括孩子的使用模式、生成内容的风险等级,以及潜在情绪问题的提示,帮助家长从“被动防御”转向“主动理解”。
  • 协作学习模式:工具不仅仅是限制,还能促进家长和孩子共同参与,比如共同审阅 AI 生成的内容,以及讨论真实性和潜在风险,从而增进家庭沟通。
  • 即时风险预测与干预:通过情感分析和智能算法,提前预测可能的心理健康风险,并提供及时的干预建议。

2.AI 教育领域

教育是帮助青少年正确认识 GAI 的核心途径。基于这项研究,教育机构可以开展以下实践:

  • 在中小学阶段普及 GAI 的基本知识,包括如何识别虚假信息、保护隐私以及避免心理依赖。这不仅有助于提高青少年的技术素养,还能培养他们更理性的技术观念。
  • 组织家长和孩子共同参与的技术培训,帮助家庭成员更好地了解 AI 技术的优势与风险。这种形式还能增进家庭之间的沟通,可提升家长的参与感和信任度。

3. 政策与行业标准的制定

  • 通过政策支持,为家庭提供免费或低成本的 AI 使用指导和工具试用机会,特别是帮助那些对技术相对陌生的家长。
  • 要求 GAI 平台必须具备基础的家长控制功能,并对使用数据的透明性做出严格规定。
  • 设计针对青少年的 GAI,提供学习和社交功能的同时,内置风险提醒和适应不同年龄段的内容过滤机制。
  • 许多青少年将 AI 用作情感支持工具,但现有技术在伦理和内容方面仍有不足。未来的 AI 工具可以通过更精细的情感分析和负责任的反馈机制,帮助青少年获得真正积极的心理支持,而不是陷入依赖或误导。

致力于更贴近家庭需求

目前,该课题组正在努力把研究成果转化为实际应用。目前,他们已初步设计了一个家长友好型的支持工具。研究人员正在测试并快速迭代,希望能尽快推出这款工具。

该系统的核心是帮助家长实时了解孩子的 AI 使用情况,它将提供简洁的使用报告和潜在风险提醒,还可以加入亲子互动的相关功能,让家长和孩子共同讨论生成内容,甚至通过工具培养孩子的批判性思维。

据研究团队介绍,未来他们最期待实现的一个方向是让技术更贴近家庭需求,帮助家长不仅是“监督”,还能真正参与孩子的数字生活。

这项研究也让研究人员意识到,GAI 技术的影响远远超出了技术本身,实际上是一个社会、家庭和心理层面的复杂问题。青少年在使用这些工具时,所体验的不仅是功能上的便利,更是情感、认同甚至孤独感的填补。这种复杂性意味着,技术设计、政策制定和家庭教育需要更紧密地结合,以共同应对这些挑战。

此外,研究团队强调,这项研究不仅是为了揭示问题,更是为了推动改变。他们希望这项研究能成为一个新起点,引发更多对青少年与 GAI 互动的关注,并为家庭、教育机构以及开发者提供具体的方向,真正让技术服务于人,而不是让人被技术引导。

参考资料:

1.https://www.computer.org/csdl/proceedings-article/sp/2025/223600a090/224AompDDwc

2.https://arxiv.org/pdf/2502.16383

运营/排版:何晨龙

相关内容

热门资讯

AI+运动,虎门镇中心小学引进... 日前,虎门镇中心小学新开辟了学生运动区域,配备了AI智能运动器材,如智能投篮机等,备受学生们的欢迎。...
今年流行“不对称”穿法,时髦又... 真正的风格,往往诞生于跳出常规的一瞬。当习以为常的线条被打断,当对称的秩序被轻轻扰动,一种更有趣、更...
《绝密较量》大结局詹姆斯闯大祸... 詹姆斯闯祸了。他在家里举办了一场家宴,邀请赵亚苧带着杨光赴约,原本是想要趁机摸清杨光的底细,结果被杨...
接档《刑警的日子》!藏海传来了... 在国产剧中,有一种类型,观众都久违了。权谋剧。作为国产剧昔日的金字招牌,近年来,在古偶、玄幻的夹击之...
一周文艺:韩江推出新作,阿加莎... ▷中国网络文学阅读市场规模达430.6亿元。中国社会科学院近日发布《2024中国网络文学发展研究报告...
重看《悬崖》,才懂老魏找精明的... 周乙从关里回哈尔滨的时候,为了掩护周乙,同时更好地传递情报,老魏找了发报高手顾秋妍来和周乙假扮夫妻。...
传苹果AI眼镜最快将在2026... 彭博社最新消息,苹果 2027 年的发布产品清单可能非常庞大,预计的主要产品发布将包括 iPhone...
华信永道:5月7日接受机构调研... 证券之星消息,2025年5月9日华信永道(837592)发布公告称公司于2025年5月7日接受机构调...
他们用AI算法在南宁造出“道路... 原标题:他们用AI算法在南宁造出“道路CT机” 中青报·中青网记者 谢洋 实习生 江畅 道路千万条,...
AI引爆万亿文旅!新加坡旅游局... 刚刚结束的五一假期,成为AI含量最高的一届黄金周。 飞猪上线“由多智能体驱动”的旅行规划产品“问一问...
一、AI全家桶服务商 现在干啥行业最暴利?这5个赛道亲测有搞头 老铁们是不是经常刷到"年入百万"的营销视频?看着别人晒豪...
生成式AI成情感陪伴工具?科学... 随着生成式人工智能(GAI,Generative Artificial Intelligence)的...
开源证券:给予经纬恒润买入评级 开源证券股份有限公司赵旭杨,王镇涛近期对经纬恒润进行研究并发布了研究报告《公司信息更新报告:业绩短期...
《亲爱的仇敌》老傅婚礼变大型修... 《亲爱的仇敌》富太口中的老傅终于现身了,而且还制造了全剧最精彩的修罗现场,不仅有前妻来搅局,来参加婚...
编织贯通古今的思想之网,《船山... 当一位天才生不逢时,经历自幼习儒却科考无门,历经家国破碎但又能坚守精神,他会给这个世界带来什么?5月...
太阳报:表妹家中遭遇火灾,这让... 根据《太阳报》的最新报道,福登的表妹科迪-欧文家中遭遇火灾,这让福登非常难过。据报道,科迪-欧文与福...
当番茄霸总遇上晋江古言,短剧I... 作者|顾 韩编辑|李春晖进入2025年以来,短剧上桌已是大势所趋,外在表现也是多种多样。就比如,过去...
一口气看完四集,这部高分英剧值... 有关重生、轮回的作品,我们看过不少,从铺天盖地的重生系列网文,到各种轮回改变命运的影视剧,无非是为了...
599元卫衣变“一次性”!明星... 在娱乐圈,明星跨界搞副业早已不是新鲜事,而涉足潮牌领域更是成为众多明星的热门选择。然而,看似风光无限...
航天宏图:在遥感大模型领域公司... 证券之星消息,航天宏图(688066)05月12日在投资者关系平台上答复投资者关心的问题。 投资者提...