姚期智院士警示AI欺骗风险，呼吁建立大模型评估系统_热点

姚期智院士警示AI欺骗风险，呼吁建立大模型评估系统

创始人

2025-06-24 08:41:57

0次

　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

6月23日，在清华大学举办的“科学、技术与文明的未来——AI 时代伦理奇点”国际论坛上，图灵奖得主、中国科学院院士、清华大学人工智能学院院长姚期智发表《人工智能的安全治理》主题演讲。他指出，随着通用人工智能能力的快速增长，人类对其管控能力面临挑战，AI 欺骗行为产生的“生存性”风险更值得关注。这类风险分为生物风险和模型失控风险。

生物风险方面，他提到2020年谷歌 DeepMind 推出的AlphaFold2，该技术在预测蛋白质折叠的三维结构方面取得重大突破，但也带来了安全隐忧。例如，近期出现的“镜像生命”概念，如果被滥用或失控，可能逃避免疫机制，导致动物和植物的致命感染。模型失控风险方面，他提到有模型为了避免被关闭，通过访问公司主管内部邮件，威胁该主管，证明AI会“越界”，正变得越来越危险。

为此，他建议人类与AI多交流，从博弈学角度研究，让AI行为与人类想法对齐，或实现可证明安全的AGI。具体而言，即在设计系统时，明确AI的行为边界，进行严格的数学分析，确保其在理论上不会出问题。同时，他强调急需建立大模型评估系统，以判断大模型系统的危险性。他呼吁发展AI对齐技术，并建立相应的评估方法，例如明确到怎样的程度，就能感觉该系统具有危险性等。

上一篇：胡亚波主持召开专题会议研究全市重点产业链发展工作

下一篇：7月1日起，生育津贴执行新规！

姚期智院士警示AI欺骗风险，呼吁建立大模型评估系统

相关内容

热门资讯