一项可能改变技术发展轨迹的能力正在AI实验室内部悄然成形。当AI系统开始自主研发更先进的AI时，人类对技术演进的理解和控制能力将面临前所未有的挑战。

据追风交易台，安全与新兴技术中心(CSET)2026年1月发布的研讨会报告，这一进程已经开始，并可能在未来数年内加速，带来"重大战略意外"。

OpenAI已公开宣布，计划在2028年3月前打造"真正的自动化AI研究员"。报告显示，前沿AI公司目前已在内部使用自家最先进模型加速研发工作，且这些模型往往先用于内部研发，然后才对外发布。

一位参会的机器学习研究员透露，在精心选择的任务上，AI模型能在30分钟内完成原本需要他数小时才能完成的工作。随着模型能力提升，能够自动化的研发任务范围正在持续扩大。

这项技术的风险核心在于两点：一是人类对AI研发过程的监督能力将下降，二是AI能力提升速度可能超出人类反应能力。

报告警告，在最极端情境下，AI驱动的技术改进可能形成自我强化循环，导致"能力爆炸"——生产力提升从人类水平的10倍跃升至100倍、1000倍。AI系统将完全主导研发流程，人类参与度趋近于零，由此产生的系统能力可能远超人类。

部分AI领域领军人物已警告，这可能导致"人类对自主AI系统不可逆转的控制权丧失"，甚至"大规模生命损失和人类边缘化或灭绝"。

尽管专家对这些极端情景的可能性存在广泛分歧，但研讨会达成的关键共识是：这类情景确实可能发生，且值得现在就采取预防行动。

由于不同观点基于不同的AI研发运作假设，新的实证数据可能不足以解决观点冲突。这意味着，可能很难提前发现或排除极端的"智能爆炸"情景。

前沿公司已将AI用于辅助AI研发

AI研发自动化已不是理论构想。研讨会发现，前沿AI公司已在使用自家最佳模型协助构建更好的模型，且AI在研发中的贡献随时间增长。每当研究人员获得新一代更先进模型时，这些模型就能承担更多此前需要人类完成的任务。

工程类任务是目前AI提供最大价值的领域，尤其在编程方面。尽管使用AI辅助编程的确切生产力提升尚不明确，但前沿AI公司的技术人员实际上花费大量时间使用AI工具协助工作。

Anthropic在一份公开材料中描述，其基础设施团队的新数据科学家会向Claude Code提供整个代码库以快速上手，安全工程团队使用Claude Code分析堆栈跟踪和文档，原本需要10至15分钟的问题现在解决速度快了3倍。

除编程助手外，AI系统还以多种方式辅助AI研发。例如，"LLM作为评判者"范式已融入AI研究的诸多方面，这种技术使用大语言模型评估AI生成的输出，执行此前需要人类判断的任务，现已大规模用于训练数据过滤、安全训练和问题解决方案评分。

一位参会的前沿AI公司员工描述，他正使用内部AI工具生成约1000个新的强化学习环境来训练未来模型——远超他独自能创建的数量。

爆发还是停滞：截然不同的预期

AI研发自动化的未来轨迹是报告的核心问题。自动化程度会达到多高？进展速度有多快？将如何影响社会？对这些问题持强烈观点的研讨会参与者倾向于分为两个群体：预期快速进展并达到高度自动化和极先进能力，或预期较慢进展且会在早期阶段达到平台期。

报告描述了几种可能的发展动态：

1、生产力乘数模型（爆发版）假设AI系统自动化AI研发的比例不断增加，生产力提升从人工研发的120%增长到10倍、100倍、1000倍。随着这些改进自我叠加，进展进一步加速，人类参与度和理解度降至零，AI系统能力远超人类。

2、生产力乘数模型（衰减版）则认为，尽管AI研发日益自动化，但给定投入水平（如算力）产生的科学产出不足以驱动能力进一步复合改进。AI研发虽日益自动化，但能力在相对早期就达到平台期。

3、阿姆达尔定律模型认为，AI仅能自动化某些特定领域的AI研发活动（如编写代码和运行实验自动化了，但提出全新研究项目或运营数据中心未能自动化）。即使自动化加速了研发流程的某些部分，整体进展仍受AI无法自动化的研发活动瓶颈限制，因此无法实现完全自动化。

4、扩展饼图模型则认为，随着AI自动化某些AI研发活动，人类研究人员会反复发现，持续进展需要AI系统尚无法自动化的新型贡献。AI研发可能进展非常迅速，但人类仍是研发过程的核心。

对这些动态中哪一种将占主导的不同预期，与对AI进展"曲线形状"的截然不同答案相关：AI研发进展速度有多快？进展会因复合改进而加速还是因收益递减而减速？AI能力达到顶尖人类AI研究员水平的可能性有多大？如果AI能力确实达到专家人类水平，在该点之后不同任务的性能上限在哪里？是否存在会阻碍AI研发进展的瓶颈？

报告的关键发现是：很难提前使用实证证据在两种冲突的AI研发自动化观点间做出裁决——一种预期快速进展并导致极先进AI系统（即"超级智能"），另一种预期较慢进展并在某些关键领域仍未达到人类性能就达到平台期。

这两种观点都依赖于一些假设，让它们能够解释为何即使观察到相反证据，情况稍后也会恢复到预期。例如，一方可能指出现有瓶颈，另一方则可能认为这只是暂时问题，一旦解决就会快速改进。

亟需建立监测指标体系

尽管解读新证据存在潜在挑战，参与者一致认为，努力收集和理解AI研发自动化轨迹的指标将非常有价值。现有实证证据（包括现有基准评估）不足以衡量、理解和预测自动化AI研发的轨迹。

报告建议关注三类指标。

第一类是衡量广泛AI能力的指标，包括执行需要人类长时间完成的任务、执行"混乱任务"（规范不精确、依赖大量上下文、需要与人或其他动态系统交互的任务）、以及即时吸收新事实、技能和想法的能力。除AI模型评估非营利组织METR正在追踪的时间跨度测量外，几乎没有现有指标能够捕捉这些能力的进展。

第二类是针对AI研发的专门基准，按复杂度递增排列为"阶梯"：软件和硬件工程（编程、调试、性能优化等）、进行实验（实施、数据收集和分析）、创意构思（提出实验和识别要点）、战略与领导力（确定方向、优先级排序和协调）。

只有自动化了上层任务后，AI研发才可能完全自动化，但在完全自动化前不久，我们可能才会看到上层任务进展的大量数据。目前尚不存在最高两层的基准。

第三类是关于前沿AI公司内部AI研发自动化进展的迹象，包括研发支出分配、研发就业模式、委托给AI系统的任务规模和复杂度、内部部署与公开发布的前沿AI模型之间的差距、AI研发进展的测量以及AI研究人员的定性印象。

透明度成为政策核心

鉴于AI研发自动化轨迹的高度不确定性，改善获取相关实证证据是有价值的近期政策目标。目前，任何对AI研发自动化实证证据感兴趣的人都严重依赖前沿AI公司的自愿信息发布。虽然公司确实选择发布一些相关数据，但往往零散不全。

原因包括：公司往往缺乏动力投入大量资源收集信息；即使公司确实收集信息，这些信息可能敏感（商业或其他方面）；公司可能有选择性分享信息的动机，例如支持某些叙事以吸引投资。

少数与前沿AI发展透明度相关的法律法规最近获得通过（最显著的是欧盟的通用AI行为准则和加州的前沿人工智能透明度法案SB 53）。但迄今为止，这些措施几乎未能在AI研发自动化指标方面创造透明度。

报告提出的政策选项包括：披露关键指标（包括自愿或强制披露，信息向政府或公众披露）、有针对性的举报人保护、以及其他政策影响。

在风险管理方面，报告指出几家AI公司已在其安全框架中将自动化AI研发能力作为触发增强安全措施的因素，但这些框架尚处于初期。政策制定者在制定广泛监管框架时应考虑是否以及如何覆盖内部部署，而不仅是外部部署。

高水平的AI研发自动化还将提高算力优势对公司和国家的重要性。如果AI研发高度自动化，获得算力将可能是决定特定组织能在多大程度上加速其AI研究的重要因素。从为这种可能性做准备的角度看，算力控制可能允许美国及盟友减缓竞争对手大规模自动化AI研发的能力。

前OpenAI政策总监，Anthropic 联合创始人Jack Clark指出，如果AI研发能够使AI系统的演进速度比人类构建的系统快100倍，"那么你最终会进入一个有时间旅行者的世界，他们正在加速远离其他所有人"。这可能导致权力迅速转移到移动更快的系统及控制它的组织。只要无法排除这种加速的可能性，AI研发自动化可能就是地球上最具存在性重要性的技术发展。