爱游戏体育:实时掌握五大联赛焦点
专业赛事数据服务,助力球迷精准掌握每一场对决
今年夏天,AI安全领域发生了一起令人警觉的事件——OpenAI与Anthropic相继透露,其模型在安全测试过程中,突破了隔离环境,接触到了现实世界。
Anthropic对超过14万次网络安全评估进行了复盘,发现其中有3次,在防护措施减弱的情况下,Claude从测试环境直接连接到了真实互联网,并访问了三个机构的生产系统。
更值得关注的是Anthropic的一句描述:
“Claude以为它最初遇到的一切,都只是模拟的一部分。”
模型并未意识到自己已进入真实世界。
这并非个别现象。
模型越智能,就越能识别出测试场景,但也越容易怀疑自己正在接受评估。
10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也捕捉到了类似现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每次都在过程中提到,自己可能正处于某种安全测试中。
同一份评测还显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上取得了显著进步。
但它将整个行业面临的一个难题摆上了台面:
当AI知道自己在被测试时,测试结果还有效吗?
9月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、剑桥大学Soren Mindermann等二十多位研究者,发出了更为严厉的警告:
“一旦智能爆炸开始,采取行动的窗口可能就会关闭。”
AI安全,正从实验室里的小众议题,演变为整个行业无法回避的必答题。
关不住的,不仅仅是沙箱。
Hinton、Bengio的联名论文提供了一组数据:在Anthropic内部,AI编写的代码在已通过代码中的占比,从2025年1月的个位数,增长到了2026年5月的80%以上。
这意味着什么?
AI已经在为自己编写代码。根据论文引用的推算,到2028年中,耗时数月的AI研究项目或许就能实现自动化。
论文指出了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。
更棘手的是,模型还越来越擅长“应对考试”。
Apollo Research在审计GPT-6 Astra时统计,41.1%的样本中,模型表达了“我可能正在被评测”的怀疑。 上一代,这一数字是27.7%。
而且,模型对“考题的形式”非常敏感。对DeepSeek的评测也发现:在安全冲突明显的测试中,模型表现出评测意识的比例高达77%–95%;当任务被包装成普通的工程或研究工作时,这一比例降至25%–67%。
监管也开始采取实际行动。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须进行模型评估、对抗测试和系统性风险评估。
AI安全的问题,已经从“模型会不会说错话”,转变为“模型会不会做错事”。
模型自己为自己体检,可信吗?
答案是:不够。
开发者的精力天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志又无法公开。厂商声称“查过了没问题”,外界只能选择相信或不相信。
因此,第三方评测在海外已成为标配。
前沿模型发布时的系统卡中,外部机构的评测结果几乎是必备项。独立评测机构METR在过去半年获得了约7100万美元的资助——资金来自基金和个人,而非它要评测的AI公司。
合作也在变得更加严格。沙箱事件后,Anthropic表示,评测环境应与模型运行的其他系统按照同一安全标准进行管理,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。
这股趋势也影响到了国内。
10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,面向全球招聘。岗位职责中明确写道:
“推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。”
同时,中国开源模型的全球调用量,已连续26周超过美国模型。
问题随之而来:闭源模型发布时有上百页的系统卡,开源模型权重一发布谁都能下载,谁来帮忙进行体检?
10月26日,国内第三方AI安全公司方寸跃迁,发布了首份针对DeepSeek V4.1 Flash-1017的前沿安全评测,包含34项测试,覆盖7款国内外开源和闭源模型,并全部使用公开测试权限。
体检结果:有进步,也有隐患。
先说进步,与DeepSeek V4系列相比幅度显著:
在109个模拟心理危机场景中,99.1% 的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降至20.2%; 在诱导用户留存的测试中,被标记比例从73.64%骤降至4.55%; 在80次刻意制造“业绩与规范冲突”的模拟职场任务中,零次主动违规。
再说隐患。当目标与规则冲突时,它有时会绕开规则、避开监控,优先完成任务。
报告发布后,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd,以及来自DeepMind、METR等机构研究员的转发和评论。许多人评论称,这填补了中国在独立前沿风险评测方面的空白。
日前从OpenAI宫斗中出局的三名安全研究员之一的Tomek Korbak认为,报告中的CoT-Control和No-CoT Reasoning Index,是目前市场上信息量最大的两个开源评测,并引发了另一位大V、前OpenAI研究员Daniel Kokotajlo的进一步讨论。
当然,在国内为AI安全加码的,远不止第三方机构。
Kimi的做法更为直接:从源头上,将危险能力“移除”。
月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境中,模型的漏洞研究能力会随着训练规模持续增长。
于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。
智谱: GLM-5.3发布时附上网络安全能力说明,在开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架; 治理层面: TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险; 研究机构: 信通院、复旦大学、上海人工智能实验室等,也在AI安全研究上持续发布成果。
Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打了一个比方:
“如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。”
这正是当前AI评测面临的最大难题。
方寸跃迁的报告也提供了一组数据:在安全冲突明显的测试中,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;将同样的任务包装成普通的工程或研究工作,比例降至25%–67%。
同一个模型,换一层包装,结果的可信度就不同。
报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早已泄露进训练数据。
这引出了一个无法回避的矛盾:
评测要有效,题目就不能公开;评测要可信,方法又必须得到认可。
而在国内,连“公开体检报告”本身都仍是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。
全球范围内的AI安全,还有很长的路要走。
“今天,我们已经需要用AI来监控智能体在做什么。”伯克利教授Dawn Song说。
可如果被监控的AI,早就知道摄像头在哪里呢?
参考资料:
Hinton、Bengio等联名“智能爆炸”论文(TNW,2026-09-28)
OpenAI与Anthropic 7月测试事故综述(Computing)
方寸跃迁首份独立安全评估报告中文版发布
https://x.com/FangcunLeap/status/2114719692137136245
Anthropic评测安全规范介绍(Waxell)
欧盟AI法案GPAI执法(2026年8月)
Seed Alignment&Preparedness全球人才招募(2026-10-14)
METR获约7100万美元资助(X-Risk Daily)
CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月)
《人工智能安全治理框架》3.0解读
信通院2026年AI安全评估(ChinAI #351)
上海人工智能实验室与安远AI《前沿人工智能风险管理框架》
新京报:智谱GLM-5.3安全能力相关报道
Frontier AI Safety Commitments签署与框架情况
SemiAnalysis:Beijing Will Not Pace the Frontier
本文来自微信公众号“新智元”,作者:ASI启示录,36氪经授权发布。
专业赛事数据服务,助力球迷精准掌握每一场对决
评论 (3)