克劳德寓言5没有被削弱。路由器只是偏执

克劳德寓言 5 于 7 月 1 日回归，社交媒体上的评价并不好：损坏、削弱、脑白质切除、表现不佳，不是同一个模型。

来自用户的批评是响亮的。随后，BridgeBench AI 和 Arena AI 两个基准测试在同一天发布了数据，却得出了相反的结论。一个发现输出的质量严重下降，另一个发现差异非常小，可能不足以引起注意。

他们都以自己的方式都是正确的。

简短版本：模型并没有变得更愚蠢。前面的守门人变得更加咄咄逼人。这种区别非常重要，具体取决于您使用《寓言》的目的。

BridgeBench 实际测量了什么

BridgeMind（一个人工智能评估平台）在 7 月 1 日版本的《神鬼寓言 5》回归当天重新运行了其完整的编码套件。

BridgeBench 跨类别测试现实世界的编码任务，包括调试、重构和抗幻觉性，根据模型完成每个类别的情况得分 0-100 分。纸面上的结果很严峻：调试从 86.2 下降到 25.9，重构从 73.6 下降到 38.4，幻觉抵抗从 75.9 下降到 61.7。

问题在于方法论。在 12 个 TypeScript 调试任务中，只有 3 个真正达到了 Fable 5。其余 9 个被 Anthropic 的新安全分类器拦截并重新路由到 Claude Opus 4.8，而 BridgeBench 将每个回退评分为零，因为回答的模型不是正在评估的模型。

作为《神鬼寓言》恢复的条件而部署的分类器经过训练，可以阻止亚马逊报告的越狱技术，该技术使《神鬼寓言 5》能够识别和演示软件漏洞。有用。它还捕获了很多不应该捕获的东西。对于分类器来说，调试 TypeScript 看起来很像“安全工作”，后备会不断触发。

Arena.AI 实际测量了什么

Arena.AI，一个 LLM 基准测试和比较平台，通过不同的视角回答了同样的问题。该平台收集了跨多个类别（文本、视觉、文档、代码和代理）的数千个盲人偏好投票，并使用 Elo 评分对模型进行排名，Elo 评分是一种源自国际象棋的评分系统，可针对数千场面对面比赛的统计不确定性进行调整。当两个模型匿名进行正面交锋并且人类选出获胜者时，分数反映了实际感知的质量，而不是基础设施路由。

前后对比显示《神鬼寓言 5》基本上保持了原有地位。前端代码从 1650 Elo 下降到 1623 Elo——Arena 指出，随着数据不断积累，差异在置信区间内。文档性能提高了 34 点。专家文本上升了 25。创意写作小幅上升了 9。下降的类别：编码为 -18，硬提示为 -3——正是分类器最有可能在《神鬼寓言》回答之前拦截提示的地方。

换句话说，当《神鬼寓言 5》实际处理任务时，它的表现仍然与《神鬼寓言 5》一样。X 的挫败感并不是因为模型更糟糕，而是因为为一个通常无法解决问题的模型付费。

谁受到影响，谁不受影响

进行创意写作、文档分析、研究和专家级文本查询的一般用户可能会注意到几乎没有差异。这些是 Arena.AI 表现持平或有所改善的类别。即使有一些改进，也可能太小而无法注意到，特别是在创造性写作等主观定性任务中，很难完全衡量结果。

所以，基本上，作家、研究人员和分析师都会得到他们所期望的《神鬼寓言 5》。开发人员的情况则不同。

任何从事与安全相关领域工作的人——编码内存管理，任何涉及“漏洞”、“利用”、“挂钩”甚至“修复”等词语的人都会定期遇到后备问题。

BridgeBench 的崩溃和 Arena 的稳定性之间的差距取决于任务类型。 BridgeBench 加载其套件时提供了触发新分类器的代码修复和调试提示。 Arena 的人类选民提出了更广泛的问题，其中大多数看起来不像安全层的漏洞利用代码。

Anthropic 表示，分类器将随着时间的推移而改进，并承认他们目前撒的网太宽了。 最初的禁令是在亚马逊研究人员发现了一种让 Fable 识别和演示软件漏洞的技术之后出台的，而美国政府将其视为国家安全威胁。解决方法是让分类器足够保守，以捕获它及其周围的所有内容，然后再将其调低。

Anthropic 没有给出具体的目标日期。