Sonnet 5.5 / Opus 5.5 综合排名对局核查
数据状态:2026-10-20,导入 GPT-6 Sol / Luna 19 张比较图后。计算使用 assets/js/llm-ranking-core.js 和既有 collections.overall,未修改排序算法。
现行规则:至少 5 个模型有分数的 benchmark 才有效;模型至少覆盖 6 个有效项目才进入综合排名。两款模型只要有 1 个共同有效项目,就进行一场对局;逐项比较,胜项较多的一方获胜,胜项数量相同则打平。没有共同项目就跳过,不计入分母。每场胜 1 分、平 0.5 分、负 0 分,按(胜场 + 平场 / 2)/ 实际对手数排序。每项分数沿用既有最高分和 preferred 来源规则。
当前汇总
| 模型 | 排名 | 胜 | 平 | 负 | 对手数 | 得分率 |
|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 1 | 108 | 0 | 2 | 110 | 98.181818% |
| Claude Opus 5.5 | 2 | 110 | 3 | 1 | 114 | 97.807018% |
Sonnet:108 / 110 = 98.181818%。Opus:(110 + 3 × 0.5) / 114 = 97.807018%。
所有未获胜对局
| 模型 | 对手 | 共同项目数 | 胜项 / 负项 / 平项 | 对局结果 |
|---|---|---|---|---|
| Claude Sonnet 5.5 | Claude Opus 5.5 | 14 | 4 / 10 / 0 | 负 |
| Claude Sonnet 5.5 | Claude Fable 5.1 | 14 | 6 / 8 / 0 | 负 |
| Claude Opus 5.5 | Claude Mythos 5 | 2 | 0 / 2 / 0 | 负 |
| Claude Opus 5.5 | Claude Mythos Preview | 2 | 1 / 1 / 0 | 平 |
| Claude Opus 5.5 | Atria Dawn | 2 | 1 / 1 / 0 | 平 |
| Claude Opus 5.5 | Atria Dawn Preview | 2 | 1 / 1 / 0 | 平 |
Opus 额外参加、Sonnet 完全跳过的四场
以下四个对手与 Sonnet 均没有共同有效项目,因此 Sonnet 不计胜平负,也不计分母。
| 对手 | 项目 | Opus | 对手 |
|---|---|---|---|
| Claude Mythos 5 | HealthBench Professional (healthbench_pro) |
65.6 | 66 |
| Claude Mythos 5 | Graphwalks Bfs (1M) (graphwalks_bfs_1m) |
66.8 | 79.4 |
| Claude Mythos Preview | HealthBench Professional (healthbench_pro) |
65.6 | 64.7 |
| Claude Mythos Preview | Graphwalks Bfs (1M) (graphwalks_bfs_1m) |
66.8 | 74.3 |
| Atria Dawn | AutomationBench (automation_bench) |
42.5 | 54.7 |
| Atria Dawn | JobBench (jobbench) |
75.4 | 57.5 |
| Atria Dawn Preview | AutomationBench (automation_bench) |
42.5 | 53.8 |
| Atria Dawn Preview | JobBench (jobbench) |
75.4 | 50.3 |
这四场给 Opus 带来 1 负 3 平,只获得 1.5 / 4 的积分;它们把 Opus 的总得分率拉低。尤其是上一批新增的两款 Atria,Opus 在 AutomationBench 输、JobBench 赢,各打平一场;Sonnet 均跳过。
两者直接交手
14 个共同有效项目中,Opus 赢 10 项、Sonnet 赢 4 项,所以该场由 Opus 获胜。
| 项目 | Opus | Sonnet | 胜方 |
|---|---|---|---|
SciCode (scicode) |
67 | 61 | Opus |
Terminal-Bench 4.0 (terminal_bench_4_0) |
66.4 | 70.6 | Sonnet |
Terminal-Bench 4.0 (AA) (terminal_bench_4_0_aa) |
60 | 64 | Sonnet |
FrontierCode 1.1 Main (score) (frontiercode_main) |
54.4 | 46.2 | Opus |
AA-Briefcase (Elo-score) (aa_briefcase) |
1822 | 1811 | Opus |
AA-LCR (aa_lcr) |
85 | 83 | Opus |
HLE w/ tools (hle_tools) |
67.7 | 64.5 | Opus |
CritPT (critpt) |
32 | 31 | Opus |
HLE (hle) |
61 | 55 | Opus |
AA-Omniscience Accuracy (aa_omniscience_accuracy) |
66 | 54 | Opus |
GDP.pdf (gdp_pdf) |
30.6 | 26 | Opus |
AutomationBench-AA (automation_bench_aa) |
70 | 72 | Sonnet |
GDPval-AA v2 (Elo) (gdpval_aa_v2) |
1846 | 1844 | Opus |
AA-Briefcase v1.1 (Elo-500)/2000 (aa_briefcase_pct) |
65 | 66 | Sonnet |
Sonnet 的四个优势项为 Terminal-Bench 4.0、Terminal-Bench 4.0 (AA)、AutomationBench-AA、AA-Briefcase v1.1 百分比;其余十项由 Opus 获胜。
控制对手范围后的比较
排除双方彼此,只保留双方都实际交过手的 109 个其他对手:Opus 为 109 胜、0 平、0 负,得分率 100%;Sonnet 为 108 胜、0 平、1 负(输给 Fable 5.1),得分率 99.082569%。再考虑双方直接交手也是 Opus 胜,现有总榜的 Sonnet 更高不能解释为 Sonnet 在可比对局上占优。
排名反转来自缺失数据导致的对手集合不同,以及仅有两个共同项目就可决定整场胜负的稀疏对局。可考虑设置共同项目数量门槛、提高对局覆盖要求,或补全这几款模型在相同项目上的评测。该次数据导入保留现行算法与 collections,未以预期名次调整分数或排序。
此次 GPT 数据导入的影响
Opus 对新加入的 GPT-6 Sol:10 项胜、0 项负,获胜;Sonnet 对 GPT-6 Sol:6 项胜、1 项负、2 项平,获胜。两者各增加 1 场胜利,其余对局胜平负未改变。导入前 Sonnet 为 107 胜 0 平 2 负 / 109,Opus 为 109 胜 3 平 1 负 / 113;此次导入没有造成两者顺序反转。