编程 agent 能看懂体育录像吗？基准测试测出了什么

effort 对看录像有影响吗？

回答： 有，而且很大。只改 effort，Sonnet 5.5 的超出盲猜分就从 0.419（默认 effort，n=2，范围 0.413–0.426）变到 0.931（effort high，n=4，范围 0.856–0.994）。用 effort max 时，它在时限前没有给出回答。

同一模型，每次运行都用新种子重新生成 svc-bench-3，静帧赛道（只看静帧，不跑代码）；只改了 effort 设置。

榜单行: effort 改变了什么 · svc-bench-3 （新种子） · 对话记录 1 2 3 4 5 6 7 8 9 10 11 12 13

边界： 一共 13 次运行，各用自己的种子；7 个设置中有 3 个只跑了一次。这是测出来的差别，不是方差估计。

原始分能说明模型看得多准吗？

回答： 单看说明不了什么。不看视频的盲猜总分就有 0.170–0.379，所以要看超出盲猜那一栏：Haiku 5.5 总分 0.440，超出盲猜只有 0.198。

盲猜总分:

• svc-bench-3: 0.331
• svc-bench-2: 0.356
• svc-bench-1: 0.324

盲猜照抄题目里的示例答案。新种子上每次运行有自己的基线；这 15 个基线的总分是 0.170–0.379。

超出盲猜：0 = 不比不看视频的盲猜强，1 = 满分（每道题算 (score - floor) / (1 - floor)）。

榜单行: svc-bench-3 （新种子） · 信之前先看

边界： 基线由工具为每个套件和种子算出；每个套件一个盲猜，没有随机性。

编程 agent 能从视频里数次数吗？

回答： 在这些程序画的训练题上，能，只要允许它运行代码：代码赛道 9 次运行中有 5 次满分 1.0，最低总分 0.000。在静帧赛道只用眼睛看静帧，各参赛者的超出盲猜分从 0.000 到 1.000 不等。

代码赛道：agent 自己写追踪程序并运行。画出来的视频颜色单一，像素追踪就能找到球；这也是设静帧赛道的原因。

榜单行: svc-bench-3 · svc-bench-2 · svc-bench-1 · svc-bench-3 （新种子）

边界： 9 次代码赛道运行，覆盖 3 个套件；静帧的范围是新种子榜上各参赛者的平均超出盲猜分。

本地小视觉模型够用吗？

回答： 做这个不够：qwen3-vl:4b-instruct-q4_K_M 在它跑过的每个榜上超出盲猜分都是 0.000：总分 0.125 和 0.077，而盲猜是 0.331 和 0.232。

通过 Ollama 在运行者自己的显卡上跑，每道题发一次请求，附上那道题的缩略图。

榜单行: svc-bench-3 · svc-bench-3 （新种子） · 对话记录 1 2

边界： 同一个量化模型跑了 2 次，temperature 0；更大的本地模型可能更好。

接近满分的复盘要花多少？

回答： 新种子榜上，超出盲猜 0.99 及以上、有费用记录的参赛者里最便宜的是 Opus 5.5：每次 $2.55、347 s（2 次运行），超出盲猜 0.997。gpt-6-astra，effort xhigh 也达到了 1.000，但没有报告费用。

费用是 agent 自己报告的数（Claude Code 会报，Codex 和 Ollama 不报）；用时是实际秒数。

没在新种子上跑过的：Fable 5.1 在固定的 svc-bench-3 榜上：2 次运行，超出盲猜 0.494（最好 0.988），每次 $19.23（2 次中有 1 次）。

榜单行: svc-bench-3 （新种子） · svc-bench-3

边界： 15 次运行的平均值；大多数参赛者只跑了一两次。价格按每次运行（四段短视频）算。

每个模型错在哪里？

回答： 最难的一题是 stroke-rate：给出回答的 13 次运行平均得分 0.700。（划船的划桨节奏，远处有一条节奏相近的船）

新种子榜上每道题重新算出的平均分（0 到 1）；榜上的折叠块列出每个回答和漏掉了什么。

• juggle-touches: 旁边还有一个人在颠球时，数其中一人的触球次数
• far-hoop-shots: 在 16 px 宽的远处篮筐上判断进没进
• pass-releases: 每次传球什么时候出手，中间有传球假动作
• stroke-rate: 划船的划桨节奏，远处有一条节奏相近的船

榜单行: svc-bench-3 （新种子）

边界： 分数由每次运行存下的回答和它那个种子的真实值重新算出；15 次运行。