sports-video-coach English

体育录像复盘基准测试

哪个编程 agent 和视觉模型最会看体育录像？用程序画的训练视频来测。每次运行都和工具画进视频里的真实值比对打分，所以每个数字都是测出来的，不是评出来的。

uv tool install git+https://github.com/mariusDing/sports-video-coach@74b517fc410944fefeac2979810656ed77fb8f1a
sports-video-coach bench run --agent claude --model claude-sonnet-5-5 --effort high --seed --suite svc-bench-3 --track frames

它属于 sports-video-coach，一个免费的 MIT 工具：你的编程 agent 看你自己的运动视频，给你写一页带片段和练习的教练复盘。 看一个示例教练复盘页。

结论速读：effort 改变了什么、盲猜基线、本地模型、费用。

• 套件 svc-bench-3, svc-bench-2, svc-bench-1
• 37 次运行
• 只用测出来的真实值
• 最近一次运行 2026-10-25

自己数一数

svc-bench-3 里的 juggle-touches 题：和每个参赛者拿到的是同一段 29.76 秒视频，上面没有画答案。看完、数好、填上你的数字，页面才会显示真实值和每个模型的回答。

参赛者拿到的题目（译自英文原文）：

两名球员各用一只脚颠一模一样的黄色小球，侧面视角：左边是红色球员，右边是橙红色球员。数左边（红色）球员的触球次数：他的脚每碰到自己的球一次算一次。快速连续两触（球从脚上稍微弹起，马上又被碰到）算两次。球落地反弹不算触球。右边球员的触球不算。镜头是手持的。

数完了？点开看真实值和每个模型的回答

真实值：47 次

• Opus 5.5 静帧赛道47, 47
• Codex · gpt-6-astra 静帧赛道47
• Haiku 5.5 静帧赛道60
• Sonnet 5.5 静帧赛道60, 75
• Fable 5.1 静帧赛道–, 49
• Ollama · qwen3-vl:4b-instruct-q4_K_M 静帧赛道100
• Sonnet 5.5 代码赛道46, 51
• 盲猜（没看视频）5

基准怎么给次数题打分：1 - |误差| / 真实值，最低为 0。

静帧赛道：模型只看这段视频的静帧（每 0.08 秒一张），不能运行代码。代码赛道：它可以自己写追踪程序并运行。盲猜照抄题目里的示例答案。

回答照搬 benchmark/results 里存的，每次运行一个；答对的是绿色；– = 这次运行没有作答。

排行榜

代码赛道：agent 可以自己写追踪程序并运行。静帧赛道（agent 只用眼睛看）在下面。 设置栏照搬结果文件里的英文原文。

svc-bench-3

眼力：四段程序画的视频，事件小、短或被挡住：640x360 画面里半径 5 px 的球，16 px 宽的远处篮筐上半径 3 px 的球，相隔 0.24 s 的两次触球，挡在关键时刻前面的横幅和防守人，传球假动作，以及答案几乎一样的干扰项（第二个颠球的人、第二对传球的人、节奏相近的远处小船）。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

svc-bench-2

难：五段程序画的视频，手持镜头，有长得像的干扰项（第二个球、两只一模一样的脚、一个抢篮板的人）、按规则定义的事件和噪点。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

svc-bench-1

四段很短的程序画视频，固定机位。在这个赛道上已经饱和：全部 3 次运行都是 1.0，排不出高低。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

静帧赛道（眼力）

静帧赛道：agent 只能看每段视频的静帧（拼成的缩略图，每张下面标着时间），没有能运行代码的工具，只能用眼睛看。视频、真实值和打分方式都和代码赛道相同。分数衡量的是模型看到了什么、看得多仔细：只翻几张静帧的模型是在猜，而猜也可能拿高分。

一条命令重跑：准备套件，以无界面模式运行不带代码工具的 Claude Code（或用 --agent cmd --cmd "... {prompt}" 运行任意 CLI），再给答案打分。

sports-video-coach bench run --agent claude --model <model> --suite svc-bench-3 --track frames

不想在本机安装：在 GitHub Codespaces 中打开 里已装好 uv、ffmpeg 以及 Claude Code 和 Codex CLI，用的是你自己 GitHub 账号的免费时长。在里面登录你的 agent，再在命令前面加上 uv run。

其他 agent：先准备好静帧，让它用眼睛填好 bench-frames/answers.json，再用 bench score bench-frames 打分。

sports-video-coach bench prepare --out bench-frames --suite svc-bench-3 --track frames

svc-bench-3

眼力：四段程序画的视频，事件小、短或被挡住：640x360 画面里半径 5 px 的球，16 px 宽的远处篮筐上半径 3 px 的球，相隔 0.24 s 的两次触球，挡在关键时刻前面的横幅和防守人，传球假动作，以及答案几乎一样的干扰项（第二个颠球的人、第二对传球的人、节奏相近的远处小船）。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

svc-bench-2

难：五段程序画的视频，手持镜头，有长得像的干扰项（第二个球、两只一模一样的脚、一个抢篮板的人）、按规则定义的事件和噪点。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

svc-bench-3-fresh

新种子：每次运行都按结果文件里的种子（`--seed`）重新画一遍 svc-bench-3，场景和陷阱种类不变，但次数、结果、时间和节奏都是新的。agent 的文件夹里从来没有答案；工具按种子重建答案来打分、核对每一行，并在下面展示，所以公开过的种子就作废了。每次运行的基线是它自己那个种子上的盲猜基线。

effort 改变了什么

同一个模型，同一类题（每次运行都用新种子重新生成 svc-bench-3，只看静帧用眼睛判断）；只改了 effort 设置。平均超出盲猜：

• Haiku 5.5 · Claude Code
  • 默认 effort：0.198（1 次运行，96 s）
  • effort high：0.564（1 次运行，369 s）
• Opus 5.5 · Claude Code
  • 默认 effort：平均 0.997，范围 0.994–1.000（2 次运行，每次 347 s）
  • effort low：0.778（1 次运行，70 s）
• Sonnet 5.5 · Claude Code
  • 默认 effort：平均 0.419，范围 0.413–0.426（2 次运行，每次 17 s）
  • effort high：平均 0.931，范围 0.856–0.994（4 次运行，每次 216 s）
  • effort max：没有回答，到时限（1200 s 和 2400 s）被终止，记 0 分（2 次运行）

除非标了 n，每个设置只跑了一次，各用自己的种子：这是测出来的差别，不是方差估计。默认 = 没加 effort 参数（用 CLI 自己的默认值）。每次运行都在下面的榜上有一行。

汇总

按平均超出盲猜排序；“=” 表示并列。n = 同一 agent、模型和设置的运行次数；范围 = 这些运行的超出盲猜总分从最低到最高（只跑一次时为短横）。设置只多一条备注的运行（比如到时限被终止）算在同一个参赛者里。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。

每次运行

每道题 0 到 1 分；总分 = 平均值。按总分排序，同分时日期早的在前。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 用时 = 这次运行实际花的秒数；费用 = agent 自己报告的美元数（Claude Code 会报，Codex 不报）；'-' = 没有记录。 原始文件：benchmark/results。

svc-bench-1

四段很短的程序画视频，固定机位。

这个套件还没有运行记录。

方法

题目是工具画出来的合成视频，所以真实值是精确的：没有人工标注，也没有评审模型。 agent 只看得到视频，写下回答；bench score 把回答和真实值比对。

You are a contender in a sports film review benchmark (suite svc-bench-3). The current folder holds 4 short videos, TASKS.md and answers.json. Read TASKS.md and follow its rules exactly: watch the videos (frames, ffmpeg, OpenCV or any script you write on the video files in this folder), then replace each null in answers.json with your answer in the stated format. Do not read the sports-video-coach package source, its git history, or any truth or result file anywhere on this machine. Work only inside this folder (temporary files under this folder are fine). Work alone, do not ask questions, and finish when answers.json is filled and parses as JSON. End with one line per task: your answer and how you got it.

You are a contender in a sports film review benchmark (suite svc-bench-3, frames track). This track measures how well you review film by eye: you get still images of 4 short videos and no way to run code. Judge by looking only. Do not try to read anything outside the given images and task text, and do not start helpers or sub-agents. Work alone, do not ask questions. End your reply with the whole answers.json (keys suite, track, answers; replace each null with your answer in the stated format) in one ```json block, after one line per task: your answer and how you got it. The current folder holds TASKS.md, answers.json and the images (contact sheets in sheets/, full-size stills in frames/). Your only tool is Read: read TASKS.md first, then the images it lists.

总分 = 各题分数的平均值。超出盲猜：每道题算 (score - floor) / (1 - floor)，限制在 0..1；floor 是盲猜基线的分数（它照抄题目里的示例答案，不看视频）。0 = 不比这种瞎猜强，1 = 满分。 完整规则：docs/benchmark.md（英文）。

自己跑一遍

1. 安装（需要 PATH 上有 ffmpeg）

   uv tool install git+https://github.com/mariusDing/sports-video-coach@74b517fc410944fefeac2979810656ed77fb8f1a

2. 生成题目：视频和一个空的 answers.json（最新的套件；去掉 --suite 就是 svc-bench-1）

   sports-video-coach bench prepare --out bench-run --suite svc-bench-3

3. 让你的 agent 看视频、填好 bench-run/answers.json，然后打分

   sports-video-coach bench score bench-run --agent "Your agent" --model "your-model"

4. 或者一条命令全做完（准备、无界面运行、打分）：Claude Code 或 Codex

   sports-video-coach bench run --agent claude --suite svc-bench-3
   sports-video-coach bench run --agent codex --suite svc-bench-3

   或者用其他 agent CLI 的预设。这些预设按各 CLI 的文档写成（2026-10-25 读过），参数在 2026-10-25 对照真实 CLI 的 --help 核对过，但维护者没有用它们实际跑过题目（OpenCode 除外：OpenCode 1.19.4, opencode/deepseek-v4.1-flash-free, 2026-10-25，跑过一次）；只支持代码赛道（每个参数的文档链接）。其他 CLI：--agent cmd --cmd "... {prompt}"。
   • --agent gemini Gemini CLI: gemini --approval-mode yolo [--model M] -p <prompt> (参数已对照 0.65.0 的 --help 核对)
   • --agent qwen Qwen Code: qwen --safe-mode --approval-mode yolo [--model M] <prompt> (参数已对照 0.26.1 的 --help 核对)
   • --agent aider Aider: aider --yes-always --no-git --no-check-update --no-pretty --no-stream [--model M] --read TASKS.md --message-file <prompt file> answers.json (参数已对照 0.86.2 的 --help 核对)
   • --agent opencode OpenCode: opencode run --auto --print-logs --log-level ERROR --dir <run folder> [--model M] <prompt> (参数已对照 1.19.4 的 --help 核对)
   • --agent cursor Cursor CLI: agent -p --force --trust --output-format text [--model M] <prompt> (参数已对照 2026.10.22-27dcf5f 的 --help 核对)
   • --agent copilot GitHub Copilot CLI: copilot -p <prompt> --allow-all-tools --no-ask-user -s [--model M] (参数已对照 1.0.103 的 --help 核对)
   • --agent goose Goose: goose run --no-session [--model M] -t <prompt> (参数已对照 1.56.0 的 --help 核对)
   用其中某个 agent？跑一次，告诉我们结果：issue #7（发一行结果，或者预设参数不对时的报错）。

提交你的运行

• 开一个 pull request，把你的结果文件加到 benchmark/results/。 CI 会用 bench validate 重新打分。 你的第一个 PR 的检查要等维护者批准后才会运行。
• 不想开 pull request？把文件贴进基准结果 issue 表单。
• 规则：不读真实值文件，不读包的源码；一次运行 = 一个文件；如实报告实际用时。

诚实说明

• 这个基准测试和本页都是用编程 agent（Claude Code）做的，中文版也是。
• 每一行都能重跑：同样的套件、同样的命令，分数由存下的回答重新算出。重跑的回答可能不同（见页首的样本量说明）。
• 作者写了这个工具、画了套件、提交了最早的几次运行；欢迎外部提交（见上文）。
• 失败和被终止的运行留在榜上，计入该参赛者的平均分。
• 合成训练题测的是数数和计时，不是教练复盘的全部。