cu-bench: Professional Desktop Work from Screenshots, Mouse and Keyboard

摘要

智能体能否仅凭截图、鼠标和键盘，在 Linux 桌面应用中完成真正的专业工作？cu-bench 要求智能体在 KiCad 中布线电路板、在 FreeCAD 中建模零件、在 Godot 中编辑场景、在 PrusaSlicer 中切片，并在另外 16 款应用中工作；真实数据和需求以文档形式提供。文件状态验证器为每项交付物评分；每个任务都有纯 GUI 赛道和允许使用应用自带脚本的赛道。在 2026-10-16 的固定版本上，Claude Opus 5.5 在 158 个配对的任务 × 赛道运行中严格成功率为 83.5%，gpt-6-astra 为 22.2%。

研究内容

• 测试集包含 20 款应用中 165 个任务的 290 个变体，分为三个难度层级（19 个 T3、86 个 T4、60 个 T5 任务）；每个任务都标注了主要难度来源，从感知、精度到长程任务与诊断。
• 只有当验证器通过全部必需检查、记录审计未发现违规且智能体未超出任务步数预算时，运行才算通过；辅助综合分与盲评模型评审从不改变严格结果。
• 下方的精选回放逐帧展示智能体的实际操作，并附有两个模型、两条赛道的完整逐任务结果矩阵。

基准概况

配对运行

158 组任务 × 赛道配对，其中 gui 72 组、code 86 组

测试集

20 个应用中有 165 个任务，共 290 个变体

难度等级

测试集包含 19 个 T3 任务、86 个 T4 任务和 60 个 T5 任务。

预算

max_steps = ceil10(3 × est. GUI actions)

在排行榜查看排名 →

各难度维度的严格成功率

评分方式

• 严格成功率是主要指标：只有规则验证器通过所有必需的评分项、转录审计未发现违规（gui 赛道不得在应用中输入代码），且智能体未超过任务步数预算，才计为通过；否则奖励为 0。
• 两个模型均在全新桌面上运行相同的 158 组任务 × 赛道配对，每组尝试一次（pass@1），使用 2026-10-16 的固定版本。gpt-6-astra 结果采用原始协议，未加入一次性的“继续执行”提示（该提示在 14 次运行中未带来任何通过）。
• 综合分（0–100）是辅助训练信号，按正确性、稳健性、附带损害、效率和过程加权计算（代码赛道另含代码质量），不会改变严格奖励。
• 评审分来自辅助盲测模型评审（gpt-6-sol，prompt v2），覆盖所有已评审的有效测试运行：视觉质量评估导出产物，包含 71 次 Claude 运行和 45 次 gpt-6-astra 运行；推理评估分别为 50 次和 23 次。对已通过运行进行两位评审必须一致的审计，未发现有依据的额外失败，因此模型评审不会改变严格结果。

环境

每次运行获得一台全新的 Fly.io 虚拟机（Ubuntu 24.04、Xvfb、openbox、Mesa llvmpipe，无 GPU），应用已打开；智能体只能通过 cu 的截图、点击、拖拽、输入、按键、滚动和缩放命令操作。隐藏测试仅在验证时上传。在 EnvPlatform 中，该基准使用官方 envloop/cu-bench Runner，在私有数据集上运行（envloop/cu-desktop-apps-tracks-test，0.2.0 版本含 288 个成员）。