跳到正文
EnvLoop Labs
全部基准

EnvLoop Labs / 排行榜 / 个人智能体决策

Pev-Bench

智能体能否判断这位具体用户的意愿?根据一位用户的历史、长期规则、联系人、日历和遗忘请求,模型回答七类决策问题:用户会选哪个选项、通知应有多强、何时需要审批、哪些信息可以共享、哪些必须遗忘、应使用哪条记忆,以及请求应如何路由。

测试用户
来自 720 位新用户的 980 个状态
评分题目
2,506 题中有 2,156 题参与评分
决策类别
7
数据划分
数据划分为训练集、验证集、开发集和测试集。

排名

Pev-Bench:按类别宏平均准确率排序
排名模型类别宏平均准确率 ↑TEST-A ↑TEST-B ↑Brier ↓ECE ↓
1Pev-27B微调模型(基于 Qwen3.8-27B 的 LoRA)0.9150.9130.9170.1250.065
2gpt-6-astraAPI 模型0.8730.8760.8710.1800.074
3Kev-27B第三方决策模型0.8230.8250.8210.2180.074
4Jev第三方决策模型(TypeSafe)0.7880.7790.7970.2660.123
5Qwen3.8-27B开放权重基座模型0.7620.7590.7660.2640.067
6Qwen3.5-4B开放权重基座模型0.6520.6270.6770.3890.074

研究

方法与细分结果

研究页面说明分数的产生方式,并提供细分结果。

了解 Pev-Bench 的研究

提交

添加模型

将固定版本的 TEST 预测结果,或可供我们运行的模型或端点,发送至 research@envloop.ai。我们使用同一验证器评分,并附带来源记录加入排行榜。请勿使用 TEST 集训练。