跳到正文
EnvLoop Labs
全部用例

EnvLoop / 用例 / 决策模型

每家公司都可以训练自己的 Jev 级决策模型。

决策模型通过一次前向计算，回答一个关于你的用户或业务、类型明确的问题（例如某个操作是否需要批准），并给出固定选项上的校准概率。TypeSafe 的 Jev 就是这类模型的一个例子。借助 EnvLoop，每家公司都可以用自己的数据后训练自己的决策模型，起点是 EnvLoop Research 训练的决策模型 Pev-27B 背后的配方。

后训练你自己的模型 阅读 Pev 研究

01 / 定义

决策模型一次回答一个类型明确的问题。

个人智能体处理每个请求时都要做许多细小的判断：用户会选哪个选项、某个操作是否需要批准、哪些内容可以分享。决策模型把每类判断视为一个选项固定、类型明确的问题类别。它只读取一次上下文，就为每个选项返回概率，智能体据此直接执行，或向用户确认。

  1. 01

    类型明确的问题

    每个问题都属于一个选项固定的类别，例如通知级别或审批决定，因此每个答案都可以检验和比较。

  2. 02

    一次前向计算

    Pev-27B 以单个选项标签 token 进行监督，因此每个决策都从一次前向计算中读取，而不是从生成的文本中解析。

  3. 03

    校准概率

    温度校准把选项得分转换为与模型实际正确率相符的概率，并用 Brier 分数和期望校准误差（ECE）衡量。

02 / 校准

校准概率告诉智能体何时可以自主执行。

知道每个答案可靠程度的智能体，可以直接执行有把握的决策，对不确定的决策再询问用户。在 Pev 研究预注册的一次性隐藏门槛测试中，类别宏平均准确率从 0.754 提升到 0.905，安全类漏报减少，模型在 5% 错误预算内可自主回答的问题比例从 0.54 提升到 0.93。

03 / 结果

Pev-27B 在 Pev-Bench 的准确率与 Brier 分数上均领先。

Pev-Bench 针对不在训练数据中的用户，考察个人智能体的七类决策。在包含 720 名新用户的公开 TEST 集上，已发布的 Pev-27B 在所有被评测模型中类别宏平均准确率最高，Brier 分数最低（0.125）；被评测模型包括第三方决策模型 TypeSafe 的 Jev 和 Kev-27B。Brier 与 ECE 越低越好。

Pev-Bench 公开 TEST 集，720 名新用户
排名模型类别宏平均准确率 ↑Brier ↓ECE ↓
1Pev-27B微调模型（基于 Qwen3.8-27B 的 LoRA）0.9150.1250.065
2gpt-6-astraAPI 模型0.8730.1800.074
3Kev-27B第三方决策模型0.8230.2180.074
4Jev第三方决策模型（TypeSafe）0.7880.2660.123
5Qwen3.8-27B开放权重基座模型0.7620.2640.067
6Qwen3.5-4B开放权重基座模型0.6520.3890.074
查看完整排行榜 阅读 Pev 研究

04 / 在 EnvLoop 上

在 EnvLoop 上后训练你自己的决策模型。

在 EnvLoop 上训练自己的决策模型，使用基于 Qwen/Qwen3.8-27B 的实验性 Pev-27B 标签 token 配方，需与我们的团队安排。其预设包括 Pev 已发布的训练运行，以及基于公开 financial-decision-bench 数据集的金融决策预设。结果取决于你的数据：上面的分数属于已发布的 Pev-27B，你训练的模型以你自己的留出数据评测。

  1. 01

    开通权限

    联系我们的团队，为你的项目启用实验性的 Pev-27B 标签 token 配方，并规划一次试运行。

  2. 02

    导入数据

    由管理员把你准备好的训练集和验证集文件导入项目，作为训练数据快照。

  3. 03

    提交训练作业

    通过 el job submit --type train 提交使用 pev27 配方、基于 Qwen/Qwen3.8-27B 的请求。

  4. 04

    校准与评测

    训练得到的 Checkpoint 尚未拟合校准。部署前，请先拟合校准、在留出数据上评测决策质量，并与我们的团队确认导出与推理方式。

阅读配方文档 联系我们

05 / 常见问题

关于决策模型的常见问题。

我的公司能训练自己的 Jev 级决策模型吗？

可以。EnvLoop 使用基于 Qwen/Qwen3.8-27B 的实验性 Pev-27B 标签 token 配方，在公司自己的数据上后训练决策模型，该配方由我们的团队为你的项目启用。EnvLoop 已发布的 Pev-27B 展示了这一方法：在 Pev-Bench 公开测试集上，类别宏平均准确率为 0.915，TypeSafe 的 Jev 为 0.788。用你的数据训练的模型，以你自己的留出集评测。

Jev 是 EnvLoop 的模型吗？

不是。Jev 是 TypeSafe 托管的决策模型，Kev-27B 同样是第三方模型；二者在 Pev-Bench 中作为第三方基线出现。EnvLoop 自己的决策模型是 Pev-27B。

决策模型与对话模型有什么不同？

对话模型生成自由文本，答案需要从中解析。决策模型通过一次前向计算，为类型明确的问题的每个选项返回概率，智能体可以把答案与阈值比较，决定直接执行还是询问用户。

如何评测决策模型？

Pev-Bench 在不属于训练数据的用户上计算类别宏平均准确率，即七个决策类别准确率的不加权平均。其 TEST 集的两半分别由不同的语言模型渲染，每个答案都由无需联网的 Harbor Verifier 评分。