- 测试用户
- 来自 720 位新用户的 980 个状态
- 评分题目
- 2,506 题中有 2,156 题参与评分
- 决策类别
- 7
- 数据划分
- 数据划分为训练集、验证集、开发集和测试集。
排名
左右滑动,比较完整评分。
| 排名 | 模型 | 类别宏平均准确率 ↑ | TEST-A ↑ | TEST-B ↑ | Brier ↓ | ECE ↓ |
|---|---|---|---|---|---|---|
| 1 | Pev-27B微调模型(基于 Qwen3.8-27B 的 LoRA) | 0.915 | 0.913 | 0.917 | 0.125 | 0.065 |
| 2 | gpt-6-astraAPI 模型 | 0.873 | 0.876 | 0.871 | 0.180 | 0.074 |
| 3 | Kev-27B第三方决策模型 | 0.823 | 0.825 | 0.821 | 0.218 | 0.074 |
| 4 | Jev第三方决策模型(TypeSafe) | 0.788 | 0.779 | 0.797 | 0.266 | 0.123 |
| 5 | Qwen3.8-27B开放权重基座模型 | 0.762 | 0.759 | 0.766 | 0.264 | 0.067 |
| 6 | Qwen3.5-4B开放权重基座模型 | 0.652 | 0.627 | 0.677 | 0.389 | 0.074 |
研究
方法与细分结果
研究页面说明分数的产生方式,并提供细分结果。
提交
添加模型
将固定版本的 TEST 预测结果,或可供我们运行的模型或端点,发送至 research@envloop.ai。我们使用同一验证器评分,并附带来源记录加入排行榜。请勿使用 TEST 集训练。