没有 RL 团队，我的公司也能做 RL 吗？
可以，方式是用 EnvLoop 的组件搭建由奖励驱动的循环：你的任务作为环境在沙箱中运行，Verifier 为每次尝试打分，通过验证的尝试成为训练数据，再由 LoRA SFT 训练作业后训练模型，并与基座重新对比评测。奖励决定评测和数据筛选；训练步骤本身是监督微调，而不是 GRPO、PPO 等在线 RL。
01 / 循环
环境、Verifier 奖励、后训练与评测。
每一步都是 EnvLoop 的一个组件，可以通过 CLI 和 API 单独运行。
- 01
环境
把你的任务打包为 Environment 数据集。每个任务包含输入和评测定义，作业在沙箱中运行智能体的尝试。
- 02
Verifier 奖励
独立的 Verifier 为每次尝试打分。作业记录每个奖励、得分覆盖率和汇总通过指标，避免把运行失败误当作低分。
- 03
筛选训练数据
保留 Verifier 认可的尝试（可另存为 Trajectory 数据集），并将其转换为训练记录。这就是经 Verifier 筛选的微调，也称拒绝采样。
- 04
后训练
在 Qwen3.8-27B、GLM-5.3-Flash 或训练目录中的其他模型上提交 LoRA SFT 训练作业，并保留 Checkpoint。
- 05
与基座对比评测
用同一个数据集分别评测基座模型和 Checkpoint，只有超过基座时才保留该 Checkpoint。模型循环会报告每一轮的对比结果。
02 / 奖励的作用
奖励筛选数据，LoRA SFT 训练模型。
奖励决定评测结果以及保留哪些数据，但不直接更新模型。训练步骤是在筛选出的样本上做监督微调（LoRA SFT）。EnvLoop 不提供 GRPO、PPO 等在线 RL 训练，也没有一键运行整个循环的单一 API：你可以通过 CLI 和 API 组合这些步骤，或跟踪一个逐轮运行数据、训练与评测的模型循环。
03 / 目前的证据
一项已发布的小规模试点，并说明了其局限。
CUA-RSIBench 试点是这些组件协同工作的公开示例。研究者模型基于固定教师模型、经过验证的 GUI 演示构建训练数据，每个候选方案通过 EnvLoop 训练一个 Qwen3.5-4B LoRA 学生模型，再由 Harbor 在 E2B 中用独立 Verifier 评测。在 gpt-6-sol 扩展实验中，被选中的学生模型得分为 2/12，基座学生模型为 0/12。该研究自述为一项小规模数据研究试点，并非持续递归自我改进的证据。
04 / 常见问题
关于 RL 循环的常见问题。
这是以评分器作为奖励的强化微调吗？
不是。EnvLoop 的 Verifier 不在训练过程中提供奖励。它们为评测尝试打分，并决定哪些尝试成为训练样本，随后模型在这些样本上用 LoRA SFT 后训练。
循环中可以后训练哪些模型？
LoRA SFT 支持 Qwen3.8-27B 和 GLM-5.3-Flash；DeepSeek-V4.1-Flash-1017 是面向已启用项目的批量训练预览，暂无推理配置。文档中的训练目录列出了你的项目可用的模型。