Repository navigation
Description
Current state: RFC 提案。本次按 SpecRSI 的“VATS 内层搜索 + GVO 外层学习”重构方案,覆盖推理引擎优化与 Agent/Skill 改进;完整双循环及其实际收益仍待实现、验证和验收。
Decision needed: 维护者评审双循环设计、两条适配链路、共享执行接口与训练组件支持,指定实施和验收负责人。
Next action: 按本版 AC-01–AC-10 评审并冻结验证契约、候选/证据模型、角色接口和预算口径,再分阶段交付。
评审版本: specrsi-r2-2026-11-18。目标为下述完整 VATS/GVO 双循环;历史单父/单后继意见按其原范围保留,不自动成为本版限制。实现核对基线为 8aba657da79e8ed9f6e6fbb33437e9d9fdd8f1c7;后续评审请同时注明提案版本、源码 revision 和覆盖的 AC。
Goal and acceptance
在固定验证标准和资源预算下,联合决定“继续修改哪些候选、为哪些候选执行哪些检查、何时结束搜索”,提高最终经过验证的改进收益;再利用完整搜索记录训练改进器,提高后续搜索的有效性。耗时、token、设备时间和训练开销分别衡量,并行执行只是其中一个可独立评估的因素。
本提案采用候选树:允许基于尚未完整验证、尚未改善或未通过任务质量检查的版本生成后继;后继可以修复中间版本。祖先全部通过不再是后继验证或采纳的前置条件;最终采纳版本必须具有覆盖其自身的完整、有效证据并满足硬约束。 越权执行、非法修改和无效证据仍由固定控制规则拒绝。
| 链路 | 被优化的候选 | 完整开发验证 | 正式采纳 |
|---|---|---|---|
| 推理引擎 | 代码、算子、运行配置 | 冻结的正确性/质量标准,必要的 L0–L4、场景/E2E 与重复 AB/BA | 冻结候选对原始基线做独立最终验收 |
| Agent/Skill | 允许编辑的提示、Skill、工具与工作流资源 | 固定任务集和独立 grader,配对比较及质量/回归约束 | 冻结候选的一次独立 holdout 验收 |
VATS、GVO、两条链路的适配及真实对照均属于本 RFC 的交付目标,可以分阶段完成。负结果也可以构成完整试点证据;不预设必然收益或统一提升阈值。旧的“一个父候选 + 一个后继、父失败取消全部后继”仅保留为可选对照策略,不再限定目标设计。
本轮评审意见与处理
| 意见来源 | 判断 | 本版处理 |
|---|---|---|
| 11 月 18 日增量意见:串行控制、receipt 恢复及 delivery 重试不能证明投机合同完成 | 成立;所指源码和测试增量已静态核对 | 在“与现有工作的接口”记录可确认事实及验证边界;所有完成项继续未勾选 |
| 早期单链意见:B 的完整验证等待 A 通过,A 失败使 B 失效 | 属于旧方案的设计选择,不适用于本版候选树 | 保留父任务失败后由后继修复的能力;只有真正失效的身份、来源或执行资格触发相应失效处理(AC-02/03) |
| 身份、原子更新、恢复和最终验收意见,及最新意见列出的证据缺口 | 通用要求仍成立;已有局部实现不能证明端到端成立 | 补齐身份组合、并发冲突、资源/预算恢复和一次性 holdout 的契约及故障场景(AC-03/07/08) |
| 生成时间/成本意见与多分支范围意见 | 成本归因与分支选择要求成立;旧首期范围已经变更 | 冻结事件/成本口径,明确分支身份及按效用和平局规则选择;收益须由对照验证(AC-03/10) |
| 最新意见明确未覆盖当前 SpecRSI/VATS/GVO 全部合同 | 是评审覆盖缺口,不构成对新算法正确性或错误性的结论 | 本版给出稳定编号的完整 AC;VATS/GVO 的设计与实现仍需按本版范围评审,旧评审不能替代 |
以下新增条款是待实现、待验证的要求;本次修订仅完成意见核对与设计修改,不宣称这些缺口已由代码或实验解决。
理论依据与 InferRSI 的适配
算法定义采用 SpecRSI v2 §3;条件性理论结果另标明来自 v1 附录 G,不混用版本的实验数字。本文定义 InferRSI 的实施契约,不宣称复现论文收益。
- 结果一致性: v1 Proposition 1 依赖不可变候选、固定确定性契约和可靠证据。对应要求是预测只影响调度,不能写入通过记录;随机任务需冻结种子/重复与统计规则,或取得新的有效证据。该结论不证明搜索轨迹等价或 holdout 泛化。
- 检查的互补性: v1 Proposition 3 表明,即时可采纳收益可能既非可加也非次模。规划必须保留能够补齐一个候选所需证据的检查组合,不能只累加单项收益。
- 反馈与执行成本: v1 Propositions 4–6 说明组合工作与逐项反馈的优劣依赖调度、准备和无效检查成本。用实际成本和反例验证,不默认批量或更深投机必胜。
- 搜索与学习分开: 按 v2 的 VATS/GVO 定义,每组内层搜索冻结改进器;组间学习,真实验证契约不变。有限实验或局部分析不构成持续自我改进、全局收敛或普遍加速保证。
InferRSI 保留一个额外明确的交付边界:论文式 ACCEPT 选择的是开发阶段完整合格版本;正式替换 stable_head 仍需要独立最终验收。holdout 不参与搜索、训练或 checkpoint 选择。
固定契约、状态与角色
验证契约与优化目标
每条链路冻结契约 Γ:候选可修改范围、执行资格、有限必需检查集合 I、工作负载/模型/环境身份、质量参考、结果聚合与选择规则、重复次数、证据复用条件及预算。快速检查可以提供开发证据或拒绝非法输入,但未完成任务质量验证不妨碍合法的后继编辑。
状态记为 S = (T, E, H, B, N, w):候选树、有效证据、已观察历史、剩余支出预算、剩余基本尝试数及 worker 数。检查结果“已获得”和“通过”分别记录,失败结果也是观察,缺失结果不能补成零分或通过。
对当前 Γ,定义 C_full(S) 为所有必需结果完整且满足采纳约束的候选集合;集合包含已取得有效开发证据的搜索根 r。冻结效用 JΓ 后:
F(S) = max_{c ∈ C_full(S)} [JΓ(c) − JΓ(r)]
F 是观察到的开发收益。质量硬约束不能被更少 token 或更低成本补偿;Skill 继续遵循冻结的质量优先选择顺序。效用定义及训练目标须与该顺序一致,不能用未声明的综合分数改变采纳规则。搜索根证据的取得或复用也记账,并核对其契约适用性。
角色接口
| 角色 | 输入与输出 | 参数边界 |
|---|---|---|
| Drafter | 父版本及已观察上下文 → 实际修改和不可变新版本 | θ,组内冻结,GVO 可更新 |
| Solver | 缺失检查、依赖、共享准备与资源上限 → 可执行方案菜单 | 可行性规则和菜单约束 ν 固定 |
| Scorer | 当前状态及方案 → 后续已验证收益预测 | φ,组内冻结,GVO 可更新;不产生证据 |
| Policy | 状态及合法菜单 → 动作、分支与范围 | ψ,独立于 Scorer 的预测值;组内冻结,GVO 可更新 |
| 真实验证器 | 固定候选/检查/环境 → 带身份的实际结果 | Γ 和评分/执行规则固定 |
| 执行控制层 | 已选方案 → 预留、执行、结算、证据准入与恢复 | 预算、权限和证据规则不可被候选或学习更新绕过 |
改进器快照为 Θk = (θk, ψk, φk, ν)。运行日志保存 campaign_id / outer_round_id / search_id;候选与证据至少能关联以下身份,字段可以复用共享层现有记录,不另建账本:
| 对象 | 必须可追溯的身份 |
|---|---|
| 候选 | candidate_id、不可变产物 digest、edit_parent、合法编辑范围 |
| 生成来源 | 改进器快照、producer/model/tool/Skill 版本、输入 context 与已观察历史的 digest;只记录生成当时可见内容 |
| 验证记录 | Γ、plan、validator/grader、检查项及重复编号、数据/工作负载、原始基线/质量参考、环境及实际证据依赖 |
| 执行与状态 | attempt_id、外部执行键、claim/预算预留/资源租约、状态 revision 与依赖失效代次 |
同字节候选可以共享内容地址,但新提交仍有独立 attempt 和状态归属;字节相同不自动授权复用旧结果。复用须显式经过冻结的等价与来源校验,不能借此复活失效收据。
候选树不再由单个 speculative_head 表示:
| 状态/引用 | 含义 |
|---|---|
stable_head |
已通过独立最终验收的正式版本 |
search_root |
当前内层搜索的冻结根版本,开发证据完整有效 |
verified_incumbent |
当前搜索中按冻结规则选出的最好完整合格版本,可来自任意分支 |
candidate_tree / frontier |
所有不可变候选、修改谱系、已有/缺失检查与可继续工作 |
improver_snapshot_id |
当前搜索组使用的冻结改进器 |
内层:Verification-Aware Tree Search(VATS)
一次内层搜索在冻结 Θk 和 Γ 下执行;变化的是候选、观察、菜单和剩余资源,不在搜索中更新模型参数。
-
构造可行菜单。 根据真实缺失项构造
DRAFT(P, h)、VERIFY(J)和ACCEPT。DRAFT 可指定多个已有父版本及有界编辑深度;VERIFY 可覆盖一个候选的完整剩余检查,也可组合跨分支检查。Solver 可采用 MILP,显式处理先决条件、共享准备、互斥与预算预留;离线小例用穷举核对。可行不代表检查必然通过,也不要求穷举整棵候选树。 -
评估后续价值。 Scorer 预测执行方案后,继续修改/检查/切换分支能获得的净收益,而非仅给当前候选打分:
Qπ(S, ω) = Eπ[F(S_end) − F(S) − λ C_future − μ L_future | S, ω]S为本次准备开销已结算后的状态;未来成本含后续规划和失败工作,不再次计算已沉没的准备费用。当前准备开销仍计入整次搜索账本。λ、μ预先冻结;按论文参考口径可设为零,依靠资源输入和硬预算约束,不能把未知费用填零。Scorer 按整个检查组合的增量价值细化菜单,保留可完成候选的基础组合。 -
选择与执行。 Policy 使用独立的偏好输出选择动作;训练采集按冻结分布采样并记录行为概率,部署选择规则预先固定。DRAFT 必须实际应用编辑并冻结产物,每个编辑等待其直接父产物生成;无需等待父质量验证。非法编辑停止该草拟路径,保留有效前缀并记账。VERIFY 调用真实适配器,首次实现采用直接检查;证据复用必须另外满足范围化等价与身份规则。
-
结算后重新决策。 首版采用有界工作块和同步决策边界。块内可以在已证明隔离的资源上并行执行无冲突检查;在下一次 Policy 决策前结算本块结果和用量。单 worker 同样支持候选树和选择性验证,跨块异步调度不作为完成双循环的必要条件。
-
结束并选出开发结果。
ACCEPT从C_full(S)中按JΓ及冻结的平局规则选取;根版本仍最好时返回根。预算耗尽/无可行工作时结算在途任务后使用相同规则,不能临时赊账补齐候选或把高预测值当成通过。
flowchart TD
R["完整合格根 + 冻结 Θk / Γ + 预算"] --> S["Solver 构造合法方案;Scorer 评估后续收益"]
S --> P{"Policy 选择"}
P -->|DRAFT| D["生成并冻结后继;允许未验证父版本"]
P -->|VERIFY| V["执行真实检查组合"]
D --> U["结算成本;更新候选与证据"]
V --> U
U --> S
P -->|ACCEPT / 无可行工作| A["返回最佳完整合格版本和完整搜索记录"]
A --> G["同起点的独立搜索组成一组;GVO 更新 Θ"]
G --> R
A --> F["开发选择结束后冻结最终候选,独立验收"]
修改谱系与证据依赖
必须区分三类关系:edit_parent 记录版本从何处修改而来;generation_dependencies 记录提案使用的 Skill、上下文与观察;evidence_dependencies 记录某条验证记录成立所需的产物、环境、准备步骤和来源。
| 情况 | 控制语义 |
|---|---|
| 父尚未完整验证或未超过当前最好版本 | 可以继续合法编辑,也可直接验证后继 |
| 父真实质量/正确性检查失败 | 父不能按该契约采纳;不自动取消所有后继。后继可修复问题,并取得覆盖自身的完整证据 |
| 编辑非法、产物身份错误或执行资格不成立 | 拒绝对应操作;停止当前无效草拟路径。恢复后须重新建立合法身份和资格 |
| 证据来源、执行环境或生成依据失效 | 标记实际受影响的记录/任务,暂停相关操作并重新核验;不能将其当作普通低分继续信任 |
| 超时、异常或结果缺失 | 保持 INCONCLUSIVE;按冻结规则补证,不阻止无关分支继续搜索 |
| 迟到的旧 attempt 结果 | 归档、结算;仅当当前身份、范围及代次仍匹配时才可准入,不得更新失效记录或引用 |
| 重定位/重放/组合修改 | 新候选身份;重新取得受影响证据,不因补丁能应用或组件通过而判定组合通过 |
例如 A → B → C 中,B 的任务检查失败并不证明 C 失败;但 C 不能继承 B 的失败项为通过,也不能借用只验证了 A 的收据。invalidated_dependency 只用于真正失效的依赖,不把祖先低分与证据失效混为一类。
证据准入、失效和 verified_incumbent 更新使用同一受控状态事务:核对预期状态 revision/旧 incumbent、候选、契约、实际依赖代次和当前认可的 attempt。竞争失败后重新读取并按冻结规则比较;多分支同时完成时按 JΓ 和固定平局顺序选择,不由回执到达顺序决定。真正依赖失效须先持久化,再发取消;迟到记录按原 attempt 幂等归档和结算,不得覆盖新 attempt、释放新租约或推进失效引用。
若已选 incumbent 的证据失效,重新计算有效 C_full 并选择;若搜索根的资格或必需证据也失效,则阻塞该搜索并按契约处理,不能继续声称存在合格根或返回无效根。正式 stable_head 只能经独立最终验收更新,搜索内的分支竞争不能直接替换它。
外层:Group Verification Optimization(GVO)
GVO 是本提案交付的一部分。初始监督预热使用真实记录的合法编辑、工作选择和已观察回报,或使用有明确来源的初始 checkpoint;未执行方案不伪造标签。
每轮 k:
-
冻结并采集。 从相同根、契约、历史边界、预算和 worker 条件运行
G ≥ 2次独立完整内层搜索。组内共享冻结的Θk,但分别保存候选树和完整轨迹。共享树叶子不作为独立搜索;失败、未完成候选和所有规划开销保留。 -
计算整次收益与组内优势。
Rg = F(S_end_g) − F(S_start_g) − λ Cg − μ Lg Ag = Rg − mean(Ru, u ≠ g)Cg/Lg覆盖从本次搜索初始准备到结束的实际消耗。实际搜索没有改进时收益增量为零,成本仍计入;遥测或标签缺失不能当作零成本或已观察失败。 -
分别训练角色。 Drafter/Policy 用整次搜索优势更新采样的编辑 token 和动作,采用记录行为概率的 PPO 式目标与预先冻结的正则规则;Solver 的确定性输出、验证器结果和非采样动作不虚构 actor likelihood。Scorer 拟合各决策点到终点的实际剩余回报,并可使用同一已付费状态下不同方案的真实续跑对比。
-
隔离额外采样。 对比数据须恢复完整状态并匹配续跑策略;复制、强制首动作、后续执行和失败均记账。整条强制续跑只训练 Scorer,不混入 Drafter/Policy 的自然采样更新。Scorer 的相对差值训练与绝对回报校准分别验证。
-
更新、保存并重新冻结。 输出
Θk+1和训练账本,用新搜索记录校准更新后的分布。组间可选择 Reset 到相同初始根,或 Carry 一个开发合格后继;两种实验分别报告。真实Γ、Solver 可行性规则、资源控制与最终验收规则不随训练改变。
训练阶段必须选定支持所需参数更新、行为概率与数据访问的角色模型/适配器。仅提供闭源生成 API 的链路可以使用冻结角色运行 VATS,但不能把提示总结或手工改规则计作已经完成 GVO。任务候选的编辑权限与改进器训练权限分别声明,每个操作仍遵守已声明的 Harness / Model / Infra plane;不能借角色更新越过执行边界。
验证、资源与最终验收
- 每个候选的检查均绑定自身快照、
Γ、计划和环境;可拆分的检查项必须证明组合后覆盖原完整标准。E2E、组合交互、质量和重复 AB/BA 等不能被单项代理检查替代。检查是否执行由搜索决定,采纳必需项由冻结契约决定。 - 引擎候选使用可比较的固定基线与质量参考;父子差异可以作为诊断,但父未测量时不能编造逐步提升。最终候选直接对原始基线重测,不累加各轮百分比。
- 只有开发数据可以反馈搜索和训练。
ACCEPT不更新stable_head;搜索/训练和 checkpoint 选择结束后,冻结最终候选,再做一次独立验收。holdout 拒绝后保留正式版本,不按结果改选候选或再次搜索。 - 独立验收方在访问 holdout 前持久化一次性领取,绑定候选、数据范围、grader/validator、计划及 attempt,并登记跨 campaign 使用。中断后若无法证明尚未访问,保留已领取/可能消耗状态和预算,不能重新领取或把中断当作免费重试;已执行的结果只按可信收据恢复。结果导出/交付重试复用已有结果,不再次触发验收或数据访问。
- 改进器 checkpoint 如需成为正式默认策略,单独记录其独立验收与晋升;任务版本和改进器的验收数据及访问预算分别冻结,任务版本晋升不自动证明改进器变强。任何未授权的模型权重、grader、参考答案和执行控制代码仍不可修改。
- 生成、Solver/Scorer/Policy 调用、环境准备、验证、失败、复制、强制续跑、训练、取消和最终验收分别记账。campaign 总预算覆盖内外循环,并为最终验收预留额度;内层有支出、基本尝试、候选数、草拟深度和菜单大小上限,外层有组数与轮数上限。
- 启动前原子认领 attempt、预留资源/可执行预算上界并持久化外部执行键;预测平均成本不能代替硬上界。结算真实消耗后释放可确认的预算余额,未知用量继续占用待结算额度。共享绝对截止时间覆盖预留、实际启动、执行、产物收取和中止;截止前预留不能授权截止后启动,不能通过重启或新输出目录重置预算。
- 正式性能测量独占声明的 GPU/NPU、CPU、带宽或 I/O 资源域;并行验证/生成仅使用已验证隔离的资源。worktree 不代表包、扩展、服务和运行环境自动隔离。
- 取消请求、实际退出、进程树清理及资源释放分别记录;未确认清理的资源不再分配。控制器在 claim 与启动确认之间崩溃时,只有适配器能按同一执行键查回可信运行状态,才可续接原执行;无法确定是否启动则保持不确定及预留,不重新提交。缺 receipt、收到取消响应或本地锁释放都不等于外部运行已结束,不能据此声称 exactly-once。
- 冻结重复次数、选择和统计推断规则。描述性的中位数/范围不等于显著性,不能根据中途好结果提前宣布通过。
与现有工作的接口
| 工作 | 复用边界与新增职责 |
|---|---|
| #249 | 复用执行、队列、资源租约、预算与证据基础;本提案提供候选树、验证菜单和搜索/学习策略,不另建 runner/账本 |
| #93 | 复用 Skill 编辑范围、质量优先比较与最终 holdout;新增 VATS/GVO,不把旧单步控制器称为已实现双循环 |
| #337 | 消费受支持的真实 Agent、产物和独立评测交接;不扩大任务执行资格 |
| #362 | 对齐所提 Knowledge / Workbench / Benchmark 边界:执行与资源、固定评分、知识晋升分别负责;仍按其实际接受状态接入 |
| #333 / #345 | 扩展事件关联与展示:候选树、检查覆盖、角色快照、组/轮、预算及失败;叙事不替代收据 |
本次静态核对基于 61303fa8 → 8aba657d 的实际差异,结论限定于所查文件:
optimization.py在此区间仅调整公共函数导入;evaluate_round仍在同一 session lock 下保留候选、写 pending、execute、settle,_active拒绝已有 pending。recover读取已有 receipt 后结算,不调用 execute;缺 receipt 的异常保留cleanup_verified=None并阻塞。它提供串行事实基础,不证明候选树或双循环已实现,也不据此断言全仓库不存在其他实现。artifact_primitives.py的文件锁/哈希与atomic_json.py的临时文件替换是局部原语,不能单独证明跨 worker 事务、外部执行唯一性或实际资源释放。test_optimization_session.py新增 delivery 发布/导出重试断言,包括重试前后calls.log不变。这不覆盖多分支证据失效、迟到回执防晋升或 holdout 访问隔离。
本次仅阅读源码、diff、测试断言及该 revision 的 check 元数据,未运行测试、训练或试点。上轮 5 passed 属于 61303fa8 的历史报告,本次未复现;所见 policy-manifest/declarations(含 skipped)也不是 AC-01–AC-10 的行为验证。原参考 1246348f 仅保留为历史背景。
Inputs and deliverables
分阶段交付
- 契约与离线控制。 两条链路的支持矩阵,候选树/证据/预算状态机,角色接口,确定性小例及 Solver 穷举对照;单 worker 即覆盖多分支、多步编辑、失败父版本修复、组合验证和退出。固定输出只证明控制逻辑。
- 真实 VATS。 接入引擎和 Skill 的真实生成、检查与冻结角色快照;记录真实成本和选择轨迹,验证所有采纳结果的证据覆盖。对不支持拆分的真实检查按整体 job 执行,不伪造更细粒度。
- 真实 GVO。 支持可训练角色、独立搜索采集、监督预热、actor/Scorer 分离目标、实际参数更新、checkpoint 与新一轮冻结搜索。报告训练可复现性和成本;仅实现日志导出或手工策略不算完成。
- 双链配对试点与最终验收。 冻结任务、模型、权限、环境、统计规则及全生命周期预算,完成搜索、规划、学习和资源因素的对照,形成全部成功/失败/未完成记录及独立最终结果。
可检查的完成清单(本版完整 AC)
以下各项均待实现证据验收;每项证据关联实际 revision、链路、运行配置及结果,分别记录通过、失败和未运行。两个 adapter 的覆盖分开记录,不能由一个局部 fixture 代替另一个。
- AC-01 · 契约与接口: 冻结
Γ、角色/权限、支持矩阵和共享执行接口;注明哪些检查可拆分、哪些角色可训练及未支持能力。 - AC-02 · 候选树: 可基于未验证或任务检查失败但可合法编辑的父版本生成后继;多分支、多步修改及失败父版本修复成立,后继自身完整通过才进入
C_full。 - AC-03 · 身份与状态: 生成和验证身份可追溯;失效、迟到结果、新 attempt、重定位/组合候选及 incumbent 原子更新满足契约;通过下表相关故障场景。
- AC-04 · Solver/Scorer: 完成组合、共享准备、冲突与预算约束在小例上与穷举一致;保留基础完成组合;预测误差不产生通过记录。
- AC-05 · 内层边界: 单次搜索冻结角色快照;
ACCEPT、无可行工作和预算耗尽只选择完整合格候选;合法根回退、根证据失效和固定平局规则分别覆盖。 - AC-06 · GVO: 独立完整搜索、留一优势、actor/Scorer 数据及目标分离、强制续跑计费可复现;提供实际参数更新/checkpoint 和更新后真实新搜索记录。组内不学习,
Γ/ν不更新。 - AC-07 · 执行与预算: 原子 claim/预留、绝对截止、未知执行恢复、幂等结算、测量域隔离及清理后释放有证据;总账覆盖内外循环及失败/取消开销。
- AC-08 · 独立验收: 引擎最终版本对原始基线独立重测;Skill holdout 一次性领取/中断记账/不反馈搜索可核验;任务与改进器各自验收,只有合格最终结果可正式晋升。
- AC-09 · 两条真实链路: Engine 与 Agent/Skill 均完成真实 VATS、GVO 和独立最终交接;模型、编辑/训练权限、数据与执行适配器有明确支持记录。
- AC-10 · 效果与成本: 完成下述搜索、检查组合、学习、Reset/Carry 和 worker 对照;冻结生成/检查时长及事件口径,完整报告成功、失败、未完成及未知用量。负结果可验收实验交付,不据此宣称优化收益。
必须覆盖的最小故障场景
这些是验收要求,不是本次已执行的测试;先用离线故障注入验证控制,再由真实 adapter 提供其执行/资源/最终验收证据。
| 场景 | 预期结果 | 对应 AC |
|---|---|---|
A → B → C:B 任务失败,但 C 修复并取得完整有效证据 |
C 可成为开发 incumbent;对照真实来源失效时仅阻止实际受影响的记录/操作,不能混用两种失败 | AC-02/03 |
| 真正依赖失效与后继成功同时到达;再于重启后投递旧成功回执 | 最终状态排除已失效证据;旧回执只归档结算,不能推进失效引用 | AC-03 |
| 相同字节新提交、旧 attempt 晚到、重定位/组合后引用原证据 | 身份/代次错配被拒;复用仅限显式验证通过的等价范围;不重复扣费或释放新租约 | AC-03/07 |
| 两分支同时完整合格,交换回执顺序;随后令 incumbent 证据失效 | 相同有效集合下选择一致;失效后重新选择有效版本,根也失效时阻塞 | AC-03/05 |
| claim 后、启动确认前崩溃;重复投递;没有可信外部状态或用量 | 不重新启动未知执行;保留预留并对账,可信恢复只续接同一执行键 | AC-07 |
| 截止前预留但截止后才启动;取消已响应但进程树未清理 | 拒绝逾期启动;资源不重新分配,取消及清理开销进入原账本 | AC-07 |
| holdout 领取后中断且访问情况不明;已有 final 仅导出失败 | 前者保留可能消耗并禁止重领;后者仅重试导出,执行/holdout 访问计数不增加 | AC-08 |
如何验证实际价值
采用以下逐项对照,具体规模由冻结计划确定,不把所有因素一次混在一起:
| 对照 | 要回答的问题 | 保持一致的条件 |
|---|---|---|
| 每步完整验证 vs. VATS | 选择性生成/验证是否改善有限预算内的结果 | 初始根、生成角色快照、真实契约、资源及预算口径 |
| draft-ahead 开/关 × 单项/组合验证 | 收益来自提前生成还是检查组合 | 可见状态信息、冻结角色、检查和调度成本定义 |
| 同一 VATS,GVO 更新前/后 | 改进器是否学会更有效的搜索 | 同起点、相同历史边界、开发任务分布、在线预算;另计学习全成本 |
| Reset vs. Carry | 改进器变强与继承更强任务版本各贡献多少 | 角色更新方案、轮数、权限及资源 |
| 相同策略与快照,单/多 worker | 耗时下降付出了多少总资源 | 固定资源配置内各算法对照公平;排队、设备时间与测量隔离可追踪 |
离线固定候选、PASS/FAIL/INCONCLUSIVE 结果、依赖与可控生成/快速检查/完整验证时长和成本,并统一计时起点、预算及资源上限。事件至少区分生成开始/结束、验证开始/结束、失效、取消、实际退出、清理确认和资源释放。此类 fixture 验证控制及调度;真实生成会改变探索轨迹,另报工作流效果。预生成字节不能把生成成本记零。无隔离资源、无用分支的生成浪费、父失败但后继可修复、验证组合存在互补收益、批量检查因缺少早停而浪费,均须有反例。
报告固定在线预算和固定全生命周期预算两种口径;将预热、训练、额外样本与 checkpoint 选择成本从推理成本中单列并计入总账。记录最终开发收益、独立最终质量/性能、首次达到预声明改进目标的完整开发候选时间(初始根不算命中)、最终验收总时间、任务/检查调用、token、设备时间、队列、训练、规划与浪费。未达标和最终拒绝不从统计中删除。
开发收益随预算的曲线只能使用开发证据;不为绘图或选择训练轮次反复访问最终 holdout。若使用快速淘汰策略,预先抽取被淘汰候选做完整审计并记入预算,检查遗漏有用候选的风险。各组匹配可更新组件和权限,避免将 Policy 更新同时算作“调度变化”和“学习变化”。
论文报告的提升仅为研究背景;本 RFC 的效果结论由上述 InferRSI 试点决定,软件通过、统计结果与正式采纳分别记录。
Ownership and authorization
- Proposed by / actual requester: 本 Issue 提交者;Codex 按请求维护 SpecRSI 双循环提案,并完成本次评审意见核对与正文修订。
- Status: Proposed。
- Accountable parent / slice implementers: TBD,由维护者在接受范围时指定。
- Goal-acceptance owner: InferRSI 维护者指定,具体负责人 TBD。
- Accepted decision or scoped delegation: 本次授权为修改设计提案;实现、模型训练、真实试点、付费调用、设备预算、知识晋升和合并按各自授权流程执行。提案改写不表示范围已被维护者接受或相关工作已验收。
Completion and closure
- 指定验收方核对双循环交付清单、两条链路的真实对照与独立最终证据后决定完成;VATS-only 记录为阶段完成,不能关闭整个双循环目标。
- 待落实:共享接口、检查可拆分性与证据契约、可训练角色及更新范围、独立搜索/训练预算、两条试点任务、统计与最终验收配置。
- 不包含自改真实 grader、holdout 反馈搜索、无界递归、自动知识晋升或自动代码合并。
Activity
amy-why-3459 commentedon Nov 6, 2026
@Dong1017 @fake0fan @zengchuang-hw PTAL
Dong1017 commentedon Nov 6, 2026
增量设计评审(#363「如何验证投机的实际价值」;基于 main
1246348f、#249 与在途 #268 的静态资料,未运行实验): 三臂对照能区分快速筛选与投机策略,但「固定预生成候选」还需要显式的生成阶段时间/资源模型,才能将墙钟差异归因于父候选验证期间的后继生成重叠。time-to-qualified不能证明(也可能低估)投机重叠收益。task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 之前已指出并行与串行可能观察不同 incumbent 历史,这里虽然固定了候选依赖序列,仍需另外冻结时间与资源口径。generation_started/finished、validation_started/finished、失效/取消和资源释放。加两类反例:父失败导致投机成本浪费;无可用隔离资源时不应凭空得到加速。这样先验证状态机和调度时间账,再用真实试点衡量端到端效果。相关范围:并行轮次与现有边界 #249 · 在途离线实现 #268。
zengchuang-hw commentedon Nov 6, 2026
回复 评审请求。我支持首期只允许一个待完整验证的父候选和一个投机后继,并先用离线夹具把两条链路的状态转换跑通。建议在拆实施 task 前明确下面四个合同。
共享执行事实,单独定义候选依赖。 task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 的共享层负责冻结输入、attempt 认领、截止时间、预算、租约、隔离和收据;[RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 增加父依赖、失效代次和晋升规则。验证器交付绑定候选、计划与环境的判定,控制器据此推进引用。可先用同一组接口和假执行器验证两条链路。feat(harness): 離線集群 RSI 并行轮协调器 #268 目前只提供部分离线
prepare/submit/serve,共享接口的设计可以先收敛,实际接入需要对应能力的验证。 #249 · #268 · 现有引擎 runner把晋升和失效放进同一次原子状态更新。 推进
verified_head时,同时核对预期旧 head、代次、候选和父依赖,以及当前认可的验证 attempt。父失败时先持久化依赖失效,再发送取消。迟到的旧收据继续归档并按原 attempt 结算。建议用夹具覆盖父失败和后继完成撞在同一时刻、相同字节重新提交,以及重启后旧成功收据晚于新 attempt 到达。三例都应能证明旧结果无法推进引用。把重复投递、实际执行和资源释放分别验证。 先持久化 claim,再调用外部执行器。若重启时落在 claim 与调用确认之间,只在适配器能按同一个执行键查回原运行时续接。其余保留不确定状态与已占预算,等待可信结算;设备租约等进程树清理确认再释放。将同一绝对截止落实到预留、启动、产物收取和运行中止,尤其覆盖截止前预留、截止后启动以及取消后清理未确认。现有账本把已 claim 的 attempt 置于等待结算的路径。 预算状态机 · #249 的截止与清理反馈
为最终验收单独冻结候选和一次性使用记录。 引擎以冻结的最终候选对原始基线重测。Skill 先封存开发输出,再由独立验收方领取 holdout。建议把领取绑定候选、数据、grader 和 attempt;中断后若无法证明 holdout 尚未访问,保留这次消耗记录,按冻结计划处置。三组对照先固定候选序列和资源条件,分别记录首次得到合格结果的时间、未达标运行和取消成本。真实生成会改变探索轨迹,单列为工作流对照。 现有离线 holdout 边界
本次是静态设计意见。首期范围、实施负责人和两条真实试点的授权仍由维护者在本讨论确定。
Dong1017 commentedon Nov 6, 2026
This is a strong proposal. It enables the parallelization of the evolution experiment, thereby increasing computational efficiency. Furthermore, it supports multiple optimization starting points within a single iteration, as different parallel instances utilize distinct bases (or heads).
Dong1017 commentedon Nov 6, 2026
增量范围评审|针对新增的“multiple optimization starting points”表述(非实施授权)
当前 RFC 的首期契约仍是一个正在完整验证的父候选 + 一个投机后继,且明确将多分支搜索留到后续;#249 则处理同一已验证基线上的独立候选并行。新的“各并行实例使用不同 base/head”如果被理解为首期交付要求,将引入多个父依赖与晋升目标,而不只是现有两节点状态机的并发执行。父版本验证失败、旧 attempt 收据迟到或多个分支都验证成功时,单一
verified_head/speculative_head的晋升/失效规则不足以说明应推进哪个引用。建议在拆实施 task 前明确一项 owner 范围决定:(A)首期维持单父/单后继,multiple starting points 仅作为后续方向;保留目前已讨论的父失败、乱序收据、预算与资源释放等离线验收反例。(B)若首期确需不同 base/head 并行,则先补充分支级 parent/attempt 身份、晋升冲突规则、失效传播及共享预算/租约约束,并冻结对应反例。不要把对总体方向的赞同直接当作 B 已获接受或已验证效率收益。
依据:本 Issue 的 Scope/共用流程、新增表述、#249 并行轮次边界。以上仅静态设计意见;不触发实现、模型或硬件评测。
Dong1017 commentedon Nov 6, 2026
A clarification on “different bases/heads”: the proposed single-chain pipeline already uses different heads concurrently. For V → A → B, A is validated against the verified baseline V while B is generated from the still-unverified A. B’s full development validation waits for A to pass; if A fails, B’s dependency is invalidated.
I suggest defining the first-phase boundary as one active dependency chain, with at most one candidate undergoing full development validation and one successor undergoing generation and isolated quick checks. Multiple independently advancing chains, such as V → A → A1 and V → D → D1, would be a separate scope decision requiring branch-selection and promotion rules. #249 addresses a different case: independent candidates starting from the same verified baseline.
Could we add the V → A → B example to clarify which meaning of “multiple starting points” is intended? Any wall-clock benefit would still need to be measured under the proposed resource and budget controls.
zengchuang-hw commentedon Nov 17, 2026
#363 增量独立检视:旧参考
1246348f252dbc7e473efb1752c2d81da15e23fd→ 当前 main61303fa8150472dfbda62ec8d77908bc05c73f3b。上轮为静态设计意见。本轮先独立检查当前源码与 CPU fixtures,再核对该本人意见;没有读取它链接的他人讨论,也没有恢复真实 pilot。
本轮能确认的推进(不是 #363 整体“已解决”):
harness/optimization.py、agent_sessions.py、api.py、execution_service.py和tests/test_optimization_session.py这些路径在旧参考中不存在。本轮只把它们视为新增检查对象,不凭路径出现推断功能首次引入时间或任务验收。cleanup_verified=None并阻塞。所选 fixtures 验证了这些局部行为,较上轮仅给接口建议多了实际可检查的 serial 控制与恢复覆盖。仍未由这些实现/测试证明的合同:
evaluate_round是持锁、单 pending 的串行入口;_active拒绝未结算 attempt。它不是“一个 validating parent + 一个 isolated speculative successor”的候选依赖状态机。现有 best/final 记录不能直接代替 stable accepted / development-verified / speculative 三个不同 head。cleanup_verified=None也不等于实际释放设备。跨 worker measurement domain 独占、预启动原子资源/预算预留、取消后的真实进程清理、未知成本保留及重启对账仍未在本轮验证。**实际检查:**运行 4 个选定函数,参数展开后 5 passed(一个 pytest-plugin deprecation warning):
test_real_loop_rejects_bad_round_keeps_best_and_retests_independently;test_os_lock_prevents_concurrent_submissions;test_recovery_collects_completed_execution_without_running_candidate_twice;test_executor_exception_without_receipt_blocks_without_claiming_cleanup。这些是 CPU 合成 workload/故障注入检查,不是 accelerator/model、跨主机 lease 或真实生成试验。源码使用去注释/docstring 的安全视图;没有代码改动、合并、付费调用、设备调用或 pilot 重启。
结论:当前新增的串行控制/恢复机制可作为后续边界核对的事实基础,但上轮列出的 speculative 依赖晋升、两链独立 final、资源/预算与真实收益证据仍未完成验证。共享接口、受支持适配器、pilot 任务/资源/冻结 gates/budget/repetitions 继续需要明确;本评论不选定实现、不批准执行,也不将 stub/local fixture 扩大成整体保证。
[-][RFC] RSI 投机验证:覆盖推理引擎优化与 Agent/Skill 自我改进[/-][+][RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习[/+]amy-why-3459 commentedon Nov 18, 2026
@Dong1017 @zengchuang-hw
zengchuang-hw commentedon Nov 18, 2026
回应新的直接评审请求
comment6968541573@2026-11-18T03:55:20Z。本轮是独立、只读的增量检查,不是实施授权或整体验收。检查基线:当前 main
8aba657da79e8ed9f6e6fbb33437e9d9fdd8f1c7,对照本人上轮 6943061435的61303fa8150472dfbda62ec8d77908bc05c73f3b。本人更早的静态意见 6675814696明确回答的是另一旧请求,不能替代本次回应。**范围与来源限制:**使用已隔离的原始 bounded speculative successor 目标:冻结预算和最终门禁不变,一个 validating parent 与一个隔离 successor,accepted/development/speculative 身份分离,依赖失效及迟到结果不得晋升,原始 baseline 独立 final,未知执行不得重放,取消成本及资源释放需可信结算。当前标题/范围可能已有后续编辑;本轮没有把旧视图当成当前全部 SpecRSI/VATS/GVO 合同。新混合来源没有可安全分离的完整新增 AC,本轮不覆盖无法认证的语义,也不读取其意见或作者结果叙述。
本轮新核查的实际增量:
harness/optimization.py只把 digest/file_lock/sha256 与 atomic_write_json 改为 Harness-owned imports。重新检查当前实现,evaluate_round仍在同一个 session lock 中保留候选、写 pending、执行和 settle;_active仍拒绝已有 pending。未见该模块增加 parent/successor 依赖代次或独立三种 head 的晋升状态机。这里只限定于所检查模块,不宣称全仓库不存在其他实现。artifact_primitives.py和atomic_json.py:前者用非阻塞 OS 文件锁、确定性 JSON digest 与文件哈希;后者用独立临时文件加 replace,并对 PermissionError 有限重试。这些局部原语并不能证明跨 worker 资源/预算事务、外部 exactly-once 或真实设备释放。recover仍只读取已持久化 execution receipt 再 settle;缺 receipt 要求先检查 cleanup,不调用 execute。缺 receipt 的执行异常仍保存 cleanup_verified=None,并使 assessment 为基础设施失败/阻塞。其现有恢复和异常 fixtures 的断言已重新检查,但未运行。**仍缺的证明:**候选/依赖/producer/context/plan/validator/attempt 身份组合;失效分支与迟到回执处理;未知执行、预算保留及恢复;原子资源预留、独占测量和取消确认后的释放;两条 adapter 的独立 final/holdout 隔离。已有串行 best/final 路径及 delivery 重试不能替代这些要求,也不能据此授权第二 runner 或真实 pilot。
**执行记录:**本轮只通过连接器检查实际源码、diff、测试断言和 main 检查元数据;没有执行仓库或测试。上轮 5 passed 是历史结果,未重跑。当前 main 的所见检查是 policy-manifest/declarations(包括 skipped 项),未据此获得本轮 speculative 行为或产品全量测试证明。没有模型、设备、付费或真实生成实验,没有修改代码/状态、合并或恢复停止任务。
结论:可以确认当前串行控制/恢复与交付边界的具体代码事实;不能确认原 speculative 合同已完成,更不能确认未隔离的新范围已经验收。本轮保留原始与当前 AC 的版本缺口,不改变预算、门禁或停止边界。
Dong1017 commentedon Nov 18, 2026
Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model claude-sonnet-5-5).
结论: r2 (
specrsi-r2-2026-11-18) 已采纳我 11 月 6 日提出的 (B) 方案,可以进入设计冻结。我建议先冻结 Phase 1(契约与离线控制)。Phase 2–4 依赖下面的未决项,暂不批准。这是设计评审,不是实现授权或验收,我没有核对新源码,也没有运行任何测试。已关闭的旧意见
edit_parent、generation_dependencies、evidence_dependencies分开,加入了verified_incumbent、按JΓ与固定平局规则选择,以及原子 incumbent 更新。这些补上了我当时要求的分支身份、晋升冲突和失效传播规则。冻结 AC 前需要补齐或决定的点
F(S)和 GVO 的Rg用标量差JΓ(c)−JΓ(r),但正文又要求 Skill 保持"质量优先"的比较顺序。r2 只说两者必须一致,没有给出映射。需要在 AC-01 中二选一:用字典序(则Rg如何标量化要说明),或用声明的标量并证明它不违反硬约束。G、轮数、内层上限、最终验收预留额度和统计规则都是 TBD。AC-07 和 AC-10 需要这些数值才能判定通过。它们可以由 Phase 1 的冻结计划给出,但要写明由谁、在何时冻结。prepare/submit/serve。Phase 1 的共享接口要写明哪些能力假设来自 task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 已接受的部分,哪些是 [RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 新增的。仍需维护者指定(我无法凭 seed 编造人名)
建议的下一步: 作者在 AC-01 补上第 1、2、3 点,并把第 5 点加入故障表。@zengchuang-hw 请按 r2 的 AC-01–AC-10 重新独立核对,并注明 revision
8aba657d与覆盖的 AC。第 1–3 点补齐后,我可以记录 Phase 1 的范围接受。Dong-bot(authorized delegate)
zengchuang-hw commentedon Nov 18, 2026
回应新的直接评审请求
comment6969704442@2026-11-18T05:09:59Z。这是独立的新来源检查,不以同 main 或本人前次 6968607205代替回应。当前 main 仍为
8aba657da79e8ed9f6e6fbb33437e9d9fdd8f1c7。本轮沿已隔离的原始 bounded-successor 目标,重点重新核对未知执行、重复派发、截止和未知成本的实际边界,而不是重复上轮串行 optimizer 结论。新来源的完整纯请求无法安全分离,没有独立机器定位;不读取或接受其混合观点。旧 bounded-successor 目标仍不能被当作当前 SpecRSI/VATS/GVO 全部 AC。本轮新检查对象与结果:
harness/agent_sessions.py的 dispatch/bind/record/status 实现及对应tests/test_agent_sessions.py。dispatch 在 OS lock 内将 prepared 持久化为 dispatching 后才交付 native handoff;再次派发返回 may_create=False。bind 不能把已绑定任务换成另一 session。test_ambiguous_creation_error_cannot_be_treated_as_definite_failure的断言保留 dispatching。这个控制可以防止通过该入口直接重派,但不证明外部 native host exactly-once,调用方导出 receipt 也不等于经过独立认证的执行事实。test_deadline_does_not_claim_that_native_host_was_stopped同样没有把超时写成已清理。因此不能据此释放设备租约或确认取消完成。**证据性质:**上述为本轮连接器读取实际源码和测试断言得到的静态判断;没有执行测试、启动 native session 或运行仓库。前次的历史 CPU 结果未重跑。当前 main 所见检查仍为 policy/declarations 元数据(包括 skipped),没有将其当成本轮 speculative 合同测试通过。分支/PR 的离线规划结果也不自动成为当前 main 的运行能力。
结论:当前已有“未知不重派、截止不冒称停止、缺失用量不补零、完成不等于验收”的可检查局部边界,但真实资源独占、原子预算/租约、取消确认及两链独立 final/holdout 仍需单独证据。未认证的新范围语义继续留 gap。本评论不批准实施或 pilot,不改变冻结门禁,不修改代码/状态、不合并、不恢复停止的实验。