Q2科研成功判定:独立科学确认只证明冻结主张的有效证据;是否具备Q2+投稿潜力另由Q2_PUBLICATION_GOAL.md及VENUE_STRATEGY.md评估,优先Q1,不必实际录用才算科研成功;不自动授权写作。
写作锁:活动06是科学主张/独立证据确认,不是自动开始写稿。WRITING_GATE.md 要求先完成科研成果总结并经用户明确审查,再得到独立论文写作授权;DRAFTABLE、SUBMISSION_CANDIDATE 和确认完成均非写作权限。未解锁只写证据、局限及补实验。
定位:前面五项允许研究任务与算法机制逐步形成;进入论文主张时,不降低真值、分组、基线、独立确认、统计和创新贡献的标准。只在确实存在候选成果或拟公开论断时使用;工程 PASS/内部代理改善不自动进入论文阶段。
确认尺度匹配主张,而非全球SOTA门槛:一项增量贡献经充分支持就有论文讨论价值;允许方法简单、总体精度略低但效率/标定成本更好,或只在预定义群体/约束中有效。需如实披露完整相关结果及权衡,不得挑DEV最好切片掩盖负结果。公平对照选择当前Claim最相关且强的简单方法与具名近邻,不强制列举全球所有模型;跨库仅对相应泛化主张或独立确认必要。同库内真正未参与选择、适配当前Task的独立组也可支持限定范围的确认。论文贡献重要性与证据有效性分开判断,目标期刊另行匹配。
确认前:区分科学贡献未提炼与科学证据不足:最终冻结Claim前,按需参考SCIENCE_RESULT_HARVEST.md的主张候选、负结果和来源。若已有证据充分但科研总结未准确表达重要性、具名最近邻差额、算法能力和不利Run,标ARTICULATION_GAP并只修改科研成果总结/Claim–Evidence表;若机制、因果、跨域或成本主张缺关键独立证据,标EVIDENCE_GAP并保持不确定性,只在真实授权内计划必要实验。科学表达不能提高未证实结论的等级,也不能作为撰写论文的许可证。
H9 人工确认是科学决策与独立资源授权的交汇点,不是自动确认通道:以 H8 经用户选择/委托的主张为前提,先只读提供最终 Claim、合法 Task/部署信息、冻结方法与代码、评价器、独立单位/确认资源、选择史、原 SHA/Run/协议和一次性确认方案(含失败时结论如何更新),再由用户明确确认该科学确认方案。读取 SEALED、外部数据、采集、运行、模型拟合等仍须分别核查对应的原始明确授权,不能由 H9 的一般“同意主张”推导执行许可。确认池不合格时先报告 CONFIRMATION_UNAVAILABLE 与可行替代,不能让 AI 自己更换目标 Task/使用旧 SEALED。普通只读合法确认资格核对不需要新权限。确认失败只能如实保留,不得反复访问同一独立池修正模型后再宣布独立;实质变更返回 H8/H9 局部重审。
活动06固定出口(研究活动合同):H8 主张与选择史先冻结,适用独立确认时 H9 需核协议及单独的实际访问/计算授权;若无可用且独立的确认资源,明确 CONFIRMATION_UNAVAILABLE,不能补造 PASS 或复用已污染的 SEALED。H10 只审科研总结和局限,不把“确认不可用”说成“确认成功”,更不等于正式写作授权。理论/仿真核与主张匹配的独立证明或验证范围。
理论/仿真主张归档(不放宽经验确认):core.contracts.validate_claim 允许为仅限证明/仿真/经审查机制的主张明确选择 evidence_path=NON_DATA,必须保存适用范围、假设/原始证明、反例与独立审核文件。CONFIRMED 理论主张要求真实独立核验来源与冻结审查方案;仿真确认只能在模拟器及参数域内表述,不能代替受试者/设备/人群的经验泛化。含实证性能的混合主张应拆分为经验 Claim,仍由真实 Run/合法独立 SEALED 证据确认。该路径只检查记录结构及本地不可变工件,不认证科学推导正确,也不授予任何读取/拟合/写作许可。
在读取任何封存确认内容前,应明确记录:
- CLAIM_ID、目标/单位/时间跨度、部署前可见输入、独立标签/证明义务、泛化对象(受试者/设备/环境/时间/机器人平台)。
- 本轮主指标/分母/分组、模型选择与调参历史、开发集数据切片搜索史;已完成的多个任务不应只报告“幸运最佳”。
- 固定拟验证的代码/模型 checkpoint、数据/划分/评价器版本,及训练和评价许可;保留可执行复现命令和逐样本预测指针,不能只凭汇总分数确认。
- 具名最近邻、至少一个合理简单基线与可解释替代;如证明机制的因果/归因,需有真正区分的负对照、消融和预测,而不是性能好就说机制成立。
- 预先定义想证实的效应/最小科学价值或可证伪理论结果;具体任务才确定相应合适统计方法与必要独立样本量。不强制每种科研问题都使用分类指标。
- 封存holdout:从早期任务发现、切片/标签观察、特征工程、调参和候选任务选择中隔离;仅在提前决定确认方案且确有权限时用于独立最终评价。若已使用确认集选择任务/模型,标 CONTAMINATED,不得事后换 seed / 简单重划分称为独立确认。
- 同一个公开数据库也可能提供有效确认数据,前提是真正从未用于选择且与主张对应,分组和时间因果有效;外部数据库/新采数据可加强外部泛化证据,不能因为是同一个源就必然全无确认价值。
- 跨数据库确认:依下载前
DATA_PORTFOLIO声明逐库来源、开发/复现/确认角色、独立group及任务/标签对齐。D2若用于任务选型、类别对齐后的调参或机制筛选,已成为开发证据,不能再叫未接触独立确认;需其他匹配的未参与选择数据。D1/D2不同类别任务可以分别验证同一科学命题,但不能直接pool F1或把各库不同基线成绩当一个共同模型的泛化结果。 - 开放式多任务搜索额外产生选择偏差。报告候选任务、切片、指标及开发集试验范围;对最终主 Claim 核对 task_id、protocol_id、eligible_holdout 的对应关系。原先为另一个任务预留的组,若标签、分组或时间结构不支持新主张,就不合格。只用独立于任务选择且真正适配该主张的数据/组验证最终冻结的方法;如没有,明确 CONFIRMATION_UNAVAILABLE,并限制论文/性能/泛化主张。
- 禁止确认集的重复“试到好”为止、测试结果驱动重新发明主张再复测同一集。确认集出现失败/异质性也是合法结果,必须报告;不能只展示成功的组、seed 或任务。真正的新假说可以继续探索,但需要新的独立确认路径。
对于物理规律、理论命题、系统机制或跨平台能力,可将独立实验装置、不同测量原理、理论证明、仿真及真实部署作为相互补充的证据路径。先说明其验证的是同一个冻结命题的哪一部分,独立变量/参数域/边界条件是否相容,是否在看到既有结果后专门调参/选例,以及是否共享相同标签、模型、假设或实现错误。真实统计总体的泛化主张通常仍需要与该总体相符的未污染独立经验数据;理论定理需要可审核前提与推导,仿真仅支持其假设及参数范围内的命题,跨硬件实例也未必等同跨人群/跨设备泛化。理论/仿真与实验形成三角互证,不等于自动替代 SEALED 确认,也不自动证明实验统计效应。
对真正的纯理论 Claim,可以以可独立审核的证明及适用前提为核心确认路径,明确没有经验泛化主张;若它还包含实验性能结论,后者仍按现有 holdout/独立实验规则核验。只允许在已有合法权限内整理和验证适配证据;涉及新采集、重新分割/解封、计算预算或对冻结协议作实质修改,仍须用户授权,不能用“范式独立”绕过活动06冻结/一次性确认约束。建议在现有 INDEPENDENT_CONFIRM 记录 PATH | CLAIM_SCOPE | SHARED_ASSUMPTIONS | INDEPENDENCE_LIMIT | VERDICT;不新增强制状态。
若任务经过L3 → L2 → L1下探或LATERAL横向切换,先冻结最终层级的独立科学主张,再核:task_id / level_id / permitted_K / observed_info / source_run / protocol_id / eligible_holdout / selection_history。每层要求的目标标签、标定时间与部署输入不同,不能直接比较跨层 F1 然后宣称同信息条件下算法优越。可跨层报告“标签成本—性能”曲线,但需保持每个预算K的公平强简单基线、明确标定与测试分离;不把不同K的数据优势归因于新模块。
层级变更不恢复独立性:多任务/多级搜索用过的开发组始终是开发证据;先为L3封存的组也不一定支持L2的K-shot标定或新标签。确认池不匹配则CONFIRMATION_UNAVAILABLE或使用确实独立的外部数据;不能在封存集上找最好的层级。L0工程或L1普通校准若已被近邻覆盖,结论可以是可靠资产/负结果,而非SUBMISSION_CANDIDATE。可参考 TASK_LADDER.md 的不同级别主张定义。
在正式确认前一次性冻结:claim_id / task_id / level_id / K_unit_and_timing / deployment_visible_information / chosen_method_and_commit / dataset_manifest_hash / group_split_protocol / evaluator_version / selection_history_ref / eligible_holdout / primary_metric_and_analysis_unit / authorized_confirm_action。复用现有STATE、RUNS或CLAIMS,不要求新管理平台;不具备的字段明示UNKNOWN或CONFIRMATION_UNAVAILABLE,不能为了填表打开封存测试数据。
跨层级L3→L2→L1切换后,必须确认目标K-shotsupport/query样本不重叠,且support标签早于query预测可得。同K/同部署信息对照才属于算法贡献比较;不同K可以研究标签成本—性能关系,但必须在每个K匹配简单强基线。确认池只执行被冻结的一次主比较;如果确认失败,记录负结果和失效组,下一理论/任务视为新的探索而非“重新确认”。
选择史与报告边界:最终发现是从多个TASK/LEVEL/指标/模型搜索而来,就披露选择范围;即使最终选了容易L1,不能隐藏L2/L3的有效负证据并称其为预注册成功。代码/运行成功≠科学正确≠论文接收;确认集不可用时保留EXPLORATORY/CLAIM_WITH_GAPS或寻找新的真正独立数据。
稿件分档不改变研究诚信底线:S/A/B/C只提示主张广度及投稿投入,不得代替独立确认、合法K、与当前任务匹配的公平对照及效应不确定性;C档窄范围创新也需要与窄Claim匹配的真正独立证据。投稿冲刺/主投/保守也不是录用保证。详见VENUE_STRATEGY.md。
Q2主张证据完整性检查(非稿件生成):①冻结、范围准确的新科学主张与最接近1–2篇论文的实质差异;②可信核心Run与公平最强参照;③与主张一致的独立确认、真实独立n、适用边界和不利结果;④竞争解释及必要消融/部署成本等关键证据;⑤确实相关的JCR Q1/Q2期刊/年度类别/近期同类型论文及其证据强度。按决定性证据1–3项优先补齐,仍不等于录用保证;DRAFTABLE不代表Q2科研成功,不代表写作授权。见Q2_PUBLICATION_GOAL.md与WRITING_GATE.md。
| 主张类型 | 必须与之匹配的证据 | 常见越界 |
|---|---|---|
| 效率/资源—性能权衡 | 固定合法信息和评价条件,报告速度、内存、能耗、标定标签及精度差异、环境和相应不确定性 | 精度略降却声称全面改进、忽略成本或只报有利指标 |
| 有意义的组件组合/局部方法改进 | 同条件公平对照、最关键组件消融、适用范围和最近邻差异 | 已有模块简单堆叠且无独立收益却宣称原创架构 |
| 纯任务预测改进 | 同输入/组别/目标/分母的公平基线、样本/组级效应及区间、未污染确认 | 只比未调参旧基线、选择最好 seed |
| 跨设备/人/环境泛化 | 对应设备/人/场景或时间独立分组,协议版本与失效域 | 帧级随机切分冒充跨人泛化 |
| 少样本/在线适应 | K-shot、可用标定标签的时间因果与部署可行性、同条件公平调优 | 在测试目标上偷偷调参 |
| 机制与物理解释 | 竞争解释、必要消融/负对照/模型简化、独立现象 | Oracle优势冒充可学习机制 |
| 可靠性、失败预警 | 真实标签、预警提前量、选择/拒绝成本或校准质量 | 用预测置信度自身冒充独立真值 |
| 具身控制/机器人任务收益 | 实际闭环/反事实可识别性证据或清楚的合法代理范围 | 离线分数直接叫操作成功率 |
| 理论/新任务定义 | 可审核的证明/清晰可重复任务合同、对现有定义的真实增量 | 把新术语或重新整理数据当原创机制 |
为首选 CLAIM_CANDIDATE 只写一条最小证据链:真实问题与独立价值 → 最近邻尚未解决的差额 → 最简单竞争解释 → 能决定主张的实验/图表 → 仍封存的确认资源。不是预先编造正结果图;机制收益不稳定时,可以在证据许可下收窄为可重复的失效规律、轻量校准边界或新任务定义,但不能将常规工程复现自动包装为创新论文。多个 TASK/切片/指标的选择历史须披露;新 Claim 必须具备独立任务价值而非单纯改名。
研发优先目标:按 PAPER_FIRST.md 先建立可信有效证据与独立贡献,再验证Q2科研竞争力并有界提升科学性;但不以开发高分代替创新或独立确认。论文出口是分级证据,不是成功保证:NO_INDEPENDENT_CLAIM(只有工程或已知基线)、CLAIM_WITH_GAPS(潜在新增贡献但核心证据未齐)、DRAFTABLE(证据层面有草稿潜力,但未经成果总结审查与用户写作授权不得动笔,不等于独立确认)、SUBMISSION_CANDIDATE(仍须作者核验及投稿选择)。只有强基线与独立确认支持的部分能写作已证实结果。论文目标期刊/影响因子不能代替科学评价,也不能反过来强迫探索期达到确认标准。
- 基线包括简单可信替代及具名最近邻;合理匹配训练数据、优化资源、输入信息、模型可用时间、评价器与硬件成本,并报告差异。
- 以真正的独立单元(人、设备、实验日、任务等)分析而非把相关帧数或 seed 当独立组;报告每组效果与适用的区间/效应、负结果以及多任务/多次比较的范围。小样本、欠收敛或只用开发集的结果应写 INCONCLUSIVE 或 EXPLORATORY,而非“显著”。若研究选取过多个任务/切片/模型,明确对应选择范围及主张局限;追加 seed 不会生成新的独立人/设备/实验日。
- 数据泄漏、标签循环、假真值、时钟未来信息、后验选择确认集为严重科研缺陷:隔离受影响结论,必要时重建合法外部验证。历史有效的其他结果不自动全部失效。
- 首次确认负结果不要求项目级 STOP;不能偷改确认协议重试以获得正结果。新的探索属于新版本与新主张。
先核独立证据。任何图片(诊断/统计/证据/论文图)都必须由用户明确要求绘制或修改后才开始,见FIGURE_POLICY.md;否则只给图型建议与原始结果表,不执行绘图或生成预览。获明确请求后,在合法已验证证据范围内复用脚本、追溯Run、按项目配置统一样式并实际检查渲染;禁止伪造曲线。论文图授权不解除写作锁,也不省略必要的统计与独立科学验证。
建议只需一张增量表,复用已有 CLAIMS/STATE:
| 字段 | 填写内容 |
|---|---|
| CLAIM_ID / SCOPE | 当前一句科学主张、任务层级(若适用)与合法部署信息/标定标签预算K |
| EVIDENCE_RUNS | 真实完整 Run ID、源码/数据/划分/指标与原始证据指针;负结果与被试过的候选不可删除 |
| TASK_SEARCH_DISCLOSURE | 被探索任务、切片和模型选择的简明范围 |
| BASELINES/NEIGHBORS | 公平简单与具名近邻的对照/缺失说明 |
| INDEPENDENT_CONFIRM | 与当前 task/level/claim、合法K-shot时间关系相匹配且未参与选择的 holdout、外部独立组/证明,或 CONFIRMATION_UNAVAILABLE |
| UNCERTAINTY / LIMITS | 独立n、CI/效应、训练预算、方法和应用边界 |
| PAPER_READINESS | NO_INDEPENDENT_CLAIM / CLAIM_WITH_GAPS / DRAFTABLE / SUBMISSION_CANDIDATE |
若缺关键证据:允许提前维护科研验证计划、证据缺口清单及 PAPER_BLUEPRINT.md 的 H1/H2 章节内容规划;在写作锁未解除时不得生成“计划验证的论文草稿”或任何正式稿件段落;计划/代理不能当已验证结果;研究收益、原创性、论文接收和影响因子都不能保证。正式投稿、外传、费用和相应独立确认所需资源仍须真实用户许可。
来源:AI-Scientist-v3 的 investigation→ablation→sealed evaluation 分离;MLflow 的可追溯实验;DVC 的数据与流水线版本管理。这里只借证据结构,不安装第三方工具。