Skip to content

feat: gate the auditor's own recomputations - #11

Merged
mxuanvan02 merged 1 commit into
mainfrom
feat/reviewer-recomputation-gate
Sep 7, 2026
Merged

mxuanvan02 merged 1 commit into
mainfrom
feat/reviewer-recomputation-gate

Conversation

@mxuanvan02

Copy link
Copy Markdown
Owner

Vấn đề

Một lượt review nhiều vòng đã báo cho tác giả rằng giá trị δ = 12,26% của họ sai, kèm giá trị đối chứng 11,4%. Kiểm lại: δ phụ thuộc bảng bán kính nguyên tử, và bảng đó bản thảo không nêu. Quét ba bảng chuẩn cho ra 8,64% / 10,70% / 12,10% — giá trị của tác giả nằm trong tầm đạt được. Cáo buộc là sai, và nó được phát ra với vẻ chắc chắn của phép tính.

Nửa sau của cùng khiếm khuyết mang tính cấu trúc. Lượt review đó chạy 5 vòng, nhưng cả 5 đều đọc bản thảo: đọc thân bài, đọc phụ lục, grep phần thiếu, tính lại số của tác giả, verify DOI. Không vòng nào xét lại giả định của chính người review, nên số vòng dù bao nhiêu cũng không phát hiện được lỗi nằm ở đó. Lỗi chỉ lộ ra khi có người yêu cầu kiểm lại quy trình.

Thay đổi

references/reviewer-recomputation-gate.md:

  • Phân loại CLOSED / OPEN cho mọi lượng được tính lại. CLOSED = mọi đầu vào có trong tài liệu hoặc là hằng số phổ quát; bất đồng là phát hiện. OPEN = có đầu vào đến từ bảng tham số / quy ước / mặc định mà tài liệu không nêu và lĩnh vực có nhiều phiên bản được chấp nhận; bất đồng không là phát hiện.
  • Bảng licensing theo từng lớp. Hàng quan trọng nhất là OPEN-bất đồng: chỉ được báo rằng nguồn tham số chưa nêu nên giá trị không kiểm chứng được. Cấm đưa ra con số cạnh tranh, vì làm vậy biến một phát hiện thật và vừa phải thành một cáo buộc vô căn cứ và nghiêm trọng.
  • Sensitivity sweep trước khi khẳng định. Tiêu chí là reachability, không phải equality: nếu giá trị của tác giả đạt được ở đâu đó trong tầm các quy ước chuẩn thì tác giả không sai.
  • Phân biệt GATHER / FALSIFY. Mỗi vòng GATHER để nguyên một giả định do người review cấp vào, nên không vòng GATHER nào phát hiện được lỗi nằm ở đó. Bắt buộc ít nhất một vòng FALSIFY trước khi khẳng định bất kỳ bất đồng nào, và báo cáo phải nêu vòng nào đã làm việc đó.

Hai code blocking mới: open_input_recomputation, gather_only_verification.

Đã gắn vào gate

  • Đăng ký ở references/quality-rubric.md (bullet + section ## Reviewer recomputation gate) và references/writing-failure-taxonomy.md.
  • Thêm vào REQUIRED của scripts/validate_skill.py và vào contract test.
  • Pin cả heading của reference lẫn dạng bullet của code, theo đúng bài học đã ghi trong skill-repository-maintenance.md: tên trần cũng xuất hiện trong đoạn văn giải thích nên assertIn(code) vẫn xanh sau khi bullet bị xoá.

Bằng chứng

  • Contract test: 25 → 26 (counter đã dịch, không phải no-op).
  • Mutation-proof: xoá section CLOSED/OPEN → rc=1, đúng test đó đỏ; restore → hash khớp bản trước mutation, xanh lại. Đã assert construct thực sự vắng mặt và hash thực sự đổi.
  • 5/5 bước CI chạy local đúng như validate.yml, kể cả working-directory: scripts: validate_skill, unittest discover (26), internal register (38), process logic (13), vi ai pattern (30).
  • Version 3.7.0 → 3.8.0 cùng commit.

Giới hạn

Gate này là contract văn bản cộng contract test, không phải scanner. Nó không tự phát hiện một lượng OPEN trong bản nháp; nó buộc bước phân loại phải được viết ra và làm cho việc bỏ bước đó thành một khiếm khuyết có tên gọi. Một scanner sẽ cần biết bảng tham số nào đang dùng, mà đó chính là thông tin thiếu trong trường hợp gốc.

An audit that recomputes a number from the audited document is doing the
right thing with an incomplete control. When the recomputation depends on a
parameter table the document never states, and the discipline supplies more
than one accepted table, the auditor's value is one member of a family --
not evidence of the author's error. Reporting it as an error is a false
accusation delivered with the authority of arithmetic.

The second half of the same defect is structural. A multi-pass audit whose
every pass reads the audited document cannot find a fault located in the
auditor's own assumptions, however many passes it runs, so a pass count is
not evidence of rigour.

Adds references/reviewer-recomputation-gate.md with the CLOSED/OPEN
classification, the licensing table per class, the sensitivity sweep that
retires most OPEN disagreements, and the GATHER/FALSIFY pass distinction.
Registers open_input_recomputation and gather_only_verification as blocking
in the rubric and the failure taxonomy, adds the rubric gate section, wires
the reference into validate_skill.py REQUIRED and the repository contract
test, and pins the reference's decision constructs so a later edit cannot
reduce the file to a description of the failure it prevents.

Contract test count 25 -> 26. Mutation-proofed: deleting the CLOSED/OPEN
section turns the suite red, restoring it returns the pre-mutation hash and
green. All five CI steps pass locally.
@chatgpt-codex-connector

Copy link
Copy Markdown

You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard.

@mxuanvan02
mxuanvan02 merged commit 74842c3 into main Sep 7, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant