# Role-Play Bench 报告修订审计（2026-10-27）

Role-Play Bench 复现报告（`web/src/pages/Methodology.tsx`）第 3.9、3.10、4 节和附录 B 的数据来源。所有时间为 UTC。

- `findings.md`：审计结论摘要（评测清单、v6.0 变更时间线、正式裁判可靠性、报告与数据的矛盾）。
- `out/`：结果文件。`runs.md`/`runs.csv` 评测清单；`v6_changes.md`、`v6_timeline.csv`、`v6_penalties.csv`、`version_markers.csv`、`deployments.csv` 版本与变更；`reliability_a.md`（完整评测上的裁判一致性、区分度、排序稳定性、跨场景泛化）、`reliability_b.md`（生产库里的旧提示词校准评测）及对应 CSV；`minimax_separated_pairs.csv`（错语言规则前后 MiniMax 公开数据显著分开的模型对：41 → 34）。
- `scripts/`：生成以上结果的脚本。只读：D1 只执行 SELECT（`q.sh` 拒绝其他语句），Cloudflare API 只读版本与部署列表。

## 运行

脚本里的路径是占位符，运行前替换为本机路径（例如 `envsubst`）：

| 占位符 | 含义 |
|---|---|
| `${RPB_AUDIT_DIR}` | 工作目录：原始导出写到 `raw/`，结果写到 `out/`（`raw/` 含生产数据导出，不入库） |
| `${PROJECT_ROOT}` | 本仓库根目录 |
| `${CLOUDFLARE_ENV_SH}` | 设置 `CLOUDFLARE_API_TOKEN`、`CLOUDFLARE_ACCOUNT_ID` 的本地脚本（不入库，脚本不打印令牌） |

顺序：`export.py`（导出评测、会话、裁判结果）→ `inventory.py`（评测清单）→ `cf_versions.sh rp-bench-api` 与 `version_markers.py`（Worker 版本及各版本是否含某项改动）→ `v6_changes.py`（变更时间线与影响）→ `reliability.py`（一致性与稳定性）。

## 不在本目录的数据

- 正式裁判在 44 个 MiniMax 公开会话上的对比（11 模型 × 4 场景 × 第 1 个样本）是开发实例上的评测 `9ec0dd5664b94863`（2026-10-24 19:30:58 UTC），数据在本地开发库 `data/rpbench.sqlite`；其裁判提示词与生产正式评测相同（SHA-256 前缀 9f6fd89243 / 4b8fe79a49）。
- 公开数据排序保持检验：`tools/experiments/anchor_check.py`（读开发库；错语言规则后结果 30/34 方向一致、27/34 非劣、未决）。