# Role-Play Bench 复现报告修订证据（minimax-rp）

数据快照：生产 D1，只读，约 2026-10-27 20:00 UTC。部署记录：Cloudflare Workers API 62 个版本及各版本 worker.js（scripts/version_markers.py → out/version_markers.csv）。时间均为 UTC。详细内容见 out/ 下各文件；本文件为子代理报告的存档摘要。

## 1. 评测清单（out/runs.md）
- (a) 正式裁判组完整协议平台评测 3 个：Doubao-Seed-Character 1547acce31（完成，hash，88.81，上榜）；deepseek-v4-1-flash-261017 44e958def4（完成，slot，90.60，上榜）；qwen-plus-character cd542f9e50（运行中）。
- (b) 校准评测 10 个（10-24，协议 v1.2–v5.0；无 v6.0）。
- (c) 快筛评测 9 个；(d) 早期 quick/试测 9 个；(e) MiniMax 导入 11 个。
- 报告第 4 节实验不在生产 D1，而在本地 data/rpbench.sqlite（本地 85 个评测：v6.0 custom 快筛 40 个、v6.0 正式裁判组校准 2 个等）。

## 2. v6.0 变更（out/v6_changes.md, out/v6_timeline.csv, out/v6_penalties.csv）
| 变更 | 首个包含它的 Worker 版本创建时间 | 能否改变已完成评测分数 | 实际影响 |
|---|---|---|---|
| v6.0 本体 | 10-24 19:59:48（版本串“2026-10-25”为 UTC+8 日期） | 否 | — |
| 模拟器被审核拦截 → 另一模拟器 | 10-26 11:41:25 | 否 | 1 会话 2 轮 |
| 错语言规则 + 重评存储结果 | 10-26 13:19:51；重评完成 16:19:18 | 能 | 9 会话 / 3 评测：doubao-1.5-pro 87.11→85.90；1547acce31 90.02→88.81；快筛 6d6b0367ce 94.08→84.33 |
| 模拟器按场景与样本固定（slot） | 10-26 13:19:51 | 否（只对新评测） | hash 21 个评测（含 1547acce31），slot 2 个 |
| 裁判输出上限 16000/8000；截断加倍重评；按余额提交 | 10-26 13:36:33 | 否 | 1547acce31 快照仍为 32000 |
| 批处理过期 → 直接评分 | 10-27 11:30:25 | 否 | 1547acce31 由管理员整场改为直接评分（Sol 1425 段中 800 段同步）；4 个批处理仍 submitted，预扣 $101.48 |
| 审核拒评 → 另一正式裁判替代 | 10-27 11:48:37 | 已完成会话不变 | 1547acce31 有 6 段替代，该评测靠替代才完成 |
| 二次直接评分失败即最终 | 10-27 13:36:13 | 否 | — |
版本串 #4–#62 一直为“v6.0 · 2026-10-25”。

## 3. 正式裁判组可靠性（out/reliability_a.md, reliability_b.md）
- 两个完整评测，会话级裁判间一致性（n=568）：总分 Pearson 0.68、ICC 0.59、MAD 3.82；基础/逻辑 ICC 0.42/0.59；分段基础 κ 0.36、逻辑 κ 0.51。Opus 更严（89.01 vs 91.66）。争议会话 27–34%。
- 区分度：deepseek 90.60 [89.80, 91.40]（场景聚类），Doubao 88.81 [87.03, 90.24]；配对差 −1.79 [−3.83, −0.29]。聚类 CI 宽 1.25–1.39 倍。
- 排序稳定性：单裁判排序 τ=1；中英文 τ=1；随机半分场景 96.8% τ=1。泛化：两模型 Kendall's W=0.025（95 场景中领先 55、落后 40）。
- 校准评测（旧协议）：裁判间 r 0.81–0.97；与 MiniMax 公开分数会话级 r 0.54–0.68；模型级 ρ 对已发布榜单 0.46–0.88（每模型 1–2 会话）。
- MiniMax 公开数据上显著分开的模型对：规则前 41/55，错语言规则生效后 34/55。

## 4. 报告中与数据矛盾之处（12 处，见子代理报告；要点）
§3.7“尚无平台评测上榜”错；“41/55”只描述规则前数据；局限 9 与 §1.3 关于模拟器分配的说法对上榜评测不全成立；27 Oct 变更日志与实际不符；表 4“Batch API”不符；输出上限最大值已到 13,290；附录 B 漏 v2.4；表 5/13 的 v6.0 正式裁判数字来自本地库；§3.6 聚类放大幅度；版本号未升级而规则改变已存分数。