# CoSER 复现报告复核（第三次：数字优先）

> 日期：2026-11-01（UTC，约 11:30–12:15）。
> 被核对文件：`web/src/pages/CoserReport.tsx`（SHA-256 `148e93ea5befca3ad200e29e430df0ec6906bcb02899939537fe79c3994a2623`，共享工作区未提交版本）。
> 方法：把报告从头到尾过一遍，抽出全部数字和可核对的陈述，回到论文 LaTeX、官方仓库（`git show`，未运行其中代码）、发布文件、平台代码、脚本输出、网页原文逐条复算。没有调用付费模型，没有改动仓库文件，没有读密钥文件，下文不含测试集正文。
> 独立性：逐条核对完成后才读矩阵（第 6 节单列分歧）。没有读 `coser-pass1-paper-first.md`、`coser-pass2-code-first.md`。但本次复核一开始就读了报告本身（任务要求），`coser_third_party_search.md` 是任务指定的材料，读过。这一点与报告 6.2 节的说法有关，见 N08。
> 核对总数：349 条（相符 318，不符 23，查不到 8），归并后不符 16 项（第 1.1 节 N01–N16）、查不到 8 项（第 1.2 节 Q01–Q08），另有措辞问题 14 项（W01–W14）。

## 0. 材料与 SHA-256

| 材料 | SHA-256 或版本 |
|---|---|
| e-print v1.tgz | `60a939e7bf3c5baf766a531b0fd04e604b0aebb205c371cb369f228b415b5e13` |
| e-print v2.tgz | `ab8926b17127a6d0c2f9d3d0af1509849fe67b78f8c32b7a05021588d1315d5b` |
| e-print v3.tgz | `c6b39dff7e512e174d68ce20a147db5fd641e967bfac12d1e0e301e6b4b4c0f6` |
| `Tables/main_exp.tex`（v1、v2、v3 相同） | `99c3cfda63aaefab857312e7158f67ff2487d5a8917951fd65a4d6d1adf10598` |
| 官方仓库 | HEAD `624efc50db7be3a4e37cec6a1c58ed434dc9f2ce`（`gh api` 核对为远端 main 当前 commit） |
| 测试集 `data/test/test_set.json` | `eb175779d1d5adf99c893ff1f82de9b18ada912d3f385b3f5419195afdfb374a` |
| `tools/experiments/coser_prompt_check.result.json` | `a8a8dae10c1d715ae9683b45f1a1cbbb8dc49c4c60519e2ba12117d85e80c088` |
| `docs/复现规范/CoSER-核查矩阵.md`（最后才读） | `11b0be35597776449af6e50f03a3781fb896b0901a7c0225cfeb05a1c167f401` |
| `scratchpad/rouge_check.json` | `bdf044ef838b6f9513c58d5ae64f6718e8d1b091c74a73b59f9daf8656788a4f` |
| `scratchpad/e2e/out_regular.txt` | `2141588eeaa8a0dcd2d4adbd34ae4146fa9b06035fcb0616bf0666dc368f8bd2` |
| `scratchpad/e2e/out_faults.txt` | `19f58cc747a73b945c2e4fa9b50ffe73e83f118160f51cebe6c717d7a4863749` |
| `scratchpad/e2e/out_gateway403.txt` | `73f4f41e3e83339bc7f829cbd65a9bebb98f20d0e653d0214f1526bf644063f1` |
| `scratchpad/e2e/out_extra.txt` | `22e86ffe1866716833f827f29e874ddf94de9f2670ab0cbcb6e6a47695f4146a` |
| `scratchpad/e2e/out_full.txt` | `631cf9f74741c5e1fa2ad46887c1264d6325863f63e9243082ad41a9ec212839` |
| `scratchpad/reviews/coser_third_party_search.md` | `4c781179c514e106dfc1883a010df118d7a5f0d7cc89d1aa45ac06259fd14c70` |
| Python / Node | venv Python 3.11 + nltk 3.9.1；Node v25.2.1 |

本次运行（输出在 `scratchpad/reviews/pass3-scripts/out/`）：`coser_spec_check.py` 31/31、exit 0；`coser_prompt_check.py` exit 0；`coser_table_checks.py` exit 0。自写脚本在 `scratchpad/reviews/pass3-scripts/`：`data_counts.py`、`heldout.py`、`heldout2.py`、`nums.py`、`cost.py`、`e2e_logs.py`、`sha_prompts.py`、`table3_count.py`、`htmltext.py`（均以 `-I` 运行）。

文中“SC/AN/CF/SQ”指四个维度。结论只有三种：**相符**、**不符**、**查不到**。“相符（注）”表示数字或事实对，但有需要留意的地方。

## 1. 问题清单

### 1.1 不符

| 编号 | 报告位置 | 报告写的 | 实际 | 依据 |
|---|---|---|---|---|
| N01 | Table 1 第 1 行 | e-print v3 SHA-256 `c6b39dff…c4f6` | 末四位是 `c0f6`：`c6b39dff…c0f6` | `shasum v3.tgz`。矩阵第 14 行同错 |
| N02 | Table 2 Ceiling | 上限加于 v1 之后“four days” | 五天（v1 2025-02-13 08:55 UTC，`0e11992` 2025-02-18 11:05 UTC）。四天是相对 `93c1474`（2-14） | arXiv abs 页；`git log` |
| N03 | Abstract “32 settings”；3.1、6.3 第 1 条“Table 3 names each one” | 32 个设定，都在 Table 3 | Table 3 有 33 行、31 个编号（C18 占 3 行，无 C30）。32 只等于矩阵编号数（C01–C31 + C17a）。C30（单位与取整）不在 Table 3 | `table3_count.py` |
| N04 | 第 7 节 Basis | “1.0 and 2.5 are more than twice these” | Character Fidelity：√(2/3)×1.73 = 1.41，2.5/1.41 = 1.77，不到两倍（两倍是 2.82）。其余三维 4.6–6.4 倍，Average 2.45 倍。矩阵 V09 同错 | `nums.py` |
| N05 | 第 11 节第 7 条 | 环境持续被拒会使评测不完整 | 只有裁判如此。`gcaStep` 对角色、环境、NSP 都一样：拒答 6 次后记空行，会话继续。这条也与 Table 3、4.4 的说法矛盾 | `runner.ts` gcaStep、gcaJudge |
| N06 | Table A2 第 1 行“What it is” | 写着 “for general-purpose next-speaker models… the string used with CoSER-70B. Registered deviation (matrix C05, C12)” | 与 Table 7 第 1 行直接矛盾（那里说这条理由被提交信息否定）；协议 1.1 也不发这个字符串，不再是登记偏离。文字来自 `coser_prompt_check.py` 的 `EXPECTED`，是 1.0 的遗留 | result.json 第 141 行；`958f962` 提交信息 |
| N07 | Table 1 第 1 行 Licence | “arXiv licence” | arXiv 页面写的是 CC BY-NC-ND 4.0 | export.arxiv.org/abs/2502.09082 |
| N08 | 6.2 首段 | 三位复核者在写完结论前没看过 “the existing matrix and report” | 第三次复核的任务就是核对报告，起点就读了报告（只有矩阵放到最后）。另外矩阵写明复核者是子代理，报告只写 “reviewers”，也没说他们和被复核的工作同属一方 | 本次任务书；矩阵第 13 行 |
| N09 | Table 3 C17、C18、C22；Table 7 第 3 行；Abstract “rules are those of the authors' code of the paper's time, except for listed items” | 官方 6 次；裁判 8,196 | 论文时期代码 `93c1474` 是 11 次（`nth_generation > 10`），GPT-4o 裁判 `max_tokens` 8192。6 次和 8196 从 `297ffff` 才开始。报告任何地方都没列这两项，矩阵 C18 提到了 11 次 | `git show 93c1474:gca_evaluation/utils.py` 第 133–137、550 行 |
| N10 | 3.2 末段 | 与 `d7cee90` 的差异是动机、无上限、随机流、失败路径、标签规则 | 少了两项：开头 think 块与首尾空白的剥离（C17a，矩阵写了）；名字前缀范围（`d7cee90` 对所有 `llama*`，平台只对 LLaMA-3.1 8B/70B Instruct，4.1 写了这个范围，但没说它不同于 `d7cee90`） | `d7cee90:agent.py` 第 339、422 行；`family.ts` |
| N11 | Table 3 C24 Basis | “Paper” | 平台有下限 0，论文公式没有（同一行和 Table 2 都这么写）。下限来自论文时期代码，应写 Paper and paper-era code。6.3 第 2 条 “in the formula, yes” 也该带上下限和 R 的读法 | `eval_reproduce.py:409` |
| N12 | 1.5 | “scores change with the judge (Section 5)” | 第 5 节只有一致率，没有分裁判的分数。论文的分裁判分数表在 Table 2 中被标为不使用，报告没有列出。“A later section of the paper's own results” 这句本身也读不通 | 报告第 5 节；`exp_diff_judges.tex` |
| N13 | 1.1 | 三个 commit 引文 “add support for thinking models (especially for nsp)” | 只有 `958f962` 是这句，原文括号后有空格（`( especially for nsp)`）；`d8489fa` 是 “support nsp”，`4d6ed0f` 是 “fix nsp model” | `git log` |
| N14 | Table 7 题注、10.1、3.2 第 1 条 | 协议 1.0 和项目方决定都是 2026-10-28，且全文声明日期为 UTC | 引入 1.0 的 `a6dbe32` 是 2026-10-28 02:53 +07:00，即 **2026-10-27 19:53 UTC**。10-28 是本地日期和版本字符串标签。写决定的文档随同一提交入库，文内日期也是本地 10-28 | `git log --format=%aI`；线上 `/protocol` 返回 `coser-gca-1.0 · 2026-10-28` |
| N15 | Table 9 题注 | “from the paper's Table above” | 报告没有列主表（只有 Table 8 的 GPT-4o 一行）。指代落空 | 报告全文 |
| N16 | 第 8 节命令 | 给出的环境能跑全部脚本 | `coser_rouge_check.py` 调 `uv pip install`，命令里没有安装 `uv`，干净机器上跑不了；`coser_prompt_check.py` 也需要 node，只有 spec_check 一行标了；`coser_e2e_check.py` 的 `<token>` 实际是 token **文件**路径；`coser_paper.py eprint/v3` 会重写 `published.ts`，没有提醒 | 各脚本源码 |

### 1.2 查不到

| 编号 | 报告位置 | 内容 | 情况 |
|---|---|---|---|
| Q01 | 页眉、第 8 节、6.1、6.2、Table 2、3.1 | 审计包 `/audit/coser/2026-11-01/` | 目录尚不存在，只有 `coser_audit_bundle.py`。报告里“在审计包里”的说法现在都无法核对 |
| Q02 | Table 7 最后一行 | 第三次复核已复算全部数字，“Discrepancies corrected” | 写的是未来状态，本报告交出时还没有发生 |
| Q03 | 10.2 “2026-10-26. First version” | 首版日期 | git 最早提交是 2026-10-27 17:55 UTC；只有文件里的常量 `UPDATED = '2026-10-26'` 支持这个日期 |
| Q04 | 3.2 第 1 条 “The project owner chose this” | 决定本身 | 仓库只有 `docs/CharacterEval与CoSER-实验室接入方案.md` 第 13 行“（你的决定）”，日期见 N14；没有更直接的记录 |
| Q05 | 第 9 节 | 没有完整复现、列表不穷尽、Google Scholar 不可用、Semantic Scholar 只回一部分 | 只能对照检索记录，没有重做全网检索 |
| Q06 | 4.2、4.4 裁判重试温度 1、六次、最后失败 | 真实引擎上的行为 | 代码读下来相符，但三组引擎运行（regular、full、faults）的裁判请求全部是温度 0（72+18、2400+549、16+3），模拟模型从不触发重新评分。V08b 只测读取逻辑，这条路径没有在引擎上跑过。6.3 第 3 条的措辞没有夸大，但读者可能以为测过 |
| Q07 | Table 6 Failures “refusals marked” | `refused` 标记 | 温度序列我从请求日志复算了；标记本身在本地 D1，只能依据 `out_faults.txt` 的 ALL PASS |
| Q08 | Table 6 ROUGE-L | 10 个版本的具体数值 | 只读了 `rouge_check.json`，未重跑（任务未列入）；版本列表和 3 个存储值独立核对了 |

### 1.3 措辞过满或容易误读（不算数字错误）

| 编号 | 位置 | 问题 | 建议 |
|---|---|---|---|
| W01 | 第 9 节 “show how strongly the score depends on the judge” | 这些论文的 NSP、环境模型、样本量也不同，不能全归因于裁判 | 改成“depends on the judge and the rest of the configuration” |
| W02 | 3.2 第 1 条 “presents the default as a matter of cost-efficiency” | README 和 `main.py` help 只说推荐 CoSER-70B 或自部署以求更好的性价比，没有解释默认值为什么是 mini | 改成“recommends CoSER-70B or a self-deployed model for better cost-efficiency” |
| W03 | 3.3 “The platform follows the paper on each” | 解析器论文没写，跟的是论文时期代码 | 改成“the paper or the code of its time” |
| W04 | Table 3 C29、Table 7 | “no version matches” 只测了 PyPI 的 10 个发布版，GitHub master 未测（矩阵 C29 写了） | 写明范围 |
| W05 | Table 5 Length bias “per line” | 论文写的是 round | 改成 round，或说明这里读作发言条数 |
| W06 | Table 2 Marks | 只说 out-of-domain 粗体错三列，属实；同一张表 in-domain 的下划线还错两列（SC 应为 Mistral-7B 60.29，标的是 CoSER-70B 57.77；SQ 应为 Qwen-2-72B 75.68，标的是 DeepSeek-V3 74.91） | 补上，并说明是同一张表的两半 |
| W07 | REFS [1] | 一个标题配三个版本；v1、v2 的 `main.tex` 标题是另一个（Coordinating LLM-Based Persona Simulation of Established Roles） | 注明 v3 标题 |
| W08 | REFS [7]–[17] | 第三方论文只有简称和 arXiv 号，没有完整标题和作者，不符合学术引用习惯 | 补全（标题见第 4 节） |
| W09 | Table 9 AdvRole 第 2 列 | 只写 “Own models run; states 30 turns”，漏了论文写明 GPT-4o 兼任对话方和裁判 | 补上 |
| W10 | Table 9 OdysSim | “not confirmed for this evaluation” 偏保守：论文说裁判型任务的评分配置与强化学习环境相同，附录 D 说 CoSER 用 gpt-5.4；表 7 还写了 CoSER 100 条评测实例 | 可写得更确切，并补规模 |
| W11 | 第 7 节 “costs about US$105” | 算法复算相符（104.65），但这是未校准的估价，且偏高：把估价函数的输出长度套到完整模拟运行的实际提示词上约 US$71（模拟回复比真实短，这是偏低的一端）。矩阵写了偏高，报告没写 | 写成 “estimated at up to about US$105”，并说明不含失败重试 |
| W12 | Table 6 Engine、Abstract “real engine” | 引擎运行的被测模型只有 `mock-model`（family=other），Claude、o1、Llama、Step、CoSER 家族只在协议模块层（V05）测过 | 在 6.3 第 3 条补一句 |
| W13 | 页眉 Scope、4.5 “until it is judged… do not enter the ranking” | 说的是未部署的代码。线上仍是 `coser-gca-1.0 · 2026-10-28`，HEAD 没有闸门 | 报告必须与协议 1.1 一起上线（矩阵也说未部署） |
| W14 | Table 9 RAPO、Ditto 模型名 | 报告写 LLaMA-3.1-8B-CoSER、CoSER-8B，原文是 Llama-3.1-8B-CoSER、Coser 8B | 可按原文 |

## 2. 专项核对结论

| 专项 | 结论 |
|---|---|
| Abstract 的 32 settings | 与 Table 3 不一致，见 N03 |
| 956/986 | 相符：我手算 12 段合计 986 与 956，脚本输出相同；差的 30 个词 = k 句 27 + 两个占位符名 + `},},` |
| 31 checks | 相符：`coser_spec_check.py` 输出 31 行 PASS，31/31，我逐行点数 |
| Table 2 全部 | 12 行中 Ceiling 的“four days”错（N02），其余数字相符；Marks 行不完整（W06） |
| Table 8 split 均值 | 相符：61.085、48.795、48.50、79.62、59.50（Fraction 精确计算） |
| √(2/3)·s | 0.41、0.39–1.41 相符；“more than twice”错（N04）；“a fifth of the range” 相符（3/14.42 = 0.208） |
| US$105 | 算法相符：我按 `api.ts` 重写得 US$104.65（被测 46.55、环境 12.36、NSP 3.31、裁判 42.43）。站得住，但属估算且偏高（W11） |
| 1.2 全部计数 | 全部相符（第 3 节 D 组） |
| Table 5 全部数字 | 全部相符（“per line”见 W05） |
| Table 6 结果 | 350、1,400、47、1,000 等全部与脚本输出一致 |
| Table 4 会话数 | 相符 |
| 第 4 节与代码 | 重试序列、上榜条件、1000 次聚类自助法、`upperClipped` 存储字段都相符 |

## 3. 逐条核对

### A. 页眉与 Abstract

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| A01 | 页眉 | Protocol coser-gca-1.1 · 2026-11-01 | 相同，且模块、适配器、参考实现、报告、矩阵一致 | G05；`coser/index.ts` | 相符 |
| A02 | 页眉 | Last updated 2026-11-01 | `UPDATED`；`methodologies.ts` updated 相同 | 源码 | 相符 |
| A03 | 页眉 | 审计包链接 | 目录不存在 | `ls web/public/audit/coser` | 查不到 |
| A04 | Scope | 平台与作者无关联；榜单只排平台运行；论文结果列为原始榜 | 线上 rows 0，original 21 | `/api/benchmarks/coser/leaderboard?lang=en` | 相符 |
| A05 | Scope | 锚定未跑，判定前不进榜 | `anchorPending` 已设（本地代码），线上未部署 | `results.ts:184`；W13 | 相符（注） |
| A06 | Abstract | 21 个模型，三次平均 | 21 行；论文 “averaged across three runs” | `main_exp.tex`；`5_Experiments.tex` | 相符 |
| A07 | Abstract | 四维、GPT-4o 列缺陷、对照原对话 | 相同 | `4_Methodology.tex` | 相符 |
| A08 | Abstract | 32 settings | 33 行 / 31 编号 / 矩阵 32 | N03 | 不符 |
| A09 | Abstract | 956 of 986 | 956/986 | P-PROMPTS；手算 | 相符 |
| A10 | Abstract | 四处差异 | 判官模板 4 处 | result.json | 相符 |
| A11 | Abstract | 主要偏离是 NSP | 代码与论文 | `coser/index.ts`；`5_Experiments.tex:8` | 相符 |
| A12 | Abstract | 参考实现与模块一致 | 31/31 | 重跑 | 相符 |
| A13 | Abstract | 真实引擎重现请求、温度、记录、分数 | 18 与 600 会话 ALL PASS；我复算请求数与温度 | `out_regular`、`out_full`、`e2e_logs.py` | 相符（注 W12） |
| A14 | Abstract | 31 scripted checks | 31 | 重跑 | 相符 |
| A15 | Abstract | ROUGE-L、人工评测、一致率、测试集构造无法复现或核验 | 标注未发布；ROUGE 0/10 | `rouge_check.json`；仓库 | 相符（注 W04） |
| A16 | Abstract | 协议 1.0 拼接了两代代码，官方未运行过 | `958f962` 同时加 Output Format、去前缀 | `git show 958f962` | 相符 |

### B. 第 1.1 节与 Table 1

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| B01 | T1 | v1 2025-02-13 08:55 | 08:55:24 UTC | abs 页 | 相符 |
| B02 | T1 | v2 2025-05-28 07:23 | 07:23:09 UTC | abs 页 | 相符 |
| B03 | T1 | v3 2026-01-04 10:46 | 10:46:38 UTC | abs 页 | 相符 |
| B04 | T1 | ICML 2025 | Accepted by ICML 2025 | abs 页 | 相符 |
| B05 | T1 | SHA `c6b39dff…c4f6` | `c6b39dff…c0f6` | shasum | 不符 |
| B06 | T1 | 论文 Licence “arXiv licence” | CC BY-NC-ND 4.0 | abs 页 | 不符 |
| B07 | T1 | `93c1474` 2025-02-14 06:50 | 14:50:58 +08:00 = 06:50:58 UTC | git | 相符 |
| B08 | T1 | 实验名含 `env_model=gpt-4o-nsp=llama3-1210-8epc` | `eval_reproduce.py:564` | git | 相符 |
| B09 | T1 | 列出论文的模型 | 第 623–640 行 23 个内部 ID，覆盖主表（多 `doubao-1.5-pro-32k` 和一个 step 变体） | git | 相符 |
| B10 | T1 | 不打印论文表格 | 脚本写 JSON 和 txt，无表格 | git | 相符 |
| B11 | T1 | `624efc5` 2026-04-02，HEAD | 15:56 +08:00；`gh api` 相同 | git、gh | 相符 |
| B12 | T1 | 测试集 SHA `eb175779…374a` | 相同 | `data_counts.py` | 相符 |
| B13 | T1 | 200 scenes | 200 | 同上 | 相符 |
| B14 | T1 | 等于 `test_data/`（id 后 ood）除两个新增字段 | 新增 `tag`、`i_p` 各 200，其余 0 处不同 | 同上 | 相符 |
| B15 | T1 | 仓库无许可 | `license: null` | gh | 相符 |
| B16 | T1 | 发布示例三个场景，来自另一文件，不在 200 内 | 3 个文件各 3 条 = `example_test_set.json`，0 条在 200 内 | `data_counts.py` | 相符 |
| B17 | T1 | CoSER 8B、70B 公开，MIT 标签 | gated false，private false，license mit | HF API | 相符 |
| B18 | T1 | 模型页没说这是论文表格用的权重 | 卡片没有此说明 | HF README（WebFetch 读） | 相符 |
| B19 | 1.1 | 2025-02-18 `0e11992` 加上限 | 19:05 +08:00；diff 加 `min(…,100)` | git | 相符 |
| B20 | 1.1 | “typo fixes” | `fix: typo fixes` | git | 相符 |
| B21 | 1.1 | 2025-02-24 `297ffff` 变 `main.py`，默认 mini，读 `motivation` | 全部相符 | git | 相符 |
| B22 | 1.1 | 2025-12-25 三个 commit | 15:47、16:47、16:48 +08:00 | git | 相符 |
| B23 | 1.1 | 引文归属三个 commit | 只属 `958f962`，且多一个空格 | N13 | 不符 |
| B24 | 1.1 | NSP 加 Output Format、新解析、去前缀 | 相同 | `git show 958f962` | 相符 |
| B25 | 1.1 | 主表各版未变 | 三版 SHA 相同 | shasum | 相符 |

### C. 第 1.3–1.5 节

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| C01 | 1.3 | 主结果：环境 GPT-4o，NSP CoSER-70B，k=0 | 相同 | `5_Experiments.tex:8-9` | 相符 |
| C02 | 1.3 | NSP 结束信号或 20 行 | 论文 20 turns；代码 `max_rounds = 20` | `4_Methodology.tex:61` | 相符 |
| C03 | 1.3 | 动机与内心想法对他人不可见 | 相同 | `4_Methodology.tex:59` | 相符 |
| C04 | 1.3 | 裁判材料、去内心想法、每维独立请求 | 相同 | `5_Experiments.tex:9`；`4_Methodology` | 相符 |
| C05 | 1.3 | 严重度 1–5 | 相同 | `4_Methodology.tex:75` | 相符 |
| C06 | 1.3 | 100 − 5Σ + λ\|M̄\|，λ=1.5 | 第 103–104 行 | LaTeX | 相符 |
| C07 | 1.3 | 引用 AlpacaEval 作长度校正 | `\citet{dubois2024alpacaeval}` | LaTeX | 相符 |
| C08 | 1.3 | BLEU、ROUGE-L 只作分析 | 相同 | `5_Experiments.tex:14` | 相符 |
| C09 | 1.4-1 | 论文没写温度、上限、种子、重试 | grep 只命中数据构建的 repair-and-retry，无评测 | grep | 相符 |
| C10 | 1.4-2 | 60 词、开场、按模型处理不在提示词表 | 表中 grep 无结果 | grep | 相符 |
| C11 | 1.4-3 | ± 未定义 | 全文无定义 | grep | 相符 |
| C12 | 1.4-4 | 240806 脚注属被测 GPT-4o；README 要求裁判用 gpt-4o-24-08-06 | README:183 | git | 相符 |
| C13 | 1.4-5 | \|M̄\| 公式读作全部，示例只数非环境 | 12/12 对 0/12 | `data_counts.py` | 相符 |
| C14 | 1.5 | 相关工作概述 | 定性 | — | 相符 |
| C15 | 1.5 | scores change with the judge (Section 5) | 第 5 节没有分数 | N12 | 不符 |

### D. 第 1.2 节

| ID | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|
| D01 | 17,966 个角色 | 17,966 | `3_Dataset.tex` | 相符 |
| D02 | 771 本书 | 771 | `3_Dataset.tex`；`7_Conclusion.tex` | 相符 |
| D03 | 200 英文场景 | 200 | `data_counts.py` | 相符 |
| D04 | 每本书最后 10% | 相同 | `5_Experiments.tex:6` | 相符 |
| D05 | 100 + 100 | tag id 100，ood 100 | `data_counts.py` | 相符 |
| D06 | 101 本（69 和 32） | 101；69、32；无重叠 | 同上 | 相符 |
| D07 | 每场景 1–5 个发言角色 | 1–5 | 同上 | 相符 |
| D08 | 共 479 | 479 | 同上 | 相符 |
| D09 | 451 有动机 | 451（28 没有） | 同上 | 相符 |
| D10 | 9–32 行 | 9–32 | 同上 | 相符 |
| D11 | 中位数 12 | 12.0 | 同上 | 相符 |
| D12 | 7 个超过 20 | 7 | 同上 | 相符 |
| D13 | Environment 列出 130，追加 70 | 130、70 | 同上 | 相符 |
| D14 | 13 个无资料 | 13（按 `main.py:182-194` 逻辑） | 同上 | 相符 |
| D15 | 论文写加权抽样、上半 | Appendix 第 181–185 行 | LaTeX | 相符 |
| D16 | held-out 15 本 | id 14 + ood 1 = 15 | `heldout.py` | 相符 |
| D17 | 其中 1 本在测试集 | 1 | 同上 | 相符 |
| D18 | 4 个场景 | 4；i_p 都在该书 held-out 的 271–301 内 | `heldout2.py` | 相符 |

### E. 第 2 节与 Table 2

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| E01 | 2.1 | 294 个值（7 列 × 21 行 × 均值和 ±） | 我的解析 294；两模块无差异 | `nums.py`；T02 | 相符 |
| E02 | 2.1 | `main_exp.tex` 三版相同 | 相同 | shasum | 相符 |
| E03 | 2.1 | 每个 Average 与四维均值差 ≤ 0.005 | 21/21，最大 0.005（Gemini Pro 59.235 对 59.24），分数精确算 | `nums.py` | 相符（注：脚本的“17/21”是浮点比较造成，不是矛盾） |
| E04 | 2.1 | 版本脚注 GPT-4o 240806、Claude-3.5-Sonnet 20240620、Doubao-pro 241215 | 相同 | `5_Experiments.tex` | 相符 |
| E05 | 2.1 | CoSER 模型在榜上有标记 | `notes` 按 `/^CoSER-/` | `coser/index.ts` | 相符 |
| E06 | 2.1 | `coser_paper.py` 记录 SHA、写同一模块 | T03 | 脚本 | 相符 |
| E07 | 2.1 | 19 行相符，GPT-4o、GPT-3.5 不符 | 19 行最大差 0.005 | `nums.py` | 相符 |
| E08 | 2.1 | `eval_reproduce.py` 按 id/ood 取平均 | 第 691 行 | git | 相符 |
| E09 | T2 初始分 | `4_Methodology`:76、103 有 ×5 | 相同 | LaTeX 行号 | 相符 |
| E10 | T2 初始分 | `Appendix`:204、212 无 ×5 | 相同 | LaTeX 行号 | 相符 |
| E11 | T2 初始分 | v1 两处都无 5，主表已是今天的 | v1 `4_Methodology`:76、92 无 5；主表 SHA 相同 | LaTeX | 相符 |
| E12 | T2 初始分 | 示例 ×5 12/12，无 ×5 0/12 | 12、0 | `data_counts.py` | 相符 |
| E13 | T2 初始分 | 论文案例表一致 | SC 严重度和 14：60 = 100−70+30（R=20）；CF 10：80 = 100−50+30；AN、SQ 表中有省略号，显示的 14、6 小于所需 17、10，不矛盾 | `case_critics.tex` | 相符（注：R=20 是反推） |
| E14 | T2 长度 | 非环境 12/12；环境计入 0/12 | 12、0 | `data_counts.py` | 相符 |
| E15 | T2 λ | Appendix:208，−1.5909，1,200 例，λ=1.5 | 相同（λ 在 212 行） | LaTeX | 相符 |
| E16 | T2 上限 | 公式无界；论文时期代码下限 0 | `eval_reproduce.py:409` | git | 相符 |
| E17 | T2 上限 | v1 之后 four days | 五天 | N02 | 不符 |
| E18 | T2 上限 | README 0–100 | “LLM Judge Scoring (0-100)” | README | 相符 |
| E19 | T2 上限 | 12 个分数都未出界 | 0 个出界 | `data_counts.py` | 相符 |
| E20 | T2 严重度 | 正文和模板 1–5，SQ 细则到 10 | `prompts_eval_2.tex:111` | LaTeX | 相符 |
| E21 | T2 两行 | GPT-4o 59.95；58.54、60.46；59.50；SQ 差 0.71 | 全部相同 | `nums.py` | 相符 |
| E22 | T2 两行 | GPT-3.5 Average 差 0.10，SC 差 0.415 | 相同 | `nums.py` | 相符 |
| E23 | T2 裁判表 | GPT-4o 列等于 in-domain，7/7；全测试 0/7；题注未说 | 相同（我也手核了 7 行） | 脚本；LaTeX | 相符 |
| E24 | T2 标记 | OOD 粗体错三列 | CF、SQ、Average 三列错 | `nums.py` | 相符（注 W06） |
| E25 | T2 标记 | 57% 名单漏 GPT-4o Mini 57.93 | 相同 | LaTeX；`nums.py` | 相符 |
| E26 | T2 标记 | 主表有 Mistral-7B，模型列表没有 | 相同 | LaTeX | 相符 |
| E27 | T2 消融 | 文字说所有模型；CoSER-8B 56.45、56.81 | 相同 | `main_exp_cot.tex` | 相符 |
| E28 | T2 模板 | `{major_characters}` 替换过早，裁判收到字面 | 替换顺序在 `dimension_criteria` 之前；只有 CF 细则含它；两代都如此；V08a True | git；`sha_prompts.py` | 相符 |
| E29 | T2 动机 | 456 条都有 `thought`，无 `motivation` | 456、456、0 | `data_counts.py` | 相符 |
| E30 | T2 动机 | GPT-4o 59.95 → 56.34 | 相同 | `main_exp_cot.tex` | 相符 |
| E31 | T2 三次 | 输出路径不含运行号，复用 | `main.py:146-153` | git | 相符 |

### F. Table 3（33 行逐行）

| ID | 行 | 核对要点 | 来源 | 结论 |
|---|---|---|---|---|
| F01 | C01 | 200，100+100，hash 固定 | `data.ts` TEST_SHA256 | 相符 |
| F02 | C02 | 英文 | 文件；`langs` | 相符 |
| F03 | C03 | 环境 GPT-4o；平台 2024-08-06，只走 OpenAI | `coser/index.ts`；日志 provider | 相符 |
| F04 | C04 | 裁判同上；README 版本 | 同上 | 相符 |
| F05 | C05 | 论文 70B；`llama3-1210-8epc`；297ffff 起 mini；平台 mini 2024-07-18 | git；日志 | 相符（注：8epc 等于 70B 是推断） |
| F06 | C06 | `main.py:182-194` | 行号核对 | 相符 |
| F07 | C07 | `thought` / `motivation` | git | 相符 |
| F08 | C08 | 分隔符 5 选 1；CoSER 无示例 | `utils.py`；`main.py:231` | 相符 |
| F09 | C09 | 60 词、开场、合并，两代都有 | `agent.py` | 相符 |
| F10 | C10 | 身份短语 4 选 1 | `utils.py` | 相符 |
| F11 | C11 | `random.seed(42)`，共享流，set 回退 | `main.py:12,300` | 相符 |
| F12 | C12 | 958f962 前无 Output Format | 93c1474、d7cee90、40c21a2 的函数 SHA 相同 | 相符 |
| F13 | C13 | 第一个冒号前 | `eval_reproduce.py:232-235` | 相符 |
| F14 | C14 | 只存名字 | 第 250 行 | 相符 |
| F15 | C15 | 首位固定、第 6 条起可结束、不连说、随机替换 | 第 203、237–245 行 | 相符 |
| F16 | C16 | 前缀到 958f962；案例表带前缀；38/38 | `case_sansa_2.tex`；`data_counts.py` | 相符 |
| F17 | C17 | 0 然后 1；512；180 s | 两代 | 相符 |
| F18 | C17 | 裁判 8,196 | 624efc5 是，93c1474 是 8192 | 不符（N09） |
| F19 | C17a | 开头 think 块和首尾空白 | `stripThinking`、`.trim()` | 相符 |
| F20 | C18 空回复 | 6 次，0,1,1,1,1,1 | 624efc5 是，93c1474 是 11 次；平台序列日志复算相符 | 不符（N09：Official 栏只写一代） |
| F21 | C18 API | 官方无限重试；平台有限 | `get_response_json` `continue`；client 重试上限 | 相符 |
| F22 | C18 拒答 | 官方作 API 错误；平台 6 次后记空 | `gcaStep` | 相符 |
| F23 | C19 | 按名字字符串；平台家族表 | `family.ts` | 相符（注 N10） |
| F24 | C20 | 替换顺序，字面占位符 | V08a | 相符 |
| F25 | C21 | `main.py:408-466` | 行号核对 | 相符 |
| F26 | C22 | 抽取、一次修复、6 次、崩溃 | 同 F20 关于 11 次 | 不符（N09） |
| F27 | C23 | 只加 Python int，不限范围 | 第 471 行；`severitySum` | 相符 |
| F28 | C24 | 公式、下限、上限变体 | `dimensionScore` | 数字相符，Basis 不符（N11） |
| F29 | C25 | 四维平均，不先取整 | `exactSessionScores` | 相符 |
| F30 | C26 | 三个会话 | preset `samplesPerSeed: 3` | 相符 |
| F31 | C27 | 运行级均值和 SD，聚类区间 | `aggregate.ts`；`scoring.ts` | 相符 |
| F32 | C28 | nltk 3.9.1 移植，不进总分 | V12b、c | 相符 |
| F33 | C29 | 未报告 | meta 注释；`local()` 只算 BLEU | 相符（注 W04） |

### G. 第 3.2、3.3 节

| ID | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|
| G01 | 2024-07-18 的 mini 是 2025 年 2 月起的默认 | 297ffff 2025-02-24（默认名未带日期） | git | 相符 |
| G02 | 项目方 2026-10-28 决定 | 见 N14、Q04 | git；文档第 13 行 | 不符（时区） |
| G03 | 141 GB | 141,107,497,240 字节 | HF API | 相符 |
| G04 | 权重公开 | gated false | HF API | 相符 |
| G05 | README 把默认值说成成本问题 | 见 W02 | README:194 | 相符（注） |
| G06 | 每多一条非环境行每维加 1.5 | 0.3R × 5 | 公式 | 相符 |
| G07 | 随机流依赖先前场景和哈希种子 | `random.seed(42)` + set | git | 相符 |
| G08 | think 块官方保留在记录和裁判输入 | 官方正则匹配不到 `<think>`（要求下划线或空白） | `utils.py` | 相符 |
| G09 | 拒答记空行 | `gcaStep` | 代码 | 相符 |
| G10 | `d7cee90` 2025-02-25，默认 mini | 22:08 +08:00 | git | 相符 |
| G11 | 差异清单 | 少两项 | N10 | 不符 |
| G12 | 3.3 当前代码五点 | 动机空、无前缀、NSP 不同、上限、复用，都成立 | `main.py` | 相符（注 W03） |
| G13 | README 只提裁判版本 | 其余都没提（grep） | README | 相符 |

### H. 第 4 节与 Table 4

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| H01 | 4 | 运行存协议版本，旧版本离榜 | `currentVersion` | `results.ts` | 相符 |
| H02 | 4.1 | 引擎问协议模块、可从任一步恢复 | `gcaStep` 幂等 | `runner.ts` | 相符 |
| H03 | 4.1 | 环境、NSP 固定 OpenAI，无回退 | 日志 provider 全部 `only: openai, allow_fallbacks: false` | `e2e_logs.py` | 相符 |
| H04 | 4.1 | 温度 0，512 | 日志 | `e2e_logs.py` | 相符 |
| H05 | 4.1 | 首位、替换、第 6 条、20 行 | `loop.ts` | 代码 | 相符 |
| H06 | 4.1 | Claude、o1 用 user；前缀范围；GPT 和 Claude 以外去重复；CoSER 无示例 | `rulesFor` | `family.ts` | 相符 |
| H07 | 4.2 | 四次请求，system 放材料，user 放模拟 | `judge.ts`；V08 | 代码 | 相符 |
| H08 | 4.2 | 一次修复；键必须是维度；缺严重度算 1；温度 1 共 6 代 | `readJudge`、`gcaJudge` | 代码 | 相符（注 Q06） |
| H09 | 4.3 | 公式；3.0、"3" 不计；true 计 1 | `severitySum` | 代码；V10a | 相符 |
| H10 | 4.3 | R 含空行 | `actorRounds` | `judge.ts:40` | 相符 |
| H11 | 4.3 | 上限变体每维每会话都存 | `parsed.upperClipped` 进 `judgments.parsed_json` | `coser/index.ts`；`saveJudgment` | 相符 |
| H12 | 4.3 | 2025-02-18 起 | 同 B19 | git | 相符 |
| H13 | 4.3 | 单会话可超 100 | 无上限；示例 out_regular overall 105.5 | `out_regular` | 相符 |
| H14 | 4.3 | 显示前不取整 | `round` 只在 summarize 最后 | `scoring.ts` | 相符 |
| H15 | 4.3 | BLEU 小写、×100 | `local()` | 代码 | 相符 |
| H16 | 4.4 | 空回复温度 1，共 6 次，第 6 次照记 | `g.attempts = 6` | 代码；日志 A、B | 相符 |
| H17 | 4.4 | 拒答同路径并标记；账户错误和无标记 403 不算 | `isGcaRefusal` | 代码；`out_gateway403` | 相符 |
| H18 | 4.4 | 网络、5xx、429 同温度退避，再失败 | client 第 198、284–300 行；日志 D 序列 (0, 0) | 代码；日志 | 相符 |
| H19 | 4.4 | 裁判 6 代读不出或返回别的维度，会话失败 | `fatal`、`failed` | 代码 | 相符 |
| H20 | T4 | 完整 200×3=600 | preset；out_full 600 行 PASS，200 场景 | 代码；输出 | 相符 |
| H21 | T4 | 抽样 20（10+10）×1 | `seedsPerLang: 20`，`sampleSeeds` 对半 | 代码 | 相符 |
| H22 | T4 | 冒烟 2×1 | `seedsPerLang: 2` | 代码 | 相符 |
| H23 | 4.5 | 上榜条件 | `leaderboardEligibility` | 代码 | 相符 |
| H24 | 4.5 | 闸门 | `anchorPending`；out_full eligibility False | 代码；输出 | 相符 |
| H25 | 4.5 | reasoning 可用，标在名字上 | out_extra reasoning 保留；`agent.ts:98` 行名含 effort | 输出；代码 | 相符 |
| H26 | 4.5 | 协议参数不可覆盖 | `GCA_FIXED_PARAMS`；out_extra | 代码；日志 | 相符 |
| H27 | 4.5 | 非 OpenRouter 算一家 | `hostPinned` | 代码 | 相符 |
| H28 | 4.6 | 95% 百分位，1,000 次，按场景整体重抽 | 1000；`ciCluster: 'seed'`；2.5%、97.5% | `results.ts:541`；`scoring.ts` | 相符 |
| H29 | 4.6 | 每次运行公开的统计 | `runStats`、`gcaSummary` 全部字段都有 | 代码 | 相符 |
| H30 | 4.6 | 三次运行提示词相同，首次温度 0 | setup 无运行号（V03） | 代码；输出 | 相符 |
| H31 | 4.6 | 论文时期每次重设种子 | `eval_reproduce.py:65` | git | 相符 |
| H32 | 4.7 | 榜上运行的报告、会话、裁判公开 | `api.ts:85-94` | 代码 | 相符 |
| H33 | 4.7 | 无许可；有开放 issue 请求 | #12 open | gh | 相符 |
| H34 | 4.7 | 审计包不含测试集文字 | 脚本说明如此；包未生成 | `coser_audit_bundle.py` | 查不到 |

### I. 第 5 节与 Table 5

| ID | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|
| I01 | 60 场景，7 模型，3 人各 20，1–10 分 | 相同 | `5_Experiments.tex` | 相符 |
| I02 | 6.783、6.200、4.967、3.117 | 相同 | `human_eval.tex` | 相符 |
| I03 | GCA GPT-4o 68.6 | 68.6 | `judge_alignment.tex` | 相符 |
| I04 | 64.3、65.1、64.5、65.2 | 相同，顺序相同 | 同上 | 相符 |
| I05 | DeepSeek-V3 65.1，R1 77.5 | 相同 | 同上 | 相符 |
| I06 | BLEU 75.3，ROUGE-L 72.0 | 相同 | 同上 | 相符 |
| I07 | 约 1.6，1,200 例 | Appendix:205-208 | LaTeX | 相符（注 W05） |
| I08 | 排除差 ≤1（人）、≤5%（自动指标） | Appendix 第 227 行 | LaTeX | 相符 |
| I09 | GPT-4o 裁判一致率低于 BLEU | 68.6 < 75.3 | 同上 | 相符 |
| I10 | 人对 GPT-4o 排名更低，作者归因自偏好 | 人工第 3，裁判第 1；作者写 likely | `5_Experiments.tex` | 相符 |
| I11 | 标注未发布 | 仓库无 | `git ls-tree` | 相符 |

### J. 第 6 节与 Table 6（20 行）

| ID | 行 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| J01 | 6.1 | 官方函数机械粘贴，每次核对 | G03：17 份 | 重跑 | 相符 |
| J02 | 6.1 | 不调用模型，2026-11-01 运行 | 文件时间 UTC 11-01 | stat | 相符 |
| J03 | Generated strings | G01–G04 相同 | PASS（另有 G05） | 重跑 | 相符 |
| J04 | Prompts | 12 段，956/986，4 处 | 相同 | 重跑 | 相符 |
| J05 | Published table | 294 | T02 | 重跑 | 相符 |
| J06 | Test set | V01 | PASS | 重跑 | 相符 |
| J07 | Prompts per scene | 200×7，1,400，0 差 | 1400，11,348 条消息 | V02 | 相符 |
| J08 | Random choices | 0 差 | 0；0/800 | V03 | 相符 |
| J09 | NSP logic | 0 差 | 1110、3075 向量 | V04a、b | 相符 |
| J10 | Simulation | 350 会话，0 差 | 350，13,282 请求 | V05 | 相符 |
| J11 | Text functions | 0 差 | V07a–g、P01 | 重跑 | 相符 |
| J12 | Judge | 200×4；47 | 相同 | V08a、b | 相符 |
| J13 | Score | 12/12；0 差 | 相同；51 个超 100；314 向量 | V10、V10a | 相符 |
| J14 | Run statistics | 0 差 | 4 向量 | V11 | 相符 |
| J15 | BLEU | 3/3；1,000 对 | 相同；我也读了 3 个存储值 | V12a、c | 相符 |
| J16 | ROUGE-L | 10 版本，3 值，0 匹配 | 文件内 equal 全 0，within 1e-4 全 0；PyPI 确有这 10 个；3 个存储值我独立读到相同 | `rouge_check.json`；PyPI JSON | 相符（注 Q08） |
| J17 | Engine E2E | 请求等全相等 | regular 570=570，differ 0；full 15,684=15,684，differ 0 | `out_*`；日志计数相同 | 相符 |
| J18 | Failures | 0,1,1,1,1,1；拒答标记；403 失败 | A、B、C 序列都是 6 次；D (0,0)；403 failed | `e2e_logs.py`；`out_gateway403` | 相符（注 Q07） |
| J19 | Protocol parameters | 不发，reasoning 保留 | 被测 11 次全 (0, 512)，reasoning 保留，其他固定参数 0 | `out_extra`；日志 | 相符 |
| J20 | Full configuration | 600，report-only | 600 行 PASS，eligibility False | `out_full` | 相符 |
| J21 | Fixed models | OpenAI+Azure；mini 只 OpenAI | 相同，价格 2.5/10、0.15/0.6 | OpenRouter endpoints API | 相符 |
| J22 | Paper anchor | 未跑 | 线上 0 行；矩阵 V09 未做 | API | 相符 |

### K. Table 7 与 6.2、6.3

| ID | 行 | 核对要点 | 来源 | 结论 |
|---|---|---|---|---|
| K01 | 6.2 首段 | 复核者未看过报告 | N08 | 不符 |
| K02 | T7 题注 | 1.0（2026-10-28） | N14 | 不符（时区） |
| K03 | T7 题注 | 1.0 无运行上榜 | rows 0 | 相符 |
| K04 | 第 1 行 | 组合来源；十个月（2025-02-24 到 2025-12-25） | HEAD `loop.ts`；git | 相符 |
| K05 | 第 2 行 | 1.0 上限 100 | HEAD `judge.ts:174` | 相符 |
| K06 | 第 3 行 | 30 次，0×5、1×25，未计费 | HEAD client 空回复可重试（5 次）× 6；异常路径不加费用 | 相符（注：由代码推得，未实跑旧版） |
| K07 | 第 3 行 | 官方 0、1×5 | 只是 624efc5 | 不符（N09） |
| K08 | 第 4 行 | 连接设置可覆盖 | HEAD `gcaCall` + extra 后合并 | 相符（注：同 K06） |
| K09 | 第 5 行 | 网关 403 变空行 | HEAD `CONTENT_BLOCKED` | 相符 |
| K10 | 第 6 行 | 代码无闸门 | HEAD `results.ts` 无 anchor | 相符 |
| K11 | 第 7 行 | 无 ±、split、截断；600 个独立 | HEAD 无 `ciCluster`；HEAD 矩阵 C27 | 相符 |
| K12 | 第 8 行 | id 外落到 other | HEAD 正则 `^(anthropic\/|claude)` | 相符 |
| K13 | 第 9 行 | ROUGE 脚本已加 | 文件存在 | 相符 |
| K14 | 第 10 行 | 公开文字重写 | `protocolNotes`、页面 | 相符 |
| K15 | 第 11 行 | E2E 改为比序列 | `coser_e2e_check.py` `sent_full` | 相符 |
| K16 | 第 12 行 | 目标先固定 | 第 7 节 | 相符 |
| K17 | 第 13 行 | 第三次已改 | 尚未发生 | 查不到 |
| K18 | 6.2 末 | 矩阵有“交叉验证发现的处理” | 有 | 相符 |
| K19 | 6.3-1 | Table 3 列全 | C30 没有 | 不符（N03） |
| K20 | 6.3-2 | 公式 yes | 下限和 R 未说明 | 相符（注 N11） |
| K21 | 6.3-3 | 模块和引擎一致 | 同 J | 相符（注 W12、Q06） |
| K22 | 6.3-4 | 未知 | 定性 | 相符 |
| K23 | 6.3-5 | 68.6% | 同 I03 | 相符 |
| K24 | 6.3-6 | 计数相符；抽样只能查 4/200 | 同 D | 相符 |

### L. 第 7 节与 Table 8

| ID | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|
| L01 | 模型 `openai/gpt-4o-2024-08-06`，固定 OpenAI | 可用 | endpoints API | 相符 |
| L02 | US$105 | 104.65 | `cost.py` | 相符（注 W11） |
| L03 | OpenRouter 2026-11-01 价 | 2.5/10、0.15/0.6 | endpoints API；mock 同值 | 相符 |
| L04 | 没有历史运行校准 | 线上 0 | API | 相符 |
| L05 | 61.59 ± 0.66 | 相同 | `main_exp.tex` | 相符 |
| L06 | 48.93 ± 0.48 | 相同 | 同上 | 相符 |
| L07 | 48.95 ± 1.73 | 相同 | 同上 | 相符 |
| L08 | 80.33 ± 0.59 | 相同 | 同上 | 相符 |
| L09 | 59.95 ± 0.50 | 相同 | 同上 | 相符 |
| L10 | 61.085 | 61.085 | `nums.py` | 相符 |
| L11 | 48.795 | 48.795 | 同上 | 相符 |
| L12 | 48.50 | 48.50 | 同上 | 相符 |
| L13 | 79.62 | 79.62 | 同上 | 相符 |
| L14 | 59.50 | 59.50 | 同上 | 相符 |
| L15 | 判定阈值 2.5、1.0、5、3.0 | 矩阵 V09 相同 | 矩阵 | 相符 |
| L16 | √(2/3)·s：0.41 | 0.4082 | `nums.py` | 相符 |
| L17 | 0.39–1.41 | 0.3919–1.4125 | 同上 | 相符 |
| L18 | 1.0 和 2.5 超过两倍 | 2.45 倍；CF 只有 1.77 倍 | 同上 | 不符（N04） |
| L19 | 0.45，至多 0.71 | 0.45；0.71 | 同上 | 相符 |
| L20 | 3.0 约五分之一，45.53–59.95 | 0.208；跨度 14.42 | 同上 | 相符 |
| L21 | 54.76、59.35，版本未写 | 相同 | CogDual、DREAM | 相符 |
| L22 | BLEU 5.90 ± 0.16 | 相同 | `main_exp.tex` | 相符 |

### M. 第 8 节

| ID | 核对要点 | 来源 | 结论 |
|---|---|---|---|
| M01 | 命令与脚本参数对应（spec、prompt、table、paper、mock） | 脚本 argparse | 相符 |
| M02 | 环境足以运行全部 | 缺 `uv`，见 N16 | 不符 |
| M03 | `<token>` 含义 | 是文件路径，见 N16 | 不符 |
| M04 | `OPENROUTER_BASE_URL` 指向本地 | mock 说明；未单独实测 | 查不到 |
| M05 | 审计包内容 | 未生成 | 查不到 |

### N. 第 9 节与 Table 9

| ID | 位置 | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|---|
| R01 | 文字 | 12 个 issue，无人报告不能复现 | 12（4 开 8 关）；全文关键词扫描，只有 #9 提到与 demo 不一致（模型输出，不是论文数字） | gh | 相符 |
| R02 | 文字 | 检索日期与来源 | 对照检索记录 | 记录 | 查不到（Q05） |
| R03 | CogDual | GPT-4o，无版本；规模和次数未写 | 相同 | arXiv HTML | 相符 |
| R04 | CogDual | 54.76；43.85 | 相同（LLaMA3.1-8B-Instruct Vanilla） | 同上 | 相符 |
| R05 | CogDual | 主表 59.95、52.99 | 相同 | `main_exp.tex` | 相符 |
| R06 | DREAM | GPT-4o，无版本；100；10 次；同名作者 | 相同（Xintao Wang，未确认同人） | HTML | 相符 |
| R07 | DREAM | 59.35；53.20；56.82；主表 59.95、52.99、56.45 | 相同 | HTML；LaTeX | 相符 |
| R08 | HER | Qwen3-235B（A22B）；200；作者重合 | 相同 | HTML；abs | 相符 |
| R09 | HER | 35.95；27.69；62.43 | 相同 | HTML | 相符 |
| R10 | HER | 顺序相反；主表 59.06、59.95 | 相同 | LaTeX | 相符 |
| R11 | Agentopia | Qwen3-235B 兼三职；200；作者重合 | 相同（Xintao Wang、Jen-tse Huang、Heng Wang） | HTML；abs | 相符 |
| R12 | Agentopia | 42.51；35.95 | 相同 | HTML | 相符 |
| R13 | Agentopia | 35.95 和另外四行与 HER 逐位相同 | 5 行的 Average 和可见维度都相同 | 本地原始 HTML 比对 | 相符 |
| R14 | RAPO | GPT-4o-mini；规模未找到 | 相同（读完全文两段） | HTML | 相符 |
| R15 | RAPO | 45.09；47.59；未说明官方权重 | 相同 | HTML | 相符 |
| R16 | Ditto | gpt-5.4 裁判；gpt-5-nano 环境；200；0–1 | 相同（环境是一般设定，CoSER 只例外裁判） | HTML | 相符 |
| R17 | Ditto | 0.659；0.305；主表 56.45 | 相同 | HTML；LaTeX | 相符 |
| R18 | OdysSim | gpt-5.4 写在训练部分；作者重合 Ditto | 附录 D；作者重合 | HTML | 相符（注 W10） |
| R19 | OdysSim | 66.5；30.0 | 表 2 和表 3 相同 | HTML | 相符 |
| R20 | Socio-Foundation | DeepSeek-V4-Flash 兼任；200；无 overall | 相同（表 10） | HTML | 相符 |
| R21 | Socio-Foundation | 55.5、31.1、31.0、47.6 | SC、AN、CF、SQ 相同 | HTML | 相符 |
| R22 | CaMOPD | Qwen2.5-72B 兼三职；规模未找到 | 附录 B.1 相同 | HTML | 相符 |
| R23 | CaMOPD | 45.00；官方配置同序无数字 | 相同 | HTML | 相符 |
| R24 | PersMem | DeepSeek-v4-flash；规模和次数未写 | 相同 | HTML | 相符 |
| R25 | PersMem | 66.13；八行逐位转印，标为引用 | 表 19；前 7 行五列都相同，CoSER-70B 只读到 Average 59.06 | HTML | 相符 |
| R26 | AdvRole | 30 轮；59.1 | 相同 | HTML | 相符（注 W09） |
| R27 | AdvRole | 基线四舍五入转印；GPT-4o 混合 | 四维 58.9/43.1/41.6/75.4 等于 CogDual；0.059、0.121 等于主表 | HTML；LaTeX | 相符 |
| R28 | T9 题注 | “Table above” | 不存在 | N15 | 不符 |

**核对程度（逐篇）**：11 篇 arXiv HTML 全部打开。工具是 WebFetch，它经一个小模型回答，长页面分段读；关键段都按偏移读到了。Agentopia 首次回答没有直接给出表格，改问后拿到 Table 3 的 Average；维度和与 HER 的逐位比较用的是 `coser_raw/html/2606.07513.txt`、`2601.21459.txt`（原始 HTML 转文本，非结论）。

| 论文 | 读到的范围 | 打不开或没读到 |
|---|---|---|
| CogDual v1 | 全页；Table 1 | 无 |
| DREAM v1 | 全页；Table 1、附录 B、作者、KDD | 无 |
| HER v4 | 前 100k 字符；abs 页确认 Findings of ACL 2026 | 后段未读，不影响所核内容 |
| Agentopia v1 | 全页三段；Table 3 | 无 |
| RAPO v1 | 全页两段；Table 1 | 无 |
| Ditto v1 | 全页两段；Table 1、3 | 无 |
| OdysSim v2 | 全页两段；Table 2、3、7，附录 D | 无 |
| Socio-Foundation v1 | 全页两段；Table 1、10 | 无 |
| CaMOPD v2 | 全页两段；Table 1，附录 B.1 | 无 |
| PersMem v1 | 全页两段；Table 6、19 | CoSER-70B 只读到 Average |
| AdvRole v1 | 全页；Table 2 | 无 |

### O. 第 10 节

| ID | 报告值 | 复算值 | 来源 | 结论 |
|---|---|---|---|---|
| S01 | 榜上无平台运行 | 0 行 | API | 相符 |
| S02 | 21 个论文结果 | 21 | API | 相符 |
| S03 | 1.0（2026-10-28） | UTC 是 10-27，N14 | git | 不符（时区） |
| S04 | 1.0 用 2025-12 NSP 和上限 100 | HEAD 相同 | git | 相符 |
| S05 | 1.1（2026-11-01） | 版本字符串 | 源码 | 相符 |
| S06 | 2026-10-26 首版 | Q03 | git | 查不到 |
| S07 | 2026-10-27 把论文结果分离 | `a2075ed` 2026-10-27 20:44 UTC | git | 相符 |
| S08 | 更正：旧版写“final 10% of books” | 旧版第 75 行如此 | `git show a2075ed` | 相符 |
| S09 | 更正：旧版写“the day of v1” | 旧版第 118 行如此；commit 是 2-14 | 同上 | 相符 |
| S10 | 更正：旧版写“same prompts” | 旧版第 129 行如此 | 同上 | 相符 |

### P. 第 11 节

| ID | 条目 | 核对要点 | 结论 |
|---|---|---|---|
| T01 | 1 无锚定 | 同 J22 | 相符 |
| T02 | 2 NSP | 同 F05 | 相符 |
| T03 | 3 无官方 commit 相等 | 差异清单成立 | 相符 |
| T04 | 4 裁判是被测模型和快照；作者报告自偏好 | 论文写 likely | 相符 |
| T05 | 5 68.6% 低于 BLEU | 75.3 | 相符 |
| T06 | 6 512 限制；1.5 每行；重复处理不对称 | 代码；细则 | 相符 |
| T07 | 7 拒答 | 环境说法错 | 不符（N05） |
| T08 | 8 think | 同 G08 | 相符 |
| T09 | 9 三次不独立 | 同 H30 | 相符 |
| T10 | 10 服务商未测 | 只用 mock | 相符 |
| T11 | 11 测试集 | 同 D、B15 | 相符 |
| T12 | 12 部分复现 | 不含 ROUGE、胜率、k=3、消融、检索等 | 相符 |
| T13 | 13 家族表 | `family.ts` | 相符 |

### Q. REFS 与站点元数据

| ID | 项 | 核对结果 | 结论 |
|---|---|---|---|
| U01 | [1] 作者 12 人 | 与 `main.tex`、abs 页相同 | 相符 |
| U02 | [1] 标题 | v3 标题相同；v1、v2 标题不同 | 相符（注 W07） |
| U03 | [1] 日期 | 13 Feb 2025、28 May 2025、4 Jan 2026 | 相符 |
| U04 | [2] commit 日期 | 14 Feb 2025、2 Apr 2026 | 相符 |
| U05 | [3] 模型卡 MIT | 相同 | 相符 |
| U06 | [4] AlpacaEval 作者、标题、编号 | 相同 | 相符 |
| U07 | [5] NLTK 3.9.1 | 脚本实测 3.9.1；作者是通行写法 | 相符 |
| U08 | [6] rouge，版本 0.2–1.0.1 | PyPI 10 个版本；PyPI 作者写 pltrdy | 相符（注：P. Tardy 未在 PyPI 字段中出现） |
| U09 | [7] CogDual v1 | 编号可开 | 相符（注 W08） |
| U10 | [8] DREAM v1，KDD 2026 | 相同 | 相符（注 W08） |
| U11 | [9] HER v4，ACL 2026 Findings | abs 页 Comments 相同 | 相符（注 W08） |
| U12 | [10]–[17] 编号和版本 | 全部可开，版本相同 | 相符（注 W08） |
| U13 | `SOURCES.coser.title` | 与 REFS [1] 标题逐字相同 | 相符 |
| U14 | `SOURCES.coser.date` 2025-02-13 | v1 日期 | 相符 |
| U15 | `methodologies.ts` updated | 2026-11-01 | 相符 |
| U16 | `provenance` 键 | original、published、differences、platform、validation、verification、anchor、reproduce、third-party、listing、limitations、appendix-prompts，覆盖 11 个编号章节和附录 | 相符 |

### V. Appendix A

| ID | 项 | 报告值（来自 JSON） | 复算 | 结论 |
|---|---|---|---|---|
| V01 | character template | 97/97/97/0 | 重跑相同 | 相符 |
| V02 | environment | 153/153/153/0 | 同上 | 相符 |
| V03 | next speaker sent | 76/76/76/0 | 同上；函数 SHA 三个 commit 相同 | 相符 |
| V04 | next speaker not sent | 76/103/76/1 | 同上 | 相符 |
| V05 | judge template | 258/232/228/4 | 同上；30、4 手算相符 | 相符 |
| V06 | Anthropomorphism intro、rubrics | 7、119 | 同上；SHA 用 `ast` 独立算相等 | 相符 |
| V07 | Character Fidelity intro、rubrics | 11、154 | 同上 | 相符 |
| V08 | Storyline Quality intro、rubrics | 10、59 | 同上 | 相符 |
| V09 | Storyline Consistency intro、rubrics | 18、24 | 同上 | 相符 |
| V10 | 其余 5 个 SHA 前缀 | 脚本计算；本次未加 `--json` | 只确认计数一致，哈希没有独立复算 | 查不到 |
| V11 | Table A2 判官模板 4 行 | 与重跑输出相同 | 第 2 个差异 27 个词 | 相符 |
| V12 | Table A2 NSP 行“What it is” | 见 N06 | 与 Table 7 矛盾 | 不符 |
| V13 | 末段：60 词、开场、五种分隔符、前缀行 | 官方代码有 | `agent.py:336,340`；`main.py:256`；`utils.py` | 相符 |

## 4. 第三方论文全名（供补 REFS，W08）

CogDual：Enhancing Dual Cognition of LLMs via Reinforcement Learning with Implicit Rule-Based Rewards。DREAM：LLM-based Dynamic Role-playing via Event-Aware Memory Graph。HER：Human-like Reasoning and Reinforcement Learning for LLM Role-playing。Agentopia：Long-Term Life Simulation and Learning in Agent Societies。RAPO：Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization。Ditto：Reinforcing Human Behavior Simulation via Verbal Feedback。OdysSim：Building Foundation Models for Human Behavior Simulation。Socio-Foundation：A Model for Generalizable Individual Behavior Simulation via Hierarchical Capability Distillation。CaMOPD：Counteraction-Aware Multi-Teacher On-Policy Distillation for General Capability Recovery with Domain Preservation。PersMem：Internalizing Personality into Dual-Pathway Memory for LLM Agents。AdvRole：Adversarial Closed-Loop Curriculum for Evolving Role-Playing Agents。

## 5. 费用算法说明

`api.ts` 的 GCA 分支：每场景固定 14 行，每 4 行 1 行环境（`i % 4 === 3`），每行 1 次 NSP；输入 token = `profile_chars/3.8 + 350 + i×70`；输出被测 90、环境 60、NSP 40；裁判输入 = 全部字符 /3.8 + 1100 + 980，输出 450，每场景 4×1.15 次；乘 3 次运行。我按此重写，对 200 个场景求和：被测 46.55、环境 12.36、NSP 3.31、裁判 42.43，合计 **104.65**。

对照：用完整模拟运行实际发出的提示词长度（字符/3.8）、相同输出长度、相同价格，合计约 71.41（被测 34.43、环境 4.63、NSP 0.72、裁判 29.05、修复 2.58）。这一端偏低，因为模拟回复短于真实回复，历史也就短。偏高的主要来源是估价函数让环境和 NSP 也带全部角色资料。所以 US$105 可以当上沿，不是校准过的预期值。

## 6. 矩阵与报告的分歧（最后才读）

| 编号 | 矩阵 | 报告 | 备注 |
|---|---|---|---|
| X01 | 有 C30（单位与取整） | Table 3 没有 | N03 |
| X02 | 写明复核者是子代理 | 只写 reviewers，且称没看过报告 | N08 |
| X03 | C18 写明 93c1474 是 11 次 | 只写 6 次 | N09 |
| X04 | 关系段差异含 “think 标签” | 3.2 末段没有 | N10 |
| X05 | C29 写明换大小写等组合也不匹配、GitHub master 未测 | 只说没有版本匹配 | W04 |
| X06 | V09 费用写估价函数偏高、不含失败重试 | 只写约 US$105 | W11 |
| X07 | C05 写明 `llama3-1210-8epc` 等于 70B 是推断 | Table 3 并列，未说明 | F05 |
| X08 | 开头写未部署，线上仍是 1.0 | 没写 | W13 |
| X09 | C28 写 “1,000 条中 2 条与本机 CPython 差 1 ulp” | Table 6 只写 0 差 | 本次重跑是 **1000/1000 等于 CPython**，矩阵这句与当前输出不符（`V12-log` 差 4、`V12-exp` 差 3 是另外的向量） |
| X10 | V06、V14、E2E 判定写“见审计包” | Table 6 写 Pass | 输出支持 Pass，矩阵可更新 |
| X11 | V06 不含网关 403 | Table 6 含 | 输出支持报告 |
| X12 | “尚待用户决定”：确认 10-28 决定只涉及 NSP 模型 | 报告把它写成已定 | 决定本身未确认范围 |
| X13 | C31 写自定义范围满足同样条件也算完整 | 4.5 没写，但条件一致 | 代码不查 mode（`isFullProtocol`），两者不矛盾。注意项目约定写的是 mode=full，代码放得更宽 |
| X14 | 矩阵第 14 行也是 `c4f6`；V09 也写“2 倍多”；N07 也只说 OOD | 相同的错 | N01、N04、W06，三处要一起改 |

## 7. 没有做的事

- 没有重跑 `coser_rouge_check.py`、`coser_e2e_*`（任务未列入，或需要本地 Worker）。e2e 结论依据现成输出和我对请求日志的复算。
- 没有访问生产数据库；线上状态只来自公开 API。
- 没有重新下载 arXiv e-print 做第二次哈希（一次尝试返回 14 字节错误页，已删除）。N01 依据的是任务给定的 `v3.tgz`，矩阵记录的 v1、v2 前后缀都与同目录文件相符，所以判断是 v3 尾部抄错。