# CoSER（arXiv:2502.09082）第三方结果检索

检索日期：2026-11-01（UTC）。只读网页，未登录、未提交表单、未下载权重。

## 1. 结论摘要

- 表 1 有 10 篇论文报告了自己运行的 CoSER 分数。另有 AdvRole（基线转抄，自家模型自跑）、UCMOPD（沿用 CaMOPD 的数字，自家一列是否新跑未判定）、3 篇只复用流程或部分指标的论文（表 2），以及 3 个聚合或模型卡页面。
- **没有查到任何一篇用原论文配置（gpt-4o-2024-08-06 裁判、200 条、论文主表的模型集）做完整复现并逐项对照主表的工作。**
- 用 GPT-4o 裁判、且模型与主表重合的只有两篇（版本号均未写明）：CogDual（普遍低于主表，LLaMA-3.1-8B 差 9.14）和 DREAM（与主表接近，但只抽样 100 条，作者含同名 Xintao Wang）。
- 换裁判后分数差距很大：CoSER-70B 主表 59.06，HER 和 Agentopia（Qwen3-235B 裁判）35.95。CoSER-8B 主表 56.45，Ditto 30.5（gpt-5.4）、OdysSim 30.0（gpt-5.4）。
- 官方仓库 12 个 issue 里，没有人报告分数无法复现或与论文不一致，也没有涉及 ROUGE-L、NSP 的讨论。作者回应过 70B 权重问题（#2、#3）。
- 70B、8B 权重页面公开，未设访问限制（API 显示 gated=false），列出了全部分片。未实际下载。

## 2. 检索范围

### 用过的检索词

- CoSER role-playing benchmark results given-circumstance acting evaluation
- "given-circumstance acting" LLM role-play
- CoSER Test GCA evaluation score role-playing model 2026 arXiv
- "Neph0s/CoSER"（搜索引擎把它当成 Nephros，无相关结果）
- CoSER-70B CoSER-8B CoSER Llama model role-playing Hugging Face
- 论文标题全文（v1 标题）："CoSER: Coordinating LLM-Based Persona Simulation of Established Roles"
- role-playing LLM evaluated on CoSER test set storyline consistency anthropomorphism character fidelity storyline quality scores
- OpenCharacter OmniCharacter Index SLM role-playing evaluation CoSER GCA results compare
- we use CoSER dataset benchmark persona simulation paper arXiv 2025 "CoSER" GPT-4o judge reproduced
- "CoSER" role-playing "GCA" judge gpt-4o-mini evaluation table arXiv 2026
- role-playing agents reinforcement learning evaluated CoSER benchmark HER Ditto GRPO Soul tasks Human behavior simulation foundation model
- CoSER GCA reproduction replicate scores differ third-party evaluation LLM role-play leaderboard
- "CoSER" huggingface model fine-tuned role-play Llama dataset used（限 github.com、huggingface.co）
- HER role-playing reasoning-augmented CoSER dataset 32B dual-layer thinking arXiv
- HumanLM Sotopia-RL CoSER score human simulation benchmark "Coser" table 2026 LLM judge role play
- role-playing "on CoSER" OR "CoSER benchmark" OR "CoSER Test" improvement reinforcement learning character agents 2026 arXiv
- "Following CoSER" evaluate simulated conversations GPT-4o critic storyline consistency anthropomorphism role-playing method
- Agentopia role-playing LLM self-evolving agents CoSER Claude-4.5-Opus Qwen3.5-397B results
- Qwen3.5 397B Agentopia role-playing CoSER benchmark judge Qwen3-235B
- "Storyline Quality" "Character Fidelity" "Anthropomorphism" role-playing memory OR persona OR retrieval evaluation CoSER 2026

### 用过的来源

- Semantic Scholar citations API：第一次返回 25 条（`next` 为空），之后反复 429。
- arXiv API：`all:"CoSER"`（30 条，混有无关同名）、`abs:"given-circumstance"`（9 条，仅 CoSER 相关）、`all:"GCA" AND all:role-playing`（5 条，均无关）、`abs:"CoSER" AND abs:benchmark`（5 条）。
- OpenAlex：收录了该论文，但 `cited_by_count` 为 0，无法用于查引用。
- arXiv HTML 全文：抓取 48 篇（共 50 个文件，含 HER 的 v1、v3），脚本统计 CoSER、GCA 出现次数并抽取上下文和表格。
- GitHub REST API：Neph0s/CoSER 全部 issue 和评论。仓库的 Discussions 已关闭（API 返回 410）。
- Hugging Face API 和页面、SOTA2、BenchmarkList、alphaXiv、Hugging Face Papers、cydu24/HER 的 README、Neph0s/awesome-llm-role-playing-with-persona。

### 与主表逐位比较的方法

从 `Tables/main_exp.tex`（v3）解析每个模型的四项分数，对全部已抓取全文做匹配：连续 4 个维度分数按两位小数或一位小数同时出现即算命中。命中的只有 AdvRole（2609.28609）和 PersMem（2609.34372）。其余的比较是人工对照表格。v1、v2、v3 的 `main_exp.tex` 文件完全相同。

主表用于对照的分数（平均分）：CoSER-70B 59.06，CoSER-8B 56.45，GPT-4o 59.95，GPT-3.5 54.18，LLaMA-3.1-70B 55.49，LLaMA-3.1-8B 52.99。

## 3. 报告了 CoSER 分数的来源

"核实方式"一列：**全文** 表示我读了 arXiv HTML 转出的文本（表格由脚本提取，未对照 PDF 排版）；**摘要** 表示页面经 WebFetch 的模型摘要读取，没有逐字看过。

"作者重合"按姓名比对 arXiv API 的作者列表，同名不等于已确认同一人。

### 表 1：亲自运行或声称运行的论文

| 来源 | arXiv 号与版本 | 裁判与测试集 | 报告内容（模型：平均分，另注） | 与原论文主表的关系 | 作者重合 | 核实方式 |
|---|---|---|---|---|---|---|
| CogDual | 2507.17147v1 | GPT-4o（未写版本）。NSP、环境模型未写。200 条的说法来自 AdvRole 的转述，CogDual 正文未检索到规模。运行次数未写 | GPT-4o 54.76；GPT-3.5-Turbo-0613 49.79；o1-preview 56.16；LLaMA3.1-70B 52.69，加 CoSER 55.79；Qwen2.5-7B 51.41，加 CoSER 52.86；LLaMA3.1-8B 43.85，加 CoSER 51.20；CogDual-RL（8B）56.97。还有 Cross-MR、LifeChoice | 重新运行，数字与主表不同：GPT-4o 58.93/43.14/41.62/75.36（主表 61.59/48.93/48.95/80.33）。"加 CoSER" 指按完整 CoSER 数据微调，未说明是否官方权重。正文称换 DeepSeek-v3、Gemini-2.0-Flash 裁判后 CogDual-RL 仍居首 | 无 | 全文 |
| DREAM | 2608.05170v1（KDD 2026） | GPT-4o（未写版本）。"randomly select 100 books from the test set"，不是 200 条全量。10 次运行取平均。NSP、环境模型未写 | GCA 基线行：GPT-4o 59.35；Gemini-2.5-Pro 57.87；LLaMA-3.1-8B 53.20；Qwen-2.5-72B 58.10；CharacterGLM-6B 52.41；CoSER-8B 56.82。DREAM（GPT-4o）62.86 | 重新运行，不逐位相同，但接近主表（DREAM 把 GCA 描述为一种基线方法）：GPT-4o 59.35（主表 59.95），8B 53.20（主表 52.99），CoSER-8B 56.82（主表 56.45） | 含同名 Xintao Wang，未确认 | 全文 |
| HER | 2601.21459v4（ACL 2026 Findings） | Qwen3-235B-A22B。200 条，每条 20 轮。"official CoSER prompts"。NSP、环境模型在 HER 正文未指明模型（Agentopia 用同样分数，并写明三者均为 Qwen3-235B）。运行次数未写 | Claude-4.5-Opus 62.43；Gemini-3-Pro 61.80；GPT-5.1 61.10；MiniMax-M2-her 57.30；HER-RL 53.12；HER-SFT 50.92；CoSER-70B 35.95（35.05/31.16/32.28/45.33）；GPT-4o-240806 27.69；Qwen3-32B 22.86，共 17 个模型 | 重新运行，裁判不同，与主表不可比。CoSER-70B 排在 GPT-4o 之上，主表相反。无 BLEU、ROUGE-L | 有（Xintao Wang、Rui Xu、Yanghua Xiao，arXiv 提交者为 Xintao Wang） | 全文 |
| Agentopia | 2606.07513v1 | Qwen3-235B-A22B 兼任裁判、NSP、环境模型。200 条，最多 20 轮。运行次数未写 | Qwen3.5 397B-Agentopia 49.16；Qwen3.5 397B 42.51（+15.6%）；另有 5 行见右列 | Claude 4.5-Opus、Gemini 3-Pro、Claude 4.5-Sonnet、CoSER 70B、GPT-5 Mini 的分数与 HER 逐位相同，来源未说明。与 CoSER 主表无逐位重合 | 有（Xintao Wang、Jen-tse Huang、Heng Wang）。搜索摘要显示代码在 Neph0s/Agentopia，未打开该仓库 | 全文 |
| RAPO | 2606.27025v1 | GPT-4o-mini。测试集规模未见说明（按关键词检索）。运行次数未写 | GPT-4o-mini 45.09；GPT-5-Chat 45.88；DeepSeek-V4-Flash 45.49；Llama-3.1-70B-CoSER 45.89；Llama-3.1-8B-CoSER 47.59；Qwen2.5-7B-Instruct-CoSER 49.03；Psy-CoT+RAPO（Qwen3-4B）47.87 | 重新运行，裁判不同。CoSER 模型的主表值分别为 59.06 和 56.45，未说明是否用官方权重（文中称 "SFT-based variants fine-tuned on"） | 无 | 全文 |
| Ditto（Verbal Feedback） | 2605.20506v1 | gpt-5.4 裁判，gpt-5-nano 环境模型（CoSER 例外的只有裁判）。NSP 模型未写明。200 条（ID 100、OOD 100）。未见重复运行或方差说明（此项来自网页摘要，未逐字确认）。分数归一到 [0,1] | GPT-5.4 0.659；GPT-5-nano 0.352；Base（Qwen3-VL-8B-Instruct）0.435；GRPO 8B 0.541；Ditto 8B 0.512；HER 32B 0.419；Coser 8B 0.305；Sotopia-RL 7B 0.296；HumanLM 8B 0.227 | 重新运行，裁判不同，只报总分。CoSER-8B 30.5 对主表 56.45 | 无 | 全文 |
| OdysSim | 2606.14199v2 | gpt-5.4 裁判（写在后训练部分，评测是否同配置未单独确认）。20 轮。测试规模和运行次数未检索到 | GPT 5.5 66.2；Claude Opus 4.7 66.5；Gemini 3.1 Pro 62.1；Qwen 3.6 Plus 55.9；Coser 8B 30.0；SotopiaRL 7B 30.3；HumanLM 8B 19.8；Qwen3-8B-Inst 43.5；Qwen3-8B-Base 6.1；OSim 8B 62.6；Ditto-v2 8B 65.3 | 重新运行。Qwen3-8B-Inst 43.5 与 Ditto 的 Base（写作 Qwen3-VL-8B-Instruct）0.435 数值相同，但 Coser 8B 与 HumanLM 的值与 Ditto 不同。作者与 Ditto 重合较多 | 无 | 全文 |
| Socio-Foundation | 2610.08967v1 | DeepSeek-V4-Flash 兼任辅助对话模型和裁判。200 个场景。运行次数未检索到 | 四项分开报告，不报 CoSER 均值。CoSER 8B：SC 55.5、AN 31.1、CF 31.0、SQ 47.6（算术平均 41.55，是我算的）；GPT-5.5：62.6/41.9/49.6/65.6 | 重新运行，裁判不同 | 无 | 全文，列由脚本按表头对齐 |
| CaMOPD | 2605.27115v2 | Qwen2.5-72B-Instruct 兼任裁判、NSP、环境模型。测试规模未见说明。运行次数未写 | General Teacher 30.92；Role-Play Teacher 41.08；CaMOPD 45.00（均为 Qwen3-4B 体系） | 模型不与主表重合。附录称用官方 GPT-4o GCA 配置评估同一批模型"obtain the same model ranking"，**未给数字** | 无 | 全文 |
| PersMem | 2609.34372v1 | DeepSeek-v4-flash 兼任生成和裁判。规模和运行次数未写 | PersMem 66.13（59.83/51.00/69.33/84.33），BLEU 3.01，ROUGE-L 19.99 | 自己只跑了 PersMem 一行。见表 3 的转抄 | 无 | 全文 |

### 表 2：复用流程但不是 CoSER 测试集，或只有部分指标

| 来源 | arXiv 号与版本 | 情况 | 核实方式 |
|---|---|---|---|
| Identifying and Mitigating Bottlenecks in RPAs | 2601.04716v5 | 用 CoSER 的流程和提示词，GPT-4o 裁判（未写版本），18 轮。**场景由 Gemini-2.5-Pro 生成，用自己的人物集，只报三个维度**，不是 CoSER Test。Qwen3-235B 33.30（已知角色）等，与主表不可比 | 全文 |
| FURINA | 2510.06800v3 | 用 GCA 作基线比区分度：四个模型，separation index 0.3582（FURINA 0.4171）。GCA 的具体分数只在图 4，图未读，未查到裁判 | 全文（不含图） |
| Persona-Pruner | 2606.14695v2 | 人工评测和 character fidelity 分数沿用 CoSER 的维度，用的是自己的评测设置。表格未逐项抽取 | 全文（部分） |

### 表 3：转抄，没有重新运行

| 来源 | arXiv 号或地址 | 转抄情况 | 核实方式 |
|---|---|---|---|
| PersMem 表 19 | 2609.34372v1 | GPT-4o、Doubao-pro、Step-2、Gemini Pro、Claude-3.5-Sonnet、Qwen-2-72B、CoSER-8B、CoSER-70B 与主表**逐位相同**；CoSER-70B + Conv. 与 v3 的 `exp_rag.tex` 相同。论文明确标注为引用的参考结果 | 全文 |
| AdvRole 表 2 | 2609.28609v1 | Gemini-1.5-Pro、DeepSeek-V3、Claude-3.5-Sonnet 是主表四舍五入到一位小数。**GPT-4o 行是混合的**：四个维度等于 CogDual（58.9/43.1/41.6/75.4），BLEU、ROUGE-L（0.059/0.121）等于主表（5.90/12.11）。LLaMA 和 Qwen 的基线行等于 CogDual 四舍五入。论文写的是"30-turn"，并称用 GPT-4o 当对话方和裁判。自己的结果：AdvRole（Qwen2.5-7B）59.1，AdvRole（LLaMA3.1-8B）58.6 | 全文 |
| UCMOPD | 2608.26735v2 | 四个维度中 General Teacher、Role-Play Teacher、CaMOPD 等列与 CaMOPD 论文逐位相同，两篇作者重合。自己的 UCMOPD 列 47.39/35.96/42.98/53.67，算不算新运行未判定。未找到裁判模型说明（检索未穷尽） | 全文 |
| SOTA2 排行榜 | sota2.com/research/sota/role-play-evaluation-on-coser | 聚合 HER、RAPO、Agentopia、OdysSim、Ditto 的数字，抽看的行与原论文一致。CoSER-70B 显示 35.95。页面没写数字是自己跑的还是转录的；同一模型在不同裁判标签下重复出现 | 摘要 |
| BenchmarkList | benchmarklist.com/benchmarks/reinforcing_human_behavior_simulation_via_verbal_feedback/ | Coser 8B 23.5%，这是 Ditto 论文的 SOUL 总平均，不是 CoSER 分数。页面标注 self-reported、未经独立验证 | 摘要 |
| Ditto-8B 模型卡 | huggingface.co/sunweiwei/Ditto-8B | Coser 行：GPT 5.5 66.2、Others 30.3、Ditto-8B 64.4。**与 Ditto 论文 v1 的 0.512 不同**，其他列与 OdysSim 相同。模型卡未解释差异 | 摘要 |

### 需要注意的文内不一致

- HER 正文写 "CoSER-70B (35.8)"，表 2 为 35.95（四项均值也是 35.955）。
- HER 摘要写 "30.26% improvement"，而 53.12 − 22.86 = 30.26，是分数差，不是百分比（这个差值是我算的）。
- HER 的 CoSER-70B、GPT-4o-240806、HER-RL 三行在 v1、v3、v4 相同，v2 未比较。
- 2605.20506 附录摘要的"CoSER-70B ranks highest"是转述原论文的人工评测，不是它自己的结果。

## 4. 只引用或只用了数据、模型，未报 CoSER 分数的工作

### 仅在正文或参考文献提及

全文关键词检索中 CoSER 仅出现很少，未见 CoSER 分数：

- 2503.08193 Guess What I am Thinking（ROLETHINK）
- 2504.01127 CQ-Bench
- 2504.15527 Compass-V2 Technical Report
- 2505.07888 Long Text Style Transfer
- 2506.01748 Thinking in Character（RAR）
- 2506.16150 PRISON
- 2508.06388 LLMs vs. Chinese Anime Enthusiasts
- 2508.09074 CPO
- 2509.03940 VoxRole
- 2510.01164 Social Welfare Function Leaderboard
- 2510.09869 NarraBench（分类表）
- 2510.20252 Individualized Cognitive Simulation
- 2512.09756 MOA
- 2601.10122 综述（转述 LifeChoice 93.47%，无 GCA 分数）
- 2605.04733 Reward-Decomposed RL
- 2607.06080 Putnam 社会资本
- 2609.16667 ANIMASK

### 用了 CoSER 数据集或模型，但用别的评测

- 2601.11007 AdaMARP：CoSER 微调模型参加自己的 AdaptiveBench 和 CharacterBench。
- 2607.17250 EvolvingWorld：CoSER 训练的 Qwen-7B、Llama-8B 参加自己的评测。
- 2605.29256 DynSess：Coser-70B 从 Hugging Face 获取，参加自己的评测。
- 2510.06800 FURINA：CoSER-70B 总分 9.45（FURINA-Bench，不是 GCA）。
- 2603.11245 Mind the Sim2Real Gap：CoSER-8B（Neph0s/CoSER-Llama-3.1-8B）用作用户模拟器。
- 2604.24698 Chameleon's Limit：CoSER-Llama-8B，另自训 CoSER-Qwen-32B。
- 2508.10014 PersonaEval：数据取自 CoSER；称 CoSER-8B 不能按其指令输出，无法评估。
- 2507.16799 Test-Time-Matching：CoSER（LLaMA-3.1-70B）参与自己的人工评测，并提到 LLM 裁判和人工评分对它差异明显。
- 2601.04611 Character-R1、2605.25511 CRPO：CoSER-Llama-3.1-8B 作基线，用其他评测。
- 2512.10575 RoleRMBench：数据来源之一。

### 检索后确认没有用 GCA

- 2501.15427v2 OpenCharacter、2505.20277v2 OmniCharacter、2607.09885v4 Index SLM、2505.10218v1 RAIDEN-R1、2601.15290v1：全文未出现 CoSER。
- 2608.06197v2 EnvACE：搜索时出现，全文未出现 CoSER。

### 只见元数据，未读全文

- Deliberative-Role-Playing（DOI 10.1109/ICCEA65460.2025.11102346）：Semantic Scholar 列出，无 arXiv 版本。

## 5. 官方仓库 issue

来源：`api.github.com/repos/Neph0s/CoSER/issues`，共 12 个（4 个开放，8 个关闭），无 PR。关键词（rouge、bleu、next speaker、reproduc、复现、不一致、score 等）扫描后人工看过命中的上下文。

- **有没有人报告无法复现或数字不一致：没有。**
- **ROUGE-L、BLEU、NSP：没有相关 issue，作者也没有相关回应。**
- **CoSER-70B 权重，作者有回应：**
  - #2（2025-03-18）问如何使用 70B，作者指向 README 和示例代码，并建议开启 inner thoughts 提示。
  - #3（2025-03-19）报告索引文件要 30 个分片但只有 15 个。作者 2025-03-25 回复已修复，原因是 `model.safetensors.index.json` 错误，内部部署时未使用。Hugging Face 记录的最后修改为 2025-03-25T08:55:27Z，与此相符。
- **其他：**
  - #8（开放）：Hugging Face `load_dataset` 读测试集失败。作者回复没有实现这种读取方式，让用 `python gca_evaluation/main.py --test_file data/test/test_set.json --actor_model gpt-4o --judge_model gpt-4o`。提问者接着说训练集也打不开，作者未再回复。
  - #9（开放，无回复）：CoSER 模型用 demo 的 system prompt 仍输出 "I'm sorry, but I can't assist with that."，与 demo 不一致。这是对话行为，不涉及分数。
  - #10（开放）：《Goblet of Fire》章节被放到第三部。作者确认 chapter 字段存在错配，提醒谨慎使用。
  - #12（开放，无回复，2026-08-31）：提问者称 HEAD `624efc50` 没有 LICENSE 文件，要求明确代码、数据、权重的许可。
- 仓库 Discussions 已关闭，无讨论可查。
- Hugging Face 上：70B 只有 1 个 nielsr 提的元数据 PR（开放），8B 和数据集的讨论为 0。Hugging Face Papers 和 alphaXiv 页面未见复现相关评论。

## 6. 权重情况

只查页面和 API，未下载。

| 模型 | 地址 | 限制 | 文件 | 最后修改（UTC） | 许可标记 | 下载量（页面值） |
|---|---|---|---|---|---|---|
| CoSER-Llama-3.1-70B | https://huggingface.co/Neph0s/CoSER-Llama-3.1-70B | gated=false，private=false | 15 个 safetensors，约 141.1 GB，含索引和 tokenizer | 2025-03-25T08:55:27Z | MIT | 38 |
| CoSER-Llama-3.1-8B | https://huggingface.co/Neph0s/CoSER-Llama-3.1-8B | gated=false，private=false | 4 个 safetensors，约 16.1 GB | 2025-03-18T08:37:42Z | MIT | 78 |

- 数据集：https://huggingface.co/datasets/Neph0s/CoSER（gated=false，最后修改 2025-07-13）。
- 页面未写 commit 对应的论文实验版本，无法从页面确认这就是论文主表用的权重。
- 第三方确实在用这些权重：2603.11245 写明了 repo 名，2605.29256 写明 open-weight 模型从 Hugging Face 获取。
- 模型卡标 MIT，而 #12 称代码仓库无 LICENSE，两者是不同对象，作者未回应。

## 7. 没查到或无法访问的部分

- **Google Scholar：** 返回 403（"Sorry..."），未能使用。
- **Semantic Scholar：** 只拿到 25 条引用，`citationCount` 查询始终 429，真实引用总数未知。上面的论文清单大部分来自搜索和 arXiv API，**不能视为穷尽**。
- **OpenAlex：** 引用数显示 0，明显不完整。alphaXiv 显示 3 次引用，同样不完整。
- **arXiv API：** 只索引标题、摘要等元数据，不是全文检索。只在正文使用 CoSER 且未被搜索命中的论文可能漏掉。
- **PDF：** 未读。所有全文读取都来自 arXiv HTML，图中的数字（如 FURINA 图 4）未核对。
- **没有查到：** 原作者公开的主表逐样本原始输出的第三方比对；任何独立团队的 200 条全量、gpt-4o-2024-08-06 裁判、含 CoSER-70B 的结果。这是"没有查到"，不等于不存在。
- **未读：** HER 表 7 和附录 H 的完整内容，CogDual 附录中其他裁判的具体数字，Persona-Pruner 的表格细节，Neph0s/Agentopia 仓库，Hugging Face 上第三方微调模型（如 zoeyhao/coser_*、ZheqiWu/Qwen2.5-3B-CoSER-*）的模型卡。
- **运行次数和 NSP 模型：** 多数论文未写，表 1 写"未写"的依据是全文关键词检索，可能因措辞不同而漏检。

## 8. 用于报告正文时的注意事项

- 这些数字不能和主表直接比较，除非裁判相同。
- CoSER-70B 的 35.95 同时出现在 HER 和 Agentopia，是同一个数字，不算两个独立结果，且两篇都有 CoSER 作者同名者。
- "CaMOPD 用官方配置得到相同排序"只有一句声明，没有数字，且不涉及主表模型。
- 算出来的值（Socio-Foundation 均值 41.55、HER 差值 30.26、权重总大小）是我计算的，不是原文数字。