--- title: "CoSER 排行榜 — SociaBench" description: "CoSER：在知名小说的原著场景中，让模型同时扮演多个角色，对照原著对话评测还原度与故事质量。收录 21 个模型的成绩、分维度得分与来源，原始出处 ICML 2025。" canonical: "https://sociabench.com/b/coser" markdown: "https://sociabench.com/b/coser.md" type: "CollectionPage / Dataset" entity: "https://sociabench.com/b/coser#leaderboard" about: "https://sociabench.com/b/coser#benchmark" publisher: "SociaBench" language: "zh-CN" date_modified: "2025-02-13T00:00:00.000Z" data_version: "en:0-0-r1793034246936-p6882" license: "https://sociabench.com/data-terms" sources: - "原始出处：复旦大学、阶跃星辰、约翰斯·霍普金斯大学（Wang 等），ICML 2025，《CoSER: A Comprehensive Literary Dataset and Framework for Training and Evaluating LLM Role-Playing and Persona Simulation》：https://arxiv.org/abs/2502.09082" - "测试集与官方实现：https://github.com/Neph0s/CoSER" - "复现报告（SociaBench）：https://sociabench.com/b/coser/methodology" data: - "https://sociabench.com/api/benchmarks/coser/leaderboard?lang=en" --- # CoSER 排行榜 在知名小说的原著场景中，让模型同时扮演多个角色，对照原著对话评测还原度与故事质量。 复旦大学等发布的角色扮演数据集与评测（ICML 2025）。测试集为 200 段书中对话，模型在多智能体演绎中扮演其中所有角色，由 GPT-4o 对照原著逐项扣分。 ## 来源 - 原始出处：复旦大学、阶跃星辰、约翰斯·霍普金斯大学（Wang 等），ICML 2025，《CoSER: A Comprehensive Literary Dataset and Framework for Training and Evaluating LLM Role-Playing and Persona Simulation》：https://arxiv.org/abs/2502.09082 - 测试集与官方实现：https://github.com/Neph0s/CoSER - 复现报告（SociaBench）：https://sociabench.com/b/coser/methodology ## 评分方法 - 排序依据：平均分，满分 100，越高越好。 - 分组：故事一致性（与原著对话中角色的反应是否一致）；拟人化（像真实的人：自我认同、情感深度、社交互动）；角色忠实度（语言风格、知识背景、性格行为、人际关系符合原著）；故事质量（情节自然推进、逻辑连贯）。 - 数据视图：英文（按语言分别排名）。 - 按论文复现，论文未写明之处按作者的代码：被测模型扮演场景中的每个角色（附角色资料、场景与动机，输出想法、动作和台词），GPT-4o（2024-08-06）扮演环境，GPT-4o-mini（2024-07-18）预测下一位说话人，最多 20 条发言；GPT-4o（2024-08-06）对照原著对话与情节摘要，按 4 个维度逐条找缺陷、标严重度，维度分 = 100 − 5 × 严重度之和 + 1.5 × 角色发言条数（截到 0–100），四维平均为总分；每个场景独立演绎 3 次取平均。BLEU 只作分析。 - 完整方法、裁判配置与局限见复现报告：https://sociabench.com/b/coser/methodology ## 结果来源说明 - **论文结果**（原始论文结果）：评测原作者发表的结果，未经本平台重新运行；每行的出处标明取自论文的哪张表，或由作者公开的评分复算。 ## 排名：英文 数据版本 0-0-r1793034246936-p6882 · 21 个模型 · 95% CI 为 95% 置信区间；论文结果没有公布区间的记为「—」。 | 排名 | 模型 | 来源 | 平均分 | 95% CI | 故事一致性 | 拟人化 | 角色忠实度 | 故事质量 | 样本数 | 评测时间或出处 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | GPT-4o | 论文结果 | 59.95 | — | 61.59 | 48.93 | 48.95 | 80.33 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 2 | Doubao-pro | 论文结果 | 59.24 | — | 60.95 | 49.72 | 47.02 | 79.28 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 2 | Gemini Pro | 论文结果 | 59.24 | — | 59.11 | 52.41 | 47.83 | 77.59 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 4 | CoSER-70B | 论文结果 | 59.06 | — | 58.66 | 53.33 | 48.75 | 75.49 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 5 | Step-2 | 论文结果 | 58.94 | — | 61.43 | 49.06 | 47.33 | 77.96 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 6 | GPT-4o Mini | 论文结果 | 57.93 | — | 60.09 | 48.21 | 44.88 | 78.55 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 7 | Claude-3.5-Sonnet | 论文结果 | 57.22 | — | 57.45 | 48.50 | 45.69 | 77.23 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 8 | Qwen-2-72B | 论文结果 | 57.06 | — | 57.75 | 47.28 | 46.62 | 76.60 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 9 | Step-1-Flash | 论文结果 | 56.57 | — | 57.75 | 48.12 | 44.48 | 75.93 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 10 | CoSER-8B | 论文结果 | 56.45 | — | 58.61 | 47.23 | 46.90 | 73.04 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 11 | DeepSeek-V3 | 论文结果 | 56.24 | — | 56.40 | 47.87 | 44.02 | 76.66 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 12 | LLaMA-3.1-70B | 论文结果 | 55.49 | — | 57.46 | 45.95 | 43.72 | 74.84 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 13 | Abab7-preview | 论文结果 | 54.92 | — | 56.81 | 44.23 | 43.83 | 74.83 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 14 | Higgs-Llama-3-70B | 论文结果 | 54.74 | — | 57.10 | 43.82 | 42.41 | 75.62 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 15 | Claude-3-Haiku | 论文结果 | 54.71 | — | 58.18 | 44.66 | 41.88 | 74.14 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 16 | GPT-3.5 | 论文结果 | 54.18 | — | 57.22 | 43.30 | 42.29 | 73.91 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 17 | LLaMA-3.1-8B | 论文结果 | 52.99 | — | 54.10 | 45.36 | 40.22 | 72.29 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 18 | Mistral-7B | 论文结果 | 51.64 | — | 59.90 | 40.00 | 44.75 | 61.93 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 19 | Mixtral-8x7B | 论文结果 | 48.58 | — | 51.25 | 38.44 | 36.92 | 67.69 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 20 | Vicuna-13B-1.5 | 论文结果 | 47.58 | — | 52.75 | 39.12 | 38.04 | 60.43 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | | 21 | Qwen-2-7B | 论文结果 | 45.53 | — | 51.96 | 35.48 | 31.51 | 63.18 | 200 | [论文主结果表](https://arxiv.org/abs/2502.09082) | ## 维度 | 维度 | 所属分组 | 说明 | | --- | --- | --- | | 故事一致性 | 故事一致性 | 与原著对话中角色的反应是否一致 | | 拟人化 | 拟人化 | 像真实的人：自我认同、情感深度、社交互动 | | 角色忠实度 | 角色忠实度 | 语言风格、知识背景、性格行为、人际关系符合原著 | | 故事质量 | 故事质量 | 情节自然推进、逻辑连贯 | | BLEU | | 与原著对话的 n 元重合（精确率） | | ROUGE-L | | 与原著对话的最长公共子序列重合 | ## 引用 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/b/coser。引用本评测时，请同时注明其正式名称「CoSER」与原始出处。