--- title: "CharacterEval 排行榜 — SociaBench" description: "CharacterEval：在 77 个中文小说与剧本角色上，评测模型的对话能力、角色一致性、扮演吸引力和人格还原。本平台按当前评测协议评测了 13 个模型，附分维度得分与置信区间；作者公布的原始榜单单独列出，不参与排名。原始出处 ACL 2024。" canonical: "https://sociabench.com/zh-CN/b/charactereval" markdown: "https://sociabench.com/zh-CN/b/charactereval.md" type: "CollectionPage / Dataset" entity: "https://sociabench.com/zh-CN/b/charactereval#leaderboard" about: "https://sociabench.com/b/charactereval#benchmark" publisher: "SociaBench" language: "zh-CN" date_modified: "2026-11-01T15:35:58.759Z" data_version: "zh:13-1793547358759-r1793034246936-p6065" license: "https://sociabench.com/zh-CN/data-terms" sources: - "原始出处：中国人民大学高瓴人工智能学院（Tu、Fan、Tian、Yan），ACL 2024，《CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation》：https://arxiv.org/abs/2401.01275" - "测试集与官方实现：https://github.com/morecry/CharacterEval" - "复现报告（SociaBench）：https://sociabench.com/zh-CN/b/charactereval/methodology" data: - "https://sociabench.com/api/benchmarks/charactereval/leaderboard?lang=zh" --- # CharacterEval 排行榜 在 77 个中文小说与剧本角色上，评测模型的对话能力、角色一致性、扮演吸引力和人格还原。 中国人民大学发布的中文角色扮演评测（ACL 2024）。被测模型根据角色资料与对话上文续写角色回复，由作者训练的奖励模型 CharacterRM 在 12 项指标上打分，另以 MBTI 问卷检验人格还原。 ## 来源 - 原始出处：中国人民大学高瓴人工智能学院（Tu、Fan、Tian、Yan），ACL 2024，《CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation》：https://arxiv.org/abs/2401.01275 - 测试集与官方实现：https://github.com/morecry/CharacterEval - 复现报告（SociaBench）：https://sociabench.com/zh-CN/b/charactereval/methodology ## 评分方法 - 排序依据：角色一致性，满分 5，越高越好。 - 分组：对话能力（流畅、连贯、前后一致）；角色一致性（知识与人设符合角色）；扮演吸引力（拟人、沟通、表达多样与共情）；人格回测（以角色身份作答 MBTI 的准确率）。 - 数据视图：中文（按语言分别排名）。 - 按作者发布的代码复现（论文没有给出提示词和参数）：被测模型收到官方脚本构造的多轮消息（第一条用户消息是角色资料和扮演指令），续写角色的下一句；只取回复的第一行；由作者的奖励模型 CharacterRM 按该样本分配的指标逐项打 1–5 分。每项指标取全部样本的平均，维度为所属指标的等权平均，排行榜按角色一致性排序。人格回测无法用发布材料复现，不在平台评测范围内。 - 完整方法、裁判配置与局限见复现报告：https://sociabench.com/zh-CN/b/charactereval/methodology ## 排名规则 - **排名**（平台复现结果）：SociaBench 在本平台按该评测当前的复现协议运行完整测试集得到的结果；排名只收这类结果。 - **原始榜单**（作者公布的结果）：评测作者公布的成绩（论文表格或数据集说明），未经本平台重新运行；评测条件与排名不同，单独列出，不参与排名。两边的分数不能直接比较。 ## 排名：中文 数据版本 13-1793547358759-r1793034246936-p6065 · 13 个模型 · 95% CI 为 95% 置信区间。 | 排名 | 模型 | 角色一致性 | 95% CI | 对话能力 | 角色一致性 | 扮演吸引力 | 人格回测 | 样本数 | 评测时间 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | [Doubao-Seed-Character（260628）](https://sociabench.com/zh-CN/models/charactereval/doubao-seed-character-260628) | 3.595 | [3.574, 3.615] | 4.116 | 3.595 | 3.891 | — | 4531 | 2026-11-01T10:53Z | | 2 | [Claude Opus 5.5](https://sociabench.com/zh-CN/models/charactereval/anthropic-claude-opus-5.5) | 3.402 | [3.378, 3.426] | 4.226 | 3.402 | 3.708 | — | 4531 | 2026-11-01T14:25Z | | 3 | [Gemini 4 Argon](https://sociabench.com/zh-CN/models/charactereval/google-gemini-4-argon) | 3.390 | [3.361, 3.418] | 4.025 | 3.390 | 3.667 | — | 4528 | 2026-11-01T14:29Z | | 4 | [GLM 5.3 Flash（260828）](https://sociabench.com/zh-CN/models/charactereval/glm-5-3-flash-260828) | 3.379 | [3.353, 3.406] | 4.128 | 3.379 | 3.681 | — | 4531 | 2026-11-01T15:35Z | | 5 | [Qwen3.8 Max Prime](https://sociabench.com/zh-CN/models/charactereval/qwen-qwen3.8-max-prime) | 3.324 | [3.297, 3.351] | 4.153 | 3.324 | 3.609 | — | 4531 | 2026-11-01T14:22Z | | 6 | [Qwen Plus Character](https://sociabench.com/zh-CN/models/charactereval/qwen-plus-character) | 3.292 | [3.265, 3.317] | 3.875 | 3.292 | 3.548 | — | 4528 | 2026-11-01T14:43Z | | 7 | [GPT-6 Astra](https://sociabench.com/zh-CN/models/charactereval/gpt-6-astra) | 3.251 | [3.227, 3.272] | 4.110 | 3.251 | 3.573 | — | 4531 | 2026-11-01T14:29Z | | 8 | [DeepSeek V4.1 Flash（261017）](https://sociabench.com/zh-CN/models/charactereval/deepseek-v4-1-flash-261017) | 3.207 | [3.181, 3.232] | 4.045 | 3.207 | 3.493 | — | 4531 | 2026-11-01T11:25Z | | 9 | [Muse Spark 1.3](https://sociabench.com/zh-CN/models/charactereval/meta-muse-spark-1.3) | 3.191 | [3.162, 3.221] | 4.109 | 3.191 | 3.499 | — | 4531 | 2026-11-01T14:28Z | | 10 | [Grok 4.7](https://sociabench.com/zh-CN/models/charactereval/x-ai-grok-4.7) | 3.100 | [3.070, 3.132] | 4.099 | 3.100 | 3.411 | — | 4531 | 2026-11-01T14:32Z | | 11 | [Qwen Flash Character](https://sociabench.com/zh-CN/models/charactereval/qwen-flash-character) | 3.063 | [3.033, 3.093] | 3.650 | 3.063 | 3.292 | — | 4530 | 2026-11-01T14:39Z | | 12 | [Kimi K3](https://sociabench.com/zh-CN/models/charactereval/moonshotai-kimi-k3) | 3.004 | [2.974, 3.034] | 3.866 | 3.004 | 3.260 | — | 4531 | 2026-11-01T14:41Z | | 13 | [MiniMax M2-her](https://sociabench.com/zh-CN/models/charactereval/minimax-minimax-m2-her) | 2.772 | [2.743, 2.801] | 3.844 | 2.772 | 3.007 | — | 4531 | 2026-11-01T14:08Z | ## 原始榜单：中文（作者公布，不参与排名） | 名次 | 模型 | 角色一致性 | 出处 | 注 | | --- | --- | --- | --- | --- | | 1 | BC-NPC-Turbo | 2.764 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 2 | MiniMax | 2.718 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 2 | InternLM-20B | 2.715 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 3 | Baichuan2-13B | 2.701 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 3 | Baichuan2-7B | 2.700 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 3 | GPT-4 | 2.697 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 4 | Qwen-14B | 2.649 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 5 | XVERSE-13B | 2.632 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 6 | InternLM-7B | 2.620 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 7 | Xingchen | 2.595 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 8 | XVERSE-7B | 2.564 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 8 | ChatGLM3-6B | 2.556 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 9 | Qwen-7B | 2.540 | [论文表 4](https://arxiv.org/abs/2401.01275) | | | 10 | CharacterGLM | 2.493 | [论文表 4](https://arxiv.org/abs/2401.01275) | 论文未报告该模型的人格回测结果（未能完成 MBTI 问卷） | | 11 | GPT-3.5 | 2.101 | [论文表 4](https://arxiv.org/abs/2401.01275) | | ## 维度 | 维度 | 所属分组 | 说明 | | --- | --- | --- | | 流畅度 | 对话能力 | 语句通顺、没有明显语病 | | 连贯性 | 对话能力 | 紧扣上文话题 | | 一致性 | 对话能力 | 不与自己前面的回复矛盾 | | 知识展现 | 角色一致性 | 回复中体现角色相关的知识 | | 知识准确 | 角色一致性 | 知识与角色资料相符 | | 知识幻觉 | 角色一致性 | 不回答角色不该知道的内容（分越高幻觉越少） | | 人设行为 | 角色一致性 | 括号中的动作、神态符合角色 | | 人设话语 | 角色一致性 | 说话风格符合角色 | | 拟人性 | 扮演吸引力 | 不像机器的回答 | | 沟通技巧 | 扮演吸引力 | 会说话、情商高 | | 表达多样 | 扮演吸引力 | 动作与语言表达丰富 | | 共情 | 扮演吸引力 | 温暖、体察用户情绪 | | MBTI 准确率 | 人格回测 | 以角色身份作答 MBTI 问卷，与 54 个角色已知人格类型比对的准确率 | ## 引用 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/zh-CN/b/charactereval。引用本评测时，请同时注明其正式名称「CharacterEval」与原始出处。