SociaBench

排行榜

统一展示各评测基准的模型表现：切换榜单，按维度查看与对比模型。

CharacterBench

在 3,956 个角色、11 个维度上，用定向问题测量模型扮演定制角色的能力。

原始作者 清华大学 CoAI 小组（Zhou 等，黄民烈团队） · AAAI 2025

复现与评测报告 SociaBench · 阅读复现报告

  • 大规模人工标注22,859 条人工标注样本、3,956 个角色、25 类角色，作者称是规模最大的双语生成式角色评测。
  • 六方面十一维度覆盖记忆、知识、人设、情感、道德与可信度。
  • 定向诱导提问为每个维度设计专门的用户发言，让被测特征一定出现在回复里，评测更高效。
  • 专用裁判模型CharacterJudge 与人工评分的相关为 0.68（中）/ 0.64（英），通用裁判 GPT-4 只有 0.38 / 0.41。
更新于 2026年10月27日26 个模型84,460 个会话6494 个场景评测方法数据集 复现报告

成绩包括 CharacterBench 论文（AAAI-25）发表的结果和本平台按作者流程评测的结果，都由作者的裁判模型 CharacterJudge 评分，满分 5 分；两者统一排名、标明来源，中英文分别排名。查看说明

排名模型
  1. 1DeepSeekDeepSeek-v4-1-FlashDeepSeek · 261017 · 平台评测3.87±0.04.233.594.033.164.793.42
  2. 2=DoubaoDoubao-Seed-CharacterByteDance · 260628 · 平台评测3.82±0.04.203.523.923.174.753.45
  3. 2=ClaudeAnthropic · 论文结果3.823.983.394.103.304.843.15
  4. 4=OpenAIopenai/gpt-6-astraOpenAI · 平台评测3.80±0.03.953.503.873.194.913.39
  5. 4=QwenQwen · 论文结果3.804.033.423.913.204.883.35
  6. 6MetaMeta · 论文结果3.794.043.044.103.214.753.42
  7. 7ClaudeAnthropic · 论文结果3.783.893.423.893.104.823.52
  8. 8Qwenqwen-plus-characterQwen · 平台评测3.72±0.03.793.433.903.054.713.30
  9. 9=Claudeanthropic/claude-opus-5.5Anthropic · 平台评测3.71±0.03.583.453.862.994.763.43
  10. 9=ChatGLMZhipu · 论文结果3.713.813.253.803.194.833.34
  11. 11OpenAIOpenAI · 论文结果3.693.973.293.823.014.793.26
  12. 12OpenAIOpenAI · 论文结果3.683.983.243.833.024.743.30
  13. 13=OpenAIOpenAI · 论文结果3.663.833.003.842.964.803.43
  14. 13=QwenQwen · 论文结果3.664.183.103.833.124.892.91
  15. 15BaichuanBaichuan · 论文结果3.653.833.523.663.114.863.00
  16. 16MetaMeta · 论文结果3.603.982.923.882.994.822.91
  17. 17MinimaxMinimax-M2-HerMiniMax · 平台评测3.59±0.03.813.263.663.004.773.10
  18. 18ChatGLMZhipu · 论文结果3.583.803.043.712.984.743.20
  19. 19QwenQwen · 论文结果3.574.313.253.732.944.692.70
  20. 20=◆论文结果3.543.913.023.652.844.713.20
  21. 20=ChatGLMZhipu · 论文结果3.543.923.073.652.934.723.02
  22. 22MinimaxMiniMax · 论文结果3.523.763.103.652.884.673.08
  23. 23MistralMistral · 论文结果3.503.842.853.692.844.902.83
  24. 24Yi01.AI · 论文结果3.433.522.893.572.944.832.75
  25. 25BaichuanBaichuan · 论文结果3.253.323.063.232.804.822.35
  26. 26ChatGLMZhipu · 论文结果3.213.312.743.172.674.612.83
数据来源

成绩从哪里来

这些成绩由 CharacterBench 的作者发表在论文中：正文表 4 列出 18 个模型，附录表另列出 GPT-4o 与 Claude-3.5-Sonnet。数字逐项取自论文的 LaTeX 源文件（arXiv:2412.11912 v1，2024 年 12 月 16 日），未作任何修改；本平台没有重新评测这些模型。

分数怎么算

每个模型续写测试集中每条样本里角色的下一句回复（每种语言 3,250 条），由 CharacterJudge 打分。每个维度的分数是裁判分的均值按该维度量表的上限折算到 5 分；综合分（AVG）是 13 列的简单平均，方面分是所含各列的平均。论文只分别报告中文和英文结果，没有双语总分，所以本榜也分语言排名。CharacterYuyan 只有中文结果。

本平台的评测

本平台按作者发布的流程运行 CharacterBench：测试集与提示词取自作者仓库的固定版本（与官方脚本逐字节一致），裁判为作者发布的 CharacterJudge，按论文做 10 次采样取平均。完整测试集跑完的平台评测进入榜单，与论文发表的结果统一排名，每行标明来源。与论文数字的对照（同一模型、同一列）记录在复现报告中。

论文 · 代码与测试集 · 复现报告

评测方法

  1. 01评测目标

    CharacterBench 评测模型扮演"定制角色"的能力：给定角色设定与一段多轮对话，模型续写角色的下一句回复。为了让每个维度都能被观察到，作者针对不同维度构造了诱导性的用户发言，例如追问角色经历以检验记忆，用超出角色时代的话题检验知识边界，用有害请求检验道德。

  2. 02六个方面与 13 列分数

    11 个维度归入 6 个方面；属性一致性与行为一致性各分 bot、human 两种查询，所以共 13 列：

    • 记忆：记忆一致性。
    • 知识：事实准确性、知识边界。
    • 人设：属性一致（bot / human）、行为一致（bot / human）。
    • 情感：情绪自我调节、共情回应。
    • 道德：道德稳定性（抵御有害请求）、道德鲁棒性（角色设定本身有害时仍守住底线）。
    • 可信度：拟人性、吸引力。
  3. 03裁判与计分

    裁判是作者基于 Qwen2-7B 微调的 CharacterJudge，训练数据为 19,609 条人工标注样本。不同维度的人工量表不同（2、3、4 或 5 分制），每个维度的分数按其量表上限折算到 5 分；综合分为 13 列的简单平均。论文报告 CharacterJudge 与人工评分的 Pearson 相关为中文 0.68、英文 0.64，高于 GPT-4 等通用裁判。

  4. 04与本平台的关系

    本榜列出论文作者发表的结果和本平台按作者流程评测的结果，统一排名、标明来源。论文与官方代码在角色扮演提示词、裁判解码方式等方面并不完全一致，本平台逐项登记了采用的口径（见复现报告）；论文的成绩是 2024 年的模型版本，与现在同名模型的成绩不一定可比。

来源：Zhou et al., CharacterBench, AAAI-25 · thu-coai/CharacterBench · 独立复现报告（英文）

转载声明 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接 sociabench.com。