SociaBench

排行榜

统一展示各评测基准的模型表现：切换榜单，按维度查看与对比模型。

CharacterEval

在 77 个中文小说与剧本角色上，评测模型的对话能力、角色一致性、扮演吸引力和人格还原。

原始作者 中国人民大学高瓴人工智能学院（Tu、Fan、Tian、Yan） · ACL 2024

复现与评测报告 SociaBench · 阅读复现报告

  • 取材经典作品77 个中文小说与剧本角色、1,785 段多轮对话，角色资料取自百度百科。
  • 四维十三项对话能力、角色一致性、扮演吸引力、人格回测四个维度，共 13 项指标。
  • 专用奖励模型12 名标注员人工评分训练出的 CharacterRM，与人工的相关为 0.631，GPT-4 最好为 0.385。
  • 人格回测让模型以角色身份回答 MBTI 问卷，对照 54 个角色的已知人格类型检验。
结果发表于 2024年1月9日15 个模型4,564 条测试样本评测方法代码与测试集 复现报告

成绩来自 CharacterEval 论文（ACL 2024）发表的结果，由作者的奖励模型 CharacterRM 评分，满分 5 分。论文没有总分，本榜按作者认为最关键的"角色一致性"排序。查看说明

排名模型
  1. 1BaichuanBaichuan2.7643.7982.9460.681
  2. 2MinimaxMiniMax2.7183.7842.9020.685
  3. 2InternLMShanghai AI Lab2.7153.7452.9110.648
  4. 4BaichuanBaichuan2.7013.7952.8900.639
  5. 4BaichuanBaichuan2.7003.7572.8740.625
  6. 4OpenAIOpenAI2.6973.4482.8730.694
  7. 7QwenQwen2.6493.5422.8580.620
  8. 8◆XVERSE2.6323.6052.8300.630
  9. 9InternLMShanghai AI Lab2.6203.6982.7840.630
  10. 10AlibabaAlibaba2.5953.6462.7320.630
  11. 11◆XVERSE2.5643.5542.7720.620
  12. 11ChatGLMZhipu2.5563.3992.7390.532
  13. 13QwenQwen2.5403.3272.6790.606
  14. 14ChatGLM注Zhipu2.4933.6232.695—
  15. 15OpenAIOpenAI2.1012.7492.2930.653
数据来源

成绩从哪里来

这些成绩由 CharacterEval 的作者发表在论文表 4 中，共 15 个模型。数字逐项取自论文的 LaTeX 源文件（arXiv:2401.01275 v2，2024 年 1 月 9 日），与作者 GitHub 仓库中的排行榜图为同一张表，未作任何修改；本平台没有重新评测这些模型。

分数怎么算

每个模型根据角色资料和对话上文续写角色回复（共 4,564 条测试样本）。每条样本只评其中几项指标，由奖励模型 CharacterRM 在 1–5 分上打分，每项指标取平均。各维度分数是论文印出的维度平均。人格回测是以角色身份作答 MBTI 问卷的准确率（0–1），不是 5 分制分数，所以不进入雷达图。CharacterGLM 未能完成问卷，论文中没有这一项。

为什么按角色一致性排序

论文没有定义总分，只分别报告四个维度。作者在文中称角色一致性是角色扮演"最关键的方面"，所以本榜默认按它排序；点击表头可以按其他维度或任一指标排序。

本平台的评测

在本平台运行 CharacterEval 需要部署作者发布的奖励模型 BaichuanCharRM（基于 Baichuan2-13B，含自定义代码，目前没有推理服务商托管）。部署后，平台自行评测的结果会与论文结果统一排名，并标明来源。

论文 · 代码与测试集 · 复现报告

评测方法

  1. 01评测目标

    CharacterEval 评测中文角色扮演对话智能体：给定角色资料与一段多轮对话，模型以该角色身份续写下一句回复。对话取自中文小说与剧本，覆盖 77 个角色、1,785 段对话，角色资料来自百度百科。

  2. 02四个维度与 13 项指标
    • 对话能力：流畅度、连贯性、一致性。
    • 角色一致性：知识展现、知识准确、知识幻觉、人设行为、人设话语。
    • 扮演吸引力：拟人性、沟通技巧、表达多样、共情。
    • 人格回测：以角色身份作答 MBTI 问卷，与 54 个角色的已知人格类型比对。
  3. 03裁判与计分

    前 12 项指标由作者基于 Baichuan2-13B 训练的奖励模型 CharacterRM 打分（1–5 分）。训练数据来自 12 名标注员的人工评分；CharacterRM 与人工评分的总体 Pearson 相关为 0.631，GPT-4 在 1–3 个示例下最高为 0.385。每条测试样本只评与它相关的部分指标，指标分取平均。

  4. 04与本平台的关系

    本榜目前只列出论文作者发表的结果。论文没有总分，本榜按角色一致性排序，并在表头写明。平台日后自行评测的结果会与论文结果统一排名，并标明来源。

来源：Tu et al., CharacterEval, ACL 2024 · morecry/CharacterEval · 独立复现报告（英文）

转载声明 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接 sociabench.com。