---
title: "CharacterEval 排行榜 — SociaBench"
description: "CharacterEval：在 77 个中文小说与剧本角色上，评测模型的对话能力、角色一致性、扮演吸引力和人格还原。收录 15 个模型的成绩、分维度得分与来源，原始出处 ACL 2024。"
canonical: "https://sociabench.com/b/charactereval"
markdown: "https://sociabench.com/b/charactereval.md"
type: "CollectionPage / Dataset"
entity: "https://sociabench.com/b/charactereval#leaderboard"
about: "https://sociabench.com/b/charactereval#benchmark"
publisher: "SociaBench"
language: "zh-CN"
date_modified: "2024-01-09T00:00:00.000Z"
data_version: "zh:0-0-r1793034246936-p6065"
license: "https://sociabench.com/data-terms"
sources:
  - "原始出处：中国人民大学高瓴人工智能学院（Tu、Fan、Tian、Yan），ACL 2024，《CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation》：https://arxiv.org/abs/2401.01275"
  - "测试集与官方实现：https://github.com/morecry/CharacterEval"
  - "复现报告（SociaBench）：https://sociabench.com/b/charactereval/methodology"
data:
  - "https://sociabench.com/api/benchmarks/charactereval/leaderboard?lang=zh"
---

# CharacterEval 排行榜

在 77 个中文小说与剧本角色上，评测模型的对话能力、角色一致性、扮演吸引力和人格还原。

中国人民大学发布的中文角色扮演评测（ACL 2024）。被测模型根据角色资料与对话上文续写角色回复，由作者训练的奖励模型 CharacterRM 在 12 项指标上打分，另以 MBTI 问卷检验人格还原。

## 来源

- 原始出处：中国人民大学高瓴人工智能学院（Tu、Fan、Tian、Yan），ACL 2024，《CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation》：https://arxiv.org/abs/2401.01275
- 测试集与官方实现：https://github.com/morecry/CharacterEval
- 复现报告（SociaBench）：https://sociabench.com/b/charactereval/methodology

## 评分方法

- 排序依据：角色一致性，满分 5，越高越好。
- 分组：对话能力（流畅、连贯、前后一致）；角色一致性（知识与人设符合角色）；扮演吸引力（拟人、沟通、表达多样与共情）；人格回测（以角色身份作答 MBTI 的准确率）。
- 数据视图：中文（按语言分别排名）。
- 按作者发布的代码复现（论文没有给出提示词和参数）：被测模型收到官方脚本构造的多轮消息（第一条用户消息是角色资料和扮演指令），续写角色的下一句；只取回复的第一行；由作者的奖励模型 CharacterRM 按该样本分配的指标逐项打 1–5 分。每项指标取全部样本的平均，维度为所属指标的等权平均，排行榜按角色一致性排序。人格回测无法用发布材料复现，不在平台评测范围内。
- 完整方法、裁判配置与局限见复现报告：https://sociabench.com/b/charactereval/methodology

## 结果来源说明

- **论文结果**（原始论文结果）：评测原作者发表的结果，未经本平台重新运行；每行的出处标明取自论文的哪张表，或由作者公开的评分复算。

## 排名：中文

数据版本 0-0-r1793034246936-p6065 · 15 个模型 · 95% CI 为 95% 置信区间；论文结果没有公布区间的记为「—」。

| 排名 | 模型 | 来源 | 角色一致性 | 95% CI | 对话能力 | 角色一致性 | 扮演吸引力 | 人格回测 | 样本数 | 评测时间或出处 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | BC-NPC-Turbo | 论文结果 | 2.764 | — | 3.798 | 2.764 | 2.946 | 0.681 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 2 | MiniMax | 论文结果 | 2.718 | — | 3.784 | 2.718 | 2.902 | 0.685 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 2 | InternLM-20B | 论文结果 | 2.715 | — | 3.745 | 2.715 | 2.911 | 0.648 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 4 | Baichuan2-13B | 论文结果 | 2.701 | — | 3.795 | 2.701 | 2.890 | 0.639 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 4 | Baichuan2-7B | 论文结果 | 2.700 | — | 3.757 | 2.700 | 2.874 | 0.625 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 4 | GPT-4 | 论文结果 | 2.697 | — | 3.448 | 2.697 | 2.873 | 0.694 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 7 | Qwen-14B | 论文结果 | 2.649 | — | 3.542 | 2.649 | 2.858 | 0.620 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 8 | XVERSE-13B | 论文结果 | 2.632 | — | 3.605 | 2.632 | 2.830 | 0.630 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 9 | InternLM-7B | 论文结果 | 2.620 | — | 3.698 | 2.620 | 2.784 | 0.630 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 10 | Xingchen | 论文结果 | 2.595 | — | 3.646 | 2.595 | 2.732 | 0.630 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 11 | XVERSE-7B | 论文结果 | 2.564 | — | 3.554 | 2.564 | 2.772 | 0.620 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 11 | ChatGLM3-6B | 论文结果 | 2.556 | — | 3.399 | 2.556 | 2.739 | 0.532 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 13 | Qwen-7B | 论文结果 | 2.540 | — | 3.327 | 2.540 | 2.679 | 0.606 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 14 | CharacterGLM | 论文结果 | 2.493 | — | 3.623 | 2.493 | 2.695 | — | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |
| 15 | GPT-3.5 | 论文结果 | 2.101 | — | 2.749 | 2.101 | 2.293 | 0.653 | 4564 | [论文表 4](https://arxiv.org/abs/2401.01275) |

## 维度

| 维度 | 所属分组 | 说明 |
| --- | --- | --- |
| 流畅度 | 对话能力 | 语句通顺、没有明显语病 |
| 连贯性 | 对话能力 | 紧扣上文话题 |
| 一致性 | 对话能力 | 不与自己前面的回复矛盾 |
| 知识展现 | 角色一致性 | 回复中体现角色相关的知识 |
| 知识准确 | 角色一致性 | 知识与角色资料相符 |
| 知识幻觉 | 角色一致性 | 不回答角色不该知道的内容（分越高幻觉越少） |
| 人设行为 | 角色一致性 | 括号中的动作、神态符合角色 |
| 人设话语 | 角色一致性 | 说话风格符合角色 |
| 拟人性 | 扮演吸引力 | 不像机器的回答 |
| 沟通技巧 | 扮演吸引力 | 会说话、情商高 |
| 表达多样 | 扮演吸引力 | 动作与语言表达丰富 |
| 共情 | 扮演吸引力 | 温暖、体察用户情绪 |
| MBTI 准确率 | 人格回测 | 以角色身份作答 MBTI 问卷，与 54 个角色已知人格类型比对的准确率 |

## 引用

转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/b/charactereval。引用本评测时，请同时注明其正式名称「CharacterEval」与原始出处。