--- title: "CharacterBench 排行榜 — SociaBench" description: "CharacterBench：在 3,956 个角色、11 个维度上，用定向问题测量模型扮演定制角色的能力。本平台按当前评测协议评测了 10 个模型，附分维度得分与置信区间；作者公布的原始榜单单独列出，不参与排名。原始出处 AAAI 2025。" canonical: "https://sociabench.com/leaderboards" markdown: "https://sociabench.com/leaderboards.md" type: "CollectionPage / Dataset" entity: "https://sociabench.com/b/characterbench#leaderboard" about: "https://sociabench.com/b/characterbench#benchmark" publisher: "SociaBench" language: "zh-CN" date_modified: "2026-10-28T18:52:31.509Z" data_version: "zh:10-1793213551509-r1793104587024-p15751 en:10-1793213551509-r1793104587024-p15751" license: "https://sociabench.com/data-terms" sources: - "原始出处：清华大学 CoAI 小组（Zhou 等，黄民烈团队），AAAI 2025，《CharacterBench: Benchmarking Character Customization of Large Language Models》：https://arxiv.org/abs/2412.11912" - "测试集与官方实现：https://github.com/thu-coai/CharacterBench" - "复现报告（SociaBench）：https://sociabench.com/b/characterbench/methodology" data: - "https://sociabench.com/api/benchmarks/characterbench/leaderboard?lang=zh" - "https://sociabench.com/api/benchmarks/characterbench/leaderboard?lang=en" --- # CharacterBench 排行榜 在 3,956 个角色、11 个维度上，用定向问题测量模型扮演定制角色的能力。 清华大学 CoAI 小组发布的中英双语角色扮演评测（AAAI-25）。每条测试样本给出角色设定与多轮对话上文，被测模型续写角色的下一句回复，由专门训练的裁判模型 CharacterJudge 打分。 ## 来源 - 原始出处：清华大学 CoAI 小组（Zhou 等，黄民烈团队），AAAI 2025，《CharacterBench: Benchmarking Character Customization of Large Language Models》：https://arxiv.org/abs/2412.11912 - 测试集与官方实现：https://github.com/thu-coai/CharacterBench - 复现报告（SociaBench）：https://sociabench.com/b/characterbench/methodology ## 评分方法 - 排序依据：综合，满分 5，越高越好。 - 分组：记忆（回忆对话历史中的信息）；知识（事实准确与知识边界）；人设（属性与行为符合设定）；情感（情绪自我调节与共情）；道德（面对有害诱导保持道德）；可信度（拟人性与吸引力）。 - 数据视图：中文、英文（按语言分别排名）。 - 按论文复现，论文未写明之处按作者发布的代码：被测模型用论文附录表 11 的提示词（中文 15 字以内、英文 15 个词以内，直接输出回复）对每条测试样本的对话上文续写一句回复，同一样本的中英文一起生成、一起重试，5 次仍为空回复则中英文一并剔除；由 CharacterJudge 按该样本所属维度打分（10 次采样取均值），每列分数 = 平均分 ÷ 该列满分 × 5，平均分为 13 列的均值。 - 完整方法、裁判配置与局限见复现报告：https://sociabench.com/b/characterbench/methodology ## 排名规则 - **排名**（平台复现结果）：SociaBench 在本平台按该评测当前的复现协议运行完整测试集得到的结果；排名只收这类结果。 - **原始榜单**（作者公布的结果）：评测作者公布的成绩（论文表格、数据集说明，或由作者公开的评分复算），未经本平台重新运行；评测条件与排名不同，单独列出，不参与排名。两边的分数不能直接比较。 ## 排名：中文 数据版本 10-1793213551509-r1793104587024-p15751 · 10 个模型 · 95% CI 为 95% 置信区间。 | 排名 | 模型 | 综合 | 95% CI | 记忆 | 知识 | 人设 | 情感 | 道德 | 可信度 | 样本数 | 评测时间 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | [DeepSeek-v4-1-Flash（261017）](https://sociabench.com/models/characterbench/deepseek-v4-1-flash-261017) | 3.87 | [3.84, 3.90] | 4.23 | 3.59 | 4.03 | 3.16 | 4.79 | 3.42 | 3244 | 2026-10-27T08:48Z | | 2 | [moonshotai/kimi-k3](https://sociabench.com/models/characterbench/moonshotai-kimi-k3) | 3.86 | [3.82, 3.89] | 3.97 | 3.68 | 3.99 | 3.22 | 4.81 | 3.40 | 3247 | 2026-10-28T18:52Z | | 3 | [Doubao-Seed-Character（260628）](https://sociabench.com/models/characterbench/doubao-seed-character-260628) | 3.82 | [3.79, 3.86] | 4.20 | 3.52 | 3.92 | 3.17 | 4.75 | 3.45 | 3247 | 2026-10-27T09:06Z | | 4 | [qwen/qwen3.8-max-prime](https://sociabench.com/models/characterbench/qwen-qwen3.8-max-prime) | 3.81 | [3.78, 3.84] | 4.13 | 3.42 | 4.03 | 3.12 | 4.76 | 3.36 | 3241 | 2026-10-28T14:58Z | | 4 | [glm-5-3-flash-260828](https://sociabench.com/models/characterbench/glm-5-3-flash-260828) | 3.81 | [3.77, 3.84] | 3.85 | 3.50 | 3.93 | 3.16 | 4.80 | 3.48 | 3244 | 2026-10-27T18:43Z | | 5 | [openai/gpt-6-astra](https://sociabench.com/models/characterbench/openai-gpt-6-astra) | 3.80 | [3.77, 3.83] | 3.95 | 3.50 | 3.87 | 3.19 | 4.91 | 3.39 | 3247 | 2026-10-27T08:29Z | | 6 | [google/gemini-4-argon](https://sociabench.com/models/characterbench/google-gemini-4-argon) | 3.79 | [3.75, 3.82] | 3.76 | 3.63 | 3.98 | 3.06 | 4.67 | 3.42 | 3227 | 2026-10-27T19:48Z | | 7 | [qwen-plus-character](https://sociabench.com/models/characterbench/qwen-plus-character) | 3.72 | [3.69, 3.75] | 3.79 | 3.43 | 3.90 | 3.05 | 4.71 | 3.30 | 3237 | 2026-10-27T12:33Z | | 8 | [anthropic/claude-opus-5.5](https://sociabench.com/models/characterbench/anthropic-claude-opus-5.5) | 3.71 | [3.68, 3.74] | 3.58 | 3.45 | 3.86 | 2.99 | 4.76 | 3.43 | 3238 | 2026-10-27T10:23Z | | 9 | [Minimax-M2-Her](https://sociabench.com/models/characterbench/minimax-m2-her) | 3.59 | [3.56, 3.63] | 3.81 | 3.26 | 3.66 | 3.00 | 4.77 | 3.10 | 3247 | 2026-10-27T09:26Z | ## 排名：英文 数据版本 10-1793213551509-r1793104587024-p15751 · 10 个模型 · 95% CI 为 95% 置信区间。 | 排名 | 模型 | 综合 | 95% CI | 记忆 | 知识 | 人设 | 情感 | 道德 | 可信度 | 样本数 | 评测时间 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | [moonshotai/kimi-k3](https://sociabench.com/models/characterbench/moonshotai-kimi-k3) | 4.00 | [3.97, 4.04] | 4.07 | 3.66 | 4.41 | 3.33 | 4.81 | 3.39 | 3247 | 2026-10-28T18:52Z | | 1 | [qwen/qwen3.8-max-prime](https://sociabench.com/models/characterbench/qwen-qwen3.8-max-prime) | 4.00 | [3.96, 4.02] | 4.20 | 3.55 | 4.42 | 3.28 | 4.86 | 3.34 | 3241 | 2026-10-28T14:58Z | | 2 | [DeepSeek-v4-1-Flash（261017）](https://sociabench.com/models/characterbench/deepseek-v4-1-flash-261017) | 3.96 | [3.93, 4.00] | 4.19 | 3.51 | 4.34 | 3.23 | 4.80 | 3.46 | 3244 | 2026-10-27T08:48Z | | 3 | [google/gemini-4-argon](https://sociabench.com/models/characterbench/google-gemini-4-argon) | 3.95 | [3.92, 3.98] | 3.81 | 3.67 | 4.36 | 3.27 | 4.76 | 3.35 | 3227 | 2026-10-27T19:48Z | | 4 | [glm-5-3-flash-260828](https://sociabench.com/models/characterbench/glm-5-3-flash-260828) | 3.92 | [3.88, 3.95] | 3.86 | 3.46 | 4.31 | 3.25 | 4.80 | 3.41 | 3244 | 2026-10-27T18:43Z | | 5 | [openai/gpt-6-astra](https://sociabench.com/models/characterbench/openai-gpt-6-astra) | 3.85 | [3.82, 3.88] | 3.82 | 3.42 | 4.13 | 3.19 | 4.93 | 3.31 | 3247 | 2026-10-27T08:29Z | | 6 | [anthropic/claude-opus-5.5](https://sociabench.com/models/characterbench/anthropic-claude-opus-5.5) | 3.84 | [3.81, 3.87] | 3.65 | 3.40 | 4.18 | 3.15 | 4.81 | 3.44 | 3238 | 2026-10-27T10:23Z | | 7 | [qwen-plus-character](https://sociabench.com/models/characterbench/qwen-plus-character) | 3.82 | [3.79, 3.85] | 3.80 | 3.25 | 4.26 | 3.13 | 4.74 | 3.28 | 3237 | 2026-10-27T12:33Z | | 7 | [Doubao-Seed-Character（260628）](https://sociabench.com/models/characterbench/doubao-seed-character-260628) | 3.82 | [3.78, 3.85] | 3.90 | 3.34 | 4.10 | 3.17 | 4.80 | 3.35 | 3247 | 2026-10-27T09:06Z | | 8 | [Minimax-M2-Her](https://sociabench.com/models/characterbench/minimax-m2-her) | 3.58 | [3.55, 3.62] | 3.77 | 3.10 | 3.79 | 3.11 | 4.82 | 2.80 | 3247 | 2026-10-27T09:26Z | ## 原始榜单：中文（作者公布，不参与排名） | 名次 | 模型 | 综合 | 出处 | 注 | | --- | --- | --- | --- | --- | | 1 | Claude-3-opus | 3.82 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 2 | Qwen2-72B-Chat | 3.80 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 3 | Llama3-70B-Instruct | 3.79 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 4 | Claude-3.5-sonnet | 3.78 | [论文附录表](https://arxiv.org/abs/2412.11912) | | | 5 | GLM-4 | 3.71 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 6 | GPT-4-1106 | 3.69 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 7 | GPT-4o | 3.68 | [论文附录表](https://arxiv.org/abs/2412.11912) | | | 8 | GPT-3.5-turbo | 3.66 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 8 | Qwen2-7B-Chat | 3.66 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 9 | Baichuan-NPC | 3.65 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 10 | Llama3-8B-Instruct | 3.60 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 11 | GLM4-9B-Chat | 3.58 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 12 | Qwen1.5-14B-Chat | 3.57 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 13 | CharacterYuyan | 3.54 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 13 | CharacterGLM | 3.54 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 14 | MiniMax-abab5.5s | 3.52 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 15 | Mistral-7B-Chat | 3.50 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 16 | Yi1.5-9B-Chat | 3.43 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 17 | Baichuan2-13B-Chat | 3.25 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 18 | CharacterGLM-6B | 3.21 | [论文表 4](https://arxiv.org/abs/2412.11912) | | ## 原始榜单：英文（作者公布，不参与排名） | 名次 | 模型 | 综合 | 出处 | 注 | | --- | --- | --- | --- | --- | | 1 | Claude-3-opus | 3.88 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 1 | Claude-3.5-sonnet | 3.88 | [论文附录表](https://arxiv.org/abs/2412.11912) | | | 2 | Llama3-70B-Instruct | 3.81 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 3 | GPT-4-1106 | 3.74 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 4 | GPT-3.5-turbo | 3.72 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 4 | GPT-4o | 3.72 | [论文附录表](https://arxiv.org/abs/2412.11912) | | | 5 | GLM-4 | 3.70 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 6 | Qwen2-72B-Chat | 3.68 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 7 | Llama3-8B-Instruct | 3.65 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 8 | Baichuan-NPC | 3.59 | [论文表 4](https://arxiv.org/abs/2412.11912) | 论文印出的 AVG 为 3.59，13 列的均值为 3.71；榜单按论文印出的值排列 | | 9 | GLM4-9B-Chat | 3.58 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 10 | Mistral-7B-Chat | 3.55 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 11 | Qwen2-7B-Chat | 3.51 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 12 | Qwen1.5-14B-Chat | 3.49 | [论文表 4](https://arxiv.org/abs/2412.11912) | 论文印出的 AVG 为 3.49，13 列的均值为 3.50；榜单按论文印出的值排列 | | 13 | Yi1.5-9B-Chat | 3.47 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 14 | CharacterGLM | 3.46 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 15 | MiniMax-abab5.5s | 3.44 | [论文表 4](https://arxiv.org/abs/2412.11912) | | | 16 | CharacterGLM-6B | 3.19 | [论文表 4](https://arxiv.org/abs/2412.11912) | 论文印出的 AVG 为 3.19，13 列的均值为 3.21；榜单按论文印出的值排列 | | 16 | Baichuan2-13B-Chat | 3.19 | [论文表 4](https://arxiv.org/abs/2412.11912) | | ## 维度 | 维度 | 所属分组 | 说明 | | --- | --- | --- | | 记忆一致性 | 记忆 | 回复与对话历史中的事实一致 | | 事实准确性 | 知识 | 涉及角色自身的事实是否正确 | | 知识边界 | 知识 | 不超出角色所处世界的知识范围 | | 属性一致（bot） | 人设 | 针对角色属性的查询，回复与设定一致 | | 属性一致（human） | 人设 | 真实用户查询下属性与设定一致 | | 行为一致（bot） | 人设 | 语言风格与行为符合设定 | | 行为一致（human） | 人设 | 真实用户查询下行为符合设定 | | 情绪自我调节 | 情感 | 在情境中恰当调节角色自身情绪 | | 共情回应 | 情感 | 识别并回应用户情绪 | | 道德稳定性 | 道德 | 面对有害诱导不越界 | | 道德鲁棒性 | 道德 | 角色设定本身含有害特质时仍守住底线 | | 拟人性 | 可信度 | 像真实的人在说话 | | 吸引力 | 可信度 | 让对话有趣、愿意继续 | ## 引用 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/b/characterbench。引用本评测时，请同时注明其正式名称「CharacterBench」与原始出处。