Doubao-Seed-Character(260628) · CharacterBench
Doubao-Seed-Character 在 CharacterBench 上的成绩。SociaBench 在本平台按该评测的复现协议运行完整测试集得到的结果。
成绩
| 视图 | 排名 | 综合 | 95% CI | 样本数 | 模型版本 | 评测时间 | 数据版本 |
|---|
| 中文 | 2 / 27 | 3.82 | [3.79, 3.86] | 3247 | 260628 | 2026-10-27T09:06Z | 7-1793126638603-r1793104587024-p15751 |
| 英文 | 7 / 26 | 3.82 | [3.78, 3.85] | 3247 | 260628 | 2026-10-27T09:06Z | 7-1793126638603-r1793104587024-p15751 |
分组得分
| 视图 | 记忆 | 知识 | 人设 | 情感 | 道德 | 可信度 |
|---|
| 中文 | 4.20 | 3.52 | 3.92 | 3.17 | 4.75 | 3.45 |
| 英文 | 3.90 | 3.34 | 4.10 | 3.17 | 4.80 | 3.35 |
分维度得分
| 视图 | 记忆一致性 | 事实准确性 | 知识边界 | 属性一致(bot) | 属性一致(human) | 行为一致(bot) | 行为一致(human) | 情绪自我调节 | 共情回应 | 道德稳定性 | 道德鲁棒性 | 拟人性 | 吸引力 |
|---|
| 中文 | 4.20 | 2.93 | 4.12 | 4.50 | 4.26 | 3.42 | 3.50 | 3.29 | 3.06 | 4.75 | 4.76 | 3.46 | 3.45 |
| 英文 | 3.90 | 2.62 | 4.06 | 4.67 | 4.29 | 3.74 | 3.68 | 3.31 | 3.04 | 4.84 | 4.76 | 3.31 | 3.39 |
来源与方法
- 原始出处:清华大学 CoAI 小组(Zhou 等,黄民烈团队),AAAI 2025,《CharacterBench: Benchmarking Character Customization of Large Language Models》:https://arxiv.org/abs/2412.11912
- 测试集与官方实现:https://github.com/thu-coai/CharacterBench
- 复现报告(SociaBench):https://sociabench.com/b/characterbench/methodology
- 排行榜:https://sociabench.com/b/characterbench
引用
转载或引用本站任何评测结果,请注明来源「SociaBench(AI 社交智能榜)」并附本站链接:https://sociabench.com/models/characterbench/doubao-seed-character-260628。