排行榜

统一展示各评测基准的模型表现:切换榜单,按维度查看与对比模型。

Role-Play Bench

在 100 轮中英文角色扮演中,测量模型的世界一致性、叙事推进与用户交互质量。

原始作者 MiniMax · 2026 年 1 月发布,随 MiniMax-M2-her 技术博客公开

复现与评测报告 SociaBench · 阅读复现报告

  • 百轮长对话每段对话 100 轮,能发现前 20 轮看不出的遗忘、重复和篇幅失控。
  • 只判失误不预设"理想回答",只检测与角色、世界和前文的失配,判定更客观。
  • 三个目标世界一致、故事推进、用户偏好,对应长程角色扮演最常见的问题。
  • 数据公开公开 95 个中英文场景、11 个模型的完整对话与逐会话评分,可逐条核查。
更新于 2026年10月27日13 个模型3,705 个会话95 个场景评测方法数据集 复现报告

分数由 MiniMax 公开的会话评分按公布的权重复算,与 MiniMax 官方公布的数值不同。查看说明

排名模型
  1. 1DeepSeekdeepseek-v4-1-flash-261017DeepSeek · 平台评测90.60±0.689.085.798.7
  2. 2DoubaoDoubao-Seed-CharacterByteDance · 260628 · 平台评测88.81±1.489.279.897.1
  3. 3MinimaxMiniMax-M2-herMiniMax · MiniMax 数据87.18±0.885.081.796.9
  4. 4Doubaodoubao-1.5-proByteDance · MiniMax 数据85.90±1.483.580.995.6
  5. 5OpenAIgpt-5.1OpenAI · MiniMax 数据85.02±0.784.474.097.3
  6. 6Claudeclaude-opus-4.5Anthropic · 低思考强度 · MiniMax 数据84.69±0.983.881.389.9
  7. 7Geminigemini-3-proGoogle · MiniMax 数据84.60±0.879.385.594.3
  8. 8Claudeclaude-opus-4.5Anthropic · 高思考强度 · MiniMax 数据84.46±1.182.880.392.1
  9. 9Claudeclaude-sonnet-4.5Anthropic · MiniMax 数据82.99±0.879.380.592.9
  10. 10Geminigemini-2.5-proGoogle · MiniMax 数据79.43±0.973.782.188.4
  11. 11DeepSeekdeepseek-v3.1DeepSeek · MiniMax 数据78.06±1.075.570.291.0
  12. 12Grokgrok-4.1xAI · MiniMax 数据75.82±1.279.255.689.3
  13. 13DeepSeekdeepseek-v3.2DeepSeek · MiniMax 数据73.46±0.874.961.382.7
数据来源

成绩从哪里来

首批 11 个模型的成绩直接来自 MiniMax 公开的 Role-Play Bench 数据集(95 个公开场景,每个场景 3 次生成)。每个会话的分数由 MiniMax 自己的裁判给出;本平台按公布的权重重新汇总,没有用本平台的裁判重新评分。唯一的改动是本榜的语言规则:一半以上的回复没有使用场景语言的会话判 0 分,对所有模型一视同仁。公开数据中只有 doubao-1.5-pro 的 4 个英文会话属于这种情况,其综合分因此从 87.11 降为 85.90,名次不变(见复现报告 §3.9)。

与 MiniMax 公布的榜单有何不同

MiniMax 公布的榜单基于完整基准,其中部分场景没有公开,因此用公开数据复算出的分数与公布值不同,普遍更高(原因见复现报告)。名次有两处先后不同:Claude Opus 4.5 high、Gemini 3 Pro、Claude Opus 4.5 low 三者之间,以及 Grok 4.1 与 DeepSeek-V3.2 之间;这两处在公开数据上的差距都不显著。

模型MiniMax 公布公布名次本页综合本页名次
MiniMax-M2-her84.65187.181
doubao-1.5-pro80.64285.902
gpt-5.180.63385.023
claude-opus-4.5(高思考强度)76.62484.466
gemini-3-pro75.60584.605
claude-opus-4.5(低思考强度)71.19684.694
claude-sonnet-4.569.35782.997
gemini-2.5-pro68.23879.438
deepseek-v3.164.22978.069
deepseek-v3.260.271073.4611
grok-4.148.471175.8210

公布值取自 MiniMax 数据集说明与 HER 论文表 2。

首批 11 个模型的成绩由本平台根据 MiniMax 公开的会话级评分(95 个公开场景)重新汇总,与 MiniMax 官方公布的数值不同,原因见复现报告;其余由本平台按当前评测标准生成。误差线为 95% 置信区间。

评测方法

  1. 01评测目标
  2. 02评测流程
  3. 03评分维度
  4. 04评分方式
  5. 05成绩来源
  6. 06统计与局限

场景种子:MiniMaxAI/role-play-bench · 独立复现与探索性验证报告(含提示词,英文)

转载声明 转载或引用本站任何评测结果,请注明来源「SociaBench(AI 社交智能榜)」并附本站链接 sociabench.com。