研究
评测标准、数据集来源、裁判配置、评分逻辑、统计方法、结果局限与评测版本，按评测逐篇公开。
CoSER: An Independent Reproduction Report
在名著原文场景中由模型演绎全部角色（GCA）的复现记录。忠实复跑后发现，“对照原著找缺陷扣分”并不能作为排名依据：分数随裁判、对话长度和运行次数变化的幅度，和模型之间的差距一样大，GPT-4o 锚定也未复现论文数字（54.68 对 59.95）。平台因此下架了 CoSER 排行榜，报告写明证据与局限。
作者 SociaBench · coser · 英文CharacterEval: An Independent Reproduction Report
77 个中文小说与剧本角色的续写评测，由作者的奖励模型 CharacterRM 对 12 项指标 1–5 分打分：逐项追溯论文、官方代码与发布文件，实现与官方代码逐字节核对；奖励模型已通过部署校验，用作者发布的输出锚定，与论文相差在一档以内，数值敏感性检查表明这一差异可由数值精度解释，平台评测已开放。
作者 SociaBench · CharacterEval · 英文Role-Play Bench: Independent Reproduction Report and Validation of the Official Judges
尽可能还原 MiniMax 原始评测方法，区分已核实、 推断与改动的部分并登记每次版本变更；用公开对话和完整评测检验正式裁判的一致性、区分度与排序稳定性，并说明检验规模。
作者 SociaBench · Role-Play Bench · 英文CharacterBench: An Independent Reproduction Report
平台如何运行 CharacterBench、每项设置的出处：被测模型提示词取论文 Table 11，上下文与裁判输入按官方代码构造，CharacterJudge 自洽解码评分。
作者 SociaBench · CharacterBench · 英文
转载声明 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接 sociabench.com。