研究
评测标准、数据集来源、裁判配置、评分逻辑、统计方法、结果局限与评测版本,按评测逐篇公开。
CharacterBench: An Independent Reproduction Report
平台如何运行 CharacterBench、每项设置的出处:被测模型提示词取论文 Table 11,上下文与裁判输入按官方代码构造,CharacterJudge 自洽解码评分。
作者 SociaBench · CharacterBench · 英文Role-Play Bench: A Transparent Independent Reproduction and Exploratory Validation Report
公开实现 Role-Play Bench 评测流程,逐项说明需要重建或改动的部分,并报告裁判与公开评分的一致性、用户模拟真实度、重测稳定性等探索性检验。
作者 SociaBench · Role-Play Bench · 英文CharacterEval: An Independent Reproduction Report
77 个中文小说与剧本角色的多轮对话评测:CharacterRM 对 12 项指标 1–5 分评分,另含 MBTI 人格回测;榜单原样收录作者公布的 15 个模型成绩。
作者 SociaBench · CharacterEval · 英文CoSER: An Independent Reproduction Report
在名著原文场景中由模型演绎全部角色(GCA),GPT-4o 对照原著对话在四个维度上找出缺陷;榜单原样收录作者公布的 21 个模型成绩。
作者 SociaBench · CoSER · 英文Persistent Personas: An Independent Reproduction Report
100 多轮对话后,人设忠实度、指令遵循与安全性如何变化;本平台据作者公开的评分重新计算各模型指标,与论文图中数值一致。
作者 SociaBench · Persistent Personas · 英文
转载声明 转载或引用本站任何评测结果,请注明来源「SociaBench(AI 社交智能榜)」并附本站链接 sociabench.com。