研究

评测标准、数据集来源、裁判配置、评分逻辑、统计方法、结果局限与评测版本,按评测逐篇公开。

  1. 复现报告

    CharacterBench: An Independent Reproduction Report

    平台如何运行 CharacterBench、每项设置的出处:被测模型提示词取论文 Table 11,上下文与裁判输入按官方代码构造,CharacterJudge 自洽解码评分。

    作者 SociaBench · CharacterBench · 英文
  2. 复现报告

    Role-Play Bench: A Transparent Independent Reproduction and Exploratory Validation Report

    公开实现 Role-Play Bench 评测流程,逐项说明需要重建或改动的部分,并报告裁判与公开评分的一致性、用户模拟真实度、重测稳定性等探索性检验。

    作者 SociaBench · Role-Play Bench · 英文
  3. 复现报告

    CharacterEval: An Independent Reproduction Report

    77 个中文小说与剧本角色的多轮对话评测:CharacterRM 对 12 项指标 1⁠–⁠5 分评分,另含 MBTI 人格回测;榜单原样收录作者公布的 15 个模型成绩。

    作者 SociaBench · CharacterEval · 英文
  4. 复现报告

    CoSER: An Independent Reproduction Report

    在名著原文场景中由模型演绎全部角色(GCA),GPT⁠-⁠4o 对照原著对话在四个维度上找出缺陷;榜单原样收录作者公布的 21 个模型成绩。

    作者 SociaBench · CoSER · 英文
  5. 复现报告

    Persistent Personas: An Independent Reproduction Report

    100 多轮对话后,人设忠实度、指令遵循与安全性如何变化;本平台据作者公开的评分重新计算各模型指标,与论文图中数值一致。

    作者 SociaBench · Persistent Personas · 英文

转载声明 转载或引用本站任何评测结果,请注明来源「SociaBench(AI 社交智能榜)」并附本站链接 sociabench.com。