---
title: "研究 — SociaBench"
description: "评测标准、数据集来源、裁判配置、评分逻辑、统计方法、结果局限与评测版本，按评测逐篇公开的复现报告。"
canonical: "https://sociabench.com/zh-CN/methodology"
markdown: "https://sociabench.com/zh-CN/methodology.md"
type: "CollectionPage"
entity: "https://sociabench.com/zh-CN/methodology#webpage"
publisher: "SociaBench"
language: "zh-CN"
date_modified: "2026-11-01"
---

# 研究

评测标准、数据集来源、裁判配置、评分逻辑、统计方法、结果局限与评测版本，按评测逐篇公开。

1.  [
    
    复现报告2026年11月1日
    
    ## CoSER: An Independent Reproduction Report
    
    在名著原文场景中由模型演绎全部角色（GCA）的复现记录。忠实复跑后发现，“对照原著找缺陷扣分”并不能作为排名依据：分数随裁判、对话长度和运行次数变化的幅度，和模型之间的差距一样大，GPT⁠-⁠4o 锚定也未复现论文数字（54.68 对 59.95）。平台因此下架了 CoSER 排行榜，报告写明证据与局限。
    
    作者 SociaBench · coser · 英文
    
    ](https://sociabench.com/zh-CN/b/coser/methodology)
2.  [
    
    复现报告2026年10月29日
    
    ## CharacterEval: An Independent Reproduction Report
    
    77 个中文小说与剧本角色的续写评测，由作者的奖励模型 CharacterRM 对 12 项指标 1⁠–⁠5 分打分：逐项追溯论文、官方代码与发布文件，实现与官方代码逐字节核对；奖励模型已通过部署校验，用作者发布的输出锚定，与论文相差在一档以内，数值敏感性检查表明这一差异可由数值精度解释，平台评测已开放。
    
    作者 SociaBench · CharacterEval · 英文
    
    ](https://sociabench.com/zh-CN/b/charactereval/methodology)
3.  [
    
    复现报告2026年10月28日
    
    ## Role-Play Bench: Independent Reproduction Report and Validation of the Official Judges
    
    尽可能还原 MiniMax 原始评测方法，区分已核实、推断与改动的部分并登记每次版本变更；用公开对话和完整评测检验正式裁判的一致性、区分度与排序稳定性，并说明检验规模。
    
    作者 SociaBench · Role-Play Bench · 英文
    
    ](https://sociabench.com/zh-CN/b/minimax-rp/methodology)
4.  [
    
    复现报告2026年10月27日
    
    ## CharacterBench: An Independent Reproduction Report
    
    平台如何运行 CharacterBench、每项设置的出处：被测模型提示词取论文 Table 11，上下文与裁判输入按官方代码构造，CharacterJudge 自洽解码评分。
    
    作者 SociaBench · CharacterBench · 英文
    
    ](https://sociabench.com/zh-CN/b/characterbench/methodology)

**转载声明** 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接 [sociabench.com](https://sociabench.com)。

---

转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/zh-CN/methodology