角色与陪伴
角色扮演、陪伴、教育与心理支持类产品里，模型要在成百上千轮对话中稳定地成为「某个人」。
合作基础设施
- OpenAI
- Anthropic
- OpenRouter
- Cloudflare
- Hugging Face
- vLLM
为什么是社交智能
AI 正在从回答问题，走向与人相处
通用榜单测知识、数学与代码，它们有标准答案。社交智能没有唯一正确的回答，它体现在多轮交互里，取决于对方是谁、关系如何、目标是否达成。我们只做这一个方向，因为它决定了 AI 能否被放心地放进人与人之间。
我们的不同
不评出唯一的「最好」，帮你找到最适合你的模型
同一个模型，换一个角色、一类用户或一种场景，表现可能完全不同。SociaBench 的评测结果不是为了证明哪个模型更好，而是帮你找出哪个模型更适合你的产品、你的角色和你的用户。
01
多维度评估
不把能力压成一个总分。每项评测都给出分维度成绩与置信区间，你可以按自己在意的维度排序、筛选，把候选模型并排对比。
02
多角度对照
同一个模型在多项评测、不同语言与对话类型下的表现分开呈现；不同来源、不同裁判的结果分别标注，不混成一个数字。
03
交互式实验，由你来评估
在平台上直接与模型和用户模拟器对话、盲测比较，亲自判断哪个模型更适合你；你的判断也会成为评测中的真人参照。
评测方法
我们怎么评测
从一篇论文到排行榜上的一个分数，每项评测都走完同样的六步。
- 1选取基准
采用已发表论文或研究机构公开发布的评测，保留正式名称，注明原始作者与出处。
- 2依据复现
逐项确定设置：论文原文优先，其次是固定版本的官方实现、官方发布物，最后才是平台选择，并写明理由。
- 3交互运行
完整测试集，固定模型服务商与生成参数；多轮对话由用户模拟器驱动，每条原始输出都被保存。
- 4裁判评分
沿用原评测指定的裁判与评分规则；由平台重建的部分由不同家族的裁判独立评分、交叉核对。
- 5统计汇总
取整与汇总方式与官方程序一致；给出置信区间，区间重叠的差异不当作排名结论。
- 6公开发布
符合上榜条件的运行进入排行榜；复现报告公开方法、偏离、验证与局限。
专业与学术依据
每一个结论，都能被追溯、复算与同行检验
- 每项设置都有出处每个评测维护核查矩阵：每项设置在论文与官方代码中的位置、平台实现与结论逐行对应；提示词由脚本从源文件机械提取、逐字比对。
- 协议带版本号影响分数的改动都升级协议版本；每次运行保存协议、提示词与裁判配置快照，旧版本结果退出排行榜。
- 上榜有门槛只有当前协议版本、完整测试集、所需语言齐全、固定单一服务商的运行才能进入排行榜。
- 与原始结果对照选论文测过的模型按平台协议重跑，与论文数值比较；用官方程序复算平台保存的输出，逐值核对。
- 按论文体例公开复现报告包含摘要、方法、实现、验证、局限与参 考文献，偏离逐条登记；发现错误公开更正。
- 结论有据可查只陈述有数据支撑的结论；提示词、协议与审计文件全部公开，供同行复核。
复现依据的优先级
- 1论文原文正文、附录、表格标题与脚注；文字与数字矛盾时，取能复现数字的读法
- 2官方实现固定版本的官方代码
- 3官方发布物作者公开的数据、模型输出与评分
- 4平台选择以上都未说明时才由平台决定，并写明理由
上一级已经说明的设置，下一级不能改写。
评测基础设施
我们正在建设 AI 社交智能领域的评测基础设施
标准化的评测基准与版本化协议、自动化评测实验室、用户与人群模拟器，以及人人可参与的交互式实验，共同构成这套基础设施。复现已有基准是第一层。在此之上，我们正在搭建交互式、立体化、以真人为锚的评测体系，并把模拟器与实验环境开放给每个人，在平台上亲手运行、亲眼判断。
智能体社交模拟空间
多个智能体在共享世界里长期生活、合作、谈判与冲突。我们既评测单个智能体，也评测群体中涌现的社会行为，以及模拟出的人群离真实人群 有多远。
交互式评测
不再只让模型续写一句，而是让它与用户模拟器、其他角色真正演下去，在上百轮对话里检验记忆、一致性与推进。
立体化评测
同一段交互从三层看：结果是否真正达成（可程序校验）、过程中逐轮的失误与推进、真人的体验与偏好；误差按总体、分层与个体分别报告。
用户与人群建模
以真人对话与自述为锚构建用户模拟器和人群模型，与真人对照校准、跨模型家族复核，把「服从人设」与「像真人」分开度量。
亲手运行，亲眼判断
用户模拟器、人群模型与社交模拟空间都会开放在平台上：选好模型与人设，直接运行，实时看它们交谈与行动，直观判断像不像真人；你的判断也会成为评测中的真人参照。
平台模块
基础设施的三个入口
参考文献
构建 AI 社交智能的评测基础设施
标准化评测、可复现协议与交互式实验，让每一次模型选择都有据可查。