--- title: "Persistent Personas 排行榜 — SociaBench" description: "Persistent Personas：在 100 多轮的长对话后，模型还能不能守住人设？同时看指令遵循与安全性是否随之变化。收录 7 个模型的成绩、分维度得分与来源，原始出处 EACL 2026。" canonical: "https://sociabench.com/b/persistent-personas" markdown: "https://sociabench.com/b/persistent-personas.md" type: "CollectionPage / Dataset" entity: "https://sociabench.com/b/persistent-personas#leaderboard" about: "https://sociabench.com/b/persistent-personas#benchmark" publisher: "SociaBench" language: "zh-CN" date_modified: "2025-12-14T00:00:00.000Z" data_version: "persona:0-0-r1793034246936-p6580 goal:0-0-r1793034246936-p6580" license: "https://sociabench.com/data-terms" sources: - "原始出处：维也纳大学、慕尼黑大学（LMU）、慕尼黑机器学习中心（Luz de Araujo 等），EACL 2026，《Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions》：https://arxiv.org/abs/2512.12775" - "测试集与官方实现：https://github.com/peluz/persistent-personas" - "复现报告（SociaBench）：https://sociabench.com/b/persistent-personas/methodology" data: - "https://sociabench.com/api/benchmarks/persistent-personas/leaderboard?lang=persona" - "https://sociabench.com/api/benchmarks/persistent-personas/leaderboard?lang=goal" --- # Persistent Personas 排行榜 在 100 多轮的长对话后，模型还能不能守住人设？同时看指令遵循与安全性是否随之变化。 维也纳大学等发布的长对话人设评测（EACL 2026）。7 个模型扮演 8 个 RoleBench 角色，在两种超过 100 轮的对话中由 Atla Selene Mini 逐轮评分。 ## 来源 - 原始出处：维也纳大学、慕尼黑大学（LMU）、慕尼黑机器学习中心（Luz de Araujo 等），EACL 2026，《Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions》：https://arxiv.org/abs/2512.12775 - 测试集与官方实现：https://github.com/peluz/persistent-personas - 复现报告（SociaBench）：https://sociabench.com/b/persistent-personas/methodology ## 评分方法 - 排序依据：末段保真度，满分 100，越高越好。 - 分组：末段保真度（第 91–101 轮回复的角色一致性、知识、风格三项均值）；开局保真度（第 0 轮（尚无对话历史）的同一指标）；变化（末段减开局，负值表示长对话中人设变弱）；IFBench（带最长对话历史时 IFBench 指令约束的准确率（%））；有害拒绝率（带最长对话历史时拒绝 XSTest 有害请求的比例（%，越高越安全））；安全误拒率（带最长对话历史时拒绝 XSTest 安全请求的比例（%，越低越好））。 - 数据视图：人设导向对话、任务导向对话（按对话类型分别排名）。 - 本平台暂未运行 Persistent Personas；榜单列出由作者公开评分复算的结果。 - 完整方法、裁判配置与局限见复现报告：https://sociabench.com/b/persistent-personas/methodology ## 结果来源说明 - **论文结果**（原始论文结果）：评测原作者发表的结果，未经本平台重新运行；每行的出处标明取自论文的哪张表，或由作者公开的评分复算。 ## 排名：人设导向对话 数据版本 0-0-r1793034246936-p6580 · 7 个模型 · 95% CI 为 95% 置信区间；论文结果没有公布区间的记为「—」。 | 排名 | 模型 | 来源 | 末段保真度 | 95% CI | 末段保真度 | 开局保真度 | 变化 | IFBench | 有害拒绝率 | 安全误拒率 | 样本数 | 评测时间或出处 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | Qwen3-30B-A3B-Instruct-2507 | 论文结果 | 98.8 | — | 98.8 | 96.4 | 2.4 | 27.1 | 95.4 | 41.9 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 2 | Gemini 2.5 Flash | 论文结果 | 96.0 | — | 96.0 | 93.8 | 2.2 | 27.6 | 84.2 | 30.7 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 3 | Qwen3-4B-Instruct-2507 | 论文结果 | 91.6 | — | 91.6 | 91.7 | -0.0 | 19.4 | 94.1 | 43.9 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 4 | Llama-3.3-Nemotron-Super-49B | 论文结果 | 91.4 | — | 91.4 | 97.4 | -6.0 | 25.4 | 91.4 | 14.7 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 5 | Gemma 3 27B | 论文结果 | 88.2 | — | 88.2 | 90.1 | -1.9 | 27.4 | 96.1 | 28.0 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 6 | Gemma 3 4B | 论文结果 | 87.4 | — | 87.4 | 90.1 | -2.7 | 20.2 | 80.4 | 11.1 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 7 | Llama-3.1-Nemotron-Nano-8B | 论文结果 | 33.1 | — | 33.1 | 85.9 | -52.8 | 18.8 | 88.6 | 34.8 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | ## 排名：任务导向对话 数据版本 0-0-r1793034246936-p6580 · 7 个模型 · 95% CI 为 95% 置信区间；论文结果没有公布区间的记为「—」。 | 排名 | 模型 | 来源 | 末段保真度 | 95% CI | 末段保真度 | 开局保真度 | 变化 | IFBench | 有害拒绝率 | 安全误拒率 | 样本数 | 评测时间或出处 | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | Llama-3.3-Nemotron-Super-49B | 论文结果 | 94.9 | — | 94.9 | 100.0 | -5.1 | 22.7 | 75.3 | 4.0 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 2 | Qwen3-30B-A3B-Instruct-2507 | 论文结果 | 91.5 | — | 91.5 | 99.0 | -7.4 | 25.4 | 68.5 | 17.0 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 3 | Gemini 2.5 Flash | 论文结果 | 80.5 | — | 80.5 | 91.7 | -11.2 | 28.1 | 80.6 | 8.4 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 4 | Qwen3-4B-Instruct-2507 | 论文结果 | 76.4 | — | 76.4 | 98.4 | -22.1 | 23.0 | 89.4 | 20.3 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 5 | Gemma 3 4B | 论文结果 | 43.2 | — | 43.2 | 93.8 | -50.5 | 16.9 | 79.0 | 6.6 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 6 | Gemma 3 27B | 论文结果 | 42.8 | — | 42.8 | 93.2 | -50.5 | 27.0 | 91.5 | 8.5 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | | 7 | Llama-3.1-Nemotron-Nano-8B | 论文结果 | 9.8 | — | 9.8 | 78.6 | -68.8 | 18.1 | 81.8 | 19.8 | 8 | [作者公开评分复算](https://arxiv.org/abs/2512.12775) | ## 维度 | 维度 | 所属分组 | 说明 | | --- | --- | --- | | 角色一致性 | 末段保真度 | 言行是否始终像这个角色 | | 知识 | 末段保真度 | 是否体现角色应有的知识与背景 | | 风格 | 末段保真度 | 语气、用词是否符合角色 | | 变化 | 变化 | 末段保真度减开局保真度（分） | | IFBench | IFBench | 指令约束准确率（%） | | 有害拒绝率 | 有害拒绝率 | 越高越安全（%） | | 安全误拒率（越低越好） | 安全误拒率 | 越低越好（%） | ## 引用 转载或引用本站任何评测结果，请注明来源「SociaBench（AI 社交智能榜）」并附本站链接：https://sociabench.com/b/persistent-personas。引用本评测时，请同时注明其正式名称「Persistent Personas」与原始出处。