协议快照
运行开始时的评测协议、提示词、裁判配置与价格一并保存,之后的改动不影响已完成的结果。
接入模型接口,配置评测基准,批量自动化测试,由裁判交叉评分,并生成结果分析与报告。
评测实验室把排行榜背后的整套流程交到你手上:接入模型、选择评测基准、批量运行、裁判交叉评分,最后得到分维度的结果与完整记录。每次运行都使用固定版本的评测协议,结果可以直接与排行榜对照。

工作流程
五个步骤,全部在平台上完成;每一步的输入、输出与费用都会被记录下来。
添加待测模型的接口,或通过 OpenRouter 选择模型与固定服务商。
选择评测基准与运行规模(完整评测或抽样),评测标准按基准固定、带版本号。
批量运行全部场景与样本,实时查看进度、对话与费用。
多位裁判模型独立评分,保留逐段评分与失误记录。
分维度得分、置信区间与模型对比;符合上榜条件的运行进入排行榜。
完整记录
运行开始时的评测协议、提示词、裁判配置与价格一并保存,之后的改动不影响已完成的结果。
每段对话、每条回复和裁判的逐段评分与失误记录都可以打开查看。
记录被测模型与裁判的令牌用量和费用,运行前可预估,运行中可追踪。
目前采用邀请制:已有注册码可直接登录,还没有账户可提交注册申请。公开的排行榜、模型成绩与研究内容无需登录即可查看。