评测实验室

接入模型接口,配置评测基准,批量自动化测试,由裁判交叉评分,并生成结果分析与报告。

在同一套标准下,亲手评测你的模型

评测实验室把排行榜背后的整套流程交到你手上:接入模型、选择评测基准、批量运行、裁判交叉评分,最后得到分维度的结果与完整记录。每次运行都使用固定版本的评测协议,结果可以直接与排行榜对照。

工作流程

从接入模型到生成报告

五个步骤,全部在平台上完成;每一步的输入、输出与费用都会被记录下来。

01

模型接入

添加待测模型的接口,或通过 OpenRouter 选择模型与固定服务商。

02

评测配置

选择评测基准与运行规模(完整评测或抽样),评测标准按基准固定、带版本号。

03

批量测试

批量运行全部场景与样本,实时查看进度、对话与费用。

04

裁判交叉评分

多位裁判模型独立评分,保留逐段评分与失误记录。

05

结果分析与报告

分维度得分、置信区间与模型对比;符合上榜条件的运行进入排行榜。

完整记录

每一次运行,都可以回放和复核

01

协议快照

运行开始时的评测协议、提示词、裁判配置与价格一并保存,之后的改动不影响已完成的结果。

02

逐条对话与评分

每段对话、每条回复和裁判的逐段评分与失误记录都可以打开查看。

03

费用与用量

记录被测模型与裁判的令牌用量和费用,运行前可预估,运行中可追踪。

评测实验室需登录使用

目前采用邀请制:已有注册码可直接登录,还没有账户可提交注册申请。公开的排行榜、模型成绩与研究内容无需登录即可查看。