排行榜

排行榜是怎么做的

共五个榜单,每个榜单上方都标注了来源、许可证和数据日期。其中三个来自 LMArena;另外两个只有 WayJet 能做,因为它们用到 WayJet 的收费价格,以及模型在 WayJet 网关上的响应速度。

综合、编程与视觉:LMArena

这三个榜单来自 LMArena,每天从它在 Hugging Face 上的公开数据集 读取,并按其许可证 CC BY 4.0 展示。用户把同一个提示发给两个匿名模型,投票选出更好的回答;这些投票最终形成得分。

  • 综合榜是带风格控制的文本竞技场,也是 LMArena 默认展示的榜单:它会削弱仅靠篇幅或排版取胜的回答。
  • 编程榜是 WebDev 竞技场:模型根据提示做出一个能运行的网页应用,由用户投票评判结果。
  • 视觉榜是带风格控制的视觉竞技场:附带图片的提示。

每个得分都有 95% 置信区间。当两个模型的区间重叠时,LMArena 会给它们相同的名次,榜单也会标为并列(=),而不是强行排序。「变化」一栏比较的是与 LMArena 上一个发布日的名次。

WayJet 不提供的模型也会留在这些榜单上。只列出我们自己在卖的模型,就算不上排名。可以在 WayJet 上调用的模型有一个「试用」链接。

性价比:得分与价格之比

仅包含可在 WayJet 上调用的模型,排名方式为:

性价比 = 综合得分 ÷ (0.75 × 输入价格 + 0.25 × 输出价格)

价格为 WayJet 的价格,以美元/百万 token 计,以页面生成当天为准。3:1 的权重大致对应对话类负载的比例——提示通常比回答长。当 LMArena 把一个模型按多种设置(High、Low、Thinking)分别列出时,取其最好的综合得分。没有 token 价格的模型(例如图像或视频模型)不在这个榜单上。

速度:在 WayJet 上实测

仅包含可在 WayJet 上调用的模型,基于过去七天经 WayJet 网关的真实请求测量:

  • 输出速度是输出 token 数除以整个请求耗时,因此首个 token 慢也会拉低它。榜单显示中位数。
  • 首个 token 延迟是流式请求等到第一段文本、推理内容或工具调用所花的时间。榜单显示中位数。
  • 请求耗时是从发出请求到回答结束的时间中位数。

只统计输出至少 100 个 token 的成功对话请求,这样数字反映的是模型本身而不是网络;一个模型在统计窗口内至少要有 20 个这样的请求才会上榜。榜单只显示中位数:不显示请求数量,也不涉及任何客户的信息。

名称匹配

LMArena 有自己的模型命名方式(如「Claude Opus 5.5 (High)」)。当恰好只有一个 WayJet 模型符合时,系统会自动匹配,其余的由编辑核对。LMArena 列出但 WayJet 不提供的模型,仍保留在榜单上,只是没有链接。

更新时间

LMArena 的榜单和速度数据每天 06:00(UTC+8)刷新。每个榜单都会标注其数据的日期。如果某天的数据无法读取,会继续保留前一天的数据。

榜单上没有的内容

厂商公布的自家模型基准分数,会在模型介绍中引用,但不在这里排名:每家厂商的测试条件各不相同,数字无法直接比较。其他公开基准在其使用条款允许后会加入。