Рейтинг

Как составляется рейтинг

Пять таблиц, над каждой указаны источник, лицензия и дата данных. Три — от LMArena. Две может составить только WayJet, потому что они опираются на цены WayJet и на то, как быстро модели отвечают через шлюз WayJet.

Общий, код и зрение: LMArena

Эти три таблицы — от LMArena: они ежедневно читаются из её открытого набора данных на Hugging Face и показываются по её лицензии CC BY 4.0. Люди отправляют промпт двум анонимным моделям и голосуют за лучший ответ; из голосов складывается оценка.

  • Общий — текстовая арена с учётом стиля, которую LMArena показывает по умолчанию: она снижает вес ответов, побеждающих только за счёт длины или оформления.
  • Код — арена WebDev: модели создают работающее веб-приложение по промпту, а люди голосуют за результат.
  • Зрение — визуальная арена с учётом стиля: промпты с изображением.

У каждой оценки есть 95-процентный доверительный интервал. Когда интервалы двух моделей перекрываются, LMArena ставит их на одно место, и таблица отмечает их как равные (=), не упорядочивая. Столбец изменений сравнивает место с предыдущим опубликованным днём LMArena.

Модели, которые WayJet не продаёт, остаются в этих таблицах. Таблица только из того, что продаём мы, не была бы рейтингом. У моделей, которые можно вызвать на WayJet, есть ссылка «Попробовать».

Цена/качество: оценка за цену

Только модели, которые можно вызвать на WayJet, по формуле:

ценность = общая оценка ÷ (0,75 × цена входа + 0,25 × цена выхода)

Цены — WayJet, в долларах США за миллион токенов, на день сборки страницы. Вес 3:1 примерно соответствует чат-нагрузке, где промпты длиннее ответов. Если LMArena приводит модель в нескольких режимах (High, Low, Thinking), берётся её лучшая общая оценка. Модели без цены за токены (например, модели изображений или видео) в этой таблице нет.

Скорость: измерена в WayJet

Только модели, которые можно вызвать на WayJet, по реальным запросам через шлюз WayJet за последние семь дней:

  • Скорость вывода — число выходных токенов, делённое на всё время запроса, так что медленный первый токен её снижает. Таблица показывает медиану.
  • Время до первого токена — сколько потоковый запрос ждал первого фрагмента текста, рассуждения или вызова инструмента. Таблица показывает медиану.
  • Время запроса — медианное время от запроса до конца ответа.

Учитываются только успешные чат-запросы минимум со 100 выходными токенами, чтобы число отражало модель, а не сеть, и для попадания в таблицу модели нужно не меньше 20 таких запросов за период. Таблица показывает только медианы: ни числа запросов, ни чего-либо о клиентах.

Сопоставление названий

LMArena называет модели по-своему («Claude Opus 5.5 (High)»). Название автоматически сопоставляется с моделью WayJet, когда подходит ровно одна, остальное проверяет редактор. Модель из списка LMArena, которую WayJet не продаёт, сохраняет своё место в таблице без ссылки.

Обновления

Таблицы LMArena и данные о скорости обновляются каждый день в 06:00 (UTC+8). Каждая таблица указывает дату своих данных. Если данные за день прочитать не удалось, остаются данные предыдущего дня.

Чего нет в таблицах

Результаты бенчмарков, которые поставщики публикуют о собственных моделях, приводятся в профилях моделей, но не ранжируются здесь: каждый поставщик тестирует в своих условиях, и цифры несравнимы. Другие открытые бенчмарки появятся, когда это позволят их условия.