Ranking

Como o ranking é feito

Cinco quadros, cada um com sua fonte, licença e data dos dados impressas acima. Três são do LMArena. Dois só a WayJet consegue fazer, porque usam o que a WayJet cobra e a rapidez com que os modelos respondem no gateway da WayJet.

Geral, programação e visão: LMArena

Esses três quadros são do LMArena, lidos todos os dias do seu conjunto de dados público no Hugging Face e exibidos sob a sua licença, CC BY 4.0. As pessoas enviam um prompt a dois modelos anônimos e votam na melhor resposta; os votos viram uma pontuação.

  • Geral é a arena de texto com controle de estilo, a que o LMArena mostra por padrão: ela desconta respostas que vencem só pelo tamanho ou pela formatação.
  • Programação é a arena WebDev: os modelos criam um app web funcional a partir de um prompt, e as pessoas votam no resultado.
  • Visão é a arena de visão com controle de estilo: prompts que vêm com uma imagem.

Cada pontuação tem um intervalo de confiança de 95%. Quando os intervalos de dois modelos se sobrepõem, o LMArena dá a eles a mesma posição e o quadro os marca como empatados (=) em vez de ordená-los. A coluna de variação compara a posição com o dia publicado anterior do LMArena.

Modelos que a WayJet não vende continuam nesses quadros. Um quadro só com o que vendemos não seria um ranking. Os modelos que você pode chamar na WayJet têm um link “Experimentar”.

Custo-benefício: pontuação pelo preço

Só modelos que você pode chamar na WayJet, ordenados por:

valor = pontuação geral ÷ (0,75 × preço de entrada + 0,25 × preço de saída)

Os preços são os da WayJet, em dólares americanos por milhão de tokens, no dia em que a página foi gerada. A ponderação 3:1 é mais ou menos a mistura de uma carga de chat, em que os prompts são mais longos que as respostas. Quando o LMArena lista um modelo com várias configurações (High, Low, Thinking), usa-se a melhor pontuação geral dele. Um modelo sem preço por token (um modelo de imagem ou vídeo, por exemplo) não está neste quadro.

Velocidade: medida na WayJet

Só modelos que você pode chamar na WayJet, medidos em requisições reais pelo gateway da WayJet nos últimos sete dias:

  • Velocidade de saída são os tokens de saída divididos pelo tempo total da requisição, então um primeiro token lento conta contra. O quadro mostra a mediana.
  • Tempo até o primeiro token é quanto uma requisição com streaming esperou pelo primeiro trecho de texto, raciocínio ou chamada de ferramenta. O quadro mostra a mediana.
  • Tempo da requisição é a mediana do tempo entre a requisição e o fim da resposta.

Só contam requisições de chat bem-sucedidas com pelo menos 100 tokens de saída, para que o número seja do modelo e não da rede, e um modelo precisa de pelo menos 20 dessas requisições no período para aparecer. O quadro mostra só medianas: nenhuma contagem de requisições, e nada sobre nenhum cliente.

Como os nomes são combinados

O LMArena dá nomes aos modelos do seu jeito (“Claude Opus 5.5 (High)”). Cada nome é ligado automaticamente a um modelo da WayJet quando exatamente um combina, e um editor confere o resto. Um modelo listado pelo LMArena que a WayJet não vende mantém o seu lugar no quadro, sem link.

Atualizações

Os quadros do LMArena e os números de velocidade são atualizados todos os dias às 06:00 (UTC+8). Cada quadro mostra a data dos seus números. Se os dados de um dia não puderem ser lidos, os do dia anterior permanecem.

O que não está nos quadros

As pontuações de benchmark que os fornecedores publicam sobre os próprios modelos são citadas nos perfis dos modelos, não ranqueadas aqui: cada fornecedor testa nas próprias condições, então os números não podem ser comparados. Outros benchmarks públicos entram quando os termos permitirem.