लीडरबोर्ड

लीडरबोर्ड कैसे बनता है

पाँच बोर्ड, हर एक के ऊपर उसका स्रोत, लाइसेंस और डेटा की तारीख लिखी है। तीन LMArena के हैं। दो सिर्फ़ WayJet बना सकता है, क्योंकि वे WayJet की कीमतों और WayJet गेटवे पर मॉडल के जवाब की गति पर आधारित हैं।

कुल मिलाकर, कोडिंग और विज़न: LMArena

ये तीन बोर्ड LMArena के हैं, जिन्हें हर दिन उसके Hugging Face पर सार्वजनिक डेटासेट से पढ़ा जाता है और उसके लाइसेंस, CC BY 4.0, के तहत दिखाया जाता है। लोग एक प्रॉम्प्ट दो गुमनाम मॉडल को देते हैं और बेहतर जवाब को वोट देते हैं; वोट मिलकर स्कोर बनते हैं।

  • कुल मिलाकर स्टाइल कंट्रोल वाला टेक्स्ट एरीना है, जिसे LMArena डिफ़ॉल्ट रूप से दिखाता है: यह उन जवाबों को कम आँकता है जो सिर्फ़ लंबाई या फ़ॉर्मैटिंग से जीतते हैं।
  • कोडिंग WebDev एरीना है: मॉडल एक प्रॉम्प्ट से चलने वाला वेब ऐप बनाते हैं, और लोग नतीजे पर वोट देते हैं।
  • विज़न स्टाइल कंट्रोल वाला विज़न एरीना है: ऐसे प्रॉम्प्ट जिनके साथ एक इमेज होती है।

हर स्कोर का 95% विश्वास अंतराल होता है। जब दो मॉडल के अंतराल एक-दूसरे पर चढ़ते हैं, तो LMArena उन्हें एक ही रैंक देता है और बोर्ड उन्हें बराबर (=) दिखाता है, क्रम में नहीं रखता। बदलाव वाला कॉलम रैंक की तुलना LMArena के पिछले प्रकाशित दिन से करता है।

जो मॉडल WayJet नहीं बेचता, वे भी इन बोर्ड पर रहते हैं। जो बोर्ड सिर्फ़ हमारे बेचे मॉडल दिखाए, वह रैंकिंग नहीं होगी। जिन मॉडल को आप WayJet पर कॉल कर सकते हैं, उनके पास “आज़माएँ” लिंक है।

वैल्यू: कीमत के हिसाब से स्कोर

सिर्फ़ वे मॉडल जिन्हें आप WayJet पर कॉल कर सकते हैं, इस आधार पर रैंक:

वैल्यू = कुल स्कोर ÷ (0.75 × इनपुट कीमत + 0.25 × आउटपुट कीमत)

कीमतें WayJet की हैं, अमेरिकी डॉलर प्रति 10 लाख टोकन में, उस दिन की जिस दिन पेज बना। 3:1 का अनुपात मोटे तौर पर चैट वर्कलोड जैसा है, जहाँ प्रॉम्प्ट जवाब से लंबे होते हैं। जब LMArena किसी मॉडल को कई सेटिंग (High, Low, Thinking) में दिखाता है, तो उसका सबसे अच्छा कुल स्कोर लिया जाता है। जिस मॉडल की टोकन कीमत नहीं है (जैसे इमेज या वीडियो मॉडल), वह इस बोर्ड पर नहीं है।

स्पीड: WayJet पर मापी गई

सिर्फ़ वे मॉडल जिन्हें आप WayJet पर कॉल कर सकते हैं, WayJet गेटवे से होकर पिछले सात दिनों के असली अनुरोधों पर मापे गए:

  • आउटपुट स्पीड आउटपुट टोकन को पूरे अनुरोध के समय से भाग देकर निकलती है, इसलिए धीमा पहला टोकन भी इसे घटाता है। बोर्ड मीडियन दिखाता है।
  • पहले टोकन तक समय बताता है कि स्ट्रीम वाले अनुरोध ने टेक्स्ट, रीज़निंग या टूल कॉल के पहले हिस्से के लिए कितना इंतज़ार किया। बोर्ड मीडियन दिखाता है।
  • अनुरोध का समय अनुरोध से जवाब ख़त्म होने तक का मीडियन समय है।

सिर्फ़ वे सफल चैट अनुरोध गिने जाते हैं जिनमें कम से कम 100 आउटपुट टोकन हों, ताकि संख्या मॉडल की हो, नेटवर्क की नहीं; और सूची में आने के लिए मॉडल के पास इस अवधि में ऐसे कम से कम 20 अनुरोध होने चाहिए। बोर्ड सिर्फ़ मीडियन दिखाता है: अनुरोधों की गिनती नहीं, और किसी ग्राहक के बारे में कुछ भी नहीं।

नामों का मिलान

LMArena मॉडल का नाम अपने ढंग से रखता है (“Claude Opus 5.5 (High)”)। जब ठीक एक WayJet मॉडल मेल खाता है, तो नाम अपने-आप उससे जुड़ जाता है, और बाकी को एक संपादक जाँचता है। LMArena में दिखने वाला ऐसा मॉडल जिसे WayJet नहीं बेचता, बोर्ड पर अपनी जगह बिना लिंक के रखता है।

अपडेट

LMArena के बोर्ड और स्पीड के आँकड़े हर दिन 06:00 (UTC+8) पर ताज़ा होते हैं। हर बोर्ड बताता है कि उसकी संख्याएँ किस तारीख की हैं। अगर किसी दिन का डेटा नहीं पढ़ा जा सकता, तो पिछले दिन का डेटा बना रहता है।

बोर्ड पर क्या नहीं है

विक्रेता अपने मॉडल के जो बेंचमार्क स्कोर प्रकाशित करते हैं, उन्हें मॉडल प्रोफ़ाइल में उद्धृत किया जाता है, यहाँ रैंक नहीं किया जाता: हर विक्रेता अपनी शर्तों में परीक्षण करता है, इसलिए संख्याओं की तुलना नहीं हो सकती। दूसरे सार्वजनिक बेंचमार्क तब जुड़ेंगे जब उनकी शर्तें इसकी अनुमति दें।