লিডারবোর্ড

লিডারবোর্ড কীভাবে তৈরি হয়

পাঁচটি বোর্ড, প্রতিটির ওপরে তার উৎস, লাইসেন্স আর ডেটার তারিখ লেখা। তিনটি LMArena-র। দুটি শুধু WayJet বানাতে পারে, কারণ সেগুলো WayJet কত টাকা নেয় আর WayJet গেটওয়েতে মডেল কত দ্রুত উত্তর দেয় তার ওপর নির্ভর করে।

সামগ্রিক, কোডিং ও ভিশন: LMArena

এই তিনটি বোর্ড LMArena-র, প্রতিদিন তার Hugging Face-এ থাকা পাবলিক ডেটাসেট থেকে পড়া হয় এবং তার লাইসেন্স CC BY 4.0-এর অধীনে দেখানো হয়। মানুষ একটি প্রম্পট দুটি বেনামি মডেলকে দেয় আর ভালো উত্তরে ভোট দেয়; ভোট থেকে স্কোর তৈরি হয়।

  • সামগ্রিক হলো স্টাইল কন্ট্রোলসহ টেক্সট অ্যারিনা, যা LMArena ডিফল্টভাবে দেখায়: শুধু দৈর্ঘ্য বা ফরম্যাটিংয়ে জেতা উত্তরকে এটি কম গুরুত্ব দেয়।
  • কোডিং হলো WebDev অ্যারিনা: মডেল একটি প্রম্পট থেকে চালু ওয়েব অ্যাপ বানায়, আর মানুষ ফলাফলে ভোট দেয়।
  • ভিশন হলো স্টাইল কন্ট্রোলসহ ভিশন অ্যারিনা: এমন প্রম্পট যার সঙ্গে একটি ছবি থাকে।

প্রতিটি স্কোরের একটি 95% আস্থার ব্যবধান আছে। দুটি মডেলের ব্যবধান মিলে গেলে LMArena তাদের একই র‍্যাঙ্ক দেয়, আর বোর্ড তাদের সমান (=) দেখায়, আগে-পরে সাজায় না। পরিবর্তনের কলাম র‍্যাঙ্কটিকে LMArena-র আগের প্রকাশিত দিনের সঙ্গে তুলনা করে।

WayJet যে মডেল বিক্রি করে না, সেগুলোও এই বোর্ডে থাকে। শুধু আমাদের বিক্রি করা মডেল দেখালে সেটি র‍্যাঙ্কিং হতো না। যে মডেলগুলো আপনি WayJet-এ কল করতে পারেন, তাদের একটি “চেষ্টা করুন” লিংক আছে।

মূল্য: দামের তুলনায় স্কোর

শুধু সেই মডেলগুলো যা আপনি WayJet-এ কল করতে পারেন, যার ভিত্তিতে র‍্যাঙ্ক:

মূল্য = সামগ্রিক স্কোর ÷ (0.75 × ইনপুটের দাম + 0.25 × আউটপুটের দাম)

দাম WayJet-এর, মার্কিন ডলারে প্রতি 10 লাখ টোকেনে, যেদিন পেজটি তৈরি হয়েছে সেদিনের। 3:1 অনুপাত মোটামুটি চ্যাট কাজের মিশ্রণ, যেখানে প্রম্পট উত্তরের চেয়ে লম্বা। LMArena কোনো মডেলকে কয়েকটি সেটিংয়ে (High, Low, Thinking) দেখালে তার সেরা সামগ্রিক স্কোর নেওয়া হয়। যে মডেলের টোকেনের দাম নেই (যেমন ছবি বা ভিডিও মডেল), সেটি এই বোর্ডে নেই।

গতি: WayJet-এ মাপা

শুধু সেই মডেলগুলো যা আপনি WayJet-এ কল করতে পারেন, গত সাত দিনে WayJet গেটওয়ে দিয়ে যাওয়া আসল অনুরোধে মাপা:

  • আউটপুটের গতি হলো আউটপুট টোকেনকে পুরো অনুরোধের সময় দিয়ে ভাগ করা, তাই ধীর প্রথম টোকেনও এটি কমায়। বোর্ড মিডিয়ান দেখায়।
  • প্রথম টোকেন পর্যন্ত সময় হলো একটি স্ট্রিমিং অনুরোধ টেক্সট, রিজনিং বা টুল কলের প্রথম অংশের জন্য কতক্ষণ অপেক্ষা করেছে। বোর্ড মিডিয়ান দেখায়।
  • অনুরোধের সময় হলো অনুরোধ থেকে উত্তর শেষ হওয়া পর্যন্ত মিডিয়ান সময়।

শুধু কমপক্ষে 100 আউটপুট টোকেনের সফল চ্যাট অনুরোধ গোনা হয়, যাতে সংখ্যাটি মডেলের হয়, নেটওয়ার্কের নয়; আর তালিকায় আসতে একটি মডেলের এই সময়ে এমন অন্তত 20টি অনুরোধ লাগে। বোর্ড শুধু মিডিয়ান দেখায়: অনুরোধের সংখ্যা নয়, কোনো গ্রাহক সম্পর্কে কিছুই নয়।

নাম মেলানো

LMArena নিজের মতো করে মডেলের নাম রাখে (“Claude Opus 5.5 (High)”)। ঠিক একটি WayJet মডেল মিললে নামটি স্বয়ংক্রিয়ভাবে তার সঙ্গে যুক্ত হয়, আর বাকিগুলো একজন সম্পাদক যাচাই করেন। LMArena-র তালিকার কোনো মডেল WayJet বিক্রি না করলে সেটি লিংক ছাড়াই বোর্ডে নিজের জায়গায় থাকে।

হালনাগাদ

LMArena-র বোর্ড আর গতির সংখ্যা প্রতিদিন 06:00 (UTC+8)-এ হালনাগাদ হয়। প্রতিটি বোর্ড তার সংখ্যা কোন তারিখের তা দেখায়। কোনো দিনের ডেটা পড়া না গেলে আগের দিনের ডেটাই থাকে।

বোর্ডে যা নেই

প্রদানকারীরা নিজেদের মডেল নিয়ে যে বেঞ্চমার্ক স্কোর প্রকাশ করে, সেগুলো মডেল প্রোফাইলে উদ্ধৃত হয়, এখানে র‍্যাঙ্ক হয় না: প্রত্যেক প্রদানকারী নিজের শর্তে পরীক্ষা করে, তাই সংখ্যাগুলো তুলনা করা যায় না। অন্য পাবলিক বেঞ্চমার্ক তাদের শর্তে অনুমতি দিলে যুক্ত হবে।