تحليلات ودراسات نماذج

01

ثلاثة نماذج مفتوحة بأقل من 36 مليار معلمة

اخترنا تحريرياً Qwen 3.8 27B وQwen 3.6 35B-A3B وGemma 4 31B IT: مزودان وبنى كثيفة وبنى خليط خبراء. هذه العينة ليست ترتيباً للأفضل. السؤال الأول هو وجود قياسات قابلة للمقارنة للمهمة نفسها.

نستخدم لكل نموذج واختبار النتيجة الأساسية المختارة وفق قواعد الجدول. نستبعد النسخ المكمّمة والأدلة القديمة أو غير المؤكدة حالياً والتعارضات وتحذيرات التلوث. داخل كل رسم يجب تطابق المصدر والإصدار والمهام والمقياس والوكيل والأدوات والتقييم. تبقى إعدادات التفكير المختلفة ظاهرة؛ وهذا لا يثبت تساوي ميزانيات الحوسبة.

المقياس من 0 إلى 100٪. تشترك قيم المجموعة الواحدة فقط في الإعداد المعلن. لا نحسب تفوقاً بين المجموعات.

القيمة الأعلى لا تثبت تفوقاً إحصائياً. قد تبقى اختلافات غير منشورة في الإعدادات المعلنة.

يقدم GPQA دليلاً على حل المسائل العلمية. يختبر SciCode البرمجة العلمية وLiveCodeBench البرمجة التنافسية. لذلك لا يحدد التفوق في GPQA أي نموذج سيعالج شيفرتك أفضل. حدد مجال المهمة أولاً وقارن القيم داخل المجموعة نفسها فقط.

استنتاجنا: الأدلة المشتركة المناسبة أنفع للاختيار الأولي من متوسط هذه الاختبارات الثلاثة. عند غياب قياس مشترك تبقى فجوة معرفية. كذلك لا يثبت العدد الإجمالي للمعلمات وحده مقدار الذاكرة المطلوبة أو سرعة تشغيل نسخة محلية مكمّمة.

↑ العودة إلى الموضوعات

02

النموذج نفسه ونتيجتان في SWE-bench

يوضح Claude Opus 5 لماذا لا يكفي اسما النموذج والاختبار. نعرض تشغيل Vals المستقل بجانب تقرير المزود التكميلي. تبقى كل نتيجة مرتبطة بمصدرها وإعداد تقييمها.

يذكر سجل Vals استخدام mini-swe-agent وBash. ويصف تقرير المزود إعداداً مختلفاً أو غير مكتمل الإفصاح. تختلف أيضاً معلومات التفكير والتكرار. لذلك لا يمكن إرجاع فرق الدرجات إلى سبب واحد؛ فهو لا يثبت تحسن النموذج ولا خطأ أحد المصدرين.

لمقارنة نماذج مختلفة نبدأ بمجموعة Vals الموحدة. نستخدم تقرير المزود دليلاً إضافياً للنظام المختبر لديه. يبقى اختبار مستودعك ووكيلك بميزانية ثابتة للوقت والرموز ضرورياً لاستخدامك الخاص.

↑ العودة إلى الموضوعات