معايير GPU المحلية: اختبارات كاملة للنماذج المحلية مع وقت التشغيل وكفاءة الوقت

اختبارات كاملة لنماذج اللغة مفتوحة الوزن على عتاد GPU محلي (2× RTX 5060 Ti، ذاكرة 32GB VRAM): المؤشر الأساسي، المؤشر الشامل، المدة الفعلية وكفاءة الوقت (0–100) لكل اختبار.

بينما يقارن الجدول الرئيسي النماذج السحابية الكبيرة، تعرض هذه الصفحة الأداء الفعلي للنماذج المحلية مفتوحة الوزن على عتاد منزلي حقيقي (بدون تفكير ومع تفكير)، مع عرض النتيجة والمدة الفعلية وكفاءة الوقت في كل خلية.

قياسات مستقلة على عتاد محلي: يتم تشغيل كل اختبار بالكامل دون اختصار للعينات. التشغيل المستمر والكهرباء وبطاقات GPU وواجهات التحكيم الخارجي لها تكلفة على مدار العام — نرحب بأي دعم طوعي.

معلومات إضافية حول جهد القياس وخطط العتاد

اختبارات شاملة دون عينات مصغرة: تشغيل 12,032 سؤالًا في MMLU-Pro أو SciCode أو SWE-bench يستغرق ساعات طويلة لكل نموذج.

تكاليف التشغيل: استهلاك الطاقة المستمر والبطاقات الرسومية وتكاليف نماذج التحكيم الخارجي تتراكم على مدار العام.

تطوير العتاد: نقيس حاليًا على 2× NVIDIA RTX 5060 Ti (32 GB VRAM) وسنضيف أنظمة أقوى مستقبلًا مع إمكانية التبديل بينها.

لون الخلايا

أفضل 10%أفضل 25%الوسطالربع الأدنىالأدنى 10%

≥ 75 كفاءة عالية (نتيجة قوية في وقت قصير)40–74 متوسطة< 40 منخفضة الكفاءة (مثلًا 3 ساعات مقابل 22%)

جولة القياس المحلية قيد التشغيل حاليًا

تجري حاليًا الاختبارات المحلية الكاملة على خادم GPU الخاص بنا (2× RTX 5060 Ti، 32 GB VRAM) وستظهر النتائج هنا فور نشرها.

2× RTX 5060 Ti (32 GB VRAM) · 2× NVIDIA GeForce RTX 5060 Ti (16 GB GDDR7 × 2, Tensor Parallelism 2) · vLLM 0.29.0