Benchmarks GPU locaux : modèles open-weight sur matériel local

Mesures complètes sans échantillonnage de LLM open-weight sur matériel GPU dédié (2× RTX 5060 Ti, 32 Go VRAM) : Master Cœur, Master Global, durée réelle et efficacité temporelle (0–100) par benchmark.

Alors que le tableau principal compare les modèles cloud et les scores officiels, cette page mesure les performances réelles des modèles open-weight quantifiés (4 bits / 8 bits) sur matériel domestique, avec et sans réflexion. Chaque cellule indique le score, la durée réelle et l’efficacité temporelle.

Mesures indépendantes sur matériel local : Chaque test est exécuté sur l’intégralité du jeu de données sans sous-échantillonnage. L’électricité 24h/24, les GPU et les API de juges externes ont un coût sur l’année — tout soutien volontaire est apprécié.

En savoir plus sur l’effort de mesure et le matériel futur

Jeux complets sans raccourcis : un seul passage complet sur MMLU-Pro (12 032 questions), SciCode ou SWE-bench demande de nombreuses heures de calcul GPU par modèle.

Coûts de fonctionnement : l’alimentation électrique continue, le matériel GPU et les frais d’API des modèles juges externes représentent un coût annuel.

Matériel évolutif : les tests actuels tournent sur 2× NVIDIA RTX 5060 Ti (32 Go VRAM). Le sélecteur de matériel permettra de comparer les futures générations de GPU.

Couleur des cellules

Top 10 %Top 25 %MilieuQuart inférieurDerniers 10 %

≥ 75 Très efficace (score élevé en peu de temps)40–74 Moyen< 40 Peu efficace (ex. 3h de calcul pour 22 %)

Campagne de mesure locale en cours

Les évaluations locales complètes sur notre serveur (2× RTX 5060 Ti, 32 Go VRAM) sont en cours. Les résultats vérifiés apparaîtront ici dès leur publication.

2× RTX 5060 Ti (32 GB VRAM) · 2× NVIDIA GeForce RTX 5060 Ti (16 GB GDDR7 × 2, Tensor Parallelism 2) · vLLM 0.29.0