Analyses et études de modèles

01

Trois modèles ouverts de moins de 36 milliards de paramètres

Qwen 3.8 27B, Qwen 3.6 35B-A3B et Gemma 4 31B IT constituent notre sélection éditoriale : deux fournisseurs et des architectures denses et MoE. Ce choix n’est pas un classement. Il faut d’abord vérifier l’existence de mesures comparables pour la même tâche.

Pour chaque modèle et test, nous reprenons le résultat de base choisi selon les règles du tableau. Variantes quantifiées, preuves anciennes ou non confirmées, conflits et alertes de contamination sont exclus. Dans chaque graphique, source, version, tâches, métrique, agent, outils et évaluation doivent correspondre. Les réglages de raisonnement restent visibles ; l’égalité des budgets de calcul n’est pas établie.

Échelle de 0 à 100 %. Seules les valeurs d’un même groupe partagent le protocole indiqué. Aucun avantage n’est calculé entre groupes.

Une estimation plus élevée ne prouve pas une supériorité statistique. Des différences non déclarées peuvent subsister.

GPQA renseigne sur la résolution de problèmes scientifiques. SciCode porte sur la programmation scientifique, LiveCodeBench sur la programmation de concours. Une avance sur GPQA ne dit donc pas quel modèle traitera mieux votre code. Choisissez d’abord votre domaine et comparez uniquement les valeurs d’un même groupe.

Notre conclusion : des preuves communes pertinentes aident davantage à sélectionner des candidats qu’une moyenne de ces trois tests. Sans mesure commune, l’incertitude demeure. Le nombre total de paramètres ne suffit à établir ni la mémoire nécessaire ni la vitesse d’une installation locale quantifiée.

↑ Retour aux thèmes

02

Un même modèle, deux résultats SWE-bench

Claude Opus 5 montre pourquoi les noms du modèle et du test ne suffisent pas. Nous présentons l’exécution indépendante de Vals et le rapport complémentaire du fournisseur. Chaque résultat reste associé à sa source et à son protocole.

Vals indique mini-swe-agent et Bash. Le fournisseur décrit un autre protocole ou un protocole incomplet. Les indications de raisonnement et de répétitions diffèrent aussi. L’écart ne peut donc être attribué à une cause unique ; il ne prouve ni amélioration du modèle ni erreur d’une source.

Pour comparer plusieurs modèles, nous commencerions par le groupe uniforme de Vals. Le rapport du fournisseur apporte une preuve supplémentaire sur le système qu’il a testé. Votre usage nécessite encore un test sur votre dépôt, avec votre agent et des budgets fixes de temps et de tokens.

↑ Retour aux thèmes