Analysen & Modellbeispiele

01

Drei offene Modelle unter 36 Milliarden Parametern

Qwen 3.8 27B, Qwen 3.6 35B-A3B und Gemma 4 31B IT bilden unsere redaktionelle Beispielauswahl: zwei Anbieter und sowohl dichte als auch MoE-Architekturen. Die Auswahl ist keine Bestenliste. Entscheidend ist zunächst, ob für dieselbe Aufgabe vergleichbare Messungen vorliegen.

Wir übernehmen je Modell und Benchmark den nach den Tabellenregeln ausgewählten Basiswert. Quantisierte Varianten, veraltete oder nicht mehr bestätigte Belege sowie Konflikte und Kontaminationswarnungen sind ausgeschlossen. Innerhalb jeder Grafik müssen Quelle, Testversion, Aufgaben, Metrik, Agentenaufbau, Tools und Bewertung übereinstimmen. Unterschiedliche Thinking-Einstellungen bleiben sichtbar; gleiche Rechenbudgets sind damit nicht nachgewiesen.

Skala 0–100 %. Nur Werte innerhalb derselben Gruppe teilen den ausgewiesenen Testaufbau. Zwischen Gruppen wird kein Vorsprung berechnet.

Ein höherer Punktwert ist kein Nachweis statistischer Überlegenheit. Die ausgewiesenen Aufbauten können nicht berichtete Unterschiede enthalten.

GPQA ist ein Signal für naturwissenschaftliches Problemlösen. SciCode betrachtet wissenschaftliche Programmieraufgaben; LiveCodeBench Wettbewerbsprogrammierung. Ein Vorsprung bei GPQA beantwortet daher noch nicht, welches Modell deinen Code besser bearbeitet. Wähle zuerst den Aufgabenbereich und vergleiche nur Werte innerhalb derselben Gruppe.

Unsere Schlussfolgerung: Für eine Vorauswahl sind passende gemeinsame Belege hilfreicher als ein Mittelwert über diese drei Tests. Fehlt eine gemeinsame Messung, bleibt eine Wissenslücke. Gesamtparameter allein belegen außerdem weder den tatsächlichen Speicherbedarf noch die Geschwindigkeit einer quantisierten lokalen Installation.

↑ Zur Themenübersicht

02

Dasselbe Modell, zwei SWE-bench-Ergebnisse

Claude Opus 5 dient als Beispiel dafür, warum der Modellname und der Benchmarkname allein nicht reichen. Wir stellen den unabhängigen Vals-Lauf dem ergänzenden Herstellerbericht gegenüber. Beide Belege bleiben an ihre jeweilige Quelle und ihren Testaufbau gebunden.

Der Vals-Beleg beschreibt mini-swe-agent und Bash. Der Herstellerbeleg beschreibt einen anderen beziehungsweise nicht vollständig offengelegten Aufbau. Auch Angaben zu Thinking und Wiederholungen unterscheiden sich. Der Zahlenabstand kann deshalb nicht einer einzelnen Ursache zugeschrieben werden; er beweist weder eine Modellverbesserung noch einen Fehler einer Quelle.

Für den Vergleich verschiedener Modelle würden wir zuerst die einheitliche Vals-Gruppe nutzen. Den Herstellerbericht verwenden wir als zusätzlichen Beleg für das dort getestete System. Für deinen eigenen Einsatz bleibt ein Test mit deinem Repository, deinem Agenten und einem festen Zeit- und Tokenbudget erforderlich.

↑ Zur Themenübersicht