LLM Benchmarks

Quellenbelegte Messwerte

Seite aktualisiert
DE
♡ Unterstützen

Lokale GPU-Benchmarks: Open-Weight-Sprachmodelle im Volllauf

Selbst gemessene Vollläufe lokaler Open-Weight-LLMs auf eigener GPU-Hardware (2× RTX 5060 Ti, 32 GB VRAM): Kern-Master, Gesamt-Master, echte Laufzeit und Zeit-Effizienz (0–100) je Modell und Benchmark.

Während die Haupttabelle offizielle Laborwerte und große Cloud-Modelle vergleicht, zeigt diese Tabelle, was kompakte Open-Weight-Modelle (in 4-Bit- und 8-Bit-Quantisierung) auf echter Heim-Hardware leisten – getrennt nach Modus ohne und mit Denken. Neben dem Testergebnis siehst du in jeder Zelle auch die tatsächliche Rechenzeit und die Zeit-Effizienz: So erkennst du sofort, welches Modell in 30 Minuten starke Ergebnisse liefert und welches stundenlang im Kreis denkt.

Unabhängige Messungen auf eigener Hardware: Alle Benchmarks laufen hier vollständig und ohne Stichproben-Kürzung auf unserem lokalen Testsystem. Der Dauerbetrieb, der Strom, die Grafikkarten und externe Prüfer-APIs kosten leider mehr und dauern länger als gedacht. Deswegen sind die Aktualisierungen eher unregelmäßig.

Mehr zum Messaufwand & zu geplanter Hardware

Volle Benchmarks statt Stichproben: Ein einzelner Durchlauf über MMLU-Pro (12.032 Fragen), SciCode oder SWE-bench läuft pro Modell und Denk-Spur oft viele Stunden unter Volllast.

Laufender Betrieb: 24/7-Stromverbrauch des GPU-Servers, Grafikkarten sowie API-Gebühren für externe Prüfer (Judge-Modelle wie Gemini bei offenen Wissens- und Agenten-Tests) kosten über das Jahr Geld.

Hardware im Ausbau: Aktuell messen wir auf 2× NVIDIA RTX 5060 Ti (32 GB VRAM). Sobald stärkere Hardware möglich ist, testen wir die Modelle dort erneut – über den Hardware-Umschalter oben bleibt jedes System sauber vergleichbar.

Denk-Spur
Master-Spalten
Sortieren nach
Hardware
Zellenfarbe
Top 10 %Top 25 %MittelfeldUnteres ViertelSchlusslicht
≥ 75 Sehr effizient (hohes Ergebnis in kurzer Zeit)40–74 Mittel< 40 Ineffizient (z. B. 3 Std. Kreisdenken für 22 %)

Lokale Messreihe läuft – erste Ergebnisse folgen in Kürze

Die lokalen Voll-Benchmarks auf unserem Testsystem (2× RTX 5060 Ti, 32 GB VRAM) laufen aktuell. Sobald die ersten Benchmarks freigegeben sind, erscheinen sie hier mit Ergebnis (%), echter Laufzeit und Zeit-Effizienz (0–100).

2× RTX 5060 Ti (32 GB VRAM) · 2× NVIDIA GeForce RTX 5060 Ti (16 GB GDDR7 × 2, Tensor Parallelism 2) · vLLM 0.29.0