Benchmarks GPU locales: modelos open-weight en hardware local

Evaluaciones completas de LLMs open-weight medidas en hardware GPU local (2× RTX 5060 Ti, 32 GB VRAM): Master Núcleo, Master Total, duración real y eficiencia temporal (0–100) por prueba.

Mientras la tabla principal compara modelos en la nube y datos oficiales, esta página muestra el rendimiento real de modelos open-weight cuantizados (4 bits / 8 bits) en hardware local, con y sin razonamiento. Cada celda muestra la puntuación junto con el tiempo real de cálculo y la eficiencia temporal.

Mediciones independientes en hardware propio: Cada prueba se ejecuta sobre el conjunto de datos completo sin recortes. La electricidad 24/7, las GPUs y las APIs de evaluación externa cuestan dinero a lo largo del año; agradecemos cualquier apoyo voluntario.

Más información sobre el esfuerzo de medición y próximo hardware

Pruebas completas sin recortes: evaluar las 12.032 preguntas de MMLU-Pro, SciCode o SWE-bench requiere muchas horas de carga continua por modelo.

Costes operativos: el consumo eléctrico continuo, las tarjetas gráficas y las APIs de evaluación externa suponen un gasto anual.

Hardware en evolución: actualmente medimos en 2× NVIDIA RTX 5060 Ti (32 GB VRAM) y añadiremos perfiles de hardware más potentes en el futuro.

Color de celda

Top 10 %Top 25 %MediaCuarto inferiorÚltimo 10 %

≥ 75 Muy eficiente (alto resultado en poco tiempo)40–74 Media< 40 Ineficiente (p. ej. 3h para 22 %)

Ronda de medición local en curso

Las pruebas completas en nuestro servidor GPU (2× RTX 5060 Ti, 32 GB VRAM) están en ejecución y se publicarán aquí en cuanto estén listas.

2× RTX 5060 Ti (32 GB VRAM) · 2× NVIDIA GeForce RTX 5060 Ti (16 GB GDDR7 × 2, Tensor Parallelism 2) · vLLM 0.29.0