Análisis y casos de modelos

01

Tres modelos abiertos con menos de 36 mil millones de parámetros

Qwen 3.8 27B, Qwen 3.6 35B-A3B y Gemma 4 31B IT forman nuestra muestra editorial: dos proveedores y arquitecturas densas y MoE. La selección no es una clasificación. Primero hay que comprobar si existen mediciones comparables para la misma tarea.

Para cada modelo y prueba usamos el resultado base elegido según las reglas de la tabla. Excluimos variantes cuantizadas, pruebas antiguas o sin confirmación actual, conflictos y alertas de contaminación. En cada gráfico deben coincidir fuente, versión, tareas, métrica, agente, herramientas y evaluación. Los ajustes de razonamiento siguen visibles; esto no demuestra presupuestos de cómputo iguales.

Escala de 0 a 100 %. Solo los valores del mismo grupo comparten la configuración indicada. No calculamos ventajas entre grupos.

Un valor mayor no demuestra superioridad estadística. Las configuraciones declaradas pueden contener diferencias no publicadas.

GPQA aporta evidencia sobre problemas científicos. SciCode evalúa programación científica; LiveCodeBench, programación competitiva. Una ventaja en GPQA no determina qué modelo trabajará mejor con tu código. Elige primero el ámbito y compara valores solo dentro del mismo grupo.

Nuestra conclusión: las pruebas comunes relevantes ayudan más a preseleccionar que una media de estas tres pruebas. Sin una medición común sigue existiendo una laguna. El total de parámetros tampoco determina por sí solo la memoria necesaria ni la velocidad de una instalación local cuantizada.

↑ Volver a los temas

02

El mismo modelo, dos resultados de SWE-bench

Claude Opus 5 ilustra por qué no bastan los nombres del modelo y la prueba. Presentamos la ejecución independiente de Vals junto al informe complementario del proveedor. Cada resultado permanece vinculado a su fuente y configuración.

Vals indica mini-swe-agent y Bash. El proveedor describe una configuración diferente o incompleta. También difieren los datos sobre razonamiento y repeticiones. Por tanto, la diferencia no puede atribuirse a una única causa; no demuestra una mejora del modelo ni un error de alguna fuente.

Para comparar modelos empezaríamos por el grupo uniforme de Vals. El informe del proveedor aporta evidencia adicional sobre el sistema probado allí. Tu uso aún requiere pruebas con tu repositorio, tu agente y presupuestos fijos de tiempo y tokens.

↑ Volver a los temas