Mediciones respaldadas por fuentes
Guías y metodología
Entiende los benchmarks, compara las mediciones de forma justa y consulta las fuentes de LLM Benchmarks. Metodología, guía de pruebas y análisis basados en datos.
¿De dónde salen las puntuaciones?
Un resultado resulta útil cuando sabemos qué modelo se probó y en qué condiciones. Aquí explicamos cómo seleccionamos, comprobamos y presentamos los resultados publicados en la tabla comparativa.
Nuestra aportación consiste en reunir y comprobar la evidencia. Las evaluaciones originales las realizan los responsables de los benchmarks y los proveedores de modelos enlazados.
1. ¿Qué modelos y fuentes se incluyen?
La selección combina modelos del Epoch Capabilities Index con otras evaluaciones exigentes, lanzamientos recientes de proveedores que hemos verificado y una cuota dedicada a modelos abiertos. Así se incluyen modelos pequeños poco representados en las grandes clasificaciones. Es una muestra del mercado, no un directorio completo.
Utilizamos resultados de los responsables de los benchmarks, evaluaciones independientes e informes documentados de proveedores. La identidad del modelo, la fuente, la versión de la prueba y las condiciones de publicación deben poder rastrearse. Un resultado de acceso público no está automáticamente autorizado para su republicación. Los informes de proveedores conservan su atribución.
2. ¿Cuándo son comparables dos resultados?
El nombre del benchmark no basta. Consideramos la edición, la versión, el conjunto o período de tareas, la métrica, la unidad, las herramientas, la configuración del agente y el procedimiento de evaluación. Cada benchmark tiene un protocolo de comparación definido. Otras configuraciones pueden aportar evidencia útil, pero no reciben implícitamente el mismo estatus en la clasificación.
- Puesto: posición dentro del protocolo admisible del benchmark; no es un veredicto global sobre el modelo.
- ≈: evidencia complementaria obtenida en otras condiciones. Consultar primero los detalles de la medición.
- Conflicto: fuentes fiables discrepan para una misma configuración documentada. No hay un puesto único fiable.
- Celda vacía: no hay una medición visible que corresponda. No significa cero puntos ni una evaluación fallida.
3. ¿Qué nivel de razonamiento se selecciona?
Dentro de la misma fuente y serie de pruebas, preferimos el nivel fijo documentado más alto: max, xhigh, high, medium, low, minimal, off. No escogemos después el resultado que tenga más puntos. Por tanto, una ejecución Max válida puede puntuar menos que High. No mezclamos agentes, versiones o conjuntos de tareas para obtener un nivel superior.
Adaptive indica que el razonamiento está activado, pero no demuestra un presupuesto máximo fijo. Los ajustes no revelados siguen siendo desconocidos. La etiqueta High de dos proveedores no implica necesariamente el mismo presupuesto de cálculo.
4. ¿Qué significan las fechas y categorías de fuentes?
La fecha de evaluación, la publicación, la versión de los datos y la primera observación son hechos distintos. Si una fuente no fecha una ejecución, podemos utilizar la primera vez que se observó ese resultado exacto. Eso no demuestra que la evaluación sea reciente. Los detalles indican en qué se basa la fecha.
La autoridad de la fuente y la calidad de la evidencia se evalúan por separado. A+, A, B y C son nuestras categorías de fuentes y evidencia, no probabilidades estadísticas de que un resultado sea correcto. Una buena categoría de fuente no elimina las diferencias entre condiciones de prueba.
5. Lo que la tabla no permite demostrar
Las diferencias pequeñas no demuestran una ventaja de rendimiento sin un análisis adecuado de incertidumbre. Los puntos porcentuales no son una mejora porcentual relativa. Un índice compuesto mide algo distinto del éxito en una tarea concreta; no promediamos las columnas para crear una puntuación global propia.
Los resultados de cuantización y hardware siguen siendo estudios complementarios. Distintos motores de ejecución, GPU o subconjuntos de tareas impiden aislar el efecto de la cuantización. El tamaño de los archivos de pesos, la capacidad de la GPU y la memoria realmente utilizada son magnitudes distintas. Las pruebas de hardware publicadas no son mediciones de laboratorio realizadas por LLM Benchmarks.
6. Comprobar la evidencia y comunicar errores
Abre una celda para consultar su fuente, configuración, fecha y variantes de razonamiento. Los datos pueden descargarse en CSV y JSON. Para comunicar un error, indica el modelo, el benchmark, el valor afectado y un enlace a la evidencia original. Las fuentes modificadas se comprueban de nuevo según las reglas de publicación; los errores confirmados se corrigen en los datos.
¿Qué mide cada benchmark?
La métrica útil depende de tu tarea. Un índice general, una prueba de conocimientos y una evaluación de agentes de programación miden cosas distintas. Esta guía ayuda a interpretar cada tipo de resultado.
Empieza por la tarea, comprueba el protocolo de evaluación y después compara los resultados.
Capacidad general: ECI e índices compuestos
El Epoch Capabilities Index combina resultados de distintas pruebas en una escala común de capacidades. Ofrece una primera visión de varios ámbitos. Su valor no es el porcentaje de tareas resueltas. Los datos nuevos pueden cambiar las estimaciones incluso de modelos que no han cambiado.
Nuestra interpretación: utiliza un índice para preseleccionar modelos y después revisa las pruebas pertinentes para tu trabajo. Un asistente especializado puede encajar aunque tenga un índice general inferior. No deben restarse puntuaciones de índices distintos.
Conocimientos y razonamiento: GPQA, HLE y matemáticas
GPQA contiene preguntas difíciles de biología, física y química elaboradas por especialistas. La tabla utiliza su subconjunto Diamond. Estas pruebas aportan evidencia sobre la resolución de problemas en las condiciones indicadas. No miden automáticamente la fiabilidad en investigaciones abiertas.
El conjunto HLE completo y su subconjunto de texto permanecen separados. El acceso a herramientas puede cambiar la tarea. En matemáticas importa la dificultad: un buen resultado en un conjunto antiguo o más fácil no demuestra rendimiento en tareas nuevas y difíciles. Para una aplicación de conocimientos también probaríamos tus propias preguntas con fuentes verificables.
Programación: ¿una tarea aislada o un agente completo?
Una evaluación de programación puede probar un problema autónomo o un agente que trabaja en un repositorio existente. SWE-bench evalúa incidencias reales de software. Las herramientas, la orquestación del agente y el entorno de prueba también influyen en el resultado.
Nuestra interpretación: al elegir un agente de programación, compara configuraciones de sistemas documentadas. Para funciones individuales puede ser más pertinente una prueba acotada. Verified, Pro y los conjuntos cambiantes de Rebench no son intercambiables. El éxito en un conjunto no predice el éxito en tu repositorio.
Agentes y herramientas: el proceso forma parte de la prueba
Las evaluaciones de terminal, uso de herramientas y agentes de varios turnos exigen actuar en un entorno definido. Las API disponibles, la configuración del agente y los límites de tiempo y llamadas forman parte del significado del resultado. Por ejemplo, las dos configuraciones Banking permanecen separadas en la tabla.
Nuestra interpretación: estos resultados son especialmente útiles si la prueba se parece a tu proceso. De lo contrario, quedan sin evaluar aspectos esenciales como permisos, recuperación tras errores y criterios propios de éxito. Revisa los detalles y prueba una pequeña selección de situaciones representativas de tu uso.
Interpretar pruebas de instrucciones y preferencias
IFEval evalúa instrucciones objetivamente verificables, como restricciones de salida. Es útil cuando tu proceso depende del cumplimiento de requisitos concretos. No demuestra una exactitud factual general ni la calidad especializada de todas las respuestas.
Las clasificaciones Arena reflejan preferencias según su procedimiento de comparación. Una respuesta preferida no es necesariamente correcta. Nuestra interpretación: las preferencias pueden orientar decisiones sobre estilo de escritura; verificar la exactitud requiere además comprobaciones específicas del ámbito.
Todos los benchmarks de la tabla comparativa
El siguiente directorio enlaza las páginas originales e indica nuestros protocolos de comparación. La versión y las tareas importan más que unos nombres parecidos. La agrupación sirve para orientarse; no pondera una clasificación global.
Resumen
Epoch Capabilities Index
Índice compuesto de capacidades ajustado por Epoch AI a partir de más de 50 benchmarks.
- Fuente de comparación
- Epoch Capabilities Index
- Versión / tareas
- Epoch ECI snapshot 2026-11-21 · official-composite-fit
- Métrica / unidad
- eci · index_points
Artificial Analysis Intelligence Index
Intelligence Index compuesto de Artificial Analysis; un valor por modelo y configuración de razonamiento. El protocolo identifica la versión de la metodología.
- Fuente de comparación
- Artificial Analysis · Intelligence Index evaluations
- Versión / tareas
- Artificial Analysis Intelligence Index v5.0.1 · intelligence-index-v5-0-1
- Métrica / unidad
- index_score · points
Índice Coding de LLM Benchmarks
Índice compuesto calibrado por anclaje (0–100 puntos) sobre todos los benchmarks objetivos de programación de la tabla (sin votaciones Arena); requiere al menos 2 pruebas objetivas.
- Fuente de comparación
- LLM Benchmarks
- Versión / tareas
- anchor-v2 · ≥ 2 pruebas
- Métrica / unidad
- anchor_calibrated_index_0_100 · index_points
Índice Agentes de LLM Benchmarks
Índice compuesto calibrado por anclaje (0–100 puntos) sobre todos los benchmarks objetivos de agentes y herramientas de la tabla (sin votaciones Arena); requiere al menos 2 pruebas objetivas.
- Fuente de comparación
- LLM Benchmarks
- Versión / tareas
- anchor-v2 · ≥ 2 pruebas
- Métrica / unidad
- anchor_calibrated_index_0_100 · index_points
Arena Text
Clasificación de modelos de texto según preferencias humanas.
- Fuente de comparación
- Arena Text
- Versión / tareas
- 2026-11-19 · overall-style-control
- Métrica / unidad
- arena_score · points
LiveBench
Evaluación objetiva de capacidades amplias, actualizada con frecuencia.
- Fuente de comparación
- LiveBench
- Versión / tareas
- 2026-06-25 · overall-seven-category
- Métrica / unidad
- category_balanced_average · percent
Conocimiento y razonamiento
Humanity's Last Exam · Full multimodal
Los valores comparables usan el protocolo multimodal completo de 2.500 preguntas sin herramientas; los demás protocolos permanecen separados.
- Fuente de comparación
- Scale AI Labs · Humanity's Last Exam Full
- Versión / tareas
- HLE finalized 2,500 · Scale protocol 2025-04-03 · full-multimodal-2500-no-tools
- Métrica / unidad
- accuracy · percent
Humanity's Last Exam · Text-only
Subconjunto de solo texto de Artificial Analysis: 2.158 de las 2.500 preguntas, sin herramientas. Un conjunto de preguntas distinto, no una medición más débil del protocolo completo.
- Fuente de comparación
- Artificial Analysis · Intelligence Index evaluations
- Versión / tareas
- HLE text-only (Artificial Analysis) · text-only-2158-no-tools
- Métrica / unidad
- accuracy · percent
SimpleQA Verified
Conocimiento factual de respuesta corta y calidad de la abstención.
- Fuente de comparación
- Epoch AI SimpleQA Verified
- Versión / tareas
- Epoch independent Inspect runs · verified-1000-epoch-inspect
- Métrica / unidad
- accuracy · percent
GPQA Diamond
Preguntas científicas de nivel universitario avanzado sobre física, química y biología.
- Fuente de comparación
- Vals AI GPQA Diamond
- Versión / tareas
- GPQA Diamond v1 · Vals dual-prompt · diamond-198-zero-and-five-shot-cot
- Métrica / unidad
- accuracy · percent
MMLU-Pro
Conocimiento académico amplio y razonamiento con preguntas de opción múltiple sobre catorce materias; ejecución independiente de Vals AI sobre el conjunto MMLU-Pro.
- Fuente de comparación
- Vals AI · MMLU-Pro
- Versión / tareas
- Vals MMLU-Pro v1 · vals-mmlu-pro-overall
- Métrica / unidad
- accuracy · percent
FrontierMath T1–3
Evaluaciones independientes de Epoch AI sobre 295 problemas de matemáticas avanzadas; el nivel 4 permanece separado.
- Fuente de comparación
- Epoch AI · FrontierMath Tiers 1–3 v2
- Versión / tareas
- 2.0.0 · private-285-of-295-problem-tiers-1-3-set
- Métrica / unidad
- mean_score · percent
ARC-AGI-2
Inducción de reglas abstractas en 360 tareas, con variantes pass@2 separadas por esfuerzo.
- Fuente de comparación
- ARC-AGI-2
- Versión / tareas
- v2 · semi-private-120
- Métrica / unidad
- accuracy · percent
FrontierMath T4
Evaluaciones independientes de Epoch AI sobre los 41 problemas privados de nivel de investigación del conjunto FrontierMath Tier 4 v2 de 43 problemas; los dos ejemplos públicos y los niveles 1–3 no se mezclan en esta columna.
- Fuente de comparación
- Epoch AI · FrontierMath Tier 4 v2
- Versión / tareas
- 2.0.0 · private-41-of-43-problem-tier-4-set
- Métrica / unidad
- mean_score · percent
MMMU-Pro
Conocimiento experto y razonamiento multimodal.
- Fuente de comparación
- Vals AI · MMMU-Pro
- Versión / tareas
- Vals MMMU-Pro v1 · vals-mmmu-pro-overall
- Métrica / unidad
- accuracy · percent
CritPt
Razonamiento físico de nivel de investigación en 71 desafíos abiertos calificados automáticamente.
- Fuente de comparación
- Epoch AI mirror · CritPt
- Versión / tareas
- CritPt current leaderboard · 71-challenges-checkpoint-accuracy
- Métrica / unidad
- accuracy · percent
IFEval
Seguimiento de instrucciones. Los informes de proveedores y los estudios sobre subconjuntos conservan sus etiquetas de puntuación y de muestra; no forman una clasificación uniforme entre modelos.
Resultados complementarios; no se especifica un protocolo canónico común.
Página original del benchmark ↗IFBench
Cumplimiento preciso de instrucciones: 300 prompts con 344 restricciones verificables, precisión estricta por instrucción según el Swallow LLM Leaderboard.
- Fuente de comparación
- Swallow LLM Leaderboard
- Versión / tareas
- swallow-evaluation-instruct · ifbench-test-300-prompts-344-instructions
- Métrica / unidad
- inst_level_strict_acc · percent
Chess Puzzles
100 problemas de ajedrez de Epoch AI generados por motor, cada uno con una única mejor jugada; ejecutados y fechados por Epoch.
- Fuente de comparación
- Epoch AI · Chess Puzzles
- Versión / tareas
- Epoch AI Chess Puzzles v2 · 100-engine-generated-single-best-move-puzzles
- Métrica / unidad
- mean_score · percent
ARC-AGI-1
Rompecabezas de abstracción ARC-AGI originales sobre el conjunto semiprivado, según ARC Prize.
- Fuente de comparación
- Epoch AI mirror · ARC-AGI-1
- Versión / tareas
- ARC-AGI-1 current leaderboard · semi-private-evaluation-pass-at-2
- Métrica / unidad
- pass_at_2_accuracy · percent
Código
SWE-bench Verified
Tasa de resolución de 500 problemas reales de software verificados; la comparación principal usa un agente mínimo uniforme. Vals AI archivó este benchmark (última actualización el 1 de septiembre de 2026) y ya no evalúa modelos nuevos, como tampoco la clasificación oficial (última entrada el 26 de febrero de 2026); aquí ya no se añaden modelos más recientes.
- Fuente de comparación
- Vals AI SWE-bench Verified
- Versión / tareas
- SWE-bench Verified v1 · verified-500-vals-mini-swe-agent
- Métrica / unidad
- resolved_rate · percent
SWE-rebench v2
Resolución reciente de problemas de software dentro de una ventana temporal.
- Fuente de comparación
- SWE-rebench
- Versión / tareas
- rolling-v2 · 2026-05-15/2026-07-01
- Métrica / unidad
- resolved_rate · percent
SWE-bench-Live · Lite
Resolución de software actualizada continuamente, conservando agente, modelo y esfuerzo declarado.
- Fuente de comparación
- SWE-bench-Live · Lite
- Versión / tareas
- SWE-bench-Live Lite · lite-300-python
- Métrica / unidad
- resolved_rate · percent
DeepSWE
Tareas originales de ingeniería de software de largo alcance, con resultados separados por agente y nivel de razonamiento.
- Fuente de comparación
- DeepSWE official live leaderboard
- Versión / tareas
- DeepSWE v1.1 live leaderboard · 113-original-long-horizon-tasks
- Métrica / unidad
- pass_at_1 · percent
SWE-bench Pro V2 · Scale
SWE-bench Pro V2 de Scale AI Labs: la versión pública renovada con 642 tareas de 11 repositorios bajo un protocolo de evaluación bloqueado; el agente solo accede al endpoint del modelo y cada parche se vuelve a evaluar en una imagen limpia. El entorno de agente, el esfuerzo de razonamiento, el intervalo de confianza y la fecha permanecen ligados a cada puntuación. Sucesor de la clasificación retirada de 731 tareas; no comparable con ella.
- Fuente de comparación
- Scale AI Labs · SWE-bench Pro V2
- Versión / tareas
- Scale SWE-Bench Pro V2 public leaderboard · public-v2-642
- Métrica / unidad
- resolved_rate · percent
CursorBench
Evaluación de agentes de código con niveles explícitos de razonamiento y metadatos de coste, tokens y pasos.
- Fuente de comparación
- Epoch AI mirror · CursorBench
- Versión / tareas
- CursorBench 4.1 · official-current-suite
- Métrica / unidad
- score · percent
FrontierCode 1.1 · Main
Tareas de código difíciles centradas en la integración, conservando agente y nivel de razonamiento.
- Fuente de comparación
- Epoch AI mirror · FrontierCode 1.1
- Versión / tareas
- FrontierCode 1.1 · main-100-hardest-tasks
- Métrica / unidad
- mergeability_rubric_mean_at_5 · percent
IOI
Problemas de las olimpiadas IOI 2024 y 2025 evaluados por Vals AI con los evaluadores de la olimpiada.
- Fuente de comparación
- Vals AI · IOI
- Versión / tareas
- Vals IOI v2 · vals-ioi-2024-2026-overall
- Métrica / unidad
- score · percent
LiveCodeBench
Problemas de programación competitiva publicados después de la fecha de corte del entrenamiento; implementación independiente de Vals AI, pass@1 global. Vals AI archivó este benchmark (última actualización el 1 de septiembre de 2026) y ya no evalúa modelos nuevos; aquí ya no se añaden modelos más recientes.
- Fuente de comparación
- Vals AI · LiveCodeBench
- Versión / tareas
- Vals LiveCodeBench v1 · vals-livecodebench-overall
- Métrica / unidad
- pass_at_1 · percent
SciCode
Programación científica medida por precisión de subproblemas con pruebas Python ejecutables.
- Fuente de comparación
- Epoch AI mirror · SciCode
- Versión / tareas
- SciCode current leaderboard · scientific-research-coding-subproblems
- Métrica / unidad
- subproblem_accuracy · percent
ALE-Bench
Concursos de optimización algorítmica basados en puntuación (AtCoder Heuristic); calificación de rendimiento.
- Fuente de comparación
- Epoch AI mirror · ALE-Bench
- Versión / tareas
- ALE-Bench current leaderboard · atcoder-heuristic-contest-set
- Métrica / unidad
- performance_rating · points
Vibe Code Bench
Creación de aplicaciones web completas desde cero en un entorno de agente, evaluada por Vals AI.
- Fuente de comparación
- Vals AI · Vibe Code Bench
- Versión / tareas
- Vals Vibe Code Bench v1.1 · vals-vibe-code-bench-overall
- Métrica / unidad
- score · percent
Text Arena · Coding
Preferencias humanas para aplicaciones web generadas con React y TypeScript.
- Fuente de comparación
- LMArena WebDev Arena
- Versión / tareas
- 2026-11-20 · overall-code-arena
- Métrica / unidad
- arena_score · points
ProgramBench
Reconstruir desde cero programas de línea de comandos a partir solo de un binario ejecutable y una especificación de comportamiento; ejecución de Vals AI sobre 200 tareas públicas con mini-swe-agent, porcentaje de tareas que superan todas las pruebas ocultas.
- Fuente de comparación
- Vals AI · ProgramBench
- Versión / tareas
- Vals ProgramBench v1 · vals-programbench-200-public-tasks
- Métrica / unidad
- fully_resolved_rate · percent
WeirdML v3
Sucesor de WeirdML v2: 11 nuevas tareas de aprendizaje automático y análisis de datos resueltas de forma agéntica dentro de agentes de programación; la puntuación oficial también premia la eficiencia en tokens. No es comparable con WeirdML v2.
- Fuente de comparación
- Epoch AI mirror · WeirdML v3
- Versión / tareas
- WeirdML v3 current leaderboard · weirdml-v3-11-agentic-tasks
- Métrica / unidad
- token_efficiency_weighted_score · percent
Agentes y herramientas
Terminal-Bench 2.1
Ejecución independiente de Terminal-Bench 2.1 por Vals AI con un entorno de agente uniforme; los informes de los proveedores siguen siendo complementarios.
- Fuente de comparación
- Vals AI · Terminal-Bench 2.1
- Versión / tareas
- Vals Terminal-Bench 2.1 v2.1 · vals-terminal-bench-2-1-overall
- Métrica / unidad
- accuracy · percent
Terminal-Bench 4.0
Ejecución independiente de Vals AI sobre las 66 tareas de Terminal-Bench 4.0 con un entorno de agente uniforme (mini-swe-agent), pass@1 medio en tres ejecuciones; la ejecución con límite de pasos de Artificial Analysis y los informes de los proveedores siguen siendo complementarios.
- Fuente de comparación
- Vals AI · Terminal-Bench 4.0
- Versión / tareas
- Vals Terminal-Bench 4.0 v4.0 · vals-terminal-bench-4-overall
- Métrica / unidad
- accuracy · percent
SRE Bench
Ingeniería inversa de software, no fiabilidad de sitios: 262 binarios sin contaminación, en parte ofuscados, que cada modelo analiza en el mismo bucle de agente solo con shell; Vals AI, porcentaje de instancias con las seis tareas resueltas.
- Fuente de comparación
- Vals AI · SRE Bench
- Versión / tareas
- Vals SRE Bench v1 · vals-sre-bench-262-instances
- Métrica / unidad
- fully_solved_rate · percent
τ³-Banking · Artificial Analysis harness
Ejecución propia de Artificial Analysis sobre el mismo dominio: 97 tareas, recuperación BM25/grep y otro usuario simulado. El simulador forma parte de la medición, por eso es una columna aparte y no una segunda opinión.
- Fuente de comparación
- Artificial Analysis · Intelligence Index evaluations
- Versión / tareas
- τ³-Banking (Artificial Analysis) · banking-97-tasks-gpt-5-4-mini-simulator
- Métrica / unidad
- pass_at_1 · percent
MCP-Atlas · Scale
Uso de herramientas en varios pasos en condiciones reales con 1.000 tareas, 36 servidores MCP y 220 herramientas. La vía comparable usa el protocolo recalificado por Scale en abril de 2026, todas las tareas públicas y privadas, un presupuesto de 100 llamadas a herramientas y la fecha de publicación exacta de cada fila.
- Fuente de comparación
- Scale AI Labs · MCP-Atlas
- Versión / tareas
- MCP-Atlas April 2026 rescored protocol · all-1000-public-500-private-500
- Métrica / unidad
- pass_rate · percent
SkillsBench v1.1
Benchmark auditado de agentes en 87 tareas profesionales; los protocolos con y sin habilidades permanecen separados.
- Fuente de comparación
- SkillsBench v1.1
- Versión / tareas
- v1.1 · official-87-tasks-with-skills
- Métrica / unidad
- pass_rate · percent
APEX-Agents
Trabajo profesional de largo alcance en banca, consultoría y derecho con herramientas de oficina y ejecución de código.
- Fuente de comparación
- Epoch AI mirror · APEX-Agents
- Versión / tareas
- APEX-Agents · Epoch evaluation since 2026-09-30 · 480-professional-tasks-33-worlds
- Métrica / unidad
- pass_at_1 · percent
Berkeley Function Calling Leaderboard V4
Llamadas a funciones, uso de herramientas en varios turnos y resistencia a alucinaciones en BFCL V4.
- Fuente de comparación
- BFCL V4
- Versión / tareas
- v4-ede5081a24bc · overall
- Métrica / unidad
- overall_accuracy · percent
LMArena Agent Arena
Evaluación de resultados de agentes según preferencias humanas. Cada puntuación conserva el modelo enviado, la etiqueta de razonamiento declarada, el intervalo de confianza y el número de observaciones.
- Fuente de comparación
- LMArena Agent Arena
- Versión / tareas
- 2026-11-18 · overall-ips-aggregate
- Métrica / unidad
- ips_score · ips
AppWorld
Benchmark interactivo de agentes de código sobre aplicaciones y API controlables; el modelo, el método, el scaffold y las métricas por tarea y escenario permanecen ligados a cada ejecución.
- Fuente de comparación
- AppWorld official leaderboard
- Versión / tareas
- official-e903f4aa1c0d · test-challenge-all
- Métrica / unidad
- task_goal_completion · percent
Vending-Bench 2
Simulación empresarial de largo alcance: saldo final medio en USD tras un año simulado.
- Fuente de comparación
- Epoch AI mirror · Vending-Bench 2
- Versión / tareas
- Vending-Bench 2 current leaderboard · one-simulated-year-mean-final-balance
- Métrica / unidad
- mean_final_balance_usd · USD
GDPval-AA v2.1
Sucesor de GDPval-AA v2: las mismas 220 tareas y jueces, con el Elo reajustado y anclado a DeepSeek V4.1 Flash (max) en 1600 – no comparable con los valores de v2.
- Fuente de comparación
- Artificial Analysis · Intelligence Index evaluations
- Versión / tareas
- GDPval-AA v2.1 (Crowd-BT Elo, DeepSeek V4.1 Flash (max) at 1600) · 220-tasks-elo-v2-1
- Métrica / unidad
- elo · points
¿Qué nos dicen realmente los datos?
No nos limitamos a mirar qué modelo obtiene más puntos. Estos análisis muestran dónde la evidencia sostiene una comparación, dónde faltan mediciones y qué conclusiones serían excesivas.
Los indicadores se calculan con el mismo estado de los datos que la tabla. La interpretación es de LLM Benchmarks; las mediciones proceden de las fuentes citadas.
Cómo utilizar estos análisis
La selección de modelos y la disponibilidad de pruebas publicadas condicionan cada análisis. Más evidencia significa más información verificable, no automáticamente un modelo mejor. Cada informe indica su unidad de recuento, fecha de los datos y limitaciones. Los informes se recalculan con el conjunto publicado y no son repeticiones independientes de las pruebas.
Leer comparaciones concretas y casos prácticos →
01Modelos abiertos pequeños: ¿qué evidencia respalda la comparación?
Elegir un modelo abierto pequeño exige más que un buen resultado aislado. Para los modelos seleccionados con menos de 36.000 millones de parámetros totales, examinamos cuántos pares modelo-benchmark tienen evidencia y dónde es directamente comparable.
Una cobertura amplia facilita la preselección. Mide la evidencia disponible, no la calidad del modelo ni sus necesidades de memoria.
¿Cuánta evidencia hay disponible?
Un par combina un modelo y un benchmark de la tabla completa. Varios niveles de razonamiento cuentan una sola vez; los estudios de cuantización no cuentan como evidencia del modelo base. «Comparable» exige al menos un resultado sin conflictos con ese estatus en la tabla. Se consideran todas las configuraciones base registradas, no solo la vista filtrada actual.
Cada barra abarca todos los pares posibles de su ámbito. Cifras: comparables / documentados / posibles.
Recuento propio a partir de los datos públicos. Datos del: . JSON · CSV
¿Qué implica para elegir un modelo?
Busca primero evidencia en tu ámbito. Muchas mediciones de conocimientos no cubren una carencia en agentes de programación. Compara después los benchmarks comunes a tus candidatos y revisa sus protocolos. Los parámetros totales desconocidos no se deducen de los nombres y no permiten entrar en este análisis de menos de 36B.
Las partes claras del gráfico son lagunas de información en nuestros datos. Un modelo puede haberse evaluado en otro lugar sin que dispongamos de un registro publicable. La selección de modelos también está organizada. Por tanto, las barras no demuestran una ventaja general de modelos abiertos o cerrados.
Reproducir el análisis
En el JSON, selecciona modelos abiertos con un total documentado de parámetros mayor que cero y menor que 36.000 millones. Incluye solo benchmarks del sitio. Deduplica la evidencia base por modelo y benchmark y separa las variantes cuantizadas. El conjunto incluye resultados antiguos que siguen siendo publicables. Comprueba además las fechas individuales antes de decidir qué utilizar.
02Mismo benchmark, condiciones distintas
Dos resultados publicados pueden ser correctos sin permitir calcular una diferencia justa. Contamos cuántos pares modelo-benchmark tienen evidencia comparable y explicamos la distinción mediante nuestros protocolos de evaluación.
Medido en común no significa automáticamente directamente comparable. La versión, las tareas y la configuración deben coincidir antes de calcular diferencias.
Documentado no siempre significa comparable
El análisis cuenta pares entre todos los modelos seleccionados y los benchmarks del sitio. Un par está documentado cuando existe al menos un resultado base. Para ser comparable necesita además un resultado sin conflictos con el estatus correspondiente en la tabla. El resto solo contiene evidencia complementaria o no directamente comparable. Las variantes de razonamiento no se cuentan varias veces.
Cada barra abarca todos los pares posibles de su ámbito. Cifras: comparables / documentados / posibles.
Recuento propio a partir de los datos públicos. Datos del: . JSON · CSV
Tres situaciones en las que una diferencia engaña
SWE-bench: un modelo en el agente de un proveedor y otro en un entorno de evaluación uniforme representan, en principio, dos sistemas. Nuestra comparación estricta de Verified usa el protocolo Vals definido. En Pro, los resultados declarados de sistemas permanecen separados del protocolo directamente comparable.
HLE: el conjunto completo y el subconjunto de texto tienen denominadores distintos. Las herramientas también cambian los métodos de resolución permitidos. Una diferencia en puntos porcentuales entre estas configuraciones no aislaría la mejora del modelo.
SWE-rebench: cambiar la ventana de tareas cambia los problemas que deben resolverse. Una ventana antigua documentada puede formar su propia cohorte de comparación. Su puesto pertenece a esa ventana y no debe equipararse al de la actual.
Una comparación defendible en tres pasos
Selecciona entre dos y cuatro modelos y un ámbito relevante. Limita la vista a benchmarks medidos para todos ellos. Después revisa las etiquetas de comparabilidad y los detalles antes de interpretar las diferencias frente al modelo de referencia. Una diferencia técnicamente válida tampoco es una prueba de significación estadística.
Nuestra conclusión: un resultado adicional de proveedor aporta información sin crear automáticamente otro puesto justo. Hacer visible esta distinción es más útil que forzar todos los resultados en una única clasificación.
03Más razonamiento no garantiza un mejor resultado
A menudo se equipara más cálculo con un mejor resultado. Buscamos ejemplos documentados donde un nivel fijo superior de razonamiento obtiene menos puntos con la misma configuración de evaluación declarada.
Un contraejemplo cuestiona una mejora garantizada. No significa que razonar menos sea mejor en general.
Ejemplos de este estado de los datos
Comparamos niveles fijos documentados del mismo modelo, fuente, versión, conjunto de tareas, métrica, herramientas, orquestación del agente y evaluación. Los tamaños de muestra declarados también deben coincidir. Usamos evidencia actual y reciente del protocolo canónico, sin conflictos ni avisos de contaminación. Excluimos varios resultados ambiguos para un mismo nivel.
Claude Fable 5.1 · CritPt
CritPt current leaderboard · Epoch AI mirror · CritPt
Fechas de referencia de la evidencia: 28 de octubre de 2026 / 28 de octubre de 2026. No demuestra un efecto causal del razonamiento.
Claude Fable 5.1 · AA Index
Artificial Analysis Intelligence Index v5.0.1 · Artificial Analysis · Intelligence Index evaluations
Fechas de referencia de la evidencia: 6 de noviembre de 2026 / 6 de noviembre de 2026. No demuestra un efecto causal del razonamiento.
Claude Fable 5.2 · CritPt
CritPt current leaderboard · Epoch AI mirror · CritPt
Fechas de referencia de la evidencia: 11 de noviembre de 2026 / 11 de noviembre de 2026. No demuestra un efecto causal del razonamiento.
Qué permiten afirmar estos ejemplos
Son contraejemplos seleccionados deliberadamente, no una muestra representativa ni una estimación de frecuencia. Las distintas fechas y los ajustes no revelados pueden seguir influyendo. Sin repeticiones y un análisis adecuado de incertidumbre, no puede establecerse la causa de una diferencia.
Por eso la tabla selecciona por defecto el nivel documentado más alto de la serie elegida y no el mejor resultado escogido después entre todos los niveles. Así la regla es rastreable. En tu aplicación, evalúa conjuntamente calidad, latencia y coste; estos resultados de calidad por sí solos no forman una clasificación de eficiencia.
¿Quién gestiona esta página?
LLM Benchmarks es un proyecto gestionado de forma privada por Christopher Böhm. Reúne evaluaciones publicadas de modelos, sus fuentes y limitaciones para compararlas en un mismo lugar.
Una selección rastreable nos importa más que una clasificación aparentemente indiscutible. Toda comparación debe permitir llegar a su evidencia.
Nuestra aportación
Relacionamos identidades de modelos y versiones de benchmarks, separamos condiciones de prueba distintas, señalamos información incierta o contradictoria y ofrecemos funciones de comparación y exportación. Las explicaciones y análisis hacen comprensibles estas decisiones. No presentamos mediciones de terceros como pruebas propias.
Responsabilidad y mantenimiento
Christopher Böhm es el responsable y contacto del proyecto. La recopilación y las comprobaciones técnicas están parcialmente automatizadas. El proyecto mantiene las reglas de publicación, la atribución de fuentes y la evidencia complementaria seleccionada. La automatización puede propagar errores; por eso los enlaces a fuentes, los detalles y el contacto para correcciones forman parte del servicio.
Financiación y reglas de selección
El responsable acepta apoyo voluntario mediante PayPal. El sitio no muestra publicidad. La inclusión de modelos, la selección de mediciones y los puestos siguen las reglas de datos descritas en la metodología. Citar una fuente documenta el origen de un resultado y no constituye una recomendación de producto.
Contacto y correcciones
¿Has encontrado un resultado incorrecto, una identificación errónea o una limitación ausente? Envía el nombre del modelo, el benchmark, la información afectada y, si es posible, una fuente original. También agradecemos sugerencias sobre pruebas publicadas que falten. No envíes datos confidenciales.