Dos modelos en casa: DeepSeek V4 Flash contra Qwen 3.8 27B

En APEXiA no alquilamos inteligencia por token. La compramos una vez, en forma de hardware, y la corremos aquí. Eso significa que cada modelo que ponemos en producción tiene que ganarse el puesto midiendo, no leyendo lo que dice su ficha.

Durante el último mes medimos dos: DeepSeek V4 Flash 0731, un modelo tipo insignia corriendo sobre un par de máquinas GB10, y Qwen 3.8 27B, un modelo denso mucho más pequeño corriendo sobre dos tarjetas de estación de trabajo. Benchmarks de conocimiento contra referencias congeladas, tres suites agénticas, y algo que ningún leaderboard público tiene: exámenes de diagnóstico sobre nuestro propio CRM en producción, con datos reales y sin respuestas dadas. Y dos medidas que ningún leaderboard reporta: cuántos tokens le cuesta a cada modelo llegar a la respuesta, y cuánto contexto consume mientras trabaja. Ahí está la diferencia real.

1 · Las dos máquinas

Aviso de justicia. Las dos campañas corrieron este mismo mes, con una semana de diferencia (DeepSeek del 11 al 15 de agosto, Qwen del 19 al 22), pero con protocolos distintos, y la asimetría favorece a DeepSeek en la tabla de conocimiento: sus celdas corrieron con presupuestos de 384K tokens y esfuerzo de razonamiento máximo, con GPQA y AIME promediados sobre tres corridas, mientras que las de Qwen corrieron de un solo pase con topes de 120K y 30K. Cada modelo, además, se validó principalmente contra una referencia de su propio checkpoint. Trate ±2 ítems como ruido, y lea todo esto como lo que es: un MoE insignia contra un denso de 27B. La sorpresa es cuántas veces eso importa menos de lo que debería.

2 · Lo que ningún banco de pruebas mide

Los dos empatan en los exámenes. Lo que decide cuál va en cuál máquina no aparece en ninguna tabla de resultados públicos, así que lo medimos por separado: cuántos tokens le cuesta a cada uno llegar a la respuesta, y cuánto contexto consume mientras trabaja.

Eficiencia de tokens

Mismas 44 tareas de terminal, mismo agente, mismo reloj:

Qwen gasta 1.67× los tokens en total y el doble por tarea, y aun así termina en el mismo tiempo, porque las tarjetas que lo sirven decodifican 2.7× más rápido que el par que sirve a DeepSeek. El empate en minutos son dos efectos grandes que se cancelan. Por eso ningún puntaje lo muestra: los bancos de prueba miden si la tarea se resolvió dentro de un presupuesto de tiempo, y el tiempo es justo el eje donde el hardware tapa al modelo. Los dos corrieron a su máximo de razonamiento configurado, y en los dos los tokens de razonamiento están contados dentro de esa cifra.

El exceso tampoco está repartido parejo. En tareas mecánicas Qwen va igual o mejor; en las exploratorias se dispara — 8.2× en una de laberinto, 3.9× en una de demostración formal. Es una descripción más útil de su deliberación que decir que «piensa más».

Presión de contexto

Sesiones reales de trabajo sobre nuestro propio código, no tareas de banco de pruebas:

DeepSeek produjo 49% más salida y no compactó ni una vez; Qwen compactó en 3 de 12 sesiones. Los dos efectos se multiplican: el doble de tokens entrando a una ventana 3.8× más chica. En las tareas de terminal esto es invisible —ninguno de los dos pasó del 17% de su ventana— así que el banco de pruebas tampoco puede verlo. Muestra pequeña, cuatro eventos: léalo como dirección, no como significancia.

El techo de concurrencia

Y aquí la misma variable se lee al revés. Una ventana de un millón de tokens es exactamente lo que limita al par GX10 a seis flujos, porque sostener esa ventana por secuencia consume el fondo de KV. La ventana de 262K de Qwen es exactamente lo que deja entrar 32 secuencias en el mismo fondo.

Cifras del arnés corregido (24-08). Antes publicamos ~1,014 con 32 y ~182 con 6; el arnés viejo dejaba que el borrador especulativo repitiera texto ya generado y las inflaba. Con 32 usuarios el par R9700 entrega ~27 tok/s por cabeza en peticiones cortas; con contexto realista de ~6K su techo cómodo (≥20 tok/s por usuario) queda en ~16 usuarios. El par GX10 con contexto realista ronda ~88 tok/s agregados con 6 flujos, con corridas individuales entre 87 y 145 según el tema — la aceptación del borrador depende fuertemente del contenido.

Lo que cuesta en una sesión larga de código es lo que paga al servir. No son dos defectos distintos: es un solo intercambio visto desde los dos extremos.

3 · Conocimiento y razonamiento

Estos son exámenes estandarizados: ciencia de nivel doctorado, problemas de olimpiada matemática, instrucciones con requisitos exactos que hay que cumplir al pie de la letra. No miden si un modelo sirve para su negocio — miden cuánto sabe y qué tan fino razona, que es el piso sobre el que se construye todo lo demás.

⚠ Lea la tabla con esto delante: ninguna diferencia entre las columnas DeepSeek y Qwen es estadísticamente significativa (una corrida por celda, 30–120 ítems), y los presupuestos NO están emparejados — DeepSeek corrió a 384K/esfuerzo máximo, Qwen a 120K/30K. En nuestro propio banco ese tope vale 4–6 ítems en GPQA-D. No lea las columnas como un marcador.

Las columnas son el punto. A cada modelo lo comparamos contra su propia referencia: el mismo modelo, servido por su fabricante en la nube, sin que nosotros lo toquemos. Nuestra columna corre en FP8 con la caché KV también en fp8; la referencia corre en bf16 sin cuantizar. Quedar a la par de la referencia significa entonces que la cuantización y nuestro servidor, juntos, no cuestan nada medible. Si nuestra columna queda por debajo, el problema es nuestro y hay que arreglarlo antes de creerle a ningún número.

Ninguna fila de esta tabla distingue a un modelo del otro. Corrimos la prueba: con 30 a 120 ítems y una sola corrida por celda, las diferencias que se ven arriba (de 1 a 13 ítems) caen todas dentro del ruido de muestreo — ninguna sobrevive un test de significancia. Los números son medidas reales; lo que NO se puede concluir de ellos es que un modelo le gane al otro en conocimiento o en razonamiento.

Hay además un sesgo de protocolo que empuja en una sola dirección: las celdas de DeepSeek corrieron con presupuestos de 384K tokens y esfuerzo máximo, las de Qwen de un solo pase con topes de 120K y 30K. Ese efecto está MEDIDO en nuestro propio banco sobre los mismos ítems — GPQA-D pasó de 50/49/52 a 56/54/56 de 60 sólo por subir el tope, porque una respuesta vacía puntúa como fallo. Es decir: el confound vale de 4 a 6 ítems y la ventaja de DeepSeek en GPQA es de 4,3. Qwen no queda por debajo de su referencia en la nube en casi ninguna celda, que es la señal de que nuestro servidor no le está quitando nada al modelo — esa comparación es contra sí mismo y no sufre este problema.

4 · Trabajo agéntico

Aquí el modelo deja de responder preguntas y hace un trabajo. En τ²-Bench atiende a un cliente simulado que no coopera, con reglas de negocio que respetar y sistemas que operar correctamente. En Terminal-Bench se sienta frente a una terminal y tiene que llevar la tarea hasta el final, con reloj. En SWE-bench recibe un error real de un proyecto real y tiene que entregar la corrección que pasa las pruebas. Es lo más parecido que existe a medirlos trabajando.

El reloj es la historia de la fila de Terminal-Bench, y es una historia legítima: rendir bajo fecha límite es una pregunta de producto, no un tecnicismo. Pero mide la máquina tanto como al modelo. Una corrida aparte dándole a DeepSeek el triple de tiempo llegó a 0.500, lo que confirma que el techo es el cronómetro y no la cabeza. Esa corrida queda fuera de la tabla porque a los dos modelos hay que juzgarlos con el mismo reloj — y porque el reglamento de Terminal-Bench prohíbe modificar los tiempos.

Lo deliberativo de Qwen corta para los dos lados con una claridad poco común. Es lo que le permite empatar con su referencia en τ² — y cuando una falla de nuestro banco de pruebas le apagó el razonamiento sin avisar durante tres campañas, telecom se desplomó de 0.939 a 0.63. El rasgo que le cuesta horas contra el reloj es la capacidad entera en todo lo demás.

5 · Los exámenes de confianza

Tres preguntas a cada modelo, en sesiones nuevas y contra el sistema vivo: una con migajas de pan (por qué se saltó un número de conduce), una sin documentación en ninguna parte (las dos GPUs marcando 80% de uso mientras el servidor reportaba cero peticiones), y una construida sobre una premisa deliberadamente falsa — «faltan 54 ids consecutivos», cuando 51 de ellos existen. Calificados por evidencia, no por elocuencia, y con las respuestas guardadas.

Esta sección movió la evaluación más que cualquier benchmark. Los dos modelos rechazaron una premisa falsa que su examinador creía cierta. Los dos produjeron evidencia primaria que los humanos no habían levantado. El informe de GPU de Qwen es la mejor investigación que alguien ha producido aquí sobre esa pregunta, humanos incluidos — y lo escribió el 27B corriendo sobre las dos tarjetas de las que estaba escribiendo.

6 · Operación y economía

7 · ¿Pueden desarrollar el CRM?

Sí, con compuertas — y las compuertas ya existen. Esto no es un juicio especulativo. Los dos modelos acaban de pasar una noche haciendo trabajo de diagnóstico sin supervisión sobre la base de datos viva del CRM, su código, sus logs de auditoría y sus journals, y devolvieron hallazgos de nivel profesional con la evidencia adjunta. La pregunta abierta ya no es si pueden trabajar sobre este sistema, sino qué trabajo entregarles.

Quién maneja

DeepSeek maneja el desarrollo. Converge de forma decidida, es el único con un número de SWE cerrado hasta ahora (0,790) y — decisivo en la práctica — su ventana de un millón de tokens se traga el archivo entero del CRM con espacio de sobra, donde Qwen tiene que trabajar por fragmentos. Qwen ejecuta. Un humano refrenda cualquier cosa que reinicie un servicio.

Una salvedad honesta sobre los niveles: los exámenes midieron investigación, que es donde estos modelos son más fuertes, porque la verdad está sentada en la base de datos esperando que la encuentren. Escribir código nuevo no tiene ese oráculo — por eso el nivel refrendado se apoya en suites y no en confianza, y por eso el tercer nivel se queda donde está hasta que la evidencia lo mueva.

Y una conclusión que no esperábamos al empezar: el reparto de roles no es una propiedad de los modelos, es una propiedad de las máquinas. DeepSeek desarrolla porque le tocó el hardware con la ventana grande; Qwen sirve porque le tocó el que aguanta 32 sesiones. Cambie las máquinas y los papeles se cambian con ellas — el par R9700 limitado a un solo usuario tiene 539K de fondo de KV para esa sesión, más contexto del que cualquiera de nuestras sesiones reales ha llegado a usar. Lo único que no se arregla comprando hardware es la eficiencia de tokens: esa viaja con el modelo.

Queda un asterisco pendiente: SWE-bench sobre Qwen, meta 0.830 — lo que sacó su propia referencia bf16 sobre la rebanada idéntica. Cerca de la meta y Qwen sube a copiloto de desarrollo; bastante por debajo y ejecutor es el techo correcto, y este artículo lo dirá.

8 · Dónde queda esto

Un 52 no dice nada por sí solo. Dice algo al lado de lo que había antes y de lo que hay hoy. El Índice de Inteligencia de Artificial Analysis corre las mismas nueve evaluaciones sobre todos los modelos con el mismo arnés, así que la comparación es legítima:

Índice de Inteligencia de Artificial Analysis v4.1.1, nueve evaluaciones corridas por ellos. El rayado es una estimación de AA con la evaluación independiente todavía pendiente. Las dos barras de color son los modelos que corren en nuestras máquinas.

Los dos modelos que servimos en casa quedan por encima del modelo de frontera que estaba disponible en febrero —Opus 4.6 salió el 5 de febrero de 2026— y por debajo de donde está la frontera hoy. Ese es el trato, y no hace falta adornarlo: unos seis meses detrás de la punta, a cambio de que los datos del cliente nunca salgan de su infraestructura y de que el costo por token sea cero.

Y no es una apuesta solitaria. El 12 de agosto AT&T le dijo al Wall Street Journal que está apostando su futuro a modelos de pesos abiertos por exactamente las dos mismas razones: controlar el costo de los tokens y proteger sus datos propios. Corren un promedio de 45 mil millones de tokens al día. Nosotros corremos bastantes menos, pero la aritmética que lleva a la misma decisión no cambia con la escala. Belle Lin, WSJ CIO Journal, 12-08-2026.

Metodología. Cada celda es UNA corrida (GPQA y AIME promedian 3). Con 60–120 ítems, diferencias de 1 a 6 ítems entre dos columnas están dentro del ruido de muestreo: no afirmamos que un stack le gane a otro por márgenes de ese tamaño, sólo que quedan en el mismo rango. Todo número de este artículo sale de un archivo del banco de pruebas, con su corrida fechada y su bitácora. Una celda que no está cerrada se marca como pendiente en vez de mostrarse pelada. Las suites: lm-eval para conocimiento, τ²-Bench y Terminal-Bench y SWE-bench para lo agéntico, y nuestros propios exámenes contra producción — que son, al final, la única prueba que se parece al trabajo. Nuestro Terminal-Bench es terminal-bench-core (arnés 0.2.16, agente terminus-2) sobre un subconjunto de 44 tareas: no es Terminal-Bench 2.1. Las fichas de los fabricantes publican 2.1 (Qwen 73.0, DeepSeek 82.7), que es otro conjunto de tareas, otro arnés y otro protocolo. Alibaba midió su 73.0 con Claude Code, avg@10, timeout de 5 horas por tarea y max_tokens=131,072; aquí corrimos terminus-2, una sola pasada, 1 hora y 30K. DeepSeek publicó su 82.7 con su propio arnés. Esos números no se comparan con los de este artículo ni entre sí. La única referencia independiente que corre los dos modelos con un mismo arnés es Artificial Analysis, y los deja empatados: 52 y 52 en su Intelligence Index.