SRE-Bench está construido alrededor de una sola idea: mantener las preguntas lejos del modelo. Diecinueve programas escritos desde cero por especialistas en ingeniería inversa, más de cinco mil horas de expertos (según el paper), unas 16.900 líneas de media cada uno, compilados en 262 binarios con 44 mecanismos antianálisis hechos a mano y 1.572 tareas corregidas de forma determinista. Todo privado, todo nuevo, justo para que ningún modelo pudiera haberlo visto en el entrenamiento. Es una cantidad extraordinaria de trabajo humano gastada en una propiedad que no tiene nada que ver con la ingeniería inversa.
Y OpenAI reporta GPT-6 Astra al 99,2% en pass@4, con su propio harness y sin límite de pasos. En el leaderboard de Vals, el mismo modelo saca un 56,87%. Mismo modelo, distinto harness y distinta métrica, cuarenta puntos de diferencia. Quédate con ese número, porque vuelve en la sección sobre contaminación adquirida.
Se lee como una historia de seguridad. Filtraciones, conjuntos reservados, secretismo, contaminación. Es una historia de medición, es mucho más vieja que todo esto, y la disciplina que la posee le puso nombre antes de que naciera la mayoría de nosotros. El nombre es exposición de ítems.
Un ítem que se ha visto deja de medir
Esto es lo que un benchmark es de verdad. No una lista de problemas. Un conjunto de ítems, cada uno de los cuales existe para separar a un examinado de otro. Un ítem se gana su sitio siendo lo bastante difícil para que no todos lo acierten, lo bastante fácil para que no todos lo fallen, y estando correlacionado con lo que intentas medir, de modo que quien lo acierta tiende a ser quien de verdad es mejor.
Esa última propiedad se llama discriminación, y es la primera que muere.
Cuando un ítem circula, su dificultad se hunde, porque lo que lo hacía difícil era no saber ya la respuesta. El ítem no se vuelve incorrecto. Se vuelve poco informativo. Todos lo aciertan, así que ya no separa a nadie de nadie y no aporta al resultado más que una constante. Una prueba hecha solo de ítems así produce un número sin varianza, que es un número que no puede ordenar, no puede detectar mejora y no puede suspender a nadie.
Donde la curva cruza la línea está la fecha de retirada, la escriba alguien o no.
Las pruebas de alto riesgo conviven con esto desde la primera vez que dos candidatos compararon notas a la salida de un examen. La respuesta nunca fue encontrar la filtración. La respuesta fue asumir la exposición como un coste constante y continuo de operar una prueba, y construir la maquinaria para absorberlo: bancos de ítems grandes, formas paralelas montadas con la misma especificación, calendarios de rotación y, en los tests adaptativos, un control explícito de exposición que limita cuántas veces se puede administrar un mismo ítem. El método que todo el mundo cita para eso es el de Sympson y Hetter, de mediados de los ochenta. Cuarenta años de práctica, y todo su sentido es que los ítems se gastan y se planifica con ello.
Cada solución actual es control de exposición con más presupuesto
Un paper de taxonomía de agosto, de Angulo, Yeste y Espinos-Morato, organiza la contaminación por la mitigación que derrota y no por cómo ocurrió, que es el orden correcto. Cinco categorías: directa, derivada, temporal, distribucional y adquirida, esta última ocurriendo durante la propia ejecución de la evaluación y no durante el entrenamiento.
Ponlas al lado de lo que la psicometría ya hace y la correspondencia da casi vergüenza.
Esconder los ítems cierra la primera fila. La quinta se cierra con la sala.
La contaminación directa es para lo que sirve un banco de ítems seguro. La derivada, cuando se filtró una paráfrasis o una variante en lugar del original, es para lo que sirven las formas paralelas por plano: montas una forma nueva con la misma especificación en vez de reutilizar las mismas preguntas. La temporal es la retirada de ítems con calendario. La distribucional es la más antigua del libro y la menos discutida aquí, porque no va de filtraciones; va de si la muestra con la que construiste la prueba se parece a la población que dices medir.
Lo cual significa que las cinco mil horas de expertos de SRE-Bench no se gastaron en un problema nuevo. Se gastaron en construir una forma segura, desde cero y a mano, porque el campo no tiene un banco de ítems del que sacar una forma ni un plano contra el que montar otra. El coste es real y el trabajo parece excelente. Pero compra una sola administración. Cuando esos 262 binarios se expongan, y se expondrán, hay que reconstruir todo el instrumento desde cero en vez de refrescarlo, porque nada de cómo se montó quedó escrito de forma que alguien pueda montar otro igual.
Eso es lo que debería preocupar más a un operador que la filtración.
Un instrumento secreto no tiene evidencia de validez publicada
Ahora el intercambio que nadie pone precio.
Si no puedo ver tus ítems, no puedo comprobar si tu benchmark mide lo que dices que mide. Veo un número y una posición en una tabla. No veo si las tareas muestrean el constructo de forma pareja o se amontonan en una esquina, si los ítems difíciles lo son por la razón que crees, o si dos tercios de tu puntuación los empuja una sola habilidad fácil de corregir.
La psicometría resolvió esto sin renunciar a la seguridad, y la solución es la idea más transferible de este ensayo. Se publica el plano y las estadísticas. Se guardan los ítems.
El plano es la especificación: cuáles son los dominios, cuántos ítems salen de cada uno, qué nivel cognitivo apunta cada uno, qué cuenta como respuesta correcta. Las estadísticas son las propiedades psicométricas de la forma: la distribución de dificultad, la distribución de discriminación, el coeficiente de fiabilidad, la dimensionalidad. Nada de eso te permite responder un solo ítem. Todo eso permite a alguien de fuera juzgar si el instrumento es bueno.
Nadie de fuera puede responder un solo ítem con la columna izquierda, pero sí puede juzgar si el instrumento entero es bueno.
Ve a mirar cuántos benchmarks de LLM publican la columna izquierda. Un número de tareas y una descripción del dominio, normalmente. Distribución de dificultad, casi nunca. Discriminación, esencialmente nunca. Fiabilidad entre ejecuciones, rara vez, y cuando aparece es una desviación típica sobre tres semillas y no algo que puedas llamar coeficiente.
Así que el campo ha llegado a lo peor de los dos mundos: instrumentos lo bastante secretos para que nadie pueda auditarlos y documentados con tan poco detalle que nadie puede reconstruirlos. Un benchmark privado con plano publicado es un programa de medición serio. Un benchmark privado sin él es un número que tienes que aceptar por fe.
La contaminación adquirida es otro fallo
La quinta categoría de esa taxonomía es la que yo separaría por completo de las otras cuatro, porque tratarla como un problema de ítems te llevará a la solución equivocada.
La contaminación adquirida ocurre durante la ejecución. El agente busca en la web en vivo y recupera la respuesta, o lee el harness de corrección, o encuentra el repositorio del que se sacó la tarea. El ítem nunca se expuso. Se expuso el entorno.
Eso no es control de exposición. Son condiciones de administración, que en la psicometría es un aparato completamente aparte y con nombre propio: vigilancia del examen. No arreglas a un candidato que googlea la respuesta escribiendo preguntas nuevas. Lo arreglas controlando lo que contiene la sala.
La consecuencia práctica para quien ejecuta un eval de agentes es que el acceso a red durante una ejecución es una condición de puntuación, no un detalle de implementación, y va en el informe junto a la nota. El paper de la taxonomía llega a la misma conclusión desde el otro lado: la contaminación adquirida hay que documentarla con cada puntuación reportada y no una vez en el lanzamiento del benchmark, porque es una propiedad de la administración y no del instrumento. Dos ejecuciones del mismo benchmark, una aislada y otra con navegador en vivo, son dos pruebas distintas. Los números de SRE-Bench muestran el tamaño de la brecha: 99,2% en pass@4 con un harness a medida y sin límite de pasos, 56,87% en un leaderboard público. Desde fuera no puedo decirte cuánto de eso es la administración, y el leaderboard tampoco, porque ninguna de las dos ejecuciones reporta sus condiciones junto a la nota.
Qué aspecto tiene esto un miércoles
Cinco cosas que cambiaría en cualquier programa de evals que hoy reporte un número de leaderboard.
Mide tu propia exposición en vez de adivinarla. Aparta unos cuantos ítems de cada versión y vuelve a pasar los retirados cada trimestre. Lo que vigilas no es la nota, es si la discriminación está cayendo. Cuando un ítem deja de separar a tus modelos candidatos, está gastado, y lo verás mucho antes de enterarte de una filtración.
Escribe el plano antes que los ítems. Dominios, cuántos ítems de cada uno, qué es una respuesta correcta, cómo se puntúa. Cuesta una tarde, hace que la siguiente versión sea montable en vez de reconstruible, y es el único artefacto que permite a otro fiarse de una batería que no puede ver.
Publica las estadísticas aunque los ítems sigan privados. Distribución de dificultad, distribución de discriminación, fiabilidad entre ejecuciones repetidas y cuántos factores salen de las correlaciones. Si te parece demasiada ceremonia para un eval interno, piensa que usas el resultado para decidir qué modelo atiende a tus clientes.
Trata una nota sin intervalo como si no hubiera nota. Una ejecución es una estimación puntual de algo ruidoso. Ya he escrito sobre lo que esconde la distribución detrás de una estimación puntual, y el número de un benchmark es el mismo argumento con otro sombrero.
Presupuesta la escritura de ítems como un coste fijo. No un proyecto, una partida. Los ítems se gastan, es su naturaleza, y una batería de evals construida una vez y nunca refrescada mide los modelos del año pasado con la varianza del año pasado.
Cierre
Lo caro de SRE-Bench no es la ingeniería inversa. Es que cinco mil horas de expertos compraron una forma, sin plano para montar la siguiente y sin estadísticas publicadas para que alguien de fuera juzgue la primera.
Nada de esto requiere ciencia nueva. Requiere darse cuenta de que una batería de evals es un instrumento de medida, de que los instrumentos de medida tienen cien años de práctica operativa detrás, y de que casi todos los problemas que este campo descubre con nombres nuevos los resolvieron, despacio y caros, personas que intentaban montar un examen justo.
La filtración no es el suceso. La filtración es el clima. Construye para ella.