#evaluation

Los evals se escriben como tests unitarios y se comportan como tests psicológicos. Un siglo de teoría de la medida ya puso nombre a los fallos que los equipos redescubren.

SRE-Bench gastó cinco mil horas de expertos en mantener secretas sus preguntas. La psicometría lleva cuarenta años resolviendo ese problema y lo llama de otra forma.

McKinsey encuestó a 1.719 directivos en agosto. Las grandes que escalan agentes suben al 40%. Las que mueven beneficio siguen en el 6%. Parte de esa brecha es arquitectura.

Gartner dice que el 40% de las aplicaciones de empresa llevarán agentes este año, y que casi todos los proveedores mienten. Las dos cosas son ciertas porque «agente» dejó de ser una palabra técnica.

Karpathy reencuadró los LLM como fantasmas entrenados por imitación de texto, no animales que aprenden el mundo. El paso del vibe coding a la ingeniería de agentes es lo que producción llevaba esperando.

El País nos contó. El puñado que entrena modelos de verdad hace algo distinto al resto de la fuerza laboral de IA, y lo que hacemos está cambiando de una forma que el titular se pierde.

Notas de un ProductTank Madrid que organizamos en Shakers, sobre qué cambia cuando la IA entra en un equipo de producto y qué no.