Llevas tres años poniendo el mismo ejercicio. Un componente pequeño de React, una hora, un editor compartido. Antes ordenaba a la gente. Los buenos acababan pronto y hablaban de casos límite. Los flojos se atascaban con el estado. Este año lo acaba todo el mundo, el código se parece sospechosamente y no recuerdas la última vez que el ejercicio cambió una decisión.
El martes pasado Felix Rieseberg, manager de ingeniería en Anthropic, escribió que había dejado de usarlo. "Este mes he enterrado la entrevista de código tradicional." En X lo dijo más corto: la entrevista de código ha muerto. Las respuestas se partieron como siempre. Jaana Dogan, principal engineer en Google, dijo que prefería ver cómo usa la gente los agentes de código. La economista de ZipRecruiter le dijo a The Register que las empresas no están abandonando las pruebas técnicas, están cerrando la sala.
Creo que los dos bandos describen lo mismo y ninguno le ha puesto nombre. La entrevista de código no ha muerto. Se ha saturado, igual que se saturan los benchmarks, y la gente que construye tests sabe desde hace décadas qué hacer cuando pasa eso.
Tres versiones en dos años
El mejor registro de esto también es de Anthropic. En enero, Tristan Hume contó la prueba para casa que su equipo de ingeniería de rendimiento usaba desde principios de 2024. Los candidatos optimizan código para un acelerador simulado. Tardó dos semanas en diseñarla para que recogiera lo que pide el puesto, y lo consiguió. La hicieron unos mil candidatos y, en sus palabras, les "ayudó a contratar a la mayor parte del equipo actual".
Entonces una versión previa de Claude Opus 4 la hizo y, según Hume, "encontró una solución más optimizada que casi todos los humanos dentro del límite de 4 horas". Bajó el tiempo a dos horas, quitó la parte multinúcleo y primó la idea ingeniosa sobre el volumen. La versión dos duró hasta una versión previa de Opus 4.5, que igualó la mejor puntuación humana al llegar a las dos horas. La versión tres, la actual, es una serie de puzles sobre un juego de instrucciones mínimo y artificial, elegido para quedar, en sus palabras, "suficientemente fuera de distribución".
La primera versión duró unos dieciséis meses. La segunda, unos seis. Nadie sabe cuánto aguantará la tercera.
La frase de su post que se me quedó es sobre la versión tres. "Todavía me da pena haber renunciado al realismo y a la profundidad variada de la original. Pero puede que el realismo sea un lujo que ya no nos podemos permitir." Es un diseñador de tests admitiendo que ha cambiado lo que hacía predictiva la prueba, porque la versión realista ya no distinguía a un buen ingeniero de un buen ingeniero con un modelo.
Eso es saturación, y tiene nombre
En mi post sobre evals escribí que un ítem que aprueban todos los modelos no te dice nada sobre qué modelo elegir. Cambia modelos por candidatos y no cambia nada. Un ejercicio que resuelve todo el mundo, porque todo el mundo tiene el mismo asistente, tiene discriminación cero. Sigue costando una hora de dos personas. Sigue dando una nota. Lo que pasa es que la nota ya no separa a nadie.
Rieseberg lo dice él mismo, con más honestidad que la mayoría. Resolver problemas pequeños rápido "era un predictor débil pero útil". Encaja con la investigación. La revisión de 2022 de Paul Sackett sobre la literatura de selección pone las muestras de trabajo en una correlación de ,33 con el rendimiento posterior. Débil, útil y mejor que casi todo lo que se usa para contratar. Luego llegó una herramienta que cualquier candidato puede usar y que resuelve la muestra. Un ítem de ,33 que aprueba todo el mundo es un ítem de 0.
Es la misma historia que la contaminación de benchmarks, de la que escribí el mes pasado con su nombre antiguo. Un test funciona mientras quien lo hace no puede ver las respuestas. Cuando puede, las notas suben y la información se va.
Tres salidas
Todo el que discute esta semana está eligiendo una de tres salidas. Dos son jugadas antiguas con ropa nueva.
Cerrar la sala. Pruebas vigiladas o presenciales. ZipRecruiter dice que el 70 % de las empresas del sector de la información ya va por ahí para evitar trampas con IA. Sundar Pichai ha dicho que Google mantendrá al menos una ronda presencial. Funciona, en el sentido estrecho de que la nota vuelve a ser del candidato. Pero ahora mide cómo programa alguien sin la herramienta que va a usar todos los días. Obtienes una medida limpia de una habilidad que el puesto usa menos cada trimestre.
Quitar la prueba. Es la jugada de Rieseberg, y reconoce que todavía no ha encontrado el sustituto. De momento está "revisando CV y portfolios en busca de pequeños prototipos que muestren gusto, empatía y pensamiento con principios". Me gusta el instinto y desconfío del método. El gusto juzgado por una persona, sin una rúbrica escrita antes, es una entrevista no estructurada hecha sobre un perfil de GitHub. Sackett pone la entrevista no estructurada en ,19. Y "hunger beats tenure", el titular de su post, es el tipo de criterio que, como recordaba The Register, ha llevado a empresas tecnológicas a pleitos por discriminación por edad.
El ejercicio de código vivía en la fila de la muestra de trabajo. Un portfolio leído a ojo, sin rúbrica, baja a la fila resaltada.
Probar el trabajo tal como es hoy. La versión tres de Hume permite IA. Google está probando una ronda de comprensión de código con Gemini activado. Meta y Canva tienen rondas con IA. Dogan quiere ver a la gente manejar un agente. Es la única salida que mide el puesto actual, y es más difícil de lo que parece, porque "usa bien el agente" no es una nota hasta que alguien escribe qué significa bien.
El trabajo ahora es sobre todo leer
¿Cómo es el puesto actual? La semana pasada escribí que lo caro del trabajo generado con IA es leerlo. El modelo teclea. El ingeniero decide si lo que tecleó es verdad, si encaja con las cincuenta mil líneas que ya hay y qué hay que tirar. Esa decisión es el trabajo. Así que eso es lo que debería muestrear la entrevista.
Esto es lo que yo construiría. Dale al candidato un cambio escrito por un agente sobre un código realista, unos cientos de líneas con unos cuantos defectos sembrados. Deja el agente disponible. Pide una revisión. Puntúa lo que detecta, lo que marca y no estaba mal, lo que borraría y cómo demostraría que el arreglo funciona.
Hay una propiedad bonita escondida ahí. Un estudio de ICML 2025 encontró que, en un leaderboard, cuando dos modelos se equivocan, coinciden en la respuesta equivocada el 60 % de las veces. Los modelos comparten puntos ciegos. Siembra defectos de ese tipo, los que un segundo modelo deja pasar, y tienes ítems que el asistente no puede saturar por el candidato. El test sigue siendo realista y sigue siendo difícil, por la misma razón por la que lo es el trabajo.
La salida de la izquierda mide bien el trabajo de ayer. La del medio deja de medir. Solo la de la derecha muestrea el trabajo tal como se hace hoy.
No lo he validado. Nadie lo ha hecho a escala, y quien te diga que su entrevista para la era de la IA está probada te la está vendiendo. Hume cuenta que las notas de la versión tres "correlacionan bien con el nivel del trabajo previo de los candidatos", que es la comprobación correcta, y él mismo dice que es pronto. Así está el campo, sin adornos.
Lo que cambiaría este trimestre
Si llevas un proceso técnico, cuatro cosas. Ninguna necesita un proveedor.
Comprueba si tu ejercicio sigue discriminando. Saca las tasas de aprobados de los dos últimos años. Si ahora aprueba casi todo el mundo, la ronda es peso muerto, y ya tienes los datos para demostrarlo.
Elige una salida por ronda, y dilo. IA prohibida en esta ronda, obligatoria en aquella, y el candidato lo sabe por escrito. Si nadie lo dice, la nota significa una cosa para quien usó un modelo y otra para quien no.
Escribe la rúbrica antes del primer candidato. Sustituyas el ejercicio por lo que lo sustituyas, las preguntas y lo que tiene una buena respuesta se escriben antes y se le preguntan a todos. Esa costumbre sola es la distancia entre ,19 y ,42.
Cierra el círculo. Guarda la nota de la entrevista y vuelve a mirar a los seis meses. Si la ronda no predice quién lo hizo bien, cámbiala antes de la siguiente tanda de contrataciones, no después.
Cierre
El ejercicio nunca fue lo importante. Era un ítem, y los ítems se gastan. La pregunta para la próxima ronda de contrataciones no es si seguir entrevistando a ingenieros. Es qué les vas a preguntar que el modelo no pueda contestar por ellos, y cuántos meses te va a durar esa pregunta.