Trabajo
En qué trabajo
Dirijo la IA en Shakers, un marketplace de talento flexible en Madrid. Ese es el trabajo diario y de ahí sale cada opinión de este sitio. Fuera de él doy charlas, participo en órganos de asesoramiento y de vez en cuando doy clase.
Si estás intentando que un sistema de IA pase de la demo a producción, estos son los sitios donde sirvo.
01
Arquitectura de agentes que aguanta el volumen
Dónde se parte el bucle, qué puede tocar cada paso y qué llamadas necesitan un modelo frontera y cuáles un modelo pequeño detrás de un contrato fijo. Casi todos los agentes en producción son un prompt largo con herramientas colgadas, y de ahí salen la factura y el infierno de depurarlos.
02
Harnesses de evaluación y la teoría de la medida que hay debajo
Una suite de evals es un instrumento de medida, así que tiene fiabilidad, dimensionalidad y validez lo compruebe alguien o no. Vengo de la psicometría, el campo que se pasó un siglo infiriendo cosas que no podía observar. Sirve sobre todo cuando la verdad de campo llega tarde, se discute, o es una decisión humana en lugar de una etiqueta.
03
La pila de debajo: routing, trazas, coste por turno
Qwen autoalojado en AWS con vLLM para los flujos sensibles y APIs frontera para el resto. Langfuse y Datadog para trazas, Promptfoo para evals. El trabajo casi nunca es el modelo. Es saber qué llamada fue a dónde, cuánto costó y qué costura se degradó mientras nadie miraba.
04
Reglamento de IA, leído como restricción de ingeniería
Clasificación de riesgo, sistema de gestión de calidad, documentación técnica, y el punto exacto en el que el Anexo III aterriza sobre un modelo de datos. Dirigí el programa de adaptación de 8 meses en Shakers como una de las 12 empresas del Sandbox IA España, con la DG IA y BBVA. Es un problema de construcción antes que uno jurídico.
05
El diseño de organización que decide si aquello sale
Quién es dueño de una capacidad, qué aspecto tiene un contrato entre dos equipos, y por qué un roadmap pensado para features limita en qué se puede convertir un sistema de IA. Suele ser el bloqueo real y casi nunca está en el orden del día.
En la práctica
- Charlas y mesas redondas. Congresos, offsites de empresa, clases en universidad.
- Revisiones de arquitectura y de evals. Leer vuestras trazas y vuestra suite con el equipo delante, y decir dónde el bucle y la medida no se están contando lo mismo.
- Sesiones regulatorias. Preparación para el Reglamento de IA con ingeniería y legal en la misma sala, porque las respuestas viven en el modelo de datos.
- Asesoramiento. Comités y asesoramiento continuado sobre IA en producción y evaluación.
Las sesiones pasadas, con fechas y quién las organizó, están en la página de charlas. La página de investigación es de donde viene la mitad de medición de todo esto.
Empezar una conversación
Treinta minutos, sin presentación. Trae el sistema y el problema en el que estás atascado. Si no soy la persona adecuada te lo digo en la llamada, y normalmente sé quién sí lo es.
Agendar 30 minutos→