Volver al blog
TechDachi Gogotchuri

No te fíes de tu agente de IA. Fíate de tus gates.

Por qué cada línea que escribe un agente debe pasar las mismas reglas que la tuya.

Ponente explicando qué es un agente de IA

El primer día que dejé a un agente tocando el repositorio de producción, el informe que me devolvió era impecable: catorce ficheros, dos migraciones, pruebas en verde. Lo leí por encima y fusioné. A la mañana siguiente la mitad de las páginas devolvían un 500 y ninguno de los dos sabíamos por qué.

No falló el modelo. Falló que yo estaba leyendo el resumen en lugar de mirar la comprobación. Desde entonces la regla es la misma para él y para mí: lo que no pasa el gate, no entra.

Un agente no necesita confianza, necesita un juez

Cuando una persona abre un pull request hay una revisión social que hace parte del trabajo. Alguien mira, pregunta, frena. Un agente escribe a las tres de la mañana y no tiene a nadie al lado. La única revisión que le puedes dar es la que corre sola y dice que no sin que tú estés delante.

Eso es un gate: una prueba, un typecheck, un linter, un verificador. Su valor no está en lo que comprueba sino en que no se puede discutir con él. Devuelve un número de salida, no una opinión.

Si el agente puede saltarse la regla, la regla no existe.
La norma que nos costó una noche de guardia

Cómo se ve esto en el trabajo diario

En este repositorio cada tarea termina en el mismo sitio. El agente escribe el código y, antes de decir que ha terminado, ejecuta el check completo:

terminal
1npm run check
2# tsc --noEmit && eslint . && vitest run
3# 30 ficheros · 192 pruebas
4# sales con 0 o no sales

Ese comando no pregunta cómo se siente nadie. Si sale distinto de cero, el trabajo no está hecho, por buena que sea la explicación que lo acompañe. Y como el agente no puede editar la prueba para que pase, la única salida que le queda es arreglar el código.

El resumen no es una prueba
Un informe bien escrito tapa el mismo agujero que uno mal escrito. Cuando revises trabajo de un agente, abre la salida del gate. La conclusión de quien lo lanzó no vale como evidencia.

Cuando la comprobación automática no llega, porque el problema es de criterio y no de sintaxis, entra un segundo agente con el encargo contrario: encontrar lo que está mal. No revisa su propio trabajo, y esa distancia es justo lo que lo hace útil. La mitad de las veces encuentra algo que el primero no vio.

Lo que cambió

Al principio defendíamos el código del agente porque lo entendíamos. Ahora lo defendemos porque pasa las mismas pruebas que el nuestro, y cuando no las pasa no hay conversación que valga.

El agente dejó de ser alguien a quien vigilar y pasó a ser alguien con quien trabajar. La diferencia no es de confianza: es tener el juez montado antes de que empiece a escribir.

El próximo te llega por correo.

Un email al mes con lo nuevo del blog y la agenda. Sin spam.