Lo que falla no es el modelo, es todo lo que hay alrededor
Casi ningún sistema de IA falla porque el modelo sea malo. Falla porque el prompt cambió y nadie volvió a comprobar lo que ya funcionaba, porque la recuperación de contexto trae el documento equivocado, porque una negación del usuario se pierde por el camino, o porque el sistema responde con seguridad a algo que no sabe.
Estos fallos comparten una característica incómoda: no revientan nada. No hay error en los registros ni alerta en el panel. La respuesta llega, parece razonable, y es incorrecta. Solo aparecen cuando los encuentra un cliente, y para entonces ya han pasado semanas.
Qué se hace exactamente
- Inventario de comportamiento esperado. Qué debería hacer el sistema, qué no debería hacer nunca, y dónde están las decisiones que tienen consecuencias.
- Batería de casos representativos. Casos reales y sintéticos, con la respuesta correcta anotada, ejecutables de una tacada. Se queda contigo y protege cada cambio futuro.
- Pruebas adversariales. Casos escritos para romperlo: falsos positivos y negativos, alucinaciones, sesgos, respuestas fuera de alcance, negaciones ignoradas, señales de alarma que se pasan por alto.
- Seguridad del sistema. Inyección de prompt, fuga de datos del contexto a otras conversaciones, y qué información acaba en los registros sin que nadie lo haya decidido.
- Trazabilidad del razonamiento. Si el sistema opera en un dominio crítico, poder reconstruir por qué respondió lo que respondió deja de ser un lujo.
- Informe y plan. Fallos clasificados por gravedad y frecuencia, con ejemplos reproducibles, y arreglos ordenados por impacto y esfuerzo.
Dos semanas, tres entregas
La auditoría exprés está pensada para dar una respuesta útil rápido, sin bloquear a tu equipo.
- Días 1 a 3. Contexto con tu equipo, acceso a un entorno de pruebas y construcción de la batería de casos.
- Días 4 a 8. Ejecución, pruebas adversariales y análisis de los fallos encontrados, con ejemplos reproducibles.
- Días 9 a 10. Informe, plan de arreglo priorizado y sesión de conclusiones con quien decide.
Si después quieres que los arreglos los haga yo, se presupuestan aparte. La auditoría no obliga a nada: el informe es tuyo y tu equipo puede ejecutarlo sin mí.
Por qué yo
Porque esto no lo he leído, lo he sufrido. Soy cofundador y CTO de una plataforma de apoyo a la decisión clínica en producción, un dominio donde una respuesta incorrecta tiene consecuencias reales.
- Batería de regresión de casi 300 casos clínicos que se ejecuta ante cada cambio del razonamiento.
- Auditorías adversariales periódicas del propio sistema, buscando falsos positivos, falsos negativos y señales de alarma mal disparadas.
- Experiencia en dominios regulados: salud con GDPR y legal con documentación confidencial y guardarraíles.
Además soy independiente: si tu sistema lo construyó otro proveedor, no tengo ningún interés en que el diagnóstico sea suave.
Preguntas frecuentes
¿Cuánto dura una auditoría?
La versión exprés son dos semanas: una para construir la batería y ejecutar, otra para análisis, informe y conclusiones. Si el sistema es grande, se amplía por módulos, pero el primer informe útil llega siempre en esas dos semanas.
¿Sirve si usamos la API de OpenAI, Anthropic o Google?
Sí. Se audita el comportamiento del sistema completo (prompts, recuperación de contexto, reglas, guardarraíles y respuesta final), no el modelo aislado. Da igual quién sirva el modelo: lo que se mide es lo que ve tu usuario.
¿Qué necesitáis de nosotros?
Acceso a un entorno de pruebas, la documentación de qué debería hacer el sistema y media jornada de una o dos personas del equipo. Si hay histórico de conversaciones reales anonimizado, la precisión sube mucho.
¿Qué me llevo al final?
La batería de casos ejecutable, que se queda tuya; el informe de fallos clasificados con ejemplos reproducibles; y el plan de arreglo priorizado por impacto y esfuerzo.
¿Y si la conclusión es que está bien?
Entonces te llevas una batería de pruebas que protege el sistema a partir de ahora y la tranquilidad de saberlo medido. Es un resultado perfectamente posible y se dice tal cual.
¿Quieres saber si tu IA responde bien?
Cuéntame qué sistema tienes y para qué lo usas. Te digo qué auditaría, cuánto llevaría y qué esperar del informe.