El 92% de confianza de tu IA probablemente no mide nada

Durante meses, la plataforma clínica que cofundé mostraba a los profesionales sanitarios un porcentaje de confianza junto a cada hipótesis diagnóstica. Un número aparentemente inocente, entre 85 y 95, que subía y bajaba lo justo para parecer vivo.

Era mentira. No en el sentido de que alguien lo falsificara, sino en uno peor: nadie había comprobado nunca que midiera algo. Cuando por fin lo audité, resultó que ese 92% no venía del modelo de aprendizaje automático que creíamos, sino de una fórmula que sumaba un valor fijo y un ratio de completitud del cuestionario. Estaba saturada: a partir de cierto punto, daba prácticamente lo mismo pasara lo que pasara.

Por qué pasa esto tan a menudo

Porque mostrar un porcentaje es trivial y calibrarlo es difícil, y en el medio hay una trampa cómoda: el número queda bien en la interfaz, el cliente lo pide, y como nadie sabe cuál sería el valor correcto, tampoco nadie detecta que el que hay no lo es.

Los orígenes habituales de un porcentaje que no significa nada:

• La probabilidad interna del modelo. Los modelos de lenguaje son notoriamente malos calibrando: dicen estar igual de seguros cuando aciertan que cuando se inventan una referencia entera.
• Preguntarle al propio modelo. "Del 0 al 100, ¿cuánto de seguro estás?" produce números plausibles y sin relación con la realidad. El modelo no tiene acceso privilegiado a su propia fiabilidad.
• Una fórmula heredada. Alguien escribió base + ratio * peso hace dos años para salir del paso y ahí sigue, saturada y sin dueño.
• Un clasificador que no llega a dispararse. Existe un modelo bien entrenado, pero una puerta previa (completitud de datos, umbral, valor por defecto) hace que casi nunca se use, y lo que ve el usuario es el valor de reserva.

El cuarto caso es el más traicionero, porque el sistema tiene un componente correcto que no llega a intervenir. La interfaz incluso dice qué modelo se usó, y esa etiqueta también miente.

Cómo comprobar el tuyo esta tarde

No hace falta ciencia de datos. Tres pruebas bastan para saber si tu porcentaje mide algo:

1. Mira la distribución. Recoge los últimos mil valores mostrados y píntalos. Si todos caen en una franja estrecha, ya tienes la respuesta: no discrimina.
2. Mete basura a propósito. Haz preguntas sin sentido, contradictorias o sobre algo que el sistema no puede saber. Si la confianza no se desploma, no está midiendo confianza.
3. Compara con el acierto real. Coge cien casos con respuesta correcta conocida y agrupa por franja de confianza. En un sistema calibrado, los casos con 90% aciertan en torno al 90% de las veces. Si los del 90% aciertan lo mismo que los del 60%, el número sobra.

Esta última prueba es la única que importa de verdad, y es también la que casi nadie hace, porque exige tener casos con la respuesta correcta anotada. Es decir, exige haber construido una batería de evaluación, que es la pieza que falta en la mayoría de proyectos.

Qué hacer cuando descubres que no mide nada

Lo primero es dejar de mostrarlo. Suena drástico y es lo correcto: un número inventado es peor que ningún número, porque el usuario toma decisiones con él. En un contexto clínico, legal o financiero, esa falsa precisión es directamente un riesgo.

Nosotros lo ocultamos el mismo día. Después, en lugar de correr a calibrar un porcentaje, cambiamos el enfoque:

• Confianza por criterios, no por magia. En vez de un número opaco, mostrar en qué se apoya la respuesta: qué criterios se cumplen, cuáles no y cuáles quedaron sin preguntar. El profesional juzga mucho mejor con eso que con un 92%.
• Abstención explícita. Que el sistema pueda decir "no tengo base suficiente" y guarde el caso, en lugar de rellenar el hueco con una respuesta segura de sí misma.
• Calibración de verdad, si el número es imprescindible. Con casos etiquetados, comparando franja a franja el porcentaje con el acierto observado. Y revisándolo cada vez que cambie el modelo o el prompt, porque se descalibra solo.

La lección incómoda

Lo que más me marcó de esta historia no fue el error, que era pequeño y fácil de arreglar. Fue cuánto tiempo estuvo delante de todos sin que nadie lo mirase. El número aparecía en cada informe, se enseñaba en cada demostración, y nadie preguntó de dónde salía porque parecía razonable.

Los fallos de los sistemas de IA casi nunca hacen ruido. No hay error en los registros ni alerta en el panel: la respuesta llega, parece sensata y es incorrecta. Por eso hay que ir a buscarlos, y por eso hay que medir en lugar de mirar.