Por qué te importa
LIA depende de muchos servicios: modelos de IA, una base de datos, tu correo, tu agenda, un motor de búsqueda. Cada uno puede fallar sin hacer ruido. El proveedor de búsqueda responde despacio, una cola de tareas se atasca, una copia de seguridad falla una noche. Si nadie lo ve, eres tú quien lo descubre, en el peor momento, en forma de una respuesta vacía o de un recordatorio que no llega.
Quería que la persona que opera una instancia viera esos problemas antes que sus usuarios, que pudiera remontarse hasta su causa y que las cifras que lee dijeran la verdad.
Tres formas de mirar
- Métricas: cientos de contadores siguen las peticiones, las llamadas a los modelos, los tokens consumidos, los costes, los conectores o la voz. Una treintena de paneles los hacen legibles.
- Registros: cada evento se escribe de forma estructurada y se reúne en un mismo sitio. Llevan hechos, como números, identificadores o códigos de error; las palabras de las personas no entran en ellos.
- Trazas: una traza sigue una petición de punta a punta, paso a paso. Si el operador la activa, una herramienta dedicada a los modelos de IA, Langfuse, sigue además cada llamada: el modelo usado, los tokens, el tiempo de respuesta, el coste.
Estas señales se responden entre sí. Una línea de registro abre la traza de su petición, una traza abre sus registros y sus métricas, un pico de latencia abre el ejemplo concreto que lo produjo. Ahí las páginas se nombran por su forma, «la ficha de una relación»: el nombre o la búsqueda que contiene una dirección no aparecen.
Pongamos un caso concreto. Una respuesta tarda anormalmente en llegar. El panel del chat muestra la subida; un clic en el punto más lento abre la traza de ese turno; la traza muestra que la espera viene del servicio de búsqueda, y sus registros dicen qué código devolvió. Sin esos enlaces, habría que cruzar marcas de tiempo a mano.
Que te avisen
Para que el operador no tenga que vigilar sus pantallas, un núcleo de alertas se evalúa continuamente y se envía por correo: API, base de datos o caché caídas, disco o memoria saturados, errores de servidor, respuestas demasiado lentas, copia de seguridad fallida, dirección pública inaccesible, certificado a punto de caducar. Cada alerta remite a un procedimiento de resolución escrito, y unas pruebas comprueban que el umbral que muestra el correo es de verdad el que la dispara.
La alerta de lentitud solo mira los turnos que una persona está esperando: una rutina que se ejecuta de noche no tiene a nadie esperando. Y la cadena que transporta estas señales también está vigilada: una alerta avisa si se pierden registros por el camino.
LIA lee su propia salud
Cuando el operador lo activa, LIA hace ella misma un chequeo periódico: tasa de errores, tiempos de respuesta, fallos de los modelos, disco, memoria, base de datos. Las señales que describen la misma avería se agrupan en un solo incidente. Un modelo dedicado lee los elementos recogidos y el procedimiento escrito para ese caso, y propone una causa probable y unas acciones. Son propuestas para una persona: no se ejecuta nada. Los administradores lo ven todo en la página Salud de la plataforma, con lo que ha leído el modelo debajo de cada diagnóstico.
Para ti, el efecto es discreto: cuando se sabe que un servicio está caído, LIA lo sabe antes de planificar y lo rodea: no esperas a que se agote un tiempo de espera para enterarte.
Cifras que no mienten
También quería que esas cifras fueran correctas. Una herramienta falla a menudo devolviendo un fallo, sin lanzar un error, y un contador que solo mirara los errores lo tomaría por un éxito. Por eso un único criterio decide qué es un éxito, tanto para los registros de acciones como para las métricas. Para la búsqueda por significado, cuando una llamada se reintenta, un contador dice si quien llamaba obtuvo al final su resultado, para que un fallo recuperado no infle la tasa de errores. Por último, una métrica tiene que leerla un panel, una regla o una alerta: una métrica nueva que nadie lee hace fallar la compilación, y la lista de las antiguas que quedan por conectar solo puede acortarse.
Los límites
Todo esto supone que el operador despliega la pila de supervisión y configura el envío de correos. Sin ella, LIA funciona, pero su chequeo de salud se limita a sus comprobaciones directas. Una alerta avisa, no repara. Y el nivel de registro más detallado, desactivado en producción, guarda más información: está reservado al desarrollo. Más detalles sobre la observabilidad, en la parte técnica.
Para profundizar: Ver trabajar a LIA: los pasos que aparecen mientras esperas; Ajustar los modelos de LIA sin reiniciar y sin configuraciones imposibles.