Volver al blog
Cuando el modelo inventa: cómo se protege LIA
Seguridad y Privacidad4 min de lectura

Cuando el modelo inventa: cómo se protege LIA

El problema

Un modelo de lenguaje no miente a propósito. Predice la continuación más probable y, cuando le falta una información, la sustituye por algo verosímil. En una simple conversación, eso da un error de detalle. En un asistente que actúa, las consecuencias son más concretas: un itinerario que toma como destino el propio nombre «Alejandro Durán», o una explicación inventada como «tu agenda no está configurada», que te hace buscar una avería que no existe. Dicho con seguridad, un error así es más peligroso que un simple «no lo sé», porque actúas en consecuencia.

Lo que quería

Quería una regla sencilla: LIA solo te presenta como un hecho lo que ha recibido de una herramienta, ha leído en la conversación o ha calculado. Lo que se puede reparar sin adivinar tu intención se repara. El resto se rechaza, con un mensaje que ayuda al modelo a corregirse.

Antes de actuar

  • Las opciones inventadas se retiran. Si el modelo añade a una herramienta una opción que no existe, como un orden que la herramienta no conoce, se quita antes de la llamada, y el plan sigue su curso.
  • Los números se devuelven a sus límites. Pedir cien resultados a una herramienta que acepta veinte da veinte. Un valor que no se puede corregir sin inventar, como una fecha en un formato ilegible, sigue siendo un error señalado.
  • Un nombre no es una dirección. Los parámetros que esperan una dirección o un correo electrónico se controlan justo antes de la llamada. Si contienen el nombre de una persona mencionada en la conversación, la llamada se bloquea antes de cualquier gasto, con una instrucción clara: recupera primero la dirección del contacto. En caso de duda, el control deja pasar, para no estorbar una petición legítima.
  • Un valor ausente sigue ausente. Cuando un paso repite una acción sobre una lista y un elemento no tiene el campo esperado, el parámetro se deja vacío: la herramienta no recibe la palabra «null» escrita con todas sus letras, y aplica su propio valor por defecto.
  • El plan se revisa buscando lo que falta. Un revisor ve bien lo que contiene un plan, mucho peor lo que olvida. Por eso el de LIA empieza enumerando cada cosa que exige tu petición y luego comprueba que un paso cubra cada una, antes de dar su opinión.

En la respuesta

Cuando LIA te da una hora, una fecha, un número, un nombre o una dirección, ese valor tiene que figurar en los datos del turno, en los elementos consultados recientemente o, palabra por palabra, en un mensaje anterior. Si no, te dice que falta la información y se ofrece a buscarla. Los elementos que acaba de leer siguen a su disposición durante unos turnos: una pregunta de seguimiento como «¿y a qué hora empieza?» se apoya así en el propio dato.

Lo que debe ser exacto se calcula. Un modelo predice texto, no hace aritmética. Un porcentaje, el número de días hasta una fecha o una conversión de divisas pasan por herramientas dedicadas: un cálculo en decimal exacto que dice cuándo ha tenido que redondear, una duración contada entre dos instantes reales, cambio de hora incluido, y el tipo de referencia del Banco Central Europeo, con su fecha.

Cuando algo falla

Cuando una herramienta falla, LIA se lo dice al modelo por un único canal, que nombra la herramienta y da el número exacto de pasos fallidos. Así el modelo no tiene que adivinar lo que ha pasado. Un plan que sale bien a medias te devuelve lo que ha funcionado y dice lo que no.

Otras dos reglas van en la misma dirección. La opinión de un revisor no basta para anunciar un bloqueo: una capacidad solo se declara bloqueada si no se ha lanzado en absoluto. Y una petición preparada, una confirmación pendiente y un cambio registrado son tres estados diferentes, que LIA no confunde en su informe.

Cuando LIA encadena las herramientas ella misma, en modo ReAct, cada información que salió a buscar acaba obtenida o declarada como faltante, con lo que intentó. Una herramienta que no entiende un valor lo rechaza explicando el formato esperado.

Los límites

  • Estas protecciones reducen las invenciones sin eliminarlas. Un modelo todavía puede reformular mal un dato que ha recibido bien.
  • El control de nombres solo conoce a las personas identificadas durante el turno. De todos modos, las acciones importantes pasan por tu confirmación.
  • Si tu administrador las activa, unas etiquetas en tus correos (categoría, urgencia, sospecha de estafa) siguen siendo indicaciones: la ausencia de alerta no demuestra que un mensaje sea seguro.

Para profundizar: Mantener el control sin que te molesten: cómo te pide LIA tu aprobación; Las instrucciones de LIA, escritas y revisadas como código.

#hallucination#defense#parameter-stripping#hitl#robustness#planner