Volver al blog
Mostrar al modelo lo que importa: los servicios que aligeran el trabajo de LIA
Técnico3 min de lectura

Mostrar al modelo lo que importa: los servicios que aligeran el trabajo de LIA

Por qué importa

Cuando LIA llama a un modelo de lenguaje, le envía texto: tu pregunta, el contexto útil y la descripción de las herramientas que puede usar. Ese texto se paga por cantidad, en tokens, y cuanto más largo es, más tarda la respuesta. LIA cubre decenas de dominios y muchas herramientas. Describirlas todas en cada petición costaría caro, y un planificador ahogado entre opciones elige peor.

El exceso contrario también es una trampa: quitarle al modelo un dato que necesita es obligarle a adivinar.

Lo que quería

Quería que cada modelo recibiera lo que necesita, nada menos, y no mucho más. Y que no se llamara a un modelo para lo que una regla sencilla ya sabe hacer. Tres servicios se reparten ese trabajo a la entrada del modo Pipeline, el que planifica antes de actuar.

Entender la pregunta desde el principio

El primer servicio lee tu pregunta y saca lo esencial: si es una conversación o una acción, qué dominios están implicados, a qué remiten tus palabras. «¿Qué tiempo hace en casa de mi hermano?» toca el tiempo, pero también tus contactos, porque hace falta la dirección de tu hermano. «Mi mujer» se convierte en el nombre que conoce tu memoria. «El primero» designa el primer elemento de la lista que LIA acaba de mostrarte. Todo el resto del proceso parte de este análisis, sin rehacerlo.

Mostrar solo las herramientas adecuadas

El segundo servicio prepara el catálogo que ve el planificador: solo las herramientas de los dominios detectados y del tipo de acción pedido, descritas de forma compacta. Dos redes de seguridad evitan que este filtrado quite lo esencial. Primero, si una herramienta seleccionada necesita un dato que solo otra herramienta sabe producir, se añade esa otra herramienta: sin ella, ningún plan sería posible. Después, si a pesar de todo el planificador no encuentra ningún plan ejecutable, LIA vuelve a empezar una sola vez con un catálogo ampliado. Todo esto ocurre antes de cualquier ejecución.

Saltarse lo que ya se conoce

El tercer servicio escribe el plan, y a veces sabe prescindir del modelo. «Muéstrame el detalle del primero»: el elemento ya está identificado, el plan se escribe directamente. «Busca el restaurante de esa cita»: el lugar del evento pasa tal cual a la búsqueda de lugares.

También se apoya en secuencias de herramientas ya validadas, por ejemplo «buscar un contacto y luego enviar un correo». Una secuencia validada a menudo se sugiere al planificador. Cuando la confianza es muy alta, el plan puede incluso ahorrarse una verificación adicional por un modelo. Este registro es común a toda la instalación y solo retiene la secuencia de herramientas, nada de lo que escribiste. El operador puede cargar en él secuencias de referencia y, si lo decide, dejar que LIA guarde las que pasan la verificación. Por defecto, ese guardado está desactivado: LIA usa las secuencias existentes sin aprender otras nuevas.

Los límites

Este filtrado tiene sus puntos ciegos. Si el análisis pasa por alto un dominio, el planificador no ve sus herramientas, y el catálogo ampliado solo sirve una vez. Los atajos solo cubren casos simples. El registro de secuencias retiene lo que funciona para todo el mundo, no tus preferencias. Y estos servicios preparan el modo Pipeline: en modo ReAct, LIA elige sus herramientas de otra forma, ya sea con una clasificación de pertinencia calculada sobre tu pregunta, ya sea manteniendo todas tus herramientas a mano, según el ritmo de intercambios que hayas elegido.

Para profundizar: Encontrar lo que importa sin traerlo todo: los umbrales de la búsqueda por significado; Un director de orquesta y especialistas: cómo trata LIA tu petición.

#optimization#caching#pattern-learning#token-reduction