Perché conta
Quando LIA chiama un modello linguistico, gli invia del testo: la tua domanda, il contesto utile, e la descrizione degli strumenti che può usare. Questo testo si paga a quantità, in token, e più è lungo, più la risposta tarda. LIA copre decine di ambiti e molti strumenti. Descriverli tutti a ogni richiesta costerebbe caro, e un pianificatore sommerso dalle opzioni sceglie peggio.
Anche l'eccesso opposto è una trappola: togliere al modello un'informazione di cui ha bisogno vuol dire costringerlo a indovinare.
Cosa volevo
Volevo che ogni modello ricevesse ciò di cui ha bisogno, niente di meno, e non molto di più. E che non si chiamasse un modello per ciò che una regola semplice sa già fare. Tre servizi si dividono questo lavoro a monte della modalità Pipeline, quella che pianifica prima di agire.
Capire subito la domanda
Il primo servizio legge la tua domanda e ne ricava l'essenziale: è una conversazione o un'azione, quali ambiti sono coinvolti, a cosa rimandano le tue parole. «Che tempo fa da mio fratello?» tocca il meteo, ma anche i tuoi contatti, perché serve l'indirizzo di tuo fratello. «Mia moglie» diventa il nome che la tua memoria conosce. «Il primo» indica il primo elemento dell'elenco che LIA ti ha appena mostrato. Tutto il resto dell'elaborazione parte da questa analisi, senza rifarla.
Mostrare solo gli strumenti giusti
Il secondo servizio prepara il catalogo che vede il pianificatore: solo gli strumenti degli ambiti individuati e del tipo di azione richiesto, descritti in modo compatto. Due reti di sicurezza evitano che questa selezione tolga l'essenziale. Prima di tutto, se uno strumento scelto ha bisogno di un dato che solo un altro strumento sa produrre, quell'altro strumento viene aggiunto: senza di esso, nessun piano sarebbe possibile. Poi, se nonostante tutto il pianificatore non trova nessun piano eseguibile, LIA ricomincia una sola volta con un catalogo allargato. Tutto questo avviene prima di qualsiasi esecuzione.
Saltare ciò che è già noto
Il terzo servizio scrive il piano, e a volte sa fare a meno del modello. «Mostrami i dettagli del primo»: l'elemento è già identificato, il piano si scrive direttamente. «Cerca il ristorante di quell'appuntamento»: il luogo dell'evento passa così com'è alla ricerca di luoghi.
Si basa anche su sequenze di strumenti già convalidate, per esempio «cercare un contatto, poi inviare un'e-mail». Una sequenza convalidata spesso viene suggerita al pianificatore. Quando la fiducia è molto alta, il piano può perfino fare a meno di una verifica supplementare da parte di un modello. Questo registro è comune a tutta l'installazione e conserva solo la sequenza di strumenti, niente di ciò che hai scritto. L'operatore può caricarci sequenze di riferimento e, se lo decide, lasciare che LIA registri quelle che superano la verifica. Per impostazione predefinita questa registrazione è spenta: LIA usa le sequenze presenti senza impararne di nuove.
I limiti
Questa selezione ha i suoi punti ciechi. Se l'analisi manca un ambito, il pianificatore non vede i suoi strumenti, e il catalogo allargato serve una volta sola. Le scorciatoie coprono solo casi semplici. Il registro delle sequenze conserva ciò che funziona per tutti, non le tue preferenze personali. E questi servizi preparano la modalità Pipeline: in modalità ReAct, LIA sceglie i suoi strumenti in un altro modo, o con una classifica di pertinenza calcolata sulla tua domanda, o tenendo tutti i tuoi strumenti a portata di mano, a seconda del ritmo di scambi che hai scelto.
Per approfondire: Ritrovare ciò che conta senza riportare tutto: le soglie della ricerca per significato; Un direttore d'orchestra e degli specialisti: come LIA gestisce la tua richiesta.