Quando il modello inventa: come LIA se ne protegge

Il problema

Un modello linguistico non mente apposta. Prevede il seguito più probabile e, quando gli manca un'informazione, la sostituisce con qualcosa di verosimile. In una semplice conversazione questo produce un errore di dettaglio. In un assistente che agisce, le conseguenze sono più concrete: un itinerario che prende come destinazione il nome stesso «Alessandro Rossi», o una spiegazione inventata come «il tuo calendario non è configurato», che ti fa cercare un guasto che non esiste. Detto con sicurezza, un errore del genere è più pericoloso di un semplice «non lo so», perché tu agisci di conseguenza.

Cosa volevo

Volevo una regola semplice: LIA ti presenta come fatto solo ciò che ha ricevuto da uno strumento, letto nella conversazione o calcolato. Ciò che si può riparare senza indovinare la tua intenzione viene riparato. Il resto viene rifiutato, con un messaggio che aiuta il modello a correggersi.

Prima di agire

Le opzioni inventate vengono tolte. Se il modello aggiunge a uno strumento un'opzione che non esiste, come un ordinamento che lo strumento non conosce, questa viene rimossa prima della chiamata, e il piano segue il suo corso.
I numeri vengono riportati entro i loro limiti. Chiedere cento risultati a uno strumento che ne accetta venti ne dà venti. Un valore che non si può correggere senza inventare, come una data in un formato illeggibile, resta un errore segnalato.
Un nome non è un indirizzo. I parametri che si aspettano un indirizzo o un'e-mail vengono controllati subito prima della chiamata. Se contengono il nome di una persona menzionata nella conversazione, la chiamata viene bloccata prima di qualsiasi spesa, con un'istruzione chiara: recupera prima l'indirizzo del contatto. Nel dubbio il controllo lascia passare, per non ostacolare una richiesta legittima.
Un valore assente resta assente. Quando un passaggio ripete un'azione su un elenco e un elemento non ha il campo atteso, il parametro viene lasciato vuoto: lo strumento non riceve la parola «null» scritta per esteso, e applica il proprio valore predefinito.
Il piano viene riletto per ciò che manca. Un revisore vede bene ciò che un piano contiene, molto meno ciò che dimentica. Quello di LIA comincia quindi con l'elencare ogni cosa che la tua richiesta esige, poi verifica che un passaggio copra ciascuna, prima di dare il suo parere.

Nella risposta

Quando LIA ti dà un orario, una data, un numero, un nome o un indirizzo, quel valore deve comparire nei dati del turno, negli elementi consultati di recente o, parola per parola, in un messaggio precedente. Altrimenti ti dice che l'informazione manca e propone di andarla a cercare. Gli elementi che ha appena letto restano a sua disposizione per qualche turno: una domanda di seguito come «e a che ora comincia?» si appoggia così al dato stesso.

Ciò che deve essere esatto viene calcolato. Un modello prevede testo, non fa aritmetica. Una percentuale, il numero di giorni che mancano a una data o una conversione di valuta passano per strumenti dedicati: un calcolo decimale esatto che dice quando ha dovuto arrotondare, una durata contata tra due istanti reali, cambio dell'ora compreso, e il tasso di riferimento della Banca centrale europea, con la sua data.

Quando qualcosa fallisce

Quando uno strumento fallisce, LIA lo dice al modello attraverso un solo canale, che nomina lo strumento e dà il numero esatto di passaggi falliti. Il modello non deve quindi indovinare cosa è successo. Un piano riuscito a metà ti restituisce ciò che ha funzionato e dice ciò che non ha funzionato.

Altre due regole vanno nella stessa direzione. Il parere di un revisore non basta per annunciare un blocco: una capacità viene detta bloccata solo se non è stata avviata affatto. E una richiesta preparata, una conferma in attesa e una modifica registrata sono tre stati diversi, che LIA non confonde nel suo resoconto.

Quando LIA concatena gli strumenti da sola, in modalità ReAct, ogni informazione che è andata a cercare finisce ottenuta o dichiarata mancante, insieme a ciò che ha provato. Uno strumento che non capisce un valore lo rifiuta spiegando il formato atteso.

I limiti

Queste protezioni riducono le invenzioni senza eliminarle. Un modello può ancora riformulare male un dato che ha ricevuto correttamente.
Il controllo dei nomi conosce solo le persone identificate durante il turno. Le azioni importanti passano comunque dalla tua conferma.
Se il tuo amministratore le attiva, le etichette sulle tue e-mail (categoria, urgenza, sospetto di truffa) restano indicazioni: l'assenza di un avviso non prova che un messaggio sia sicuro.

Per approfondire: Tenere il controllo senza farsi disturbare: come LIA ti chiede il consenso; Le istruzioni di LIA, scritte e rilette come codice.