Il problema
Su un'istanza LIA, decine di compiti ricorrono a un modello linguistico: capire la tua richiesta, pianificare, rispondere, riassumere una riunione, scrivere il tuo diario, preparare una notifica. Un amministratore deve poter cambiare il modello di uno di essi, perché un fornitore alza i prezzi, esce un modello più recente o un compito risponde male.
Se questo cambio passa per un file di configurazione e un riavvio, si esita a farlo. Se passa per un modulo che accetta qualsiasi cosa, si finisce per salvare una combinazione che il fornitore rifiuterà a ogni chiamata. E se niente limita la spesa, un'istanza aperta a più account può costare molto più del previsto.
Cosa volevo
Volevo un solo posto per queste impostazioni, un effetto immediato e una schermata che proponga solo ciò che funzionerà. Volevo anche che la spesa avesse due tetti chiari: quello di ogni account e quello dell'intera istanza.
Come funziona
Ogni compito ha dei valori predefiniti scritti nel codice e collaudati. In Amministrazione › Configurazione LLM l'amministratore può sostituirli, compito per compito: fornitore, modello, temperatura, budget di risposta, tempo massimo, profondità di ragionamento. Questa sostituzione viene salvata nel database e si applica alle operazioni successive, senza riavvio. Il pulsante «Ripristina» la cancella e torna al valore predefinito del codice. Non esiste una terza fonte nascosta: una vecchia impostazione di modello rimasta in un file d'ambiente viene ignorata.
La schermata fa anche da protezione:
- Propone solo i livelli di ragionamento che il modello scelto accetta, e nasconde le impostazioni che quel modello non sa ricevere.
- Un budget di risposta viene tenuto entro il tetto di output noto del modello. Se passi a un modello più limitato, LIA invia il più piccolo dei due numeri e lo segnala.
- Un ragionamento profondo con un budget di risposta troppo piccolo viene rifiutato al salvataggio: il ragionamento occuperebbe tutto lo spazio e la risposta arriverebbe vuota.
Ciò che ogni modello sa fare (strumenti, immagini, output strutturato, tetti) viene da un catalogo mantenuto a partire da registri pubblici, e ogni riga dice da dove vengono i suoi valori: un valore predefinito che nessuno ha verificato, un valore importato o un valore confermato da una persona. Un modello viene disattivato solo se la data di dismissione annunciata dal suo fornitore è passata e nessun compito lo usa più.
Il costo, compito per compito
Questa suddivisione permette di ottimizzare nel dettaglio. Per esempio, lo smistamento delle richieste gira su un piccolo modello economico, il pianificatore su un modello più caro ma più affidabile, l'estrazione dei ricordi su un modello locale gratuito. I prezzi vivono in un catalogo delle tariffe che conosce anche le fasce orarie a tariffa ridotta dei fornitori che le offrono: ogni chiamata viene conteggiata alla tariffa del suo momento. Ogni chiamata conserva il modello realmente usato e i parametri inviati, e le dashboard permettono di confrontare i compiti tra loro.
Due tetti per la spesa
Ogni account può avere i suoi limiti, in token, in messaggi e in costo, per ciclo mensile o in totale. Ma sommare gli account non limita un'istanza. L'operatore può quindi fissare un budget giornaliero dell'istanza, che l'amministratore può restringere dall'interfaccia ma non allargare: si applica il più piccolo dei due valori.
I due tetti non reagiscono allo stesso modo a un guasto. Se il database non risponde, un limite di account lascia passare un messaggio di troppo. Una spesa d'istanza sconosciuta, invece, blocca, perché il caso peggiore da quel lato è l'intero budget. Il rifiuto dice cosa succede: una pausa dell'istanza, con l'ora in cui termina. Così non credi di aver esaurito la tua quota personale. In background, un compito rifiutato viene registrato come saltato, il che evita di cercare un guasto che non esiste.
I limiti
- Una modifica si applica alle operazioni successive: un'operazione già iniziata può mantenere la configurazione con cui è partita.
- Un prezzo del catalogo è un riferimento. La fattura reale resta quella del fornitore, che a volte applica regole che LIA non sa esprimere, come una tariffa più alta oltre una certa dimensione della richiesta.
- Alcune piccole decisioni, come classificare un'e-mail, possono essere affidate a un modello decisionale specializzato. Ogni uso ha il suo interruttore, spento per impostazione predefinita. In caso di dubbio LIA riprende il suo percorso abituale, e una decisione del genere non autorizza da sola nessuna azione.
Per approfondire: Un modello per ogni compito, presso il fornitore che preferisci; Modificare tutto il catalogo dei modelli in un foglio di calcolo, senza rischi.