Il problema
Un assistente come LIA non fa un solo lavoro. Per una stessa domanda deve capire di cosa parli, preparare un piano, chiamare i tuoi strumenti, poi scrivere una risposta. In background tiene il tuo diario; di notte fa pulizia tra i tuoi ricordi. Questi compiti non hanno le stesse esigenze. Smistare una richiesta deve essere rapido ed economico, preparare un piano richiede rigore, scrivere una risposta richiede stile.
Affidare tutto a un solo modello, presso un solo fornitore, significa pagare a caro prezzo compiti semplici, o accontentarsi di un modello troppo debole per quelli difficili. Significa anche dipendere da una sola azienda: le sue tariffe, i suoi guasti, le sue condizioni.
Cosa volevo
Volevo che ogni compito di LIA avesse il suo slot, con il suo fornitore e il suo modello. Lo smistamento delle richieste può girare su un piccolo modello veloce, il pianificatore su un modello più solido, la risposta su quello di cui preferisci il tono. E volevo che si potesse cambiarli senza toccare il codice.
LIA sa parlare con OpenAI, Anthropic, Google Gemini, DeepSeek, Qwen di Alibaba e Perplexity, oltre che con i modelli che fai girare tu stesso con Ollama, un server che esegue modelli aperti sulla tua macchina.
Come funziona
Ogni fornitore ha le sue abitudini. Uno rifiuta un'impostazione di temperatura, un altro conta il ragionamento del modello nel budget della risposta, un terzo mette in cache l'inizio dei messaggi a modo suo. LIA traduce queste differenze, fornitore per fornitore:
- Una sola scala di ragionamento. Chiedere a un modello di ragionare più o meno si regola sulla stessa scala per tutti, da «nessuno» a «massimo». Ciò che ogni modello accetta davvero viene dedotto dalla sua famiglia, e l'amministrazione propone solo i livelli che la sua API accetterà.
- Impostazioni filtrate. Un parametro che un modello rifiuta non viene inviato. Un budget di risposta troppo grande per il modello scelto viene ridotto a ciò che può produrre.
- Istruzioni ordinate per la cache. L'inizio delle istruzioni, identico da un turno all'altro, viene messo per primo. I fornitori che sanno tenerlo in cache lo rileggono, il che costa meno e risponde più in fretta.
- Modelli locali trattati come gli altri. LIA parla con Ollama tramite la sua interfaccia nativa. Chiede al tuo server ciò che ogni modello sa fare (strumenti, immagini, ragionamento, dimensione del contesto): niente viene indovinato dal nome.
Un esempio concreto: una notifica di promemoria sta in due frasi. Su un modello che ragiona per impostazione predefinita, il ragionamento può consumare tutto il piccolo budget previsto, e la risposta torna vuota. LIA chiede quindi questi messaggi brevi senza ragionamento, dove il modello permette di disattivarlo. Se la risposta torna comunque vuota o troncata, LIA invia la frase di riserva prevista, e il costo della chiamata resta conteggiato.
Quanto costa, e chi paga
Ogni chiamata a pagamento viene conteggiata alla tariffa reale del suo fornitore: l'input, l'output, le letture e le scritture in cache, e persino le fasce orarie a tariffa ridotta quando un fornitore le offre. Anche un tentativo che fallisce dopo essere stato fatturato viene conteggiato, perché un fallimento non è una chiamata gratuita. I modelli girano sulle chiavi dell'istanza, e ogni chiamata viene imputata all'account per cui è stata fatta, entro i suoi limiti. Le chiavi che l'amministratore inserisce vengono salvate cifrate, e l'amministrazione le mostra solo mascherate.
Quando una richiesta è partita e la risposta si perde per strada, LIA non la rilancia. Il fornitore forse sta ancora producendo quella risposta, e fatturandola: rilanciarla significherebbe pagare due volte. LIA riprova solo ciò che è fallito con certezza, per esempio un servizio momentaneamente saturo.
I limiti
- Non c'è un passaggio automatico a un altro fornitore quando il tuo va in panne. Cambiare modello resta una scelta dell'amministratore.
- Puoi affidare tutti i compiti di conversazione a modelli installati a casa tua, ma un'installazione completamente offline non è possibile. La ricerca per significato (ricordi, spazi di conoscenza, diario) passa per il servizio di embedding di Google, le risposte vocali per servizi vocali online, e il meteo, la ricerca web o i tuoi account collegati sono online per natura.
- Un modello locale resta un modello locale: la sua qualità dipende dalla tua macchina e dal modello che scegli.
L'idea sta in una frase: scegli tu chi fa ogni lavoro, e LIA si occupa di parlare con ciascuno nella sua lingua.
Per approfondire: Regolare i modelli di LIA senza riavviare, e senza configurazioni impossibili; Mostrare al modello ciò che conta: i servizi che alleggeriscono il lavoro di LIA.