Das Problem
Auf einer LIA-Instanz greifen Dutzende Aufgaben auf ein Sprachmodell zurück: deine Anfrage verstehen, planen, antworten, eine Besprechung zusammenfassen, dein Journal schreiben, eine Benachrichtigung vorbereiten. Ein Administrator muss das Modell einer davon wechseln können, weil ein Anbieter seine Preise erhöht, ein neueres Modell erscheint oder eine Aufgabe schlecht antwortet.
Läuft dieser Wechsel über eine Konfigurationsdatei und einen Neustart, zögert man, ihn zu machen. Läuft er über ein Formular, das alles akzeptiert, speichert man irgendwann eine Kombination, die der Anbieter bei jedem Aufruf ablehnt. Und wenn nichts die Ausgaben begrenzt, kann eine Instanz, die für mehrere Konten offen ist, viel mehr kosten als geplant.
Was ich wollte
Ich wollte einen einzigen Ort für diese Einstellungen, eine sofortige Wirkung und eine Oberfläche, die nur anbietet, was funktionieren wird. Ich wollte auch, dass die Ausgaben zwei klare Obergrenzen haben: die jedes Kontos und die der ganzen Instanz.
Wie es funktioniert
Jede Aufgabe hat Standardwerte, die im Code stehen und erprobt sind. Unter Administration › LLM-Konfiguration kann der Administrator sie ersetzen, Aufgabe für Aufgabe: Anbieter, Modell, Temperatur, Antwortbudget, Zeitlimit, Denktiefe. Diese Ersetzung wird in der Datenbank gespeichert und gilt für die folgenden Vorgänge, ohne Neustart. Die Schaltfläche „Zurücksetzen“ löscht sie und kehrt zum Standardwert des Codes zurück. Es gibt keine dritte, versteckte Quelle: Eine alte Modelleinstellung, die in einer Umgebungsdatei liegen geblieben ist, wird ignoriert.
Die Oberfläche dient auch als Schutzvorkehrung:
- Sie bietet nur die Denkstufen an, die das gewählte Modell akzeptiert, und blendet Einstellungen aus, die dieses Modell nicht annehmen kann.
- Ein Antwortbudget wird an die bekannte Ausgabeobergrenze des Modells gebunden. Wechselst du zu einem stärker begrenzten Modell, sendet LIA die kleinere der beiden Zahlen und meldet es.
- Tiefes Nachdenken mit einem zu kleinen Antwortbudget wird beim Speichern abgelehnt: Das Nachdenken würde den ganzen Platz belegen, und die Antwort käme leer an.
Was jedes Modell kann (Werkzeuge, Bilder, strukturierte Ausgabe, Obergrenzen), stammt aus einem Katalog, der auf Grundlage öffentlicher Register gepflegt wird, und jede Zeile sagt, woher ihre Werte kommen: ein Standardwert, den niemand geprüft hat, ein importierter Wert oder ein von einem Menschen bestätigter Wert. Ein Modell wird nur deaktiviert, wenn das von seinem Anbieter angekündigte Abschaltdatum vorbei ist und keine Aufgabe es mehr nutzt.
Die Kosten, Aufgabe für Aufgabe
Diese Aufteilung erlaubt eine feine Optimierung. Zum Beispiel läuft das Einsortieren der Anfragen auf einem kleinen, günstigen Modell, der Planer auf einem teureren, aber zuverlässigeren Modell, das Extrahieren der Erinnerungen auf einem kostenlosen lokalen Modell. Die Preise liegen in einem Tarifkatalog, der auch die Nebenzeiten der Anbieter kennt, die welche anbieten: Jeder Aufruf wird zum Tarif seines Zeitpunkts gezählt. Jeder Aufruf behält das tatsächlich verwendete Modell und die gesendeten Parameter, und die Dashboards erlauben es, die Aufgaben miteinander zu vergleichen.
Zwei Obergrenzen für die Ausgaben
Jedes Konto kann seine Limits haben, in Token, Nachrichten und Kosten, pro Monatszyklus oder insgesamt. Aber Konten zusammenzuzählen begrenzt keine Instanz. Der Betreiber kann deshalb ein Tagesbudget der Instanz festlegen, das der Administrator in der Oberfläche verschärfen, aber nicht erweitern kann: Es gilt der kleinere der beiden Werte.
Die beiden Obergrenzen reagieren nicht gleich auf eine Störung. Antwortet die Datenbank nicht, lässt ein Kontolimit eine Nachricht zu viel durch. Eine unbekannte Ausgabe der Instanz dagegen blockiert, weil der schlimmste Fall auf dieser Seite das ganze Budget ist. Die Ablehnung sagt, was passiert: eine Pause der Instanz, mit der Uhrzeit, zu der sie endet. Du glaubst also nicht, dein eigenes Kontingent erschöpft zu haben. Im Hintergrund wird eine abgelehnte Aufgabe als übersprungen vermerkt, was die Suche nach einer Störung erspart, die es nicht gibt.
Die Grenzen
- Eine Änderung gilt für die folgenden Vorgänge: Ein bereits begonnener Vorgang kann die Konfiguration behalten, mit der er gestartet ist.
- Ein Preis im Katalog ist ein Richtwert. Die tatsächliche Rechnung bleibt die des Anbieters, der manchmal Regeln anwendet, die LIA nicht abbilden kann, etwa einen höheren Tarif ab einer bestimmten Größe der Anfrage.
- Manche kleinen Entscheidungen, etwa eine E-Mail einzuordnen, können einem spezialisierten Entscheidungsmodell anvertraut werden. Jede dieser Verwendungen hat ihren eigenen Schalter, standardmäßig aus. Im Zweifel nimmt LIA ihren gewohnten Weg, und eine solche Entscheidung erlaubt für sich allein keine Aktion.
Weiterlesen: Ein Modell für jede Aufgabe, beim Anbieter deiner Wahl; Den ganzen Modellkatalog in einer Tabelle bearbeiten, ohne Risiko.