Das Problem
Ein Assistent wie LIA erledigt nicht nur eine einzige Arbeit. Für ein und dieselbe Frage muss er verstehen, worum es dir geht, einen Plan vorbereiten, deine Werkzeuge aufrufen und dann eine Antwort schreiben. Im Hintergrund führt er dein Journal; in der Nacht räumt er in deinen Erinnerungen auf. Diese Aufgaben haben nicht dieselben Bedürfnisse. Eine Anfrage einzusortieren muss schnell und günstig gehen, einen Plan vorzubereiten verlangt Sorgfalt, eine Antwort zu schreiben verlangt Stil.
Alles einem einzigen Modell bei einem einzigen Anbieter anzuvertrauen heißt, für einfache Aufgaben den vollen Preis zu zahlen oder sich für schwierige Aufgaben mit einem zu schwachen Modell zu begnügen. Es heißt auch, von einem einzigen Unternehmen abzuhängen: seinen Tarifen, seinen Ausfällen, seinen Bedingungen.
Was ich wollte
Ich wollte, dass jede Aufgabe von LIA ihren Posten hat, mit ihrem Anbieter und ihrem Modell. Das Einsortieren der Anfragen kann auf einem kleinen, schnellen Modell laufen, der Planer auf einem solideren Modell, die Antwort auf dem, dessen Ton du bevorzugst. Und ich wollte, dass man sie wechseln kann, ohne den Code anzufassen.
LIA kann mit OpenAI, Anthropic, Google Gemini, DeepSeek, Qwen von Alibaba und Perplexity sprechen, außerdem mit den Modellen, die du selbst mit Ollama betreibst, einem Server, der offene Modelle auf deinem eigenen Rechner ausführt.
Wie es abläuft
Jeder Anbieter hat seine Eigenheiten. Einer lehnt eine Temperatureinstellung ab, ein anderer rechnet das Nachdenken des Modells ins Antwortbudget ein, ein dritter speichert den Anfang der Nachrichten auf seine Weise im Cache. LIA übersetzt diese Unterschiede, Anbieter für Anbieter:
- Eine einzige Skala fürs Nachdenken. Wie viel ein Modell nachdenken soll, wird für alle auf derselben Skala eingestellt, von „keine“ bis „maximal“. Was jedes Modell wirklich akzeptiert, wird aus seiner Familie abgeleitet, und die Administration bietet nur die Stufen an, die seine API akzeptieren wird.
- Gefilterte Einstellungen. Ein Parameter, den ein Modell ablehnt, wird nicht gesendet. Ein Antwortbudget, das für das gewählte Modell zu groß ist, wird auf das zurückgeholt, was es erzeugen kann.
- Für den Cache geordnete Anweisungen. Der Anfang der Anweisungen, der von einer Runde zur nächsten gleich bleibt, steht vorne. Anbieter, die ihn im Cache halten können, lesen ihn von dort, was weniger kostet und schneller antwortet.
- Lokale Modelle wie alle anderen behandelt. LIA spricht mit Ollama über seine native Schnittstelle. Sie fragt deinen Server, was jedes Modell kann (Werkzeuge, Bilder, Nachdenken, Kontextgröße): Nichts wird aus seinem Namen erraten.
Ein konkretes Beispiel: Eine Erinnerungsbenachrichtigung umfasst zwei Sätze. Bei einem Modell, das standardmäßig nachdenkt, kann das Nachdenken das ganze kleine vorgesehene Budget aufbrauchen, und die Antwort kommt leer zurück. LIA fordert diese kurzen Nachrichten deshalb ohne Nachdenken an, wo das Modell es abschalten lässt. Kommt die Antwort trotzdem leer oder abgeschnitten zurück, sendet LIA den vorgesehenen Ersatzsatz, und die Kosten des Aufrufs werden weiterhin gezählt.
Was es kostet, und wer zahlt
Jeder bezahlte Aufruf wird zum echten Tarif seines Anbieters gezählt: Eingabe, Ausgabe, Lese- und Schreibvorgänge im Cache, und sogar die Nebenzeiten, wenn ein Anbieter welche anbietet. Ein Versuch, der scheitert, nachdem er abgerechnet wurde, wird ebenfalls gezählt, denn ein Fehlschlag ist kein kostenloser Aufruf. Die Modelle laufen über die Schlüssel der Instanz, und jeder Aufruf wird dem Konto zugerechnet, für das er gemacht wurde, innerhalb seiner Limits. Die Schlüssel, die der Administrator eingibt, werden verschlüsselt gespeichert, und die Administration zeigt sie nur maskiert an.
Wenn eine Anfrage abgeschickt wurde und die Antwort unterwegs verloren geht, startet LIA sie nicht neu. Der Anbieter erzeugt diese Antwort vielleicht noch und rechnet sie ab: Sie neu zu starten hieße, doppelt zu zahlen. LIA versucht nur erneut, was mit Sicherheit gescheitert ist, zum Beispiel bei einem vorübergehend überlasteten Dienst.
Die Grenzen
- Es gibt keinen automatischen Wechsel zu einem anderen Anbieter, wenn deiner ausfällt. Das Modell zu wechseln bleibt eine Entscheidung des Administrators.
- Du kannst alle Aufgaben der Unterhaltung Modellen bei dir anvertrauen, aber eine vollständig offline laufende Installation ist nicht möglich. Die Suche nach Bedeutung (Gedächtnis, Wissensräume, Journal) läuft über den Embedding-Dienst von Google, die gesprochenen Antworten über Online-Sprachdienste, und Wetter, Websuche oder deine verbundenen Konten sind ihrer Natur nach online.
- Ein lokales Modell bleibt ein lokales Modell: Seine Qualität hängt von deinem Rechner und dem Modell ab, das du wählst.
Die Idee passt in einen Satz: Du wählst, wer welche Arbeit macht, und LIA kümmert sich darum, mit jedem in seiner Sprache zu sprechen.
Weiterlesen: LIAs Modelle einstellen, ohne Neustart und ohne unmögliche Konfiguration; Dem Modell zeigen, was zählt: die Dienste, die LIA die Arbeit erleichtern.