Warum das zählt
Wenn LIA ein Sprachmodell aufruft, schickt sie ihm Text: deine Frage, den nützlichen Kontext und die Beschreibung der Werkzeuge, die es nutzen kann. Dieser Text wird nach Menge bezahlt, in Tokens, und je länger er ist, desto länger dauert die Antwort. LIA deckt Dutzende Bereiche und viele Werkzeuge ab. Sie bei jeder Anfrage alle zu beschreiben, wäre teuer, und ein Planer, der unter Optionen begraben ist, wählt schlechter.
Das umgekehrte Extrem ist ebenfalls eine Falle: Nimmt man dem Modell eine Information weg, die es braucht, zwingt man es zum Raten.
Was ich wollte
Ich wollte, dass jedes Modell bekommt, was es braucht, nicht weniger und kaum mehr. Und dass man kein Modell für etwas aufruft, das eine einfache Regel schon kann. Drei Dienste teilen sich diese Arbeit vor dem Pipeline-Modus, dem Modus, der plant, bevor er handelt.
Die Frage auf Anhieb verstehen
Der erste Dienst liest deine Frage und zieht das Wesentliche heraus: Ist es ein Gespräch oder eine Aktion, welche Bereiche sind betroffen, worauf beziehen sich deine Worte. „Wie ist das Wetter bei meinem Bruder?“ betrifft das Wetter, aber auch deine Kontakte, denn man braucht die Adresse deines Bruders. „Meine Frau“ wird zu dem Vornamen, den LIA in ihrem Gedächtnis hat. „Der erste“ meint das erste Element der Liste, die LIA dir gerade gezeigt hat. Die ganze weitere Verarbeitung geht von dieser Analyse aus, ohne sie zu wiederholen.
Nur die richtigen Werkzeuge zeigen
Der zweite Dienst bereitet den Katalog vor, den der Planer sieht: nur die Werkzeuge der erkannten Bereiche und der gewünschten Art von Aktion, kompakt beschrieben. Zwei Sicherheitsnetze verhindern, dass diese Auswahl das Wesentliche entfernt. Erstens: Braucht ein ausgewähltes Werkzeug eine Angabe, die nur ein anderes Werkzeug liefern kann, wird dieses andere Werkzeug hinzugefügt; ohne es wäre kein Plan möglich. Zweitens: Findet der Planer trotz allem keinen ausführbaren Plan, versucht LIA es ein einziges Mal mit einem erweiterten Katalog. All das passiert vor der ersten Ausführung.
Überspringen, was schon bekannt ist
Der dritte Dienst schreibt den Plan, und manchmal kommt er ohne Modell aus. „Zeig mir die Details des ersten“: Das Element ist schon identifiziert, der Plan schreibt sich direkt. „Such das Restaurant dieses Termins“: Der Ort des Termins geht unverändert an die Ortssuche.
Er stützt sich außerdem auf bereits bestätigte Werkzeugfolgen, zum Beispiel „einen Kontakt suchen, dann eine E-Mail senden“. Eine oft bestätigte Folge wird dem Planer vorgeschlagen. Ist das Vertrauen sehr hoch, kann der Plan sogar ohne zusätzliche Prüfung durch ein Modell auskommen. Dieses Register gilt für die ganze Installation und speichert nur die Werkzeugfolge, nichts von dem, was du geschrieben hast. Der Betreiber kann Referenzfolgen hineinladen und, wenn er es beschließt, LIA die Folgen speichern lassen, die die Prüfung bestehen. Standardmäßig ist diese Speicherung abgeschaltet: LIA nutzt die vorhandenen Folgen, ohne neue zu lernen.
Die Grenzen
Diese Auswahl hat ihre toten Winkel. Verpasst die Analyse einen Bereich, sieht der Planer dessen Werkzeuge nicht, und der erweiterte Katalog kommt nur einmal zum Einsatz. Die Abkürzungen decken nur einfache Fälle ab. Das Register der Folgen speichert, was für alle funktioniert, nicht deine persönlichen Vorlieben. Und diese Dienste bereiten den Pipeline-Modus vor: Im ReAct-Modus wählt LIA ihre Werkzeuge anders, entweder über eine Relevanzrangfolge, die anhand deiner Frage berechnet wird, oder indem sie alle deine Werkzeuge bereithält, je nach dem Austauschrhythmus, den du gewählt hast.
Weiterlesen: Finden, was zählt, ohne alles mitzubringen: die Schwellen der Suche nach Bedeutung; Ein Dirigent und Spezialisten: Wie LIA deine Anfrage bearbeitet.