Finden, was zählt, ohne alles mitzubringen: die Schwellen der Suche nach Bedeutung

Warum das für dich zählt

Wenn du LIA fragst „was hatte ich dir über Pauls Restaurant erzählt?“, sucht sie nicht nach den genauen Wörtern deines Satzes. Sie sucht nach der Bedeutung. Jede Erinnerung, jede Journalnotiz und jeder Abschnitt deiner Dokumente wird in eine Folge von Zahlen umgewandelt, ein Embedding, das darstellt, was gemeint ist. Zwei Texte mit ähnlicher Bedeutung haben ähnliche Embeddings, und ihre Ähnlichkeit wird mit einem Score gemessen.

Bleibt zu entscheiden, ab welchem Score eine Erinnerung nah genug ist, um zu helfen. Zu niedrig, und LIA schiebt Erinnerungen ohne Bezug in ihre Antwort: Die Antwort wird unscharf, und du bezahlst Token für Rauschen. Zu hoch, und sie übersieht, was sie eigentlich weiß. Diese Schwelle sieht aus wie ein technisches Detail; sie entscheidet, ob LIA sich gut erinnert.

Was ich wollte

Ich wollte eine Schwelle pro Verwendungszweck, gewählt anhand realistischer Tests. Eine nützliche Erinnerung finden, ein Duplikat unter deinen Interessen erkennen oder einen Abschnitt eines Dokuments auswählen sind nicht dieselbe Frage. Und ich wollte, dass jede Schwelle nach den Kosten ihrer Fehler gewählt wird.

Wie es abläuft

Jedes Embedding-Modell kodiert Bedeutung auf seine Weise. Als LIA zum Embedding-Modell von Google gewechselt ist, das zwei Texte ohne Bezug nicht mehr nur deshalb zusammenrückt, weil sie in derselben Sprache geschrieben sind, wurden alle Schwellen neu kalibriert: Die des alten Modells bedeuteten nichts mehr. Für jede habe ich an Testdatensätzen gemessen, was sie fälschlich durchlässt und was sie verpasst.

• Suchen oder Duplikate zusammenführen. Um dir eine Erinnerung ins Gedächtnis zu rufen, reicht eine moderate Schwelle. Um zu entscheiden, dass zwei Interessen nur eines sind, müssen sie fast identisch sein. Eine Erinnerung trägt sogar zwei Embeddings: eines für ihren Inhalt, eines für die Stichwörter, die sie wachrufen sollen.
• Die Kosten eines Fehlers. Beim Zusammenführen doppelter Interessen machten zwei Schwellen genau gleich viele Fehler. Die niedrigere führte fälschlich verschiedene Themen zusammen, etwa Android und iOS: Dein Interesse am einen verschwand im anderen, ohne Rückweg. Die höhere ließ ein paar Duplikate durch, sichtbar und leicht zu korrigieren. Ich habe die höhere behalten, denn die Fehler zu zählen reichte nicht: Man musste sich ansehen, welche es waren. Der Grund steht neben dem Wert, im Code.
• Sechs Sprachen, eine einzige Schwelle. Für die Wissensräume wurde die Schwelle in jeder der sechs Sprachen von LIA gemessen, und der beste Wert war überall derselbe. Das trifft sich gut: Ein französisches Dokument kann eine auf Deutsch gestellte Frage beantworten, und eine Schwelle pro Sprache hätte nicht gewusst, welche sie wählen soll. Ein kleiner Bonus belohnt außerdem die genauen Wörter, damit ein Produktname oder eine Referenz nicht verloren geht.
• Eine Schwelle, die lernt. Für dein Journal passte ein fester Wert nicht für alle: Die Scores hängen davon ab, was jeder schreibt und wie viele Notizen es gibt. Diese Schwelle passt sich deshalb an dich an, höchstens um einen kleinen Schritt pro Tag, zwischen zwei Grenzen, die sie nicht überschreiten kann. Mit einem Schalter lässt sie sich auf ihrem Standardwert festhalten.

Ein Embedding muss erst einmal ankommen

Eine gut gewählte Schwelle nützt nichts, wenn das Embedding nicht berechnet wird. Diese Berechnung läuft über einen Onlinedienst, der die Zahl der Aufrufe pro Minute begrenzt. LIAs Hintergrundaufgaben starten deshalb zeitversetzt, damit nicht alle in derselben Sekunde losgehen. Wenn der Dienst trotzdem überlastet ist, versucht LIA es eine begrenzte Zahl von Malen erneut, und ihre eigene Drosselung lässt die Anfrage im Zweifel durch, damit deine Antwort ihr Gedächtnis behält.

Die Grenzen

• Keine Schwelle trennt perfekt, was relevant ist, vom Rest. Zwei verschiedene Themen können sich sehr ähneln, und zwei Formulierungen derselben Idee viel weniger. Die Schwelle bleibt ein Kompromiss, und deshalb wähle ich sie auf der Seite des weniger schweren Fehlers.
• Die Embeddings zweier verschiedener Modelle lassen sich nicht miteinander vergleichen: Wer das Modell wechselt, muss alles neu kalibrieren.
• Die Suche nach Bedeutung hängt heute von einem Dienst von Google ab. Offline funktioniert sie nicht.

Weiterlesen: Deine Dokumente, nur eine Frage entfernt: die Wissensräume; Dem Modell zeigen, was zählt: die Dienste, die LIA die Arbeit erleichtern.