Kosinus, Skalarprodukt und Abstand: Wählen Sie die Metrik, die Ihr Einbettungsmodell erwartet
Vergleichen Sie drei Ähnlichkeitsberechnungen an kleinen Vektoren und sehen Sie, wann die Normalisierung die Rangfolge verändert.
Auf dieser Seite
Die kurze Antwort
Verwenden Sie die Ähnlichkeitsmetrik und die Vorverarbeitung, die für das Einbettungsmodell empfohlen werden. Kosinus vergleicht die Richtung, das Skalarprodukt spiegelt auch die Vektorgröße wider, und die euklidische Distanz misst die Trennung. Für Einheitsvektoren stimmen Kosinus und Skalarprodukt überein, und das quadrierte euklidische Abstandsmaß entspricht 2 minus zweimal dem Kosinus. Diese Äquivalenz erfordert Normalisierung; sie macht beliebige Dienstwerte nicht austauschbar. Prüfen Sie sowohl Dokument- als auch Abfragevektoren, bevor Sie einen Index ändern.
Beginnen Sie mit dem Einbettungsvertrag
Protokollieren Sie die Modellkennung, die Revision, die Vektordimension und das empfohlene Ähnlichkeitsmaß. Abfrage- und Dokumenteinbettungen müssen zu kompatiblen Repräsentationen gehören; gleiche Dimensionen allein beweisen keine Kompatibilität. Einige Retrievalsmodelle verwenden unterschiedliche Abfrage- und Dokumentanweisungen, daher bedeutet Kompatibilität nicht zwingend identische Eingabeformatierung. Wenden Sie die dokumentierte Vorverarbeitung konsistent an und bewahren Sie sie zusammen mit der Indexkonfiguration auf.
Richtung und Größe unterscheiden
Für nichtnullige Vektoren q und x ist der Kosinus ihr Skalarprodukt geteilt durch das Produkt ihrer Längen. Eine positive Skalierung eines der Vektoren lässt den Kosinus unverändert. Das Skalarprodukt hat keine solche Invarianz: Ein längerer Vektor kann seinen Wert erhöhen, auch wenn seine Richtung gleich bleibt. Entscheiden Sie, ob die Länge in diesem speziellen Modell nützliche Informationen trägt, statt Normalisierung als universell harmlose Bereinigung zu behandeln.
Drei Rangfolgen von Hand berechnen
Betrachten Sie die konstruierten Vektoren q=(1,0), a=(2,0) und b=(1,1). Ihre Skalarprodukte mit q sind 2 und 1, also rangfolgt das Skalarprodukt a an erster Stelle. Die Kosinuswerte sind 1 und etwa 0,707, ebenfalls mit Rangfolge a zuerst. Die rohen euklidischen Abstände sind beide 1, was ein Unentschieden ergibt. Dieses arithmetische Beispiel zeigt unterschiedliches Metrikverhalten; es ist kein gemessenes Retrievals Ergebnis und kein Beleg dafür, dass eine Metrik genauer ist.
Die Einheitsvektor-Äquivalenz verstehen
Nach der Normalisierung wird aus a (1,0), aus b etwa (0,707,0,707), und q bleibt (1,0). Ihre Abstände zu q werden 0 und etwa 0,765. Für zwei Einheitsvektoren ergibt sich bei der Entwicklung des quadrierten Abstands 1+1-2 mal ihr Skalarprodukt. Das Minimieren des Abstands und das Maximieren des Kosinus erzeugen also unter diesen Annahmen in exakter Arithmetik dieselbe Rangfolge. Näherungsindexe und die Behandlung von Unentschieden können dennoch unterschiedliche zurückgegebene Kandidatensätze erzeugen.
Ungültige Vektoren vor der Indexierung verwerfen
Ein Nullvektor kann nicht durch Division auf Einheitslänge normalisiert werden, und der Kosinus ist undefiniert, wenn eine der Längen null ist. Nichtendliche Werte und inkonsistente Dimensionen sollten ebenfalls als Daten- oder Pipeline-Probleme behandelt werden. Definieren Sie, ob solche Datensätze verworfen, in Quarantäne gestellt oder erneut versucht werden. Ein stillschweigendes Ersetzen jedes ungültigen Vektors durch Nullen erzeugt eine neue Repräsentation, ohne zu klären, ob das Einbettungsmodell oder der Suchdienst sie unterstützt.
Den vom Dienst zurückgegebenen Wert interpretieren
Eine API kann einen Abstand oder eine Ähnlichkeit in ihren eigenen Rangwert umwandeln. Azure AI Search dokumentiert beispielsweise einen transformierten Kosinuswert statt des rohen Kosinus als Suchwert. Ein von einem anderen Dienst oder einer Handrechnung kopierter Schwellenwert kann daher falsch sein. Lesen Sie die Werte definition für den tatsächlichen Abfragemodus, einschließlich der Frage, ob hybrides Retrieving mehrere Rangfolgen kombiniert.
Änderungen an sinnvollen Abfragen evaluieren
Bevor Sie eine Produktionsmetrik wechseln, vergleichen Sie eine kleine Menge repräsentativer Abfragen mit expliziten Relevanzbewertungen. Halten Sie Dokumente, Modell und Vorverarbeitung fest, wenn Sie eine Metrikänderung isolieren. Wenn Sie einen näherungsweisen Index verwenden, unterscheiden Sie ein Kandidaten-Recall-Problem von einem Bewertungsproblem. Protokollieren Sie fehlende relevante Dokumente und unerwartet hochrangige Ergebnisse, statt einen visuell größeren Wert als Qualitätsverbesserung zu interpretieren.
Normalisierung versionsgebunden mit dem Index halten
Eine Änderung der Normalisierung verändert gespeicherte Vektoren und kann eine Neuindizierung erfordern. Nur Abfragen zu normalisieren, während eine inkompatible Dokumentrepräsentation unverändert bleibt, ist keine allgemeine Migrationsstrategie. Speichern Sie Modellrevision, Metrik und Normalisierungseinstellungen gemeinsam, damit eine spätere Bereitstellung die Repräsentation reproduzieren kann. Prüfen Sie das Modellblatt für das tatsächlich ausgewählte Modell; eine Empfehlung für ein normalisiertes Einbettungsmodell begründet keine Regel für alle Modelle.
Was Sie prüfen sollten
- Verwenden Sie kompatible Abfrage- und Dokumentrepräsentationen.
- Bestätigen Sie die modellspezifische Metrikempfehlung.
- Lehnen Sie Null- und nichtendliche Vektoren gemäß einer dokumentierten Richtlinie ab.
- Lesen Sie die tatsächliche Dienstwertsdefinition.
- Behandeln Sie die kleinen Vektorwerte als anschauliche Arithmetik.
Geltungsbereich
Die Äquivalenz gilt für nichtnullige Einheitsvektoren in exakter Arithmetik. Näherungsindexierung, Quantisierung, hybrische Rangfolge und Dienstwertsumwandlungen können die zurückgegebenen Ergebnisse beeinflussen. Diese Anleitung stellt keine Retrieval-Genauigkeit für einen bestimmten Korpus fest.