Was RAG verbessert und welche Probleme bleiben

Ein Beispiel: eine Frage zur internen Richtlinie

Eine Kollegin fragt nach der Frist für eine Reisekostenabrechnung. Ein brauchbares RAG-System findet die geltende Richtlinie, ihre aktuelle Version und den Absatz zur Frist. Das Modell erklärt diesen Absatz und verweist auf das Dokument.

Findet die Suche nur eine alte Fassung oder eine Regel für ein anderes Land, muss die Antwort die unzureichende Grundlage benennen. Eine selbstsichere Aussage mit einer unpassenden Quelle bleibt falsch. Der Geltungsbereich ist ebenso wichtig wie die sprachliche Ähnlichkeit zur Frage.

Den Belegweg verfolgen

Typischer Ablauf: Frage, Suche, ausgewählte Textstellen, Antwort. Bewahren Sie Dokumenttitel und Fundstellen auf. Fehlen belastbare Belege, sollte das System diese Grenze nennen, statt die Lücke plausibel auszufüllen.

Mit einem einfachen Suchablauf beginnen

Beginnen Sie mit wenigen verlässlichen Dokumenten. Extrahieren Sie lesbaren Text, erhalten Sie Überschriften und teilen Sie ihn so auf, dass Regeln und Ausnahmen zusammenbleiben. Speichern Sie Dokumentname, Version, Abschnitt und Zugriffsrechte je Passage. Suchen Sie passende Passagen und lassen Sie darauf eine belegte Antwort aufbauen.

Für kleine Sammlungen kann eine Suche nach Wörtern zunächst reichen. Vektorsuche hilft bei abweichenden Formulierungen; hybride Suche verbindet Text- und Vektorergebnisse. Große Infrastruktur oder eine allgemein ideale Abschnittslänge sind für den Einstieg nicht erforderlich.

Suche getrennt prüfen

Prüfen Sie zuerst, ob die passende Textstelle gefunden wurde, danach, ob sie die Antwort stützt. Zu kurze Abschnitte verlieren Kontext; zu lange verwässern die relevante Aussage. Testen Sie die Aufteilung mit typischen Fragen.

Drei Fehlerquellen getrennt untersuchen

Prüfen Sie zuerst die gefundenen Passagen. Fehlt die benötigte Information, untersuchen Sie Indexierung, Filter und Suche. Ist die Regel ohne ihre Ausnahme enthalten, prüfen Sie Aufteilung und Auswahl. Waren die Belege vollständig und wurden falsch wiedergegeben, untersuchen Sie die Antwortgenerierung.

Stellen Sie einen kleinen Fragenkatalog zusammen: eine direkte Frage, eine Umformulierung, eine Frage zu einer Ausnahme und eine unbeantwortbare Frage. Notieren Sie die erwartete Passage und erforderliche Ablehnungen. Damit lassen sich Änderungen vergleichen, statt eine einzelne gelungene Vorführung als Qualitätsnachweis zu verwenden.

Berechtigungen und Kosten im Blick behalten

Berücksichtigen Sie Benutzerrechte, bevor Dokumenttext an das Modell geht. Eine Anweisung im Prompt ersetzt keine Zugriffskontrolle. Anweisungen in gefundenen Dokumenten sind Dokumentinhalt und dürfen die Regeln des Systems nicht ändern.

Begrenzen Sie Passagenzahl und Antwortlänge, verwenden Sie geeignete Caches und aktualisieren Sie den Index bei Änderungen. Messen Sie Nutzen und Ausgaben. Vor einem zusätzlichen Ranking oder Modellaufruf sollte klar sein, welchen Fehler er behebt: Weitere Schritte erhöhen auch Wartezeit und Betriebskosten.