RAG

Aus Wiki der verantwortungsvollen Digitalisierung

RAG (Retrieval-Augmented Generation, abrufgestützte Generierung) verbindet die Suche in Dokumenten mit einem generativen Modell: Das System ruft zunächst relevante Passagen aus einer Dokumentensammlung ab und bittet anschließend das Modell (FR), auf dieser Grundlage eine Antwort zu formulieren.

Vorteile

  • Aktualität: Das Wissen liegt in der Dokumentensammlung, die ohne erneutes Training aktualisiert werden kann.
  • Nachvollziehbarkeit: Die Antwort kann ihre Quellen nennen und wird dadurch überprüfbar.
  • Weniger Halluzinationen (FR): Das Modell stützt sich auf Dokumente statt allein auf seine Parameter.
  • Kontrolle über die Systemgrenzen: Interne Dokumente bleiben im Informationssystem.

Gegenüber Fine-Tuning ist RAG vorzuziehen, sobald sich das Wissen verändert.

Grenzen

Die Qualität hängt vollständig von der Qualität der Suche ab: Eine nicht gefundene Passage wird nicht verwendet, eine fehlerhafte Passage wird übernommen. RAG verlagert das Qualitätsproblem auf die Dokumentenindexierung, beseitigt es aber nicht.

Siehe auch