Halluzinationen reduzieren: Empirische Evidenz, dass Retrieval-Augmentierung KI-Antworten verlässlicher macht

1. Was Shuster et al. (2021) empirisch zeigen

Shuster, Poff, Chen, Kiela und Weston ^[1] haben in Findings of EMNLP 2021 zwei Fragen gestellt: Reduziert Retrieval Halluzinationen in offenen Dialogen? Und wenn ja: ohne die Antwortqualität zu opfern? Ihre Ergebnisse über mehrere Modelle (BART, T5, FiD) und Datensätze (Wizard of Wikipedia, CMU_DoG) sind eindeutig:

• Retrieval-augmentierte Modelle halluzinieren in Konversationen messbar seltener als parametrische Baselines.
• Die wahrgenommene Antwortqualität (Engagement, Kohärenz) sinkt nicht — sie steigt teils sogar.
• Der Effekt skaliert: bessere Retriever führen direkt zu weniger Halluzinationen.

2. IRCoT — Retrieval reicht nicht, wenn die Frage mehrschrittig ist

Trivedi und Kolleg:innen ^[2] zeigen bei ACL 2023: Bei Fragen, die mehrere Schritte erfordern, bricht klassisches Single-Shot-Retrieval ein. Die Lösung: Interleaved Retrieval with Chain-of-Thought (IRCoT) — der Retriever wird nach jedem Denkschritt erneut konsultiert. Empirisch zeigen sie auf HotpotQA, 2WikiMultihopQA, MuSiQue und IIRC, dass IRCoT die Exact-Match-Genauigkeit gegenüber One-Shot-RAG um zweistellige Prozentpunkte verbessert.

3. Konsequenz für seriöse Unternehmens-KI

• Retrieval ist kein Add-on, sondern Pflichtbestandteil.
• Multi-Step-Retrieval muss möglich sein.
• Quellen-Transparenz muss pro Schritt sichtbar sein.

Genau diese Architektur ist in BusFactor implementiert: Retrieval erfolgt nicht einmal pro Anfrage, sondern pro Reasoning-Schritt. Jeder Schritt zeigt die genutzten Quellen offen an.

4. Anschluss an die KM-Forschung

Argote und Ingram (2000) ^[3] zeigen, dass Wissensreservoirs nur dann tragen, wenn der Zugriff zuverlässig ist. Retrieval-Augmentierung ist die technische Antwort darauf — Shuster et al. plus Trivedi et al. liefern die empirische Grundlage.

Fazit

Halluzinationen sind kein unbeherrschbares Naturgesetz. Wer Retrieval einsetzt — pro Schritt, mit transparenten Quellen — kann ihre Häufigkeit empirisch belegt deutlich senken.