Wie misst man Wissensbewahrung? Empirische KPIs aus WYDOT, Dark-Data-Forschung und RAG-Studien

Das Mess-Problem im Wissensmanagement

Klassische Tool-Metriken (Klicks, Page Views) sagen über Wissensnutzung nichts aus. Die Forschung hat in den letzten 18 Monaten brauchbare Antworten geliefert.

1. Turnover und Knowledge Loss (Abdelaty, 2024)

Der WYDOT-Forschungsplan (Abdelaty, 2024) ist ein 24-Monats-Projekt mit Mixed Methods: Literaturreview, Surveys, strukturierte Interviews, Exit-Interview-Analyse, LLM-Chatbot-Prototyp (KNOWWY) und Pilot. Drei direkt nutzbare Befunde:

• Turnover-Range: 6 %–30 % in State Transportation Agencies — besonders gefährdet: Mitarbeitende mit < 5 Jahren Betriebszugehörigkeit.
• Knowledge-Gap-Diagnose über Exit Interviews — in KMU systematisch ungenutzte Datenquelle.
• Trust-Risiko: „fear that sharing their expertise will make them redundant" (Abdelaty, 2024).

Pilot-Evaluation: Correct Answer Percentage + User Satisfaction Scores. Direkt auf KMU-Piloten übertragbar.

Abdelaty, A. (2024). Mitigating employee turnover and enhancing knowledge retention at WYDOT [Research project proposal]. University of Wyoming.

2. Dark Data (Zhong et al., 2024)

Zhong, Jackson, West und Cosma (2024) zeigen in einer Case Study bei einem globalen Automotive-Hersteller: Wartungswissen liegt häufig als dark data vor — gespeichert, aber nahezu ungenutzt. Reine automatische Extraktion genügt nicht; menschliches Verständnis und Datenanreicherung bleiben notwendig. Ihre Architekturantwort: ein Knowledge Graph, der Komponenten und Fehlerwissen verbindet (Zhong et al., 2024).

Konsequenz für KMU: Volltextsuche über SharePoint ist kein Wissensmanagement-System.

Zhong, K., Jackson, T., West, A., & Cosma, G. (2024). Building a sustainable knowledge management system from dark data in industrial maintenance. In KMO 2024 (Vol. 2152, pp. 263–274). Springer. https://doi.org/10.1007/978-3-031-63269-3_20

3. RAG-Metriken (Stanford et al., 2026)

Stanford et al. (2026) beschreiben in einem ResearchGate-Preprint ohne DOI eine synthetische Simulation (40 Tochtergesellschaften, 1,5 Mio. Dokumente, 5.000 Mitarbeitende). Die Performance-Zahlen sind nicht belastbar. Was sehr wohl nutzbar ist, ist die KPI-Logik:

• Retrieval Precision / Recall — passen Snippets zur Frage?
• Faithfulness Score — bleibt die Antwort innerhalb der Quellen? Wichtigster Anti-Halluzinations-KPI.
• Knowledge Transfer Velocity — Zeit bis korrekter, geprüfter Antwort.
• Cross-Lingual Consistency — relevant bei polnischen/tschechischen Standorten.
• RBAC auf Retrieval-Ebene — Architekturprinzip, nicht Compliance-Wunsch.

Stanford, R., Grindrod, J., Qin, L., Da Ros, F., Matta, D., & Thakkar, N. (2026). The transformation of knowledge transfer mechanisms in MNEs using RAG systems [Unpublished manuscript]. ResearchGate. https://www.researchgate.net/publication/403943304

4. KPI-Set für KMU-Piloten

| KPI | Quelle | Messmethode | |---|---|---| | Correct Answer Percentage | Abdelaty (2024) | manuelle Stichprobe (n ≥ 50) | | User Satisfaction (5-Punkt) | Abdelaty (2024) | Mini-Survey pro Session | | Faithfulness Score | Stanford et al. (2026) | LLM-as-Judge + manuelle Re-Prüfung | | Retrieval Precision @5 | Stanford et al. (2026) | annotiertes Goldset (n ≥ 30) | | Time-to-First-Useful-Answer | Stanford et al. (2026) | Logging | | Onboarding-Zeit bis produktiv | Abdelaty (2024) | Vorher-Nachher | | Anteil revalidierter Artefakte | Zhong et al. (2024) | Status „verified" pro Quartal | | Anzahl identifizierter Wissens-Gaps | Abdelaty (2024); Zuin et al. (2025) | Capture-Logging |

5. 30-60-90-Tage-Blueprint

Tag 1–30 — Setup & Baseline. Bus-Faktor pro Rolle, Auswertung der letzten zwölf Exit Interviews (Abdelaty, 2024), Goldset-Definition, Auswahl 3–5 Pilot-Rollen.

Tag 31–60 — Capture & Indexierung. Strukturierte Interviews, Konvertierung relevanter „dark data" (Zhong et al., 2024) in geprüfte Artefakte, Aufbau Knowledge Layer mit Owner und Frische-Datum.

Tag 61–90 — Q&A-Pilot & Evaluation. Permission-aware Retrieval, Annotation 50 Antworten, wöchentlicher Satisfaction-Survey, Vorher-Nachher-Onboarding.

6. Was Sie nicht messen sollten

• Klicks und Page Views
• reine Dokumentenanzahl
• generische „Adoption Rate" ohne Rollenbezug
• übernommene Effektzahlen aus Marketing-Studien

Fazit

Knowledge Retention ist messbar. Die KPIs sind in der Forschung vorhanden, robust und in KMU-Maßstab erhebbar — und ehrlich genug, eigene Grenzen zu benennen.