Context-driven Feedback Architecture: Wie SME-Reviews verlässliche KI-Antworten erzeugen

1. Das wirkliche Problem: Architektur, nicht Modell

Wer ein generisches LLM auf Unternehmenswissen ansetzt, bekommt vorhersehbare Probleme: inkonsistente Antworten, Halluzinationen, fehlende Quellen, keine Zugriffskontrolle, keine Auditierbarkeit. Die übliche Reaktion ist Fine-Tuning. Darren Pulsipher (Intel, 2025) hält das in seinem Whitepaper Capturing Tacit Knowledge through Generative AI für die falsche Antwort:

Fine-Tuning sei oft „cost-prohibitive, resource-intensive, and inflexible" [1, S. 2].

Sein Gegenvorschlag: eine separate Kontextschicht — der Context Atlas — neben dem Modell. Das Wissen wandert nicht in Modellgewichte, sondern in eine strukturierte, versionierte, sicherheitsklassifizierte Schicht.

2. Der Context Atlas: Vier Map-Typen

Pulsipher gliedert den Context Atlas in vier Map-Typen [1, S. 3]:

| Map-Typ | Inhalt | KMU-Übersetzung | |---|---|---| | Base Map | Standardwissen, Rollenbasiswissen | Rollenprofile, Standardprozesse | | Interaction Map | SME-Korrekturen, Review-Kommentare | Expertenfeedback zu KI-Antworten | | Classification Map | Sensitivität, Zugriffsregeln | Permission-aware Retrieval | | Processing Map | Chunking-/Verarbeitungsstrategien | Wie Wissen für RAG vorbereitet wird |

Der Clou: Diese Maps sind versioniert und auditierbar. Pulsipher betont „granular security classification metadata" und „versioned interaction histories" [1, S. 3] — beides Voraussetzung für regulierte Branchen.

3. Der Feedback-Loop in fünf Schritten

Die Mechanik ist disziplinierter als gewohnte RAG-Pipelines [1, S. 2–4]:

1. Nutzer:in stellt Anfrage.
2. LLM generiert initiale Antwort unter Nutzung relevanter Maps.
3. SME prüft Antwort, korrigiert oder bestätigt.
4. Feedback wird in passende Maps geschrieben (Interaction/Classification/Processing).
5. Zukünftige ähnliche Queries nutzen den geprüften Kontext.

Pulsipher formuliert es so: „SME corrections automatically scale across similar queries" [1, S. 6]. Das ist der Skalierungs-Hebel — eine einzelne Korrektur verbessert dutzende zukünftige Antworten.

4. Wo strukturierte Entscheidungslogik gehört: Text2Chat (Goossens & Vanthienen)

Alexandre Goossens und Jan Vanthienen (KU Leuven) zeigen in Text2Chat (HICSS 2024), dass reine LLM-Antworten für entscheidungsintensive Prozesse problematisch bleiben ^[2]. Ihre Argumentation:

• LLMs sind exzellente natürlichsprachliche Interfaces.
• Für Entscheidungslogik (Eskalationen, Förderberechtigung, Compliance-Regeln) sind sie Black Boxes, promptsensitiv und schwer auditierbar.
• DMN (Decision Model and Notation) bietet strukturierte, ausführbare Entscheidungslogik.

Ihr Hybrid: GPT als Intent-Interpreter, DMN als deterministische Reasoning-Engine. Empirisch belegt mit einer Survey von 108 Teilnehmenden: Der GPT-DMN-Chatbot beantwortete Entscheidungsfragen in 4 von 5 Reasoning-Szenarien häufiger korrekt als eine konventionelle Informationsseite [2, S. 5999].

Methodischer Hinweis ihrer Klassifikationsvorstufe: Process- vs. Decision-Sentence-Klassifikation erreicht mit SVM + TF-IDF eine Accuracy von 0,98 (n: 417 Process-Sätze, 809 Decision-Sätze) [2, S. 5995–5996]. Das ist Hinweis: Auch klassisches ML hat in dieser Architektur seinen Platz.

Konsequenz für KMU: Nicht jedes Wissensartefakt sollte Freitext bleiben. Entscheidungslogik (Eskalationsmatrizen, Sonderfälle, Compliance-Regeln) gehört in strukturierte Artefakte, die deterministisch ausgeführt werden können — und vom LLM nur interpretiert werden.

5. Die theoretische Grundlage: Human-AI SECI

Matsumoto, Nishikawa und Morimoto liefern in Human-AI-Collaboration SECI Model (KES-AMSTA 2024) die Theorieklammer ^[3]. Sie erweitern Nonaka & Takeuchis SECI-Modell (Socialization–Externalization–Combination–Internalization) um eine LLM-augmentierte Schleife:

• Externalization: SME liefert Wissen → KI strukturiert.
• Combination: KI nutzt Wissen → erzeugt Antworten/Artefakte.
• Reflection: SME prüft Output → korrigiert.
• Re-Externalization: Korrektur fließt zurück in die Wissensschicht.

Wichtig: Die Autor:innen argumentieren ebenfalls gegen Fine-Tuning für laufend veränderliches Expert:innenwissen — RAG erlaubt Wissensreflexion ohne Parameter-Update ^[3]. Begrifflich verwenden sie „digital twin of the expert"; in der Außenkommunikation ist das problematisch (Stichwort Datenschutz, BetrVG). Besser: Rollenwissensraum oder Knowledge Atlas.

6. Was diese drei Quellen gemeinsam ergeben

Eine konvergente Architektur für vertrauenswürdige KI-Wissenssysteme:

┌──────────────────────────────────────────────────────┐
│  Interaction Layer (Chat, Voice, Search)             │
├──────────────────────────────────────────────────────┤
│  LLM Runtime (Intent, Sprache, Formulierung)         │
├──────────────────────────────────────────────────────┤
│  Context Injection Engine                            │
│    + Permission-aware Retrieval                      │
│    + Decision Engine (DMN/Rule) für Entscheidungen   │
├──────────────────────────────────────────────────────┤
│  Knowledge Atlas (Pulsipher: Context Atlas)          │
│    ├─ Base Map (Rollenwissen)                        │
│    ├─ Interaction Map (SME-Reviews)                  │
│    ├─ Classification Map (Sensitivität)              │
│    └─ Processing Map (Chunking, Embeddings)          │
├──────────────────────────────────────────────────────┤
│  Capture Layer (Voice/Dialog → Artefakte)            │
├──────────────────────────────────────────────────────┤
│  Governance & Audit (Versionierung, Audit Logs)      │
└──────────────────────────────────────────────────────┘

Diese Architektur ist nicht spekulativ — sie ist die Schnittmenge von drei unabhängigen wissenschaftlichen Arbeiten.

7. Methodische Caveats

• Pulsipher (2025) ist ein Industrie-Whitepaper, nicht peer-reviewed. Die genannten Case-Zahlen (240x Speedup, 99,9 % SME-to-SME-Variation reduziert) sind methodisch nicht ausreichend dokumentiert und sollten nicht als Wirkungsnachweis kommuniziert werden.
• Goossens & Vanthienen (2024) validieren in einem spezifischen Use Case (administrative Entscheidungen); Übertragbarkeit auf alle Wissensdomänen ist nicht bewiesen.
• Matsumoto et al. (2024) liefern ein Modell, keine Evaluation in deutschen KMU.

Diese drei Quellen zusammen sind aber stark genug, um eine Architektur-These wissenschaftlich zu untermauern.

8. Was das für KMU heute heißt

a) Knowledge Atlas vor Modellwahl. Wer 2026 ein „KI-Wissenssystem" plant, sollte zuerst die Wissensschicht entwerfen, dann das Modell. Modelle sind austauschbar; gut strukturierte Wissensartefakte sind langlebig.

b) SME-Review als Pflichtschritt. Keine KI-Antwort sollte in produktiven Workflows ohne mindestens eine einmalige SME-Validierung ihres Wissensartefakts publiziert werden. Reviews skalieren — Capture allein nicht.

c) DMN/Rule-Engine für Entscheidungslogik. Eskalationsregeln, Sonderfälle, Förderlogik gehören in strukturierte, ausführbare Artefakte — nicht in Freitext-Dokumente.

d) Permission-aware Retrieval von Tag 1. Classification Maps sind Architektur, nicht Compliance-Feature. Wer sie nachträglich einbaut, baut das System neu.

Fazit

Verlässliche KI-Wissenssysteme sind keine Frage des besten Modells. Sie sind eine Frage der besten Architektur — und diese Architektur ist 2026 wissenschaftlich überraschend gut beschrieben. Wer sie ignoriert, baut Wikis mit Chatbot-Skin. Wer sie ernst nimmt, baut Systeme, die in regulierten Branchen tragen.