KI-Assistent mit Firmenwissen: So funktioniert RAG

Dieser Beitrag wurde mit KI erstellt.

Ein KI-Assistent kennt dein Firmenwissen, wenn er vor jeder Antwort in deinen eigenen Dokumenten nachschlägt: Er sucht die passenden Stellen aus Handbüchern, Verträgen oder Tickets heraus, gibt sie dem Sprachmodell als Grundlage mit und nennt sie als Quelle. Dieses Verfahren heißt Retrieval-Augmented Generation, kurz RAG. Das Modell selbst wird dafür nicht neu trainiert. Ob der Assistent gute Antworten liefert, hängt deshalb weniger vom Modell ab als von deinen Dokumenten, den Zugriffsrechten und der Pflege. Wir zeigen, wie RAG funktioniert und was du vor dem Start klärst.

Warum ein Sprachmodell dein Firmenwissen nicht kennt

Ein Sprachmodell lernt aus öffentlich verfügbaren Texten bis zu einem bestimmten Stichtag. Deine Preislisten, Wartungsanleitungen, Kundenverträge oder internen Abläufe gehören nicht dazu. Fragst du trotzdem danach, antwortet das Modell oft flüssig und überzeugend, aber ohne Grundlage. Das Modell mit den eigenen Daten neu zu trainieren, ist aufwendig, und jede neue Version eines Dokuments müsste erneut hinein. RAG geht einen anderen Weg: Das Wissen bleibt in deinen Dokumenten und wird erst im Moment der Frage nachgeschlagen.

So funktioniert RAG in drei Schritten

Bevor der Assistent antworten kann, werden deine Dokumente aufbereitet: Sie werden in kurze Abschnitte zerlegt und so in einer Datenbank abgelegt, dass sie nach ihrer Bedeutung durchsuchbar sind, meist in einer Vektordatenbank. Bei jeder Frage laufen dann drei Schritte ab, wie sie etwa die Dokumentation von Microsoft Learn beschreibt:

• Abrufen: Das System sucht die Abschnitte heraus, die am besten zur Frage passen, auch wenn sie andere Wörter verwenden. Wer nach „Urlaub beantragen“ fragt, findet so auch die Stelle zum „Antrag auf Freistellung“.
• Ergänzen: Die gefundenen Abschnitte werden zusammen mit der Frage und klaren Anweisungen an das Sprachmodell übergeben, etwa „Antworte nur auf Basis dieser Quellen“.
• Antworten: Das Modell formuliert die Antwort aus diesen Abschnitten und nennt die Dokumente, aus denen sie stammt.

Der Vorteil: Änderst du ein Dokument, kennt der Assistent die neue Fassung, sobald sie in der Datenbank aktualisiert ist. Und jede Antwort lässt sich an der genannten Quelle nachprüfen.

Die Qualität steckt in deinen Dokumenten

Ein Wissensassistent ist nur so gut wie die Dokumente, aus denen er schöpft. Liegen drei Fassungen derselben Arbeitsanweisung in der Ablage, findet er womöglich die älteste. Fehlt eine Information ganz, kann auch die beste Suche sie nicht finden. Vor dem Start lohnt sich deshalb ein kritischer Blick auf die Quellen:

• Auswahl: Welche Ablagen, Handbücher, Produktdaten oder Tickets soll der Assistent kennen, und welche bewusst nicht?
• Aktualität: Veraltete Fassungen gehören archiviert oder als ungültig gekennzeichnet, damit sie nicht in Antworten landen.
• Verantwortung: Für jede Quelle gibt es jemanden, der sie pflegt und Fehler korrigiert, wenn der Assistent sie aufdeckt.
• Lesbarkeit: Eingescannte Dokumente ohne Texterkennung oder Tabellen als Bild sind für die Suche schwer zugänglich und brauchen eine Aufbereitung.

Strukturierte Daten wie Lagerbestände oder offene Rechnungen holt der Assistent besser direkt aus dem ERP oder der Buchhaltung über eine Schnittstelle. Für genaue Zahlen und tagesaktuelle Werte ist die Abfrage an der Quelle zuverlässiger als eine Textsuche.

Zugriffsrechte gehören in die Suche

Ein Punkt wird bei der Einführung oft unterschätzt: Der Assistent darf jeder Person nur das zeigen, was sie auch in der Ablage sehen dürfte. Liegen Personalakten, Gehaltslisten oder vertrauliche Verträge im selben Index wie das Handbuch, kann sonst eine harmlose Frage vertrauliche Inhalte zutage fördern. Die Zugriffsrechte müssen deshalb schon beim Abrufen greifen, nicht erst bei der Anzeige. Jeder Abschnitt trägt die Information, wer ihn sehen darf, und die Suche berücksichtigt bei jeder Frage, wer gerade fragt (so empfiehlt es auch der RAG-Überblick von Geteasy). Dass ein Abschnitt inhaltlich gut zur Frage passt, sagt nichts darüber, ob die fragende Person ihn lesen darf.

Ebenso wichtig ist die Frage, wo das Sprachmodell läuft. Schickt der Assistent die gefundenen Abschnitte an einen Cloud-Dienst, verlassen deine Dokumente bei jeder Frage das Haus. Für vertrauliche Inhalte ist ein privates Modell die sicherere Wahl. Die Abwägung erklären wir in Private KI oder Cloud-KI?, und welche Regeln dein Team für KI-Werkzeuge braucht, zeigt der Ratgeber KI-Nutzungsrichtlinie: Was gehört hinein?.

Was RAG nicht leistet

RAG senkt das Risiko erfundener Antworten deutlich, schließt es aber nicht aus. Findet die Suche die passende Stelle nicht, fasst das Modell einen Abschnitt falsch zusammen oder stützt die genannte Quelle die Aussage gar nicht, ist die Antwort trotzdem falsch. Ein guter Assistent ist deshalb so gebaut, dass er zugibt, wenn er keine passende Quelle findet, statt zu raten. Bei wichtigen Entscheidungen bleibt der Blick in die Quelle Pflicht. Prüfe den Assistenten vor dem Start mit echten Fragen aus deinem Alltag, deren richtige Antworten du kennst, und wiederhole diesen Test, wenn sich Dokumente oder das Modell ändern.

So startest du mit einem Wissensassistenten

• Klein anfangen: Wähle einen Bereich mit vielen wiederkehrenden Fragen, etwa die Einarbeitung neuer Mitarbeitender, den Kundenservice oder die Technik-Dokumentation.
• Quellen festlegen: Bestimme die Dokumente für diesen Bereich, räume veraltete Fassungen auf und benenne Verantwortliche.
• Rechte klären: Lege fest, wer welche Inhalte sehen darf, am besten anhand der Rechte, die in deiner Ablage schon gelten.
• Testfragen sammeln: Notiere zwanzig bis dreißig typische Fragen mit den richtigen Antworten und prüfe den Assistenten daran.
• Rückmeldung einbauen: Nutzer markieren falsche oder fehlende Antworten, und die Verantwortlichen verbessern daraufhin die Dokumente.

Welche weiteren Abläufe sich für KI eignen, zeigt unser Ratgeber KI-Automatisierung: Welche Abläufe lohnen sich?.

Wir helfen dir dabei

Mit KI-Assistenten & Automatisierung bauen wir Wissensassistenten auf deinen eigenen Daten: Wir legen mit dir fest, welche Quellen einbezogen werden und wer welche Inhalte sehen darf, testen einen Prototyp mit echten Fragen aus deinem Alltag und binden den Assistenten an deine Systeme an. Jede Antwort nennt ihre Quelle, damit du sie nachprüfen kannst. Für vertrauliche Dokumente betreiben wir private Sprachmodelle und die nötigen Vektordatenbanken in unseren 3 Rechenzentren an 2 Standorten in Gummersbach, mehr dazu unter KI-Hosting & Datensouveränität. Auf Wunsch läuft die Lösung auch auf deinen eigenen Servern.

Welche Fragen beantwortet ihr im Team immer wieder? Schreib uns an support@baebeca.de, ruf uns unter 02261-81616-0 an oder nimm Kontakt mit uns auf – wir zeigen dir, wie ein Wissensassistent dein Firmenwissen erschließt.