KI-Chatbot fürs Unternehmen: RAG & DSGVO

Viele Unternehmen wollen „ChatGPT mit Unternehmensdaten“. Gemeint ist meist kein allgemeiner Chatbot, sondern ein System, das interne Dokumente, Wissensdatenbanken, Produktinformationen, Richtlinien oder Supportdaten durchsucht und daraus nachvollziehbare Antworten erstellt. Technisch wird dafür häufig RAG genutzt: Retrieval-Augmented Generation.

Kurzantwort: Ein KI-Chatbot mit Unternehmenswissen verbindet freigegebene Datenquellen mit Suche, Berechtigungen und einem Sprachmodell. Ein erster RAG-Prototyp kostet häufig 20.000 bis 60.000 EUR. Ein produktiver Unternehmens-Chatbot mit Rollenmodell, SSO, mehreren Integrationen, Monitoring, Evaluation, Datenschutzkonzept und Betrieb liegt oft bei 60.000 bis 180.000 EUR oder mehr. Ein einfacher Website-FAQ-Bot kann deutlich günstiger sein.

Der Unterschied zwischen Demo und produktivem System ist groß. Eine Demo beantwortet Fragen aus ein paar PDFs. Ein produktiver Unternehmens-Chatbot muss wissen, welche Daten ein Nutzer sehen darf, wann er unsicher ist, wie Quellen zitiert werden, welche Antworten geloggt werden und wie Qualität dauerhaft gemessen wird.

Was ist ein KI-Chatbot mit Unternehmenswissen?

Ein KI-Chatbot mit Unternehmenswissen beantwortet Fragen nicht nur aus allgemeinem Modellwissen, sondern nutzt freigegebene Unternehmensquellen als Kontext. Das können Dokumente, Wikis, Tickets, CRM-Daten, Produktdatenblätter, Handbücher, Website-Inhalte oder interne Richtlinien sein.

Typische Einsatzbereiche:

interner Wissensassistent für Policies, Prozesse und Onboarding
Support-Chatbot mit Zugriff auf Helpcenter, Tickets und Produktdokumentation
Sales Enablement für Produktinfos, Preislogik und Angebotsbausteine
technischer Assistent für Handbücher, Spezifikationen und Wartungsdaten
HR-Assistent für interne Regelungen, Benefits und Onboarding-Dokumente
Kundenportal-Assistent für Verträge, Rechnungen, Status und Dokumente
Projektassistent für Protokolle, Entscheidungen, Spezifikationen und offene Punkte

Wichtig: Der Chatbot sollte nicht „alles wissen“. Er sollte klar definierte Quellen nutzen, Grenzen kennen und im Zweifel keine Antwort erfinden.

Website-FAQ-Bot oder Enterprise-RAG-Chatbot?

Viele Missverständnisse entstehen, weil sehr unterschiedliche Systeme beide „KI-Chatbot“ genannt werden. Für eine Website-FAQ reicht oft ein Standardtool. Für Unternehmenswissen mit Berechtigungen, SSO, sensiblen Daten und mehreren Systemen braucht es eine andere Architektur.

Typ	Geeignet für	Grenzen
Website-FAQ-Bot	öffentliche Fragen, Helpcenter, einfache Lead-Qualifizierung	wenig Rechte, begrenzte Integrationen, meist einfache Quellen
Interner Wissensbot	Policies, Onboarding, Prozesswissen, Produktdokumentation	braucht Datenpflege, Rollen und klare Quellenverantwortung
Support-RAG-Bot	Tickets, Produktdokumentation, Fehlerdatenbank, Antwortvorschläge	braucht Qualitätssicherung und menschliche Freigabe bei kritischen Fällen
Kundenportal-Assistent	kundenspezifische Dokumente, Status, Verträge, Rechnungen	braucht strikte Mandantentrennung und Backend-Berechtigungen
Agentischer Workflow	Chatbot plus Aktionen in CRM, Ticketing, E-Mail oder ERP	braucht Tool-Grenzen, Audit-Logs, Freigaben und Monitoring

Der größte Fehler ist, mit einem einfachen Demo-Chatbot zu starten und ihn später unkontrolliert auf sensible Unternehmensdaten loszulassen. Besser ist es, Datenquellen, Berechtigungen und Pilotziel von Anfang an sauber zu definieren.

Wann ein RAG-Chatbot sinnvoll ist und wann nicht

RAG ist sinnvoll, wenn es viele Informationen gibt, die in Dokumenten oder Systemen vorhanden sind, aber schwer auffindbar oder unübersichtlich sind. Besonders stark ist der Ansatz, wenn Antworten mit Quellen belegt werden müssen.

Gute Use Cases:

Supportteams suchen schneller in Produkt- und Fehlerdatenbanken.
Neue Mitarbeitende finden Richtlinien und Prozesswissen.
Vertriebsteams erhalten konsistente Antworten auf Produktfragen.
Kunden bekommen Self-Service-Antworten aus freigegebenen Dokumenten.
Projektteams durchsuchen Spezifikationen, Protokolle und Entscheidungen.
Fachbereiche prüfen lange Dokumente schneller auf relevante Passagen.

Schlechte Use Cases:

Die Datenbasis ist veraltet, widersprüchlich oder nicht freigegeben.
Es gibt keine klaren Datenverantwortlichen.
Antworten hätten rechtliche, medizinische oder finanzielle Wirkung ohne menschliche Prüfung.
Nutzerrechte sind unklar und sensible Daten liegen ungetrennt.
Der Chatbot soll Entscheidungen treffen, bevor die Antwortqualität messbar ist.
Das Unternehmen sucht eigentlich ein Prozess- oder Datenqualitätsprojekt, aber nennt es „KI“.

Ein KI-Chatbot ist kein Ersatz für Informationsarchitektur. Wenn niemand weiß, welche Quelle gilt, kann ein Modell diese Governance nicht magisch herstellen.

Wie RAG technisch funktioniert

RAG steht für Retrieval-Augmented Generation. Das System sucht zuerst relevante Informationen und lässt das Sprachmodell dann auf Basis dieses Kontexts antworten.

Ein typischer Ablauf:

Quellen werden angebunden: zum Beispiel Confluence, SharePoint, Google Drive, Notion, Website, CRM oder PDFs.
Inhalte werden bereinigt, segmentiert und mit Metadaten versehen.
Textabschnitte werden in Embeddings umgewandelt und in einem Suchindex oder einer Vektordatenbank gespeichert.
Bei einer Nutzerfrage sucht das System passende Abschnitte.
Berechtigungen filtern, welche Treffer der Nutzer überhaupt sehen darf.
Das Sprachmodell erstellt eine Antwort mit Quellenbezug.
Feedback, Logs und Evaluation zeigen, ob die Antwort hilfreich war.

Der kritische Punkt liegt zwischen Suche und Antwort. Ohne Berechtigungsprüfung kann der Chatbot vertrauliche Informationen preisgeben. Ohne gute Retrieval-Qualität bekommt das Modell falschen Kontext. Ohne Evaluation merkt niemand, ob sich die Antworten verschlechtern.

Permission-aware RAG: Berechtigungen vor Modellkontext

In Unternehmen ist der wichtigste Architekturpunkt nicht der Prompt, sondern die Frage, welche Daten überhaupt in den Modellkontext gelangen dürfen. Ein Chatbot darf vertrauliche Informationen nicht erst in der Oberfläche verstecken. Wenn ein nicht autorisierter Dokumentabschnitt an das Modell gesendet wurde, ist die Zugriffskontrolle bereits gescheitert.

Ein permission-aware RAG-System prüft deshalb vor der Antwort:

Wer ist der Nutzer?
Zu welcher Organisation, Kundengruppe oder Rolle gehört er?
Welche Dokumente, Tickets oder Datensätze darf er sehen?
Gelten Berechtigungen aus SharePoint, Google Drive, CRM oder einem eigenen Backend?
Gibt es Dokumente, die zwar indexiert, aber für diese Person nicht abrufbar sind?
Müssen besonders sensible Inhalte zusätzlich gefiltert oder maskiert werden?

Diese Prüfung gehört ins Backend. Sie muss für jede Anfrage gelten, nicht nur beim ersten Login. Gerade bei Kundenportalen, HR-Daten, Vertragsdaten, Finanzinformationen oder Mandantenfähigkeit ist das der Unterschied zwischen Demo und produktionsfähigem System.

Datenquellen und Integrationen

Die Datenquellen bestimmen die Qualität stärker als das Modell. Häufige Quellen sind:

Wissensdatenbanken: Confluence, Notion, SharePoint, Google Drive
Dokumente: PDFs, Word-Dateien, Präsentationen, Produktblätter, Verträge
Support: Zendesk, Intercom, Jira Service Management, Freshdesk
CRM und Sales: HubSpot, Salesforce, Pipedrive, eigene Datenbanken
Produktdaten: PIM, ERP, CMS, technische Dokumentation
Website und Helpcenter: öffentliche Inhalte, FAQ, Dokumentation
interne Systeme: Projektmanagement, Tickets, Wikis, Datenbanken

Für einen Pilot reicht oft eine begrenzte Datenquelle. Für den produktiven Betrieb braucht es Synchronisation, Änderungsverfolgung, Fehlerbehandlung, Duplikaterkennung und klare Datenverantwortliche.

Welche Datenquellen sollte man zuerst anbinden?

Nicht jede Quelle eignet sich für den Start. Gute erste Quellen sind aktuell, fachlich geprüft, klar verantwortlich und wenig sensibel. Schlechte erste Quellen sind riesige Ordnerstrukturen mit alten, widersprüchlichen oder unberechtigten Dokumenten.

Datenquelle	Eignung für Pilot	Warum
gepflegtes Helpcenter	hoch	klare Inhalte, häufige Fragen, guter Quellenbezug
Produktdokumentation	hoch	gut strukturierbar, hoher Nutzen für Support und Sales
interne Prozesshandbücher	mittel bis hoch	hilfreich, wenn aktuell und verantwortlich gepflegt
SharePoint/Drive mit vielen Altdateien	niedrig bis mittel	braucht Bereinigung, Metadaten und Rechteprüfung
CRM-Daten	mittel	nützlich, aber personenbezogen und rechteabhängig
Ticketsystem	mittel	wertvoll, aber Qualität und Datenschutz müssen geprüft werden
Verträge und HR-Dokumente	vorsichtig	hohe Sensibilität, klare Rollen und Freigaben nötig

Ein guter Pilot startet nicht mit „alle Daten“. Er startet mit einer wertvollen, kontrollierbaren Datenquelle und einem klaren Fragetyp.

Datenschutz, Logging und EU AI Act

Bei KI-Chatbots für Unternehmen geht es fast immer um personenbezogene oder vertrauliche Daten. Die konkrete Bewertung ersetzt keine Rechtsberatung, aber technisch sollten diese Fragen früh geklärt werden:

Welche Datenquellen enthalten personenbezogene Daten?
Welche Inhalte dürfen an Modellanbieter übertragen werden?
Wo werden Prompts, Antworten, Logs und Embeddings gespeichert?
Wie lange werden Interaktionen aufbewahrt?
Wer kann Chatverläufe und Feedback einsehen?
Können Nutzer Auskunft, Berichtigung oder Löschung verlangen?
Wie werden Quellen, Berechtigungen und Antwortqualität dokumentiert?

Der EU AI Act ist zusätzlich relevant. Der AI Act wird schrittweise anwendbar. Die Europäische Kommission nennt den 1. August 2024 als Inkrafttreten, den 2. Februar 2025 für verbotene Praktiken und KI-Kompetenzpflichten, den 2. August 2025 für Governance-Regeln und GPAI-Pflichten sowie den 2. August 2026 als allgemeines Anwendungsdatum vieler Regeln. Hochrisiko-Regeln haben je nach Systemart eigene Übergangsfristen. Für Chatbots sind vor allem Datenschutz, Zweckbindung, Logging, menschliche Kontrolle und Transparenz relevant: Nutzer sollten klar erkennen, wenn sie mit einem KI-System interagieren.

Für die Praxis heißt das: Ein interner Wissenschatbot braucht klare Hinweise, Verantwortlichkeiten, Zweckbeschreibung, Datenflüsse, Risikobewertung und Kontrollmechanismen. Je näher der Chatbot an Entscheidungen mit rechtlicher, finanzieller, HR- oder Gesundheitswirkung kommt, desto vorsichtiger muss das System eingegrenzt werden.

Sicherheit: Prompt Injection und Tool-Grenzen

Sobald ein Chatbot externe Inhalte liest oder Aktionen auslösen kann, entstehen neue Sicherheitsrisiken. Ein Dokument, eine Website oder eine Nutzeranfrage kann Anweisungen enthalten, die das Modell zu unerwünschtem Verhalten bewegen sollen. Dieses Risiko wird oft als Prompt Injection beschrieben.

Praktische Gegenmaßnahmen:

Nutzerinhalte und Unternehmensquellen nicht blind als Systemanweisungen behandeln
Tool-Aufrufe serverseitig begrenzen und validieren
keine Secrets oder Zugangsdaten in Prompts oder Logs speichern
Berechtigungen bei jeder Aktion prüfen
irreversible Aktionen nur mit menschlicher Freigabe erlauben
Ausgaben validieren, bevor sie an andere Systeme übergeben werden
Kostenlimits, Rate Limits und Monitoring einbauen

Ein RAG-Chatbot wird sicherer, wenn er weniger darf. Für viele Unternehmensfälle ist ein assistierendes System mit Quellen und Vorschlägen besser als ein „autonomer“ Agent mit zu vielen Rechten.

Kosten und Zeitplan: Pilot vs. produktiver Betrieb

Ein KI-Chatbot sollte in Stufen gebaut werden. Der erste Pilot beantwortet, ob Datenlage, Retrieval und Nutzen tragfähig sind. Die produktive Version beantwortet, ob Rechte, Qualität, Betrieb und Integration zuverlässig funktionieren.

Phase	Dauer	Typischer Aufwand
Discovery und Datencheck	1 bis 2 Wochen	Use Case, Quellen, Datenschutz, Risiken, Erfolgsmetriken
RAG-Prototyp	2 bis 5 Wochen	eine Datenquelle, einfache Oberfläche, Quellenantworten
Pilot	4 bis 8 Wochen	Nutzergruppe, Feedback, Evaluation, erste Rechteprüfung
Produktivsystem	8 bis 20 Wochen	Rollen, SSO, Integrationen, Monitoring, Admin, Betrieb
Weiterentwicklung	laufend	neue Quellen, Qualitätssicherung, Kostenkontrolle, Governance

Typische Kostenkorridore:

Projekttyp	Realistischer Korridor
Daten- und Use-Case-Check	5.000 bis 15.000 EUR
RAG-Prototyp	20.000 bis 60.000 EUR
Pilot mit echten Nutzern	40.000 bis 100.000 EUR
Produktiver Unternehmens-Chatbot	60.000 bis 180.000 EUR und mehr

Zusätzlich fallen laufende Kosten an: Modellnutzung, Embedding-Erstellung, Vektordatenbank, Hosting, Monitoring, Wartung, Daten-Synchronisation, Evaluation und Support.

Qualität messen: Wie verhindert man Halluzinationen?

Halluzinationen lassen sich nicht vollständig ausschließen, aber deutlich reduzieren und messbar machen. Entscheidend ist nicht nur ein besserer Prompt, sondern ein Qualitätssystem.

Wichtige Maßnahmen:

klare Quellen, die aktuell und freigegeben sind
Retrieval-Tests mit bekannten Fragen und erwarteten Quellen
Antwortregeln: nur antworten, wenn genug Kontext vorhanden ist
Quellenangaben direkt an der Antwort
Refusal-Verhalten bei Unsicherheit
Feedbackbuttons und Fehlerkategorien
regelmäßige Evaluationssets
Monitoring für Kosten, Antwortzeiten, Trefferqualität und Fehlerraten
Eskalation zu Menschen bei kritischen Fragen

Ein produktiver Chatbot sollte sagen können: „Dazu finde ich in den freigegebenen Quellen keine belastbare Antwort.“ Diese Grenze ist ein Qualitätsmerkmal, kein Fehler.

Was wir im Pilot messen würden

Ein Pilot ohne Messung ist nur eine Demo. Für einen RAG-Chatbot sollten Erfolgskriterien vor dem Start definiert werden.

Metrik	Warum sie wichtig ist
Trefferqualität	Findet das System die richtigen Quellen?
Quellenabdeckung	Werden Antworten mit belastbaren Quellen belegt?
Antwortnützlichkeit	Hilft die Antwort dem Nutzer bei der Aufgabe?
Korrekturbedarf	Wie stark müssen Menschen Antworten nacharbeiten?
Refusal-Qualität	Sagt der Bot bei Unsicherheit sauber „nicht genug Kontext“?
Antwortzeit	Ist das System im Arbeitsfluss schnell genug?
Kosten pro Anfrage	Bleibt Modell- und Infrastrukturverbrauch kontrollierbar?
Rechtefehler	Werden unzulässige Inhalte zuverlässig ausgeschlossen?

Diese Metriken machen aus einem KI-Projekt ein Softwareprojekt mit Qualitätssteuerung. Genau das ist nötig, wenn der Chatbot mehr sein soll als ein beeindruckender Prototyp.

SaaS-Tool, Custom Chatbot oder hybrider Ansatz?

Viele SaaS-Tools bieten schnelle Chatbots für Helpcenter, Website-FAQ oder interne Dokumente. Das ist sinnvoll, wenn Datenquellen standardisiert sind, Rechte einfach bleiben und keine tiefen Integrationen nötig sind.

Individuelle Entwicklung lohnt sich, wenn:

mehrere interne Systeme verbunden werden müssen
Berechtigungen pro Nutzer, Kunde oder Dokument gelten
sensible Daten verarbeitet werden
Antworten mit Geschäftslogik angereichert werden
der Chatbot in ein Kundenportal, CRM oder internes Tool eingebunden wird
Audit-Logs, Evaluation und Monitoring unter eigener Kontrolle stehen sollen

Oft ist ein hybrider Ansatz am besten: SaaS für Standardfunktionen, individuelle Backend-Schicht für Rechte, Integrationen, Datenaufbereitung und Qualitätssicherung.

KI-Datenbereitschaft Check

Vor einem RAG-Projekt sollte ein Unternehmen diese Fragen beantworten:

Welche Nutzergruppe hat den höchsten Nutzen?
Welche drei Fragetypen soll der Chatbot zuerst beantworten?
Welche Quellen sind aktuell, freigegeben und verantwortlich gepflegt?
Welche Quellen enthalten personenbezogene oder vertrauliche Daten?
Welche Berechtigungen gelten heute in den Ursprungssystemen?
Gibt es SSO, Gruppen oder Rollen, die übernommen werden können?
Welche Antworten dürfen nur als Vorschlag gelten?
Welche Quellen müssen zitiert werden?
Wie wird Qualität gemessen?
Wer ist fachlicher Owner nach dem Launch?
Welche Kostenlimits gelten für Modellnutzung und Infrastruktur?

Wenn diese Fragen nicht beantwortet sind, sollte der erste Schritt kein Chatbot-Bau sein, sondern ein Daten- und Rechtecheck.

Wie hafencity.dev KI-Chatbots baut

Wir entwickeln KI-Chatbots als KI-Integration, nicht als isolierte Demo. Dazu gehören Datencheck, RAG-Architektur, Backend, Rechtekonzept, Evaluation, Monitoring und Einbindung in bestehende Workflows. Je nach Reifegrad starten wir mit einer KI-Strategie, einem begrenzten RAG-Piloten oder einer produktionsnahen Integration.

In einem ersten Gespräch lässt sich meist klären, ob ein RAG-Chatbot für Ihre Datenlage realistisch ist, welche Quellen zuerst geeignet sind und welche Risiken vor einem Pilot geprüft werden müssen.

Wenn Sie das prüfen möchten, können Sie Ihr KI-Chatbot-Projekt anfragen. Sinnvoll ist dafür kein fertiges Pflichtenheft, sondern eine kurze Beschreibung von Zielgruppe, Datenquellen, Berechtigungen und dem kritischsten Frage-Antwort-Prozess.

FAQ

Was kostet ein KI-Chatbot mit Unternehmenswissen?

Ein einfacher RAG-Prototyp kostet häufig 20.000 bis 60.000 EUR. Ein produktiver Unternehmens-Chatbot mit Berechtigungen, SSO, mehreren Datenquellen, Evaluation und Monitoring liegt oft bei 60.000 bis 180.000 EUR oder mehr. Ein einfacher Website-FAQ-Bot kann deutlich günstiger sein.

Kann man ChatGPT mit Unternehmensdaten verbinden?

Ja, aber nicht einfach durch Hochladen beliebiger Dokumente. Für den produktiven Einsatz braucht es Datenaufbereitung, Berechtigungen, Datenschutzprüfung, Logging, Quellenbezug und klare Regeln, welche Daten an welchen Anbieter gehen dürfen.

Ist ein RAG-Chatbot DSGVO-konform möglich?

Ja, wenn Datenflüsse, Rechtsgrundlage, Auftragsverarbeitung, Hosting, Speicherfristen, Löschkonzept und Zugriffskontrollen sauber geplant werden. Besonders wichtig ist, personenbezogene Daten nicht unnötig in Prompts, Logs oder Embeddings zu speichern.

Wie verhindert man falsche Antworten?

Durch gute Quellen, Retrieval-Tests, Quellenangaben, Antwortregeln, Refusal-Verhalten, Feedback und regelmäßige Evaluation. Vollständig ausschließen lassen sich Fehler nicht, deshalb brauchen kritische Prozesse menschliche Kontrolle.

Welche Datenquellen eignen sich?

Gute erste Quellen sind aktuelle, gepflegte und klar verantwortete Inhalte: Helpcenter, Produktdokumentation, interne Prozesshandbücher, freigegebene PDFs oder Wissensdatenbanken. Schlechte Quellen sind alte, widersprüchliche oder unberechtigte Dokumentensammlungen.

KI-Chatbot mit Unternehmenswissen entwickeln: RAG, Datenschutz, Kosten und Integration