Unternehmens-ChatGPT.
Drei Wege zum eigenen KI-Chat.

Was ist ein Unternehmens-ChatGPT?

Ein Unternehmens-ChatGPT ist ein KI-Chat für Beschäftigte, der aus freigegebenen Firmendokumenten antwortet. Technisch verbindet er ein Sprachmodell mit einer Suche über SharePoint, Laufwerke oder DMS, das Verfahren heißt RAG. Er läuft unter Firmenkonten, mit Vertrag zur Auftragsverarbeitung und ohne Training mit Ihren Eingaben. Es gibt drei Wege: einen SaaS-Assistenten wie ChatGPT Business oder Langdock, einen Eigenbau auf einer Cloud-Plattform wie STACKIT oder Microsoft Foundry oder ein offenes Modell auf eigenen Servern. Welcher passt, entscheiden Datenklasse, Nutzerzahl, IT-Team und Budget.

Ist ChatGPT im Unternehmen datenschutzkonform?

ChatGPT kann im Unternehmen datenschutzkonform laufen, aber nur im Firmentarif und mit den richtigen Einstellungen. OpenAI sagt für Business und Enterprise zu, standardmäßig nicht mit Geschäftsdaten zu trainieren. Datenresidenz bietet OpenAI nur für Enterprise und nur für unterstützte Inhalte. Sie brauchen außerdem einen Vertrag nach Art. 28 DSGVO, eine Grundlage für die Übermittlung in die USA und häufig eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. Private Konten für Firmendaten sollten tabu sein, so empfiehlt es auch die Datenschutzkonferenz in ihrer Orientierungshilfe vom Mai 2024.

Was kostet ein eigenes ChatGPT für das Unternehmen?

Ein SaaS-Assistent kostet laut Anbieter zwischen 20 € und 26,00 € je Nutzer und Monat bei jährlicher Zahlung, etwa Langdock 20 €, ChatGPT Business 21 € und Microsoft 365 Copilot 26,00 €, jeweils zzgl. MwSt. Ein lokaler Betrieb hat keine Lizenzkosten für das Modell, dafür Server und Betreuung: Ein GPU-Server mit 48 GB kostet bei STACKIT 1.254,89 € im Monat netto. Im Rechenbeispiel von Find-Your-Software mit 50 Nutzern liegt der SaaS-Weg im ersten Jahr deutlich unter dem Eigenbetrieb. Ihre eigenen Zahlen setzen Sie im Kostenrechner ein.

Was ist RAG und warum braucht ein Unternehmens-ChatGPT das?

RAG steht für Retrieval Augmented Generation. Vor jeder Antwort sucht das System passende Abschnitte in Ihren Dokumenten und gibt nur diese an das Sprachmodell weiter. Das Modell wird dafür nicht trainiert, neue Dokumente sind nach dem nächsten Abgleich nutzbar. Das BSI empfiehlt RAG, weil sich zeigen lässt, auf welchen Textauszügen eine Antwort beruht. Die Datenschutzkonferenz hebt in ihrer Orientierungshilfe vom Oktober 2025 hervor, dass sich Rechte und Rollen in der Vektordatenbank steuern lassen, im Sprachmodell dagegen nicht.

Kann man ein LLM lokal im Unternehmen betreiben?

Ja, offene Modelle lassen sich auf eigenen oder gemieteten Servern betreiben. Üblich sind vLLM für den produktiven Betrieb und Ollama für den Einstieg, beide bieten eine Schnittstelle im Format von OpenAI. Geeignete Modelle mit Apache-2.0-Lizenz sind etwa gpt-oss, Qwen3.8-27B und laut Modellkarte Mistral Small 4. Vorsicht bei Llama 4: Die Nutzungsrichtlinie von Meta schließt Firmen mit Hauptsitz in der EU von den Rechten an den multimodalen Modellen aus. Für die Oberfläche gibt es Projekte wie Open WebUI, dessen Lizenz ab 50 Nutzern das Branding schützt.

Welche Hardware braucht ein lokales Sprachmodell?

Die Hardware hängt vom Modell ab, eine allgemeine Faustregel nennen die Hersteller nicht. OpenAI gibt an, dass gpt-oss-120b auf einer einzelnen GPU mit 80 GB läuft und gpt-oss-20b mit 16 GB Speicher auskommt. Mistral nennt für Ministral 3 14B 24 GB Grafikspeicher in FP8. Zum Mieten in Deutschland bietet STACKIT einen Server mit NVIDIA L40S und 48 GB für 1.254,89 € im Monat, mit A100 80 GB für 1.913,82 €, jeweils netto. Ob die Leistung für Ihre Nutzerzahl reicht, zeigt ein Lasttest mit echten Fragen.

Welches offene Modell eignet sich für deutsche Dokumente?

Mehrere offene Modelle unterstützen laut Hersteller Deutsch, darunter Llama 3.3 70B, Mistral Small 4 und die Qwen-Modelle. Eine Rangliste für Ihre Dokumente ersetzt das nicht. Entscheidend ist, wie gut das Modell Ihre Fachbegriffe, Tabellen und Abkürzungen versteht. Testen Sie zwei bis drei Modelle mit denselben 30 Fragen und demselben Suchindex, bei IONOS oder STACKIT geht das ohne eigene Hardware über die Modell-API. Prüfen Sie dabei auch das Embedding-Modell, etwa Qwen3-Embedding mit über 100 Sprachen laut Modellkarte.

Wird unser Firmenwissen zum Training der KI genutzt?

In den Firmentarifen der großen Anbieter standardmäßig nicht. OpenAI sagt das für ChatGPT Business und Enterprise zu, Microsoft für Prompts und Graph-Daten in Copilot, Anthropic für die kommerziellen Claude-Tarife und Langdock für alle Kundendaten. Ausnahmen gibt es: Bei Mistral Vibe Team muss der Admin das Training abschalten, und bei Claude kann Feedback über die Daumen-Knöpfe zum Training führen. STACKIT und IONOS speichern Anfragen nach eigenen Angaben gar nicht. Bei lokalen Modellen gehen keine Daten an den Modellhersteller.

Übernimmt der Chat die Rechte aus SharePoint und Laufwerk?

Die meisten SaaS-Assistenten übernehmen die Rechte des angemeldeten Nutzers. Microsoft sagt zu, dass Copilot nur Daten zeigt, für die der Nutzer mindestens Anzeigeberechtigungen hat, Langdock prüft den Zugriff in Echtzeit im Quellsystem. Das Problem sind zu weit geöffnete Freigaben, die der Chat plötzlich auffindbar macht. Beim Eigenbau müssen Sie die Rechteprüfung selbst einrichten. AWS weist darauf hin, dass die ACL-Prüfung der Knowledge Base keine Autorisierung ersetzt, das BSI rät von Rechten über Textanweisungen im Prompt ab.

Muss der Betriebsrat einem Unternehmens-ChatGPT zustimmen?

Der Betriebsrat ist in den meisten Fällen zu beteiligen. Nach § 90 Abs. 1 Nr. 3 BetrVG muss der Arbeitgeber ihn rechtzeitig über die Planung von Arbeitsverfahren einschließlich des Einsatzes von Künstlicher Intelligenz unterrichten. Speichert der Chat Protokolle, die Rückschlüsse auf Verhalten oder Leistung erlauben, kommt das Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG in Betracht. Nach § 80 Abs. 3 BetrVG gilt ein Sachverständiger zur Beurteilung von KI als erforderlich. Eine Betriebsvereinbarung vor dem Rollout schafft Klarheit für alle Seiten.

Was unterscheidet ein Unternehmens-ChatGPT von einem KI-Chatbot oder KI-Assistenten im ERP?

Ein Unternehmens-ChatGPT beantwortet Fragen Ihrer Beschäftigten aus internen Dokumenten. Ein KI-Chatbot spricht mit Kunden, etwa im Service, und unterliegt seit 02.08.2026 der Kennzeichnungspflicht nach Art. 50 der KI-Verordnung. Assistenten in ERP und CRM wie SAP Joule oder Copilot in Business Central arbeiten mit den Daten des jeweiligen Systems. Bots für Kundenanfragen stellt unser Ratgeber KI-Chatbot für Unternehmen vor, eingebaute Assistenten der KI-Assistenten-Vergleich. Viele Unternehmen nutzen später alle drei nebeneinander, mit getrennten Regeln.

Sollten wir ein Unternehmens-ChatGPT selbst bauen oder kaufen?

Kaufen passt, wenn Sie schnell starten wollen, die Daten in eine EU-Cloud dürfen und kein Entwicklerteam frei ist. Selbst bauen lohnt sich, wenn streng vertrauliche Daten das Haus nicht verlassen dürfen, eigene Abläufe angebunden werden sollen oder die Nutzerzahl so groß ist, dass Lizenzen teurer werden als ein eigener Server. Der Kostenrechner zeigt die Schwelle für Ihre Annahmen. Die Grundsatzfrage zwischen Eigenbau und Kauf ordnet unser Ratgeber Vibe Coding im Unternehmen ein, Kriterien für Sourcing-Entscheidungen bietet Make or Buy in der IT.

Wie testet man die Antwortqualität eines Unternehmens-ChatGPT?

Mit einem festen Satz echter Testfragen, deren richtige Antwort und Fundstelle Sie vorher kennen. Bewährt sind acht Fragetypen: Fakt aus einem Dokument, gültige Fassung, gesperrter Inhalt, Frage ohne Antwort im Bestand, Zahlen in Tabellen, mehrere Quellen, interner Fachbegriff und ein Testdokument mit versteckter Anweisung. Stellen Sie dieselben Fragen jedem Anbieter in der Demo und nach jedem größeren Update erneut. Das BSI beschreibt versteckte Anweisungen in Dokumenten als eigenes Risiko, OWASP führt Prompt Injection als Punkt LLM01 in seiner Liste für 2025.