Ein innovatives Consulting Unternehmen hat sich zum Ziel gesetzt, die Vorzüge von generativer KI zu nutzen und dabei gleichzeitig besonderes Augenmerk auf den Schutz sensibler Informationen zu legen. Die Vision: eine semantische Suche durch Richtlinien und Fachliteratur, die über einen Chatbot abgefragt werden kann.

Dabei koordinierte die interne IT-Abteilung, zusammen mit den Fachabteilungen, die Zusammenarbeit mit mir.

Das Resultat ist ein KI-GPU-Server, der sich im internen Firmennetzwerk befindet und den Mitarbeitern eine Chatbot-Weboberfläche bereitstellt. Als Betriebssystem wurde Linux verwendet. Für die Installation der Programme (Sprachmodelle, Vektordatenbank, Webserver, Proxy, TLS / SSL Zertifikate etc.) wurden Container und Docker verwendet. Das entstandene Wissen, Anleitungen sowie technische Konfigurationen wurden als Projektdokumentation in einem Versionierungssystem (git) hinterlegt. Die Inferenzgeschwindigkeit stellte den Kunden vollständig zufrieden.

Das System ist mit Blick auf zukünftige Erweiterbarkeit und Wartbarkeit umgesetzt worden. Die Abhängigkeit von kostspieligen proprietären Lösungen und mir als Dienstleister wurde durch die Verwendung kostenloser Open Source Lösungen und durch transparente Dokumentation in Kundenhand auf ein Minimum gesenkt.

Die IT-Abteilung erhielt Schulungen, damit sie künftige Wartungs- und Erweiterungsaufgaben möglichst selbstständig durchführen kann. 

Es wurden zudem keine Modelle wie ChatGPT oder Claude mit dem System verbunden. So wurde sichergestellt, dass alle Informationen - auch die der Chatkonversationen - im Firmennetzwerk bleiben.

Die laufenden Kosten wurden durch das beschriebene Vorgehen auf ein Minimum reduziert.

Für mich handelt es sich hier um eine fantastische Nutzung generativer KI. Natürlich sind große Sprachmodelle nicht deterministisch und halluzinieren. Nach aktuellem Stand (Q4 2025), darf man der Ausgabe von KI generierten Texten nicht vertrauen. Nutzt man sie allerdings als semantisch leistungsfähige Textgeneratoren um relevante Textstellen präzise zu identifizieren kann man für das eigene Unternehmen einen großen Nutzen aus ihnen ziehen.

Wo wir früher mit Indizes von Synonymen und Wortstämmen gearbeitet haben, um lexikalisch zu suchen, verwenden wir heute zusätzlich inhaltliche, vektorbasierte Repräsentationen des zu Durchsuchenden.

Solche Suchsysteme mithilfe eines Chatbots zu bedienen kann Ihrem Unternehmen große Vorteile verschaffen.