Plaudertasche

von Philip Lorenz

Unternehmen stehen vor der Herausforderung, leistungsfähige KI-Chatbots zu nutzen, ohne dabei Datenschutzrisiken einzugehen oder sich an teure SaaS-Modelle zu binden. LibreChat bietet eine Open-Source-Alternative, die volle Kontrolle über Daten ermöglicht, verschiedene LLM-Anbieter unterstützt und sich nahtlos in bestehende IT-Strukturen integrieren lässt. Wir zeigen, wie LibreChat als universelles LLM-Portal Unternehmen mehr Flexibilität und Sicherheit bietet.

Der Einsatz von KI-gestützten Chatbots nimmt in Unternehmen immer weiter zu. Ob für schnelle Zusammenfassungen, kreative Unterstützung oder repetitive Aufgaben – KI-gestützte Assistenten und Chatlösungen ermöglichen es Mitarbeitern, effizienter zu arbeiten und sich auf wertschöpfende Tätigkeiten zu konzentrieren. Neben der klassischen Textverarbeitung helfen sie auch bei der Ideenfindung oder der Automatisierung von Standardprozessen.

Doch trotz dieser vielen Vorteile stehen Unternehmen vor Herausforderungen: Datenschutz, Kosten und mangelnde Anpassbarkeit sorgen dafür, dass viele Organisationen noch zögern, KI-Systeme umfassend einzuführen. Während kommerzielle Lösungen wie Microsoft 365 Copilot oder ChatGPT Plus leistungsfähig sind, verursachen sie erhebliche monatliche Ausgaben – oft rund 30 US-Dollar pro Benutzer.

Für Unternehmen gibt es grundsätzlich drei verschiedene Ansätze, um LLMs (Large Language Models) in ihre Arbeitsprozesse zu integrieren:

- Fertiglösungen großer Anbieter nutzen: Eine schnelle, aber oft teure Variante mit wenig Einfluss auf Datenschutz oder Anpassbarkeit.

- Eigene Frontends entwickeln und direkt auf APIs von OpenAI, Google oder anderen Anbietern zugreifen: Technisch anspruchsvoll, ermöglicht aber volle Kontrolle.

- Eine Open-Source-Plattform einsetzen: Ein flexibler Mittelweg, der sich individuell anpassen und selbst hosten lässt.

LibreChat auf einen Blick

Die Einführung von KI-gestützten Chatbots in Unternehmen wirft häufig Fragen zu den Themen Datensicherheit, Anpassbarkeit und Kostenkontrolle auf. Während proprietäre Ansätze wie ChatGPT Enterprise oder Microsoft 365 Copilot leistungsfähig sind, bedeuten sie zugleich eine Abhängigkeit von Cloudanbietern und hohe Lizenzkosten. Hier setzt LibreChat an und bietet eine flexible, selbstgehostete Alternative, die sich nahtlos in bestehende Unternehmensstrukturen integrieren lässt.

Die Plattform unterstützt eine Vielzahl an LLMs und deren Anbieter, darunter OpenAI, Google Gemini, AWS Bedrock und Anthropic. Ein besonderer Vorteil ist die Kompatibilität mit lokal gehosteten Open-Source-Modellen, was eine datenschutzfreundliche und kosteneffiziente Nutzung erlaubt. LibreChat lässt sich als Webanwendung mit Multiuser-Support betreiben, wodurch mehrere Benutzer gleichzeitig auf dieselbe Instanz zugreifen können. Dank der OAuth-Integration und Single Sign-on (SSO) lässt sich die Plattform zudem sicher in eventuell bereits bestehende Identity-Management-Systeme einbinden.

Ein System, viele KI-Modelle

Ein zentrales Feature von LibreChat ist die Möglichkeit, verschiedene LLMs auszuwählen und hin und her zu wechseln. Nutzer können so in der Anwendung nahtlos zwischen OpenAI, Azure OpenAI, AWS Bedrock, Anthropic oder Google Gemini umschalten. Das hat drei entscheidende Vorteile:

1. Kosteneffizienz: Je nach Anwendungsfall kann ein leistungsfähiges oder auch ein günstigeres Modell zum Einsatz kommen.

2. Flexibilität: Unternehmen können spezifische Modelle für bestimmte Aufgaben bevorzugen, etwa schnelle GPT-4o-Analysen oder spezialisierte, lokal gehostete Modelle für sensible Daten.

3. Unabhängigkeit: Gerade das Beispiel DeepSeek zeigt, wie rasant sich der KI-Markt entwickelt. Statt sich an einen Anbieter zu binden, der sowohl das Modell als auch die Benutzeroberfläche bereitstellt – wie ChatGPT, Gemini oder Microsoft Copilot – ermöglicht LibreChat volle Flexibilität. Unternehmen behalten die Kontrolle darüber, welches Modell sie nutzen und können es jederzeit austauschen, ohne dabei ihre gesamte Infrastruktur umstellen zu müssen.

Durch diese Merkmale eignet sich LibreChat sowohl für KMU als auch für Enterprise-Umgebungen, die verschiedene Modelle für unterschiedliche Use Cases einsetzen möchten.

Mit dem "Dynamic Reasoning UI" bietet LibreChat zudem eine speziell angepasste Benutzeroberfläche für Reasoning-basierte Modelle, darunter DeepSeek-R1. Diese Modelle sind darauf ausgelegt, mehrstufige Entscheidungsprozesse und komplexe logische Abfolgen zu bewältigen. Praktisch bedeutet das: Statt nur einfache Antworten auf Fragen zu liefern, kann das GUI mehrschrittige Problemlösungen visuell aufbereiten – ähnlich wie ein Debugging-Tool für KI-gestützte Entscheidungsfindung.

Mehr als nur ein Chatbot

LibreChat geht über die klassisch Chatinteraktion hinaus und integriert eine leistungsstarke Code-Interpreter-Funktion. Dieser Zusatzservice ermöglicht die Ausführung von Code in verschiedenen Programmiersprachen, darunter Python, JavaScript (Node.js), Go, C/C++, Java, PHP, Rust und Fortran. Damit eignet sich die Plattform nicht nur für den allgemeinen Wissensabruf, sondern auch für technische Berechnungen, Data Science, Automatisierung und sogar die direkte Skriptentwicklung im Chatfenster.

In IT-Abteilungen lässt sich der Code-Interpreter beispielsweise nutzen, um Bash-Skripte für Serverautomatisierung zu testen, Python-Programme zu debuggen oder mathematische Berechnungen direkt in LibreChat durchzuführen. Besonders interessant: Da der Interpreter in einer Sandbox-Umgebung läuft, bleiben sensible Unternehmensdaten geschützt und können nicht von externen Services verarbeitet werden.

Mit der Funktion "Code Artifacts" können Nutzer zudem React-Komponenten, HTML-Layouts und sogar Diagramme direkt im Chatfenster erzeugen. LibreChat übernimmt dabei die Generierung und stellt die Ergebnisse sofort visuell dar. Diese Funktion ist besonders nützlich für Frontend-Entwicklungsteams, die rasch UI-Komponenten entwerfen oder Codefragmente innerhalb von LibreChat teilen möchten. Aber auch technische Dokumentationsteams profitieren, indem sie Mermaid-Diagramme oder Flussdiagramme on-the-fly erstellen können.

Ein weiteres Alleinstellungsmerkmal von LibreChat ist die Integration von Agenten und Tools auf Basis von LangChain. Diese KI-Agenten lassen sich ohne Programmierkenntnisse (No-Code) erzeugen und steuern – eine Funktionalität, die an die Custom GPTs von OpenAI erinnert. Dadurch können Unternehmen individuelle Assistenten aufbauen, die spezifische Aufgaben automatisieren, etwa:

- Abruf von Unternehmensdokumenten

- Automatisierte Beantwortung von internen Anfragen

- Verknüpfung mit internen APIs oder Datenbanken

Die modular aufgebaute LangChain-Integration erlaubt zudem eine Kombination von mehreren Tools in einer einzigen Konversation, was komplexe Workflows erheblich vereinfacht.

Datenanbindung und Verlaufskontrolle

LibreChat unterstützt das Model Context Protocol (MCP), eine offene Schnittstelle zur standardisierten Anbindung von Datenquellen an LLMs. Ähnlich wie USB-C für Hardware ermöglicht MCP eine einheitliche Integration von internen und externen Datenquellen. MCP erleichtert die Verknüpfung von KI-Modellen mit Unternehmensdaten, indem es

- eine standardisierte Integrationen für Datenquellen und Tools bietet,

- einen flexiblen Wechsel zwischen LLM-Anbietern ermöglicht,

- eine sichere Anbindung von internen und externen Datenquellen gewährleistet.

Eine weitere Besonderheit von LibreChat ist die Möglichkeit, Konversationen zu forken und zu verzweigen. Nutzer können zu jedem Zeitpunkt einen Chat duplizieren, um alternative Antworten oder verschiedene Lösungsansätze zu vergleichen.

Das ist besonders hilfreich für iterative Entscheidungsprozesse oder A/B-Tests von Prompts, beispielsweise in Marketing- oder Entwicklerteams. Gerade Power-User schätzen ein solches Feature, da Modelle sich innerhalb eines Chatkontexts nach vielen Nachrichten gerne mal "verlaufen" und es eines frischen Kontexts bedarf – über das Forken muss nicht bei null begonnen werden.

Kostenkontrolle durch Token-Balance

LibreChat bietet eine integrierte Token-Verwaltung, mit der sich der Verbrauch von LLM-Ressourcen pro Benutzer steuern lässt. Administratoren können jedem Nutzer ein initiales Token-Guthaben zuweisen und es im Laufe der Nutzung flexibel anpassen.

Tokens sind die kleinste Verarbeitungseinheit eines LLMs. Ein Token kann ein einzelnes Zeichen, ein Wort oder ein Wortfragment sein. Der Satz "KI verändert Unternehmen" beispielsweise wird von einem LLM in folgende Tokens zerlegt:

- "verändert": Zwei Tokens

- "Unternehmen.": Zwei Tokens

Insgesamt benötigt dieser Satz also fünf Tokens. Je länger die Eingabe oder die generierte Antwort ist, desto mehr Tokens werden konsumiert. Da LLM-Anbieter die Nutzung auf dieser Basis berechnen, hilft die Token-Balance in LibreChat dabei, den Verbrauch gezielt zu steuern und zu begrenzen.

Diese Funktion löst ein häufiges Problem in Unternehmen: Da sich meist mehrere Nutzer denselben LLM-Endpunkt teilen, erfolgt die Kostenkontrolle üblicherweise nur auf Gesamtbasis des Anbieters. Eine detaillierte Analyse pro Benutzer oder Abteilung ist so oft nicht möglich. Durch Token-Budgets in LibreChat lassen sich individuelle Limits definieren, um eine faire Verteilung der Rechenleistung sicherzustellen und unerwartete Kosten zu vermeiden.

Komponenten im Überblick

Die zentrale Komponente von LibreChat enthält dessen Anwendungslogik. Sie verarbeitet Benutzeranfragen, leitet diese an das gewählte LLM weiter und stellt die generierten Antworten bereit. Ein Webserver wie Nginx dient als Reverse Proxy, um den Zugriff auf LibreChat zu optimieren und die Kommunikation abzusichern. Alternativ ist Caddy oder Traefik nutzbar.

MongoDB übernimmt die persistente Speicherung der Chatverläufe und Nutzereinstellungen. Dies ermöglicht es, vergangene Konversationen jederzeit wiederherzustellen und eine unternehmensweite Wissensbasis aufzubauen. Meilisearch ermöglicht eine schnelle und präzise Durchsuchung vergangener Konversationen direkt über das LibreChat-Frontend. Nutzer können so frühere Antworten oder wichtige Informationen schneller wiederfinden.

pgvector ist eine Erweiterung für PostgreSQL, die eine Vektorspeicherung und -suche ermöglicht. Vektordatenbanken sind essenziell für semantische Suchanfragen, bei denen Inhalte nicht nur nach Schlüsselwörtern, sondern auch nach bedeutungsähnlichen Inhalten durchsucht werden. Dies verbessert die Qualität der Suchergebnisse erheblich.

Die RAG API (Retrieval-Augmented Generation) integriert externe Dokumente und Wissensquellen direkt in den Chat. Sie basiert auf LangChain und FastAPI und bietet

- Dokumentenverwaltung: Hinzufügen, Abrufen und Löschen von Dokumenten.

- Vektorbasierte Speicherung: Verwenden von pgvector für effizientes Retrieval.

- Asynchrone Verarbeitung: Hohe Performance durch parallele Verarbeitung von Anfragen.

Dies ermöglicht die Einbindung unternehmensinterner Wissensquellen, sodass LibreChat gezielt auf Dokumente und Datenbanken zugreifen kann.

Einfaches Deployment mittels Docker Compose

Sie können LibreChat sowohl selbst hosten als auch in der Cloud betreiben. Die Wahl des Deployment-Modells hängt maßgeblich von Datenschutzanforderungen, Skalierungsoptionen und verfügbaren Ressourcen ab. Während ein Cloud-Hosting eine schnelle Bereitstellung mit einfacher Skalierbarkeit erlaubt, bietet das Self-Hosting maximale Kontrolle über Daten und Infrastruktur.

Die Plattform unterstützt verschiedene Deployment-Ansätze, darunter Docker, Kubernetes und klassische Serversetups. Besonders Docker Compose gestattet eine schnelle Bereitstellung mit minimalem Konfigurationsaufwand. Für eine schnelle Bereitstellung können Sie LibreChat mit wenigen Befehlen via Docker Compose so starten:

LibreChat ist anschließend unter der Adresse "http:// localhost:3080/" erreichbar.

Schnelle Bereitstellung über Azure Marketplace

Viele Unternehmen verfügen bereits über einen Azure-Tenant. Falls das der Fall ist, lässt sich LibreChat schnell und unkompliziert über eine VM im Azure Marketplace bereitstellen. Das hat gleich mehrere Vorteile:

- Kein Deployment auf dem eigenen Rechner erforderlich.

- Zentrale Instanz, die sich von mehreren Nutzern gleichzeitig verwenden lässt.

- Einfache Skalierbarkeit, falls weitere Ressourcen benötigt werden.

Die Bereitstellung erfolgt über den Azure Marketplace. Damit lässt sich LibreChat innerhalb weniger Minuten als eigenständige VM ausrollen und testen – ideal für Unternehmen, die schnell eine funktionsfähige Umgebung benötigen.

Konfiguration von LibreChat

Die Konfiguration von LibreChat erfolgt über zwei Dateien. Die ENV-Datei enthält grundlegende Systemkonfigurationen wie beispelsweise:

- Netzwerkeinstellungen

- Datenbankverbindungen (zum Beispiel MongoDB)

- Logging-Einstellungen

- Anbindung an LLMs über API-Keys

- Feature-Toggles für verschiedene Funktionen

- Rate-Limits zur Begrenzung von KI-Abfragen

- Token-Guthaben für Benutzer

- Authentifizierungsmethoden (OAuth, LDAP, Keycloak)

Änderungen an dieser Datei erfordern einen Neustart der LibreChat-Instanz, um wirksam zu werden.

Die Datei "librechat.yaml" hingegen verwaltet vorrangig die Orchestrierung der LLM-Endpunkte und erlaubt eine dynamische Zuordnung von KI-Modellen für Benutzer. Eine beispielhafte Konfiguration für Azure OpenAI könnte so aussehen wie im Listing-Kasten.

Hierdurch lassen sich verschiedene LLM-Modelle gruppiert bereitstellen, sodass Benutzer gezielt zwischen unterschiedlichen KI-Modellen wechseln können. Zukünftig wird ein Großteil der Konfiguration der ENV-Dateien in "librechat.yaml" migriert, um die Verwaltung der Einstellungen intuitiver und strukturierter zu gestalten.

Retrieval-Augmented Generation in LibreChat

Die klassische Nutzung von LLMs ist in der Regel auf deren vorgegebenes Wissen beschränkt. Modelle wie GPT-4 oder Claude haben eine Knowledge-Cut-Off-Grenze und können keine Echtzeit-Informationen oder unternehmensspezifischen Daten abrufen. Retrieval-Augmented Generation (RAG) löst dieses Problem, indem es externe Datenquellen in die KI-Antworten einbindet.

RAG kombiniert die dynamische Informationsabfrage mit generativer KI. Statt sich auf das interne Wissen eines LLMs zu verlassen, extrahiert RAG relevante Informationen aus externen Quellen, verarbeitet diese und stellt sie dem Modell als zusätzlichen Kontext zur Verfügung. Der Ablauf sieht im Detail so aus:

1. Der Nutzer stellt eine Frage: Das LLM verarbeitet die Anfrage.

2. Suche von relevanten Daten: Die RAG-API durchsucht eine Vektordatenbank nach passenden Informationen.

3. Das Modell erhält zusätzlichen Kontext: Die gefundenen Informationen werden in die Eingabeaufforderung (Prompt) integriert.

4. Die KI generiert eine fundierte Antwort: Das LLM antwortet nun auf Basis des erweiterten Kontexts.

RAG kann mit unterschiedlichen Embedding-Modellen und Vektordatenbanken arbeiten, etwa mit pgvector in PostgreSQL, was eine schnelle und effiziente semantische Suche ermöglicht. Um RAG etwa mit OpenAI in LibreChat zu nutzen, sind mehrere Schritte erforderlich. Fügen Sie zunächst folgende Zeilen zur ENV-Datei in LibreChat hinzu:

Dadurch nutzt LibreChat das OpenAI-Embedding-Modell, um Dokumente in Vektoren umzuwandeln und abzurufen.

Führen Sie nun auf dem Hostsystem folgende Befehle aus, um die Dienste neu zu starten, sodass die Anpassungen wirksam werden können:

Ein typischer Anwendungsfall für RAG in Unternehmen ist die automatisierte Bereitstellung von internen Richtlinien und Regelungen. Mitarbeiter erkundigen sich nach direkt in LibreChat nach Unternehmensrichtlinien, stellen etwa Fragen zu Themen wie Homeoffice-Regelungen oder Urlaubsanträgen.

LibreChat ruft mit RAG die relevanten Abschnitte aus den PDFs ab und integriert diese in die KI-Antworten. Anstatt mühsam Dokumente zu durchforsten, erhalten die Nutzer sofort präzise Antworten mit direktem Bezug auf die Originalquellen. Diese Methode verbessert nicht nur den Zugriff auf Informationen, sondern entlastet auch HR-Abteilungen und interne Support-Teams.

Fazit

LibreChat bietet eine leistungsstarke, anpassbare und datenschutzfreundliche Alternative zu kommerziellen KI-Chat-Plattformen. Unternehmen profitieren von der Flexibilität bei der Wahl der LLM-Modelle, der Möglichkeit zum Self-Hosting und den zahlreichen Erweiterungsoptionen wie Plug-ins, RAG-Integration und Model Context Protocol.

Besonders die einfache Bereitstellung über Docker oder den Azure Marketplace macht es leicht, LibreChat schnell zu testen und produktiv zu nutzen. Durch die Unterstützung von Multi-User-SSO, anpassbaren Konfigurationen und granularer Token-Verwaltung eignet sich die Plattform sowohl für kleine Teams als auch für große Unternehmensstrukturen.

LibreChat als LLM-Portal