Schutz lokaler KI-Umgebungen
Unter Kontrolle
Veröffentlicht in Ausgabe 05/2025 - SCHWERPUNKT
DeepSeek hat die Wall Street und auch manchen im Silicon Valley kalt erwischt. Das Reasoning-Modell R1 des chinesischen Anbieters – angeblich sehr kostengünstig entwickelt, auf jeden Fall aber Open Source und günstig zu betreiben – ließ den Kurs des KI-Ausrüsters Nvidia dramatisch einbrechen, nötigt aber selbst US-Konkurrenten wie OpenAI Respekt ab. Fachleute hatten durchaus erwartet, dass Methoden wie Reinforcement Learning (bei dem die KI per Trial and Error lernt) bald deutlich ressourceneffizienter trainierte KI-Modelle ermöglichen. Überrascht hat aber, dass dieser Innovationssprung ausgerechnet aus China kommt, hatten die USA den KI-Konkurrenten doch mit einem Exportstopp von High-End-GPUs belegt. Aber vielleicht war eben das der Katalysator: GPU-Not macht erfinderisch!
Vielfältige Optionen
Für alle, die KI als Service oder lokal nutzen wollen, wächst die Angebotslandschaft also weiterhin rasant. Will ein Unternehmen zum Beispiel Beschäftigte mit firmeneigenen KI-Assistenten ausstatten, kann es auf KI-Modelle der Tech-Oligarchen aus den USA bauen, auf eines aus China, auf eine europäische Variante wie Mistral, auf proprietären Code oder Open Source. Es dürfte dabei häufig den lokalen KI-Betrieb gegenüber einer Cloud bevorzugen. Dafür sprechen vor allem die Aspekte Datenschutz und Datensouveränität – bei Clouddiensten müssen Nutzer den Anbieterzusagen vertrauen, die Kundendaten nicht für das Modelltraining heranzuziehen. Aber auch Latenz und Ausfallsicherheit können Punkte sein, die für den KI-Betrieb vor Ort sprechen: Überwachungssysteme zum Beispiel brauchen den Inferenz-Output verlässlich und sofort. Unternehmen haben hier im Wesentlichen drei Möglichkeiten:
- ein eigenes KI-Modell trainieren (die aufwendigste Option),
DeepSeek hat die Wall Street und auch manchen im Silicon Valley kalt erwischt. Das Reasoning-Modell R1 des chinesischen Anbieters – angeblich sehr kostengünstig entwickelt, auf jeden Fall aber Open Source und günstig zu betreiben – ließ den Kurs des KI-Ausrüsters Nvidia dramatisch einbrechen, nötigt aber selbst US-Konkurrenten wie OpenAI Respekt ab. Fachleute hatten durchaus erwartet, dass Methoden wie Reinforcement Learning (bei dem die KI per Trial and Error lernt) bald deutlich ressourceneffizienter trainierte KI-Modelle ermöglichen. Überrascht hat aber, dass dieser Innovationssprung ausgerechnet aus China kommt, hatten die USA den KI-Konkurrenten doch mit einem Exportstopp von High-End-GPUs belegt. Aber vielleicht war eben das der Katalysator: GPU-Not macht erfinderisch!
Vielfältige Optionen
Für alle, die KI als Service oder lokal nutzen wollen, wächst die Angebotslandschaft also weiterhin rasant. Will ein Unternehmen zum Beispiel Beschäftigte mit firmeneigenen KI-Assistenten ausstatten, kann es auf KI-Modelle der Tech-Oligarchen aus den USA bauen, auf eines aus China, auf eine europäische Variante wie Mistral, auf proprietären Code oder Open Source. Es dürfte dabei häufig den lokalen KI-Betrieb gegenüber einer Cloud bevorzugen. Dafür sprechen vor allem die Aspekte Datenschutz und Datensouveränität – bei Clouddiensten müssen Nutzer den Anbieterzusagen vertrauen, die Kundendaten nicht für das Modelltraining heranzuziehen. Aber auch Latenz und Ausfallsicherheit können Punkte sein, die für den KI-Betrieb vor Ort sprechen: Überwachungssysteme zum Beispiel brauchen den Inferenz-Output verlässlich und sofort. Unternehmen haben hier im Wesentlichen drei Möglichkeiten:
- ein eigenes KI-Modell trainieren (die aufwendigste Option),
- ein importiertes KI-Modell mittels RAG (Retrieval-Augmented Generation) mit dem unternehmenseigenen Wissensbestand und eventuell weiteren vertrauenswürdigen Datenquellen ausstatten – dies dürfte der Weg sein, den zahlreiche Organisationen gehen werden –, oder
- ein importiertes KI-Modell bei jeder Anfrage per Dokumenten-Upload mit dem nötigen Kontext versorgen (eine einfache, aber auf Dauer umständliche Variante).
KI sicher im Unternehmen nutzen
Ein Hauptrisiko des lokalen KI-Betriebs, insbesondere im heutigen KI-Goldrausch, ist altbekannt: Security-Erwägungen gehen angesichts des allgegenwärtigen Hypes allzu leicht über Bord. Um hier den großen Knall zu vermeiden, ist es ratsam, sich an Best-Practice-Empfehlungen für die Implementierung lokaler KI-Systeme zu orientieren. Derlei gibt es zum Glück nicht nur von Marketing-motivierten Herstellern, sondern auch von neutraler Seite. So hat das Australian Cyber Security Centre (ACSC) Anfang 2024 unter dem Titel "Engaging with Artificial Intelligence" [1] einen Leitfaden zum Umgang mit KI veröffentlicht. Zu den Partnern bei dieser Publikation zählte neben einschlägigen Behörden aus Kanada, Israel, Neuseeland, Norwegen, Schweden, Singapur, UK und den USA auch das deutsche Bundesamt für Sicherheit in der Informationstechnik (BSI).
Das Papier erläutert, was eigentlich unter KI zu verstehen ist, und beschreibt anhand einiger Sicherheitsvorfälle wesentliche Herausforderungen und Risiken beim KI-Einsatz. Anschließend bietet es Hilfestellungen, um diese Risiken zu mindern. Auf diesen Leitfaden folgte wenig später – diesmal ohne BSI-Beteiligung – eine Anleitung [2], die detailliert umreißt, wie Unternehmen ein sicheres KI-System aufsetzen können, davon weiter unten mehr. Schon Ende 2023 hatte das ACSC einen Guide zur sicheren Entwicklung von KI-Systemen [3] vorgestellt, was hier aber nicht Thema ist.
Im Leitfaden unter [1] warnt die australische Behörde: "Da es keinen soliden Rechtsrahmen gibt, ist es wichtig, dass Organisationen die Risiken, die mit jedem KI-System einhergehen, dessen Einsatz sie in Betracht ziehen, sorgfältig abwägen." In der EU stellt sich die Lage seit August 2024 anders dar: Hier liegt mit der KI-Verordnung (KI-VO) [4] durchaus ein Rechtsrahmen zu KI-Betrieb und -Nutzung vor. Die Verordnung teilt KI-Systeme in vier Risikoklassen ein und stellt je nach Klasse unterschiedliche hohe Anforderungen an die Entwickler, Betreiber und Anwender. Wichtig zu wissen: Mit einer individuell angepassten KI-Umgebung wird ein Unternehmer von deren Anwender zum Betreiber und muss daher strengere EU-Auflagen erfüllen.
Risiken evaluieren
Eine gründliche KI-Risikoevaluierung ist somit für Unternehmen in der EU noch wichtiger geworden. Das US-amerikanische National Institute of Standards and Technology (NIST) stellt ein Risikomanagement-Framework [5] für generative KI (GenAI) kostenlos zum Download bereit. Das Dokument gibt einen Überblick über Risiken, die mit dem Einsatz generativer KI zusammenhängen oder durch GenAI steigen. Die Autoren warnen, dass einige GenAI-Risiken unbekannt sein können, während andere zwar bekannt, aber schwer einzuschätzen sind (siehe Kasten).
Die vom NIST aufgeführten Risiken bedrohen mal einzelne Personen (etwa emotionale Abhängigkeit von einem KI-Assistenten), mal ganze Nationen (wie der leichtere Zugang zu Informationen über Bomben und Kampfstoffe). Zahlreiche der Risiken trüben aber auch in der Geschäftswelt das KI-Glück: direkt das von Unternehmen als KI-Nutzer oder -Betreiber, indirekt über Risiken für die Belegschaft. Ein Bot, der halluziniert, kann Kunden verprellen. Eine Desinformationskampagne kann sich gegen Wahlen, aber auch gegen eine Marke richten. Und nutzt ein Mitarbeiter die hauseigene KI, um anstößiges Material zu generieren, hat das Unternehmen ebenfalls ein Problem.
Das ACSC [1] beschreibt mehrere KI-spezifische Risiken, die sich Entscheider beim KI-Einsatz vergegenwärtigen sollten: Model Poisoning (die "Vergiftung" von KI-Modellen), Prompt Injection (Eingabe bösartiger Anweisungen) und Jailbreaks, zudem Halluzinationen der KI sowie Datenschutzverstöße bis hin zum Modelldiebstahl. Diese Risiken können einem Unternehmen, das eine lokale KI betreibt, auf jeweils unterschiedliche Weise Schaden zufügen.
Risiken generativer KI laut NIST
1. Leichterer Zugang zu und Aggregation von Informationen über chemische, biologische, radiologische und nukleare Waffen oder Ähnliches.2. Täuschung des Nutzers durch Konfabulationen ("Halluzinationen") generativer KI, also falsche oder irreführende Angaben der KI.3. Einfachere Produktion von gefährlichen, gewalttätigen oder Hass-Inhalten und leichterer Zugang dazu.4. Datenschutzverstöße durch Datenlecks oder Offenlegung und Deanonymisierung von Biometrie-, Gesundheits-, Standort- oder anderen sensiblen Daten.5. Umweltschäden durch den hohen Rechenaufwand für GenAI-Training und -Betrieb6. Verstärkung von Vorurteilen und als Folge unerwünschte Einheitlichkeit der Ergebnisse.7. Übermäßige Ablehnung oder aber umgekehrt Abhängigkeit von KI- Systemen aufgrund unangemessener "Vermenschlichung".8. Niedrigere Schwelle für groß angelegte Desinformationskampagnen.9. Niedrigere Hürden für offensive Cyberfähigkeiten bei zugleich größerer Angriffsfläche für gezielte Cyberangriffe, etwa auf Trainingsdaten, Code oder die KI- Modellgewichte (Parameter).10. Verletzung geistigen Eigentums, darunter Plagiate oder auch Offenlegung von Geschäftsgeheimnissen.11. Einfachere Produktion von obszönen, erniedrigenden und Missbrauchsinhalten.12. Schwer nachvollziehbare Integration von Drittanbieterkomponenten im Rahmen der KI-Wertschöpfungskette.
Model Poisoning
Mit "Vergiftung" ist hier die Manipulation von Trainingsdaten eines LLMs (Large Language Model) gemeint. Damit können Angreifer eine KI dazu bringen, falsche Muster zu erlernen und fehlerhafte Ergebnisse zu liefern. Dies kann durch das Training mit bereits "vergifteten" Datensätzen geschehen oder aber durch irreführende Nutzereingaben im Rahmen von Supervised Learning, also beim Modelltraining mit menschlichem Feedback.
Manche Leser werden sich vielleicht noch daran erinnern, dass Microsoft 2016 einen Twitter-Chatbot namens Tay veröffentlichte. Dieser lernte durch Interaktion mit Nutzern. Trolle machten sich schnell einen Spaß daraus, Tay eine rüde, rassistische Sprache beizubringen. Microsoft schaltete den Tweetbot deshalb nach nur 16 Stunden erst mal wieder ab [6].
Prompt Injection und Jailbreaks
Diese beiden Angriffsvarianten drohen nicht beim Training, sondern während der Nutzung des KI-Systems. Prompt Injection zielt darauf ab, schädliche Anweisungen oder versteckte Befehle in das KI-System einzuschleusen, um den Output des KI-Modells zu kapern. Jailbreaks wiederum, im ACSC-Papier "Adversarial Examples" (feindliche Beispiele) genannt, sind in diesem Kontext Prompts, die eine KI dazu bringen, falsche oder verbotene Ergebnisse zu liefern. Es sind zwei Seiten einer Medaille: Prompt Injections tarnen also böswillige Eingaben als harmlos, während Jailbreaks darauf abzielen, dass ein KI-System implementierte Limitationen ignoriert.
Seit ChatGPT online ist, versuchen sich Nutzer an Jailbreaks, indem sie den Chatbot zum Beispiel bitten, ein "Spiel" zu spielen, dessen Folge untersagter Output ist. Ein Beispiel für Prompt Injection wiederum ist der bekannte DAN-Angriff (Do Anything Now): Nutzer haben verschiedene Wege entdeckt, um ChatGPT dazu zu bringen, eine Persona namens "DAN" anzunehmen, die nicht den üblichen Beschränkungen unterliegt. Die Abwehr solcher Angriffe gleicht dem altbekannten Katz-und-Maus-Spiel.
Halluzinationen
GenAI-Systeme können Fehlinformationen erzeugen, "Konfabulationen" oder "Halluzinationen" genannt. ChatGPT zum Beispiel ist, wie der Name verrät, eine Konversationsmaschine, keine Wahrheitsmaschine. Die KI errechnet, welche Wortfolge jeweils am wahrscheinlichsten ist. Fehlt dem Bot für eine Antwort benötigter Kontext, hat für ihn die Ausgabe plausibler Ergebnisse Vorrang vor deren Wahrheitsgehalt. Dies kann Anwender und erst recht KI-Betreiber schnell in die Bredouille bringen.
So untermauerte zum Beispiel 2023 ein New Yorker Anwalt eine Klage durch vergleichbare Urteile (die US-Rechtsprechung ist ein "Case Law", stützt sich also auf Präzedenzfälle). Der Jurist blamierte sich, da ChatGPT Fälle frei erfunden hatte [7]. Erst kürzlich ging ein weiterer solcher Juristen-Faux-pas durch die Presse [8]. Auch bei Mathematikaufgaben versagten die ersten ChatGPT-Generationen mitunter.
Datenschutzverstöße und Modelldiebstahl
Die Informationen, mit denen Nutzer ein GenAI-System füttern, können in die Trainingsdaten des Systems einfließen. Dies ist zum Beispiel bei der kostenlosen Consumer-Version von ChatGPT per Default der Fall. Bei kostenpflichtigen (Unternehmens-)Konten verpflichten sich KI-Betreiber in der Regel, die Daten vom Modelltraining auszunehmen. Verstöße ließen sich aber kaum überprüfen.
Das Abfließen von Trainingsdaten kann Probleme bereiten. So entdeckte zum Beispiel ein Forscherteam 2023, dass ChatGPT auf den Prompt hin, ein Wort immer wieder zu wiederholen, Trainingsdaten 150-mal öfter preisgab als beim regulären Gebrauch [9]. Die extrahierten Daten enthielten auch personenbezogene Daten (Bild 1). Hierzulande ist dies ein Verstoß gegen die Datenschutz-Grundverordnung (DSGVO).
Beim Modelldiebstahl wiederum nutzt ein Angreifer eine Vielzahl von Anfragen an ein KI-System, um anhand des Outputs das KI-Modell nachzubilden. Dies stellt zum Beispiel eine ernsthafte Bedrohung für eine Versicherung dar, die für teures Geld eine KI-gestützte Bewertung von Anträgen entwickelt hat.
Unternehmen, die eine KI betreiben wollen, müssen also von Anfang an robuste Schutzmechanismen einplanen, und dies über den gesamten KI-Stack hinweg. Dabei betreten viele Organisationen Neuland. Doch praktischerweise gibt es bereits verlässliches Kartenmaterial für das unbekannte Terrain. Das ACSC gibt im erwähnten Leitfaden [2] Empfehlungen, wie Unternehmen KI-Systeme sicher implementieren können. Der Leitfaden behandelt Aspekte von der Governance über Architektur, Konfiguration, Netzwerk, das KI-System selbst und APIs bis zum laufenden Betrieb. Viele der Ratschläge sind generisch, einige beleuchten aber auch spezifische Risiken von KI-Umgebungen. Im Folgenden das Wichtigste im Überblick.
Governance der KI-Umgebung
Um eine sichere KI-Infrastruktur umfassend zu steuern, müssen Unternehmen beziehungsweise deren Projektteams dafür Sorge tragen, dass das IT-Team in enger Abstimmung mit den anderen Abteilungen zusammenarbeitet, die das KI-System betreiben. Dies sichert nicht nur die Einhaltung interner Sicherheitsstandards, sondern unterbindet auch die Entstehung von Schatten-KI. Die Teams evaluieren hierfür das Risikoniveau des Unternehmens und gewährleisten, dass das KI-System sowie dessen Anwendung innerhalb der definierten Risikotoleranz bleiben. Dabei gilt es, Bedrohungen und deren potenzielle Auswirkungen zu identifizieren und zu dokumentieren – ein Vorgehen, das auch von manchen KI-Betreibern in der KI-VO gefordert wird.
Die Verantwortlichen definieren und dokumentieren klar die Rollen und Zuständigkeiten aller Beteiligten, klären die Abgrenzungen der IT-Sicherheitsdomäne und analysieren, wie das KI-System in dieses Konzept hineinpasst. Ferner sollten Projektteams vom Entwickler des KI-Systems ein detailliertes Threat-Model einholen, um auf dieser Basis Security-Best-Practices umzusetzen. Die Sicherheitsanforderungen des Unternehmens fließen zudem in die vertraglichen Regelungen für KI-Systeme ein. Führungskräfte fördern darüber hinaus idealerweise eine Kultur der interdisziplinären Zusammenarbeit zwischen Datenwissenschaft, Infrastruktur und Cybersecurity, sodass sämtliche Bedenken offen geäußert und adressiert werden können.
Robuste Architektur
Obwohl ein KI-System in seiner Grundstruktur anderen IT-Systemen ähnelt, verarbeitet es potenziell unternehmensweit geschäftsrelevante und personenbezogene Daten. Das ACSC empfiehlt daher, bereits in der Systemarchitektur ein konsequentes Sicherheitskonzept zu implementieren. KI-Projektteams trennen die IT-Umgebung vom KI-System durch geeignete Sicherheitsmaßnahmen und schließen so Lücken in den bestehenden Schutzvorkehrungen. Es ist erforderlich, Zugangskontrollen für die KI-Modellgewichte einzurichten und den Zugriff ausschließlich auf eine privilegierte Benutzergruppe zu beschränken, da diese Parameter das Herzstück des Systems darstellen.
Zudem obliegt es den Teams, einen ständigen Überwachungsmechanismus einzurichten, bei dem mindestens zwei Personen den Datenzugang und die Datenintegrität kontrollieren. Identifizierte proprietäre Datenquellen für das Training oder Feintuning von KI-Modellen werden speziell geschützt, während die IT-Abteilung externe Trainingsquellen kritisch untersucht. Das Sicherheitsteam erstellt einen Katalog vertrauenswürdiger Datenquellen, um sich gegen Datenvergiftung oder Backdoor-Angriffe abzusichern. In der Entwicklung der KI-Umgebung kommen Secure-by-Design- und Zero-Trust-Prinzipien zur Anwendung.
Härtung der Systemkonfiguration
Da das KI-System in der Regel sensible Unternehmensdaten verarbeitet, ist es ratsam, die Betriebsumgebung gemäß den Security-Best-Practices zu konfigurieren und zu härten. Dies umfasst Maßnahmen wie Sandboxing, den Einsatz von Firewalls mit Zugangskontrolllisten und eine kontinuierliche Netzwerküberwachung. IT-Verantwortliche beziehen dabei die Anleitungen der Hardwareanbieter (GPU, CPU, Storage) ein und spielen Software-Patches regelmäßig ein.
Das Sicherheitsteam sichert sensible KI-Informationen durch Datenverschlüsselung und speichert die Schlüssel in einem HSM (Hardware-Security-Modul). Neben einer starken Authentifizierung und strengen Zugriffskontrollen kommen sichere Kommunikationsprotokolle wie TLS zum Einsatz. Der Schutz vor Phishing wird durch Multifaktor-Authentifizierung (MFA) erhöht, und es werden Mechanismen zur Erkennung und Abwehr unautorisierter Authentifizierungsversuche etabliert. Parallel dazu analysiert das Team, wie Angreifer eventuelle Schwachstellen der KI-Umgebung ausnutzen könnten, und leitet entsprechende Abwehrmaßnahmen ein.
Experten raten zudem, auch auf Netzwerkebene konsequent Best Practices für Sicherheit umzusetzen. Im Rahmen des Zero-Trust-Ansatzes lautet die Annahme, dass Sicherheitsverletzungen unvermeidbar sind – daher kommen Abläufe und Mechanismen ins Spiel, die Angriffe frühzeitig erkennen und rasch darauf reagieren. Bewährte Cybersicherheitssysteme helfen dabei, Vorfälle zu priorisieren und verdächtige Benutzeraktivitäten unmittelbar zu blockieren.
Kontinuierlicher Schutz des KI-Systems
Wie jede Software sind auch KI-Modelle nicht vor Schwachstellen gefeit. Hier greifen Standardansätze und KI-spezifische Empfehlungen ineinander. Projektteams validieren das KI-System sowohl vor als auch während seiner Nutzung. Entwickler nutzen kryptografische Methoden, digitale Signaturen und Prüfsummen, um die Herkunft und Integrität sämtlicher Artefakte sicherzustellen – von Modellen und Parametern bis zu Konfigurationen und Testdaten. Hashes und verschlüsselte Kopien jeder Modellversion werden archiviert und die Hash-Werte in einem gesicherten Datentresor hinterlegt.
Die Verwaltung von Code und Artefakten findet in einem Versionskontrollsystem mit strengen Zugriffskontrollen statt. Nach jeder Änderung unterzieht das Entwicklungsteam das KI-Modell einer gründlichen Prüfung hinsichtlich Robustheit, Genauigkeit und potenzieller Schwachstellen. Angesichts der Bedrohungslage führt das Sicherheitsteam regelmäßig Red-Teaming-Übungen durch, um die Angriffsresistenz des Systems zu testen. Im Hinblick auf eine hohe Ausfallsicherheit werden automatisierte Rollbacks und manuelle Notfalleingriffe eingeplant, um im Ernstfall schnell zum letzten unkompromittierten Zustand zurückzukehren.
Die Einkaufsabteilung evaluiert zudem die Lieferkette für externe KI-Modelle und -Daten, wobei die Wahl auf Anbieter fällt, die den unternehmensinternen Sicherheits- und Risikomanagement-Richtlinien sowie Secure-by-Design-Standards entsprechen. Modelle, insbesondere aus externen Quellen, werden in einer sicheren Entwicklungsumgebung vor dem Live-Einsatz getestet. KI-spezifische Scanner, etwa von HiddenLayer oder Open-Source-Tools wie FuzzyAI von CyberArk unterstützen dabei, Schadcode und Schwachstellen in den Modellen zu identifizieren. Regelmäßige Security-Scans und automatisierte Funktionen zur Risikoerkennung, -analyse und -reaktion tragen dazu bei, im Ernstfall wichtige Zeit zu sparen.
Führungskräfte sollten die Vorzüge und Risiken KI-gestützter Automatisierung sorgfältig abwägen und stets einen menschlichen Entscheidungsträger (Human in the Loop) im Prozess beibehalten. Entwickler sichern derweil exponierte APIs durch robuste Authentifizierungs- und Autorisierungsmechanismen sowie durch die Verschlüsselung des API-Datenverkehrs ab. Validierungs- und Bereinigungsprotokolle für sämtliche Eingabedaten minimieren das Risiko unerwünschter oder schädlicher Inputs (Stichwort: Prompt Injection). Die IT-Abteilung überwacht zudem das Modellverhalten kontinuierlich, protokolliert Input, Output und Fehler und automatisiert entsprechende Alarmmeldungen.
Das Sicherheitsteam kontrolliert fortlaufend die Architektur und Konfiguration des Modells, um unautorisierte oder unerwartete Änderungen frühzeitig zu erkennen. Ebenso erfolgt eine permanente Überwachung verdächtiger Zugriffsversuche – sei es auf Modellgewichte oder auf den GenAI-Output. Gehärtete Schnittstellen für den Zugriff auf Modellgewichte stellen daneben sicher, dass die APIs nur die absolut notwendigen Daten liefern, um so Angriffe zu erschweren. Beim Speichern der Modellgewichte kommen zusätzliche Hardware-Schutzmaßnahmen zum Einsatz, idealerweise umgesetzt in einem isolierten Data Vault oder einer dedizierten Sicherheitsumgebung (Enklave).
Sicherer Betrieb der KI-Umgebung
Abschließend gilt es, auch beim Betrieb und der Wartung der KI-Umgebung hohe Sicherheitsstandards zu etablieren. Dazu gehören strenge Zugriffskontrollen unter Einsatz von rollen- oder attributbasierten Ansätzen (RBAC, ABAC), um unbefugten Zugriff zu verhindern. Ebenfalls nicht fehlen darf ein umfassendes Credential-Management samt Protokollierung. Für administrative Zugriffe kommen MFA und idealerweise spezielle Endgeräte (Privileged Access Workstations, PAWs) zum Einsatz.
Die Organisationsleitung schult außerdem Benutzer, Administratoren und Entwickler regelmäßig in Security-Best-Practices und fördert eine sicherheitsbewusste Unternehmenskultur. Externe Sicherheitsexperten fühlen den Maßnahmen mittels Audits und Penetrationstests regelmäßig auf den Zahn, während die IT-Abteilung eine kontinuierliche Protokollierung und Überwachung implementiert, um ungewöhnliches Systemverhalten zu erkennen – dabei sollten insbesondere "Data Drift" (Veränderungen im statistischen Verhalten eines KI-Modells) sowie auch hochfrequente oder wiederkehrende Eingaben, die auf Angriffe hindeuten könnten, im Fokus stehen.
Nicht zuletzt richtet das Entwicklungsteam Warnmeldungen ein, die Admins bei Systemanomalien und potenziellen Sicherheitsvorfällen informieren. Regelmäßige Updates und Patches – auch wenn sie bereits an anderer Stelle erwähnt wurden – finden fortlaufend Anwendung. Nach Modellupdates oder -wechseln erfolgt eine umfassende Evaluierung des Modellverhaltens und der Performance. Prozesse zur Gewährleistung von Hochverfügbarkeit und zur Notfallwiederherstellung werden etabliert, wobei das Unternehmen auf ein unveränderliches Backup-Speichersystem (Stichwort: Ransomware-Angriff) setzt. Schließlich implementiert die IT-Abteilung sichere Löschfunktionen für nicht mehr benötigte Daten.
Fazit
KI wird unser Leben grundlegend verändern, auch den Unternehmensalltag. Ob Unternehmen ein hauseigenes KI-Modell trainieren, ein importiertes Modell per RAG mit Unternehmenswissen füttern oder Prompts mit internen Dokumenten anreichern: Eine KI im Unternehmenseinsatz verarbeitet jede Menge sensible Informationen und sollte daher gemäß Best Practices vor unbefugtem Zugriff und Missbrauch geschützt sein. Aus Angreifersicht handelt es sich schließlich um einen weiteren Weg, an vertrauliche Daten zu gelangen. Es gilt somit, sich nicht nur vor Standardgefahren, sondern auch vor neuen Angriffsvarianten wie Model Poisoning oder Prompt Injection zu schützen – und Benutzer im Auge zu behalten, die Schatten-KI-Services nutzen oder mit der Unternehmens-KI Unfug treiben.
(dr)
Link-Codes
[1] ACSC-Leitfaden zu künstlicher Intelligenz: https://www.cyber.gov.au/resources-business-and-government/governance-and-user-education/artificial-intelligence/engaging-with-artificial-intelligence
[2] Anleitung für sicheres KI-Deployment: https://www.cyber.gov.au/resources-business-and-government/governance-and-user-education/artificial-intelligence/deploying-ai-systems-securely
[3] Leitfaden für sichere KI-Entwicklung: https://www.cyber.gov.au/resources-business-and-government/governance-and-user-education/artificial-intelligence/guidelines-secure-ai-system-development
[4] KI-Verordnung der EU: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689
[5] NIST-Framework für KI: https://www.nist.gov/itl/ai-risk-management-framework
[6] Artikel zum Microsoft-Chatbot Tay: https://www.theguardian.com/world/2016/mar/29/microsoft-tay-tweets-antisemitic-racism
[7] ChatGPT-Halluzinationen bei Gerichtsfällen: https://www.rnd.de/panorama/chatgpt-anwalt-benutzt-von-kuenstlicher-intelligenz-erfundene-faelle-vor-gericht-in-den-usa-D2RA6ZWX5BPWHO46ESWW2VGHTY.html
[8] Artikel über erfundene Zitate: https://t3n.de/news/chatgpt-fail-anwalt-ki-generierte-fake-zitate-1671081/
[9] Preisgegebene Trainingsdaten: https://arxiv.org/abs/2311.17035