KI Penetrationstest: Wie eine manipulierte AI die Produktion beeinflussen konnte

KI Penetrationstest: Ein deutsches Softwareunternehmen beauftragte yatesh mit der Sicherheitsprüfung einer AI-basierten Anwendung, die direkt in einen industriellen Produktionsprozess integriert war.

Die Aufgabe der künstlichen Intelligenz war eigentlich einfach: Eine Kamera analysierte produzierte Nägel und sollte fehlerhafte Exemplare erkennen und automatisch aussortieren.

Im Rahmen des Penetrationstests konnte jedoch gezeigt werden, dass sich diese Logik manipulieren ließ.

Das Ergebnis war besonders kritisch:

Statt defekte Nägel auszusortieren, konnte das System so beeinflusst werden, dass ausschließlich einwandfreie Produkte aussortiert wurden.

Darüber hinaus ließ sich die Authentifizierung der zugehörigen Webanwendung umgehen. Ein Angreifer mit Zugang zum internen Netzwerk hätte dadurch Funktionen erreichen können, mit denen sich der Produktionsprozess beeinflussen ließ.

Der zehn Tage dauernde Grey-Box-Pentest untersuchte deshalb nicht nur klassische Web- und API-Schwachstellen, sondern auch die Sicherheit der AI, ihrer Geschäftslogik und ihrer Verbindung zur Produktion.

Nach dem Test wurden sämtliche identifizierten Schwachstellen behoben. Ein anschließender Retest bestätigte die erfolgreiche Behebung aller Critical- und High-Findings.

KI Penetrationstest auf einen Blick

Branche: Software / industrielle AI
Unternehmen: rund 10 Mitarbeitende
Standort: Deutschland
Kunde: anonymisiert
Testart: Grey-Box-Penetrationstest
Dauer: 10 Testtage
Scope: AI-System, Webanwendung und API
Einsatzgebiet: industrielle Qualitätskontrolle
Besonderheit: direkte Verbindung zwischen Software und Produktionsprozess
Retest: durchgeführt
Critical/High Findings nach Retest: geschlossen

Ausgangslage des KI Penetrationstests

Das Softwareunternehmen entwickelt eine AI-basierte Lösung für industrielle Produktionsumgebungen.

Die Anwendung verarbeitet Kamerabilder aus einer Produktionsanlage und erkennt damit fehlerhafte Produkte.

Im konkreten Fall wurden Nägel während des Produktionsprozesses analysiert.

Die künstliche Intelligenz sollte entscheiden:

Ist dieser Nagel in Ordnung oder muss er aussortiert werden?

Damit war die Software nicht nur eine klassische Webanwendung.

Ihre Entscheidungen hatten direkte Auswirkungen auf einen physischen Produktionsprozess.

Gleichzeitig wurden sensible Kundendaten verarbeitet.

Für das Unternehmen waren deshalb insbesondere drei Fragen relevant:

Wie sicher ist unsere AI-Anwendung?

Können Angreifer auf sensible Kundendaten zugreifen?

Kann ein Angreifer die AI so manipulieren, dass die Produktion beeinflusst wird?

Der KI Penetrationstest sollte diese Fragen beantworten.

Zusätzlich spielten Compliance-Anforderungen und die Gewinnung neuer Kunden eine Rolle. Für potenzielle Geschäftskunden sollte nachvollziehbar sein, dass die Sicherheit der Plattform unabhängig technisch geprüft wurde.

Was wurde beim KI Penetrationstest geprüft?

Der Scope ging deutlich über einen klassischen Vulnerability Scan hinaus.

Untersucht wurden insbesondere:

• die AI-gestützte Anwendung,

• die zugehörige Webanwendung,

• die API,

• Authentifizierung,

• Autorisierung und Rollen,

• Session Management,

• Business Logic,

• Zugriff auf Kundendaten,

• Schnittstellen zwischen Webanwendung und AI,

• die Auswirkungen auf den Produktionsprozess sowie

• typische Schwachstellen aus dem Umfeld der OWASP Top 10.

Der Test wurde als Grey-Box-Penetrationstest durchgeführt.

Dadurch konnten sowohl klassische Angriffswege als auch authentifizierte Funktionen und anwendungsspezifische Angriffsszenarien untersucht werden.

Die Testdauer betrug insgesamt zehn Tage.

Die entscheidende Frage: Kann ein Angreifer die AI gegen die Produktion verwenden?

Bei einem klassischen Web-Penetrationstest werden häufig Fragen untersucht wie:

Kann ich Benutzerkonten übernehmen?

Kann ich auf fremde Daten zugreifen?

Kann ich administrative Funktionen erreichen?

Bei diesem Projekt kam eine weitere wichtige Frage hinzu:

Kann ich die Entscheidung der AI so beeinflussen, dass der physische Produktionsprozess ein falsches Ergebnis erhält?

Genau diese Betrachtung war entscheidend.

Denn eine AI kann technisch verfügbar sein, verschlüsselte Kommunikation verwenden und trotzdem ein erhebliches Sicherheitsrisiko darstellen, wenn ein Angreifer ihre Entscheidungsprozesse oder die daran angeschlossene Business Logic manipulieren kann.

Angriffsszenario 1: Manipulation der AI-Entscheidung

Die wichtigste Funktion des Systems bestand darin, fehlerhafte Nägel zu erkennen.

Ein Kamerasystem übermittelte Informationen an die AI. Anschließend wurde entschieden, ob ein Produkt den Qualitätsanforderungen entsprach.

Fehlerhafte Nägel sollten automatisch aus dem Produktionsprozess entfernt werden.

Im Rahmen des KI Penetrationstest konnte diese Logik jedoch manipuliert werden.

Das Ergebnis:

Die AI sortierte gute statt fehlerhafte Produkte aus.

Damit wurde eine zentrale Sicherheitsfrage des Kunden praktisch beantwortet.

Ein Angreifer konnte nicht nur klassische IT-Systeme beeinflussen.

Die Manipulation der Software hatte direkte Auswirkungen auf den Produktionsprozess.

Abhängig von Produktionsgeschwindigkeit, Dauer und konkreter Ausgestaltung hätte eine solche Manipulation zu erheblichen Produktionsproblemen führen können.

Beispielsweise könnten einwandfreie Produkte verworfen werden, während die tatsächliche Ursache für den Produktionsfehler zunächst schwer erkennbar bleibt.

Aus Sicherheitsgründen werden weder der genaue Angriffsweg noch Informationen zur eingesetzten AI-Technologie oder Produktionsanlage veröffentlicht.

Angriffsszenario 2: Broken Authentication in der Webanwendung

Ein weiteres kritisches Finding befand sich in der Authentifizierung der zugehörigen Webanwendung.

Die vorhandene Authentifizierung konnte unter bestimmten Voraussetzungen umgangen werden.

Das war besonders relevant, weil die Webanwendung Funktionen bereitstellte, die mittelbar oder unmittelbar mit dem AI-System und dem Produktionsprozess verbunden waren.

Der KI Penetrationstest zeigte dadurch einen wichtigen Zusammenhang:

Eine AI muss nicht zwingend direkt angegriffen werden.

Manchmal befindet sich die entscheidende Schwachstelle in der Infrastruktur um die AI herum.

Dazu gehören beispielsweise:

• Webanwendungen,

• APIs,

• Authentifizierung,

• Benutzerrollen,

• Berechtigungen,

• Datenbanken,

• Schnittstellen oder

• administrative Funktionen.

Wer diese Komponenten kontrolliert, kann unter Umständen auch das Verhalten des AI-Systems beeinflussen.

Von Broken Authentication zur Produktionsmanipulation

Besonders kritisch wurde das Finding durch die Kombination mehrerer Faktoren.

Ein möglicher Angriffspfad konnte vereinfacht folgendermaßen aussehen:

Zugang zum internen Netzwerk

↓

Zugriff auf die Webanwendung

↓

Umgehung der Authentifizierung

↓

Zugriff auf nicht autorisierte Funktionen

↓

Manipulation der AI beziehungsweise Business Logic

↓

Beeinflussung des Produktionsprozesses

Damit wurde aus einer vermeintlichen Web-Security-Schwachstelle ein potenzielles Produktionsrisiko.

Genau solche Zusammenhänge sind einer der wichtigsten Gründe für einen umfangreichen KI Penetrationstest.

Eine isolierte Bewertung der AI hätte diesen Angriff möglicherweise nicht vollständig abgebildet.

Angriffsszenario 3: Können Kundendaten aus der AI extrahiert werden?

Ein weiterer Schwerpunkt des Tests war der Schutz sensibler Informationen.

Da die Plattform Kundendaten verarbeitet, wurde untersucht, ob ein Angreifer Informationen über die AI, die Webanwendung oder die API extrahieren könnte.

Dabei wurden unter anderem Authentifizierungs- und Autorisierungsgrenzen sowie die Verarbeitung und Bereitstellung von Daten untersucht.

Gerade bei AI-Systemen sollte deshalb nicht ausschließlich das Modell selbst betrachtet werden.

Zum Sicherheitsumfang gehören auch:

Input → Verarbeitung → Modell → API → Webanwendung → Datenhaltung → Output

Jede dieser Komponenten kann eine eigene Angriffsfläche darstellen.

Angriffsszenario 4: Kann die Produktion über die AI gestört werden?

Eine weitere zentrale Frage des KI Penetrationstest war die Verfügbarkeit.

yatesh untersuchte deshalb, ob sich die AI oder angrenzende Komponenten so beeinflussen lassen, dass der Produktionsprozess gestört wird.

Die Besonderheit dieses Projekts bestand darin, dass Webanwendung und AI zwar innerhalb eines internen Netzwerksegments betrieben wurden, gleichzeitig aber funktional mit der Produktion verbunden waren.

Dadurch konnte eine Cybersecurity-Schwachstelle potenziell Auswirkungen außerhalb der klassischen IT haben.

Dieser Zusammenhang ist insbesondere bei AI-Systemen für Industrie, Produktion und Qualitätskontrolle relevant.

Warum die Netzwerksegmentierung allein nicht ausreichte

Die Anwendung war nicht frei über das Internet erreichbar.

Sie befand sich in einem internen Netzwerksegment.

Das reduzierte die externe Angriffsfläche erheblich.

Es bedeutete jedoch nicht, dass das System automatisch sicher war.

Ein internes Netzwerk darf nicht grundsätzlich als vertrauenswürdig betrachtet werden.

Ein Angreifer könnte beispielsweise bereits durch ein anderes kompromittiertes System Zugriff auf das interne Netzwerk besitzen.

Auch kompromittierte Benutzerkonten oder andere Angriffspfade können dazu führen, dass ein ursprünglich externer Angreifer irgendwann innerhalb der Infrastruktur agiert.

Deshalb wurde untersucht, was ein Angreifer nach einem Zugang zum internen Netzwerk erreichen könnte.

Das Ergebnis zeigte, dass insbesondere die fehlerhafte Authentifizierung der Webanwendung in diesem Szenario ein erhebliches Risiko darstellte.

Warum klassische Scanner die kritischen Findings nicht erkannt hatten

Vor dem KI Penetrationstest waren bereits automatisierte Sicherheitsprüfungen durchgeführt worden.

Die entscheidenden Findings wurden dabei jedoch nicht erkannt.

Der Grund liegt in der Art der Schwachstellen.

Ein Scanner kann sehr gut erkennen, ob beispielsweise:

• eine bekannte Softwareversion verwundbar ist,

• ein bestimmter Port erreichbar ist,

• ein Security Header fehlt oder

• eine bekannte CVE vorhanden sein könnte.

Deutlich schwieriger wird es bei anwendungsspezifischer Business Logic.

Ein automatisierter Scanner versteht nicht automatisch:

Diese AI soll fehlerhafte Nägel erkennen – kann ich ihre Funktionsweise so beeinflussen, dass stattdessen die guten Produkte verworfen werden?

Dafür muss die vorgesehene Funktion der Anwendung verstanden werden.

Anschließend muss gezielt versucht werden, diese Annahmen zu brechen.

Genau deshalb kombinierte yatesh beim KI Penetrationstest automatisierte Verfahren mit manuellen Prüfungen.

AI Security ist mehr als Prompt Injection

Wenn heute über die Sicherheit künstlicher Intelligenz gesprochen wird, stehen häufig Large Language Models und Prompt Injection im Mittelpunkt.

AI Security ist jedoch deutlich breiter.

Dieses Projekt nutzte beispielsweise keine klassische Chat-Anwendung.

Die künstliche Intelligenz analysierte Bilder und traf Entscheidungen innerhalb eines industriellen Prozesses.

Entsprechend mussten vollkommen andere Angriffsszenarien betrachtet werden.

Bei einem KI Penetrationstest können abhängig vom System beispielsweise relevant sein:

• Manipulation von Eingabedaten,

• Manipulation von Ausgaben,

• fehlerhafte Business Logic,

• Authentifizierung und Autorisierung,

• Zugriff auf Trainings- oder Kundendaten,

• API-Sicherheit,

• Model- oder Data-Pipelines,

• Verfügbarkeit,

• Zugriff auf administrative Funktionen,

• Integrität der Entscheidungsprozesse,

• klassische Web-Schwachstellen und

• Auswirkungen der AI auf angeschlossene Systeme.

Das Sicherheitsmodell muss deshalb immer an die tatsächliche Verwendung der AI angepasst werden.

Web-App- und API-Sicherheit als Teil des KI Penetrationstests

Die AI war nur ein Bestandteil der gesamten Lösung.

Webanwendung und API waren ebenfalls sicherheitsrelevant.

Deshalb wurden auch klassische Web-Security-Bereiche untersucht.

Dazu gehörten unter anderem:

Authentication

Kann ein Angreifer die Anmeldung umgehen oder fremde Benutzerkonten übernehmen?

Authorization

Kann ein Benutzer Funktionen oder Daten erreichen, für die er keine Berechtigung besitzt?

Business Logic

Kann die vorgesehene Logik der Anwendung so missbraucht werden, dass unerwartete oder gefährliche Ergebnisse entstehen?

API Security

Sind API-Endpunkte ausreichend geschützt und werden Berechtigungen serverseitig zuverlässig durchgesetzt?

Sensitive Data

Können Informationen anderer Kunden oder andere sensible Daten abgerufen werden?

Damit untersuchte der Pentest die komplette Anwendung und nicht ausschließlich das zugrunde liegende AI-Modell.

Ergebnis: Alle kritischen Findings behoben

Nach Abschluss des Penetrationstests erhielt der Kunde eine strukturierte Dokumentation der identifizierten Schwachstellen.

Besonderes Augenmerk lag dabei auf den Findings, die Auswirkungen auf:

Authentifizierung, Kundendaten und den Produktionsprozess

haben konnten.

Der Kunde reagierte schnell auf die Ergebnisse und setzte die notwendigen Maßnahmen um.

Anschließend führte yatesh einen Retest durch.

Dabei wurden die zuvor identifizierten Schwachstellen erneut geprüft.

Das Ergebnis:

Alle Critical- und High-Findings waren erfolgreich behoben.

Damit konnte nicht nur dokumentiert werden, dass Maßnahmen umgesetzt wurden.

Der Retest bestätigte technisch, dass die ursprünglichen Angriffspfade nicht mehr reproduzierbar waren.

Mehrwert des KI Penetrationstests

Der größte Mehrwert für den Kunden bestand darin, Risiken sichtbar zu machen, die ein klassischer automatisierter Scan nicht erkannt hatte.

Der Test zeigte unter anderem:

Eine Web-Schwachstelle kann zu einem Produktionsrisiko werden.

Eine AI muss zusammen mit ihrer gesamten technischen Umgebung betrachtet werden.

Ein internes Netzwerk ist keine ausreichende Sicherheitsgrenze.

Business-Logic-Angriffe können kritischer sein als bekannte CVEs.

Ein Retest liefert den technischen Nachweis, dass kritische Probleme tatsächlich beseitigt wurden.

Diese Erkenntnisse halfen dem Kunden nicht nur bei der technischen Härtung seiner Plattform.

Ein unabhängig geprüfter Sicherheitsstand kann auch gegenüber potenziellen Geschäftskunden und im Rahmen von Compliance-Anforderungen relevant sein.

KI Penetrationstest für Softwareunternehmen und Industrie

Sie entwickeln eine AI-Anwendung oder setzen künstliche Intelligenz innerhalb eines geschäftskritischen Prozesses ein?

Dann sollte ein Sicherheitstest nicht ausschließlich das AI-Modell betrachten.

yatesh untersucht die gesamte Angriffskette rund um das System:

Webanwendung → API → Authentifizierung → Rollen → Daten → AI → Business Logic → angebundene Systeme

Abhängig vom Einsatzgebiet prüfen wir unter anderem, ob Angreifer:

• die AI manipulieren können,

• Sicherheitsmechanismen umgehen können,

• auf sensible Daten zugreifen können,

• Entscheidungen der AI beeinflussen können,

• administrative Funktionen erreichen können oder

• über die AI weitere Systeme oder Geschäftsprozesse beeinflussen können.

Wir prüfen nicht nur, ob Ihre AI funktioniert. Wir prüfen, was passiert, wenn jemand versucht, sie gezielt gegen Sie einzusetzen.