Sicherheitstests für generative KI
Generative KI kann die Produktivität steigern, den Kundenservice unterstützen, Recherchen automatisieren und Mitarbeitenden helfen, Informationen effizienter zu nutzen. Die Einführung eines Large Language Models oder einer KI-gestützten Anwendung schafft jedoch auch Sicherheitsrisiken, die bei herkömmlichen Anwendungstests möglicherweise nicht vollständig erkannt werden.
Ein KI-System kann durch gezielt formulierte Prompts, offen zugängliche Datenquellen, unsichere Integrationen, übermäßige Berechtigungen oder Schwachstellen in der umgebenden Anwendung manipuliert werden. Vertrauliche Informationen können in generierten Antworten erscheinen, Schutzmechanismen können umgangen und verbundene Werkzeuge zu unbeabsichtigten Aktionen veranlasst werden.
Die Sicherheitstests für generative KI von CA helfen Unternehmen zu beurteilen, wie sich KI-Anwendungen bei Missbrauch, Manipulationsversuchen und realistischen Angriffsszenarien verhalten. Wir untersuchen die gesamte Lösung, einschließlich Modell, Prompts, Daten, Retrieval-Komponenten, Zugriffskontrollen, Integrationen und unterstützender Infrastruktur.
Warum das wichtig ist
Generative KI-Systeme funktionieren anders als traditionelle Software. Ihre Antworten werden durch natürlichsprachliche Anweisungen, vorherige Gesprächsinhalte, verbundene Informationsquellen, System-Prompts, Modellkonfigurationen und die für die Anwendung verfügbaren Werkzeuge beeinflusst.
Dadurch entstehen Risiken, die bei normalen Funktionstests möglicherweise nicht sichtbar werden. Ein System kann für berechtigte Nutzer korrekt funktionieren und dennoch geschützte Informationen offenlegen, schädlichen Anweisungen in externen Inhalten folgen oder eine Umgehung seiner vorgesehenen Beschränkungen ermöglichen.
Wirksame Sicherheitstests für generative KI helfen Ihnen dabei:
Vertrauliche Informationen zu schützen
Identifizieren Sie Situationen, in denen vertrauliche Daten, personenbezogene Informationen, Systemanweisungen, Zugangsdaten oder geschützte Quelldokumente in einer generierten Antwort erscheinen könnten.
Die Widerstandsfähigkeit gegen Manipulation zu testen
Prüfen Sie, ob direkte oder indirekte Prompt Injection, Jailbreak-Techniken, codierte Anweisungen oder mehrstufige Konversationen vorhandene Schutzmaßnahmen umgehen können.
Verbundene Werkzeuge und Datenquellen abzusichern
Untersuchen Sie, ob das KI-System auf Informationen zugreifen oder Aktionen ausführen kann, die über die genehmigten Berechtigungen und den vorgesehenen Zweck hinausgehen.
Eine sicherere Bereitstellung zu unterstützen
Erkennen Sie Schwachstellen, bevor eine KI-Anwendung Mitarbeitenden, Kunden, Partnern oder der Öffentlichkeit zur Verfügung gestellt wird.
Unser Ansatz
Wir bewerten nicht nur das zugrunde liegende Sprachmodell. Die Sicherheit einer generativen KI-Lösung hängt von der gesamten Umgebung ab, in der das Modell eingesetzt wird.
Unser Ansatz umfasst die Benutzeroberfläche, Anwendungslogik, System-Prompts, Retrieval-Prozesse, Datenquellen, Identitätskontrollen, APIs, Plugins, verbundene Werkzeuge, Modellkonfiguration, Protokollierung, Überwachung und unterstützende Cloud-Infrastruktur.
Die Tests werden an den vorgesehenen Zweck des Systems und die möglichen Folgen eines Missbrauchs angepasst. Ein interner Assistent für Textentwürfe benötigt eine andere Bewertung als ein KI-Agent, der auf Kundendaten zugreifen, Transaktionen genehmigen, Informationen verändern oder Aktionen in verbundenen Systemen ausführen kann.
1. KI-Lösung verstehen und Testumfang definieren
Zu Beginn klären wir, welche Aufgaben das generative KI-System erfüllen soll, wer es verwendet, auf welche Informationen es zugreifen kann und welche Aktionen es ausführen darf.
Wir identifizieren das Modell, die Anwendung, Prompts, Retrieval-Komponenten, Datenquellen, APIs, Plugins, Identitätsdienste, externe Anbieter und verbundenen Geschäftssysteme, die Bestandteil der Lösung sind.
Außerdem überprüfen wir Nutzerrollen, erwartetes Verhalten, untersagte Aktivitäten, bestehende Schutzmaßnahmen, Protokollierung und bekannte Einschränkungen. Besondere Aufmerksamkeit erhalten vertrauliche Informationen und Funktionen mit möglichen wesentlichen Auswirkungen.
Dadurch entsteht ein klarer Testumfang. Die Angriffsszenarien können anschließend auf die tatsächliche Nutzung und das Risikoprofil der Anwendung abgestimmt werden.
2. Prompts, Schutzmaßnahmen und mögliche Datenoffenlegung testen
Wir untersuchen, ob Nutzer das System dazu bringen können, bestehende Anweisungen zu ignorieren, seine Rolle zu verändern, geschützte Informationen offenzulegen oder Inhalte außerhalb seines genehmigten Zwecks zu erzeugen.
Die Tests können direkte Prompt Injection, Jailbreak-Versuche, widersprüchliche Anweisungen, Manipulation des Konversationsverlaufs, codierte Anfragen, mehrsprachige Eingaben, ungewöhnliche Formatierungen und wiederholte Versuche zur schrittweisen Schwächung der Schutzmaßnahmen umfassen.
Wir prüfen außerdem, ob System-Prompts, interne Anweisungen, vertrauliche Informationen, abgerufene Dokumente, personenbezogene Daten oder Informationen anderer Nutzer in generierten Antworten offengelegt werden können.
Ziel ist nicht allein, eine unerwartete Antwort zu erzeugen. Wir bewerten, ob das festgestellte Verhalten ein tatsächliches Sicherheits-, Datenschutz-, Betriebs- oder Compliance-Risiko für das Unternehmen darstellt.
3. Integrationen, Retrieval-Prozesse und Agentenaktionen bewerten
Anwendungen mit generativer KI werden häufig mit Dokumenten, Datenbanken, Websites, APIs, Plugins und Geschäftssystemen verbunden. Diese Integrationen schaffen nützliche Funktionen, vergrößern jedoch auch die mögliche Angriffsfläche.
Wir prüfen, ob schädliche Anweisungen in abgerufenen Dokumenten, E-Mails, Websites oder anderen externen Inhalten das Verhalten des Modells beeinflussen können. Dies ist insbesondere für Retrieval-Augmented-Generation-Lösungen und Agenten wichtig, die Informationen aus Quellen verarbeiten, die nicht vollständig unter der Kontrolle des Unternehmens stehen.
Wir untersuchen außerdem, ob das System beim Abrufen von Informationen die Berechtigungen des jeweiligen Nutzers einhält. Eine Person darf nicht auf ein geschütztes Dokument zugreifen können, nur weil die KI-Anwendung eine technische Verbindung zum zugrunde liegenden Informationsspeicher besitzt.
Wenn das System selbstständig Aktionen ausführen kann, testen wir, ob manipulierte Anweisungen unberechtigte Änderungen, Datenoffenlegungen, externe Kommunikation oder den Missbrauch eines verbundenen Werkzeugs auslösen können. Genehmigungsschritte, Aktionsbeschränkungen und menschliche Aufsicht werden in die Bewertung einbezogen.
4. Ergebnisse priorisieren und den laufenden Schutz stärken
Wir dokumentieren bestätigte Schwachstellen in klarer technischer und geschäftlicher Sprache. Jedes Ergebnis beschreibt die betroffene Komponente, die Testbedingungen, die möglichen Folgen und die empfohlene Korrekturmaßnahme.
Die Priorisierung berücksichtigt die Ausnutzbarkeit, erforderliche Zugriffsrechte, Vertraulichkeit der betroffenen Daten, den Automatisierungsgrad, mögliche geschäftliche Auswirkungen und die Wirksamkeit bestehender Schutzmaßnahmen.
Empfehlungen können stärkere System-Prompts, verbesserte Zugriffskontrollen, Datentrennung, Einschränkungen verbundener Werkzeuge, Filterung abgerufener Inhalte, zusätzliche Validierung, begrenzte automatische Aktionen, bessere Protokollierung oder menschliche Genehmigungen für sensible Entscheidungen umfassen.
Nach der Umsetzung der Korrekturmaßnahmen kann CA die betroffenen Funktionen erneut testen. Wir können außerdem dabei helfen, regelmäßige Tests und Überwachungsprozesse einzuführen, da sich Modelle, Datenquellen, Integrationen, Prompts und Anbieterdienste nach der Bereitstellung verändern können.
Was CA auszeichnet
Tests der vollständigen KI-Lösung
Wir bewerten das Modell gemeinsam mit Prompts, Anwendungen, Datenquellen, Retrieval-Komponenten, Identitäten, APIs, Plugins, Werkzeugen und Infrastruktur.
Realistische Angriffsszenarien
Die Tests berücksichtigen, wie Mitarbeitende, externe Nutzer, Angreifer und schädliche Inhalte versuchen könnten, das System in der Praxis zu manipulieren.
Geschäftsorientierte Risikobewertung
Wir erklären, wie sich eine Schwachstelle auf Informationen, Kunden, Betriebsabläufe, Compliance-Verpflichtungen, Finanzen und das Vertrauen in das Unternehmen auswirken könnte.
Praktische Unterstützung bei der Behebung
Unsere Empfehlungen helfen Entwicklungs-, Sicherheits-, Datenschutz-, Cloud- und Geschäftsteams, Schwachstellen zu beseitigen, ohne den Nutzen der KI-Lösung unnötig einzuschränken.
Der geschäftliche Mehrwert
Die Sicherheitstests für generative KI von CA geben Ihrem Unternehmen mehr Sicherheit bei der Einführung einer KI-Anwendung, ohne inakzeptable Sicherheits- und Datenschutzrisiken einzugehen.
Die Tests identifizieren Schwachstellen, die herkömmliche Scans und Funktionstests möglicherweise übersehen. Dazu gehören Prompt-Manipulation, Datenoffenlegung, unsichere Retrieval-Prozesse, übermäßige Berechtigungen, riskante Integrationen und KI-Agenten, die sich außerhalb ihrer vorgesehenen Grenzen bewegen.
Entwicklungs- und Technikteams erhalten klare Empfehlungen, die vor einer breiteren Bereitstellung umgesetzt werden können. Eine frühzeitige Behebung ist in der Regel weniger aufwendig und kostspielig als Korrekturen, nachdem Mitarbeitende, Kunden oder externe Parteien bereits auf das System angewiesen sind.
Unabhängige Tests unterstützen außerdem interne Genehmigungen, Kundenanforderungen, Risikobewertungen, Compliance-Prüfungen und eine verantwortungsvolle AI Governance. Sie weisen nach, dass das Unternehmen nicht nur das erwartete Verhalten des Systems, sondern auch dessen möglichen Missbrauch berücksichtigt hat.
Das Ergebnis ist eine besser geschützte Umgebung für generative KI mit stärkeren Kontrollen, klareren Nutzungsgrenzen, zuverlässigerer Überwachung und größerem Vertrauen in den verantwortungsvollen Einsatz künstlicher Intelligenz.
Nächster Schritt
Eine Anwendung mit generativer KI sollte nicht nur darauf getestet werden, was sie tun soll. Es muss auch geprüft werden, wie sie reagiert, wenn Nutzer, externe Inhalte oder verbundene Systeme versuchen, sie zu manipulieren.
Kontaktieren Sie CA für ein unverbindliches Erstgespräch. Wir helfen Ihnen, den geeigneten Testumfang festzulegen, Ihre generative KI-Lösung anhand realistischer Angriffsszenarien zu bewerten und einen praktischen Plan zur Behandlung der identifizierten Risiken zu entwickeln.