Testowanie bezpieczeństwa generatywnej AI
Generatywna sztuczna inteligencja może zwiększać produktywność, wspierać obsługę klientów, automatyzować wyszukiwanie informacji i pomagać pracownikom efektywniej korzystać z wiedzy organizacji. Wdrożenie dużego modelu językowego lub aplikacji wykorzystującej AI tworzy jednak również zagrożenia, których tradycyjne testy aplikacji mogą nie wykryć.
System AI może zostać zmanipulowany przy użyciu odpowiednio przygotowanych promptów, dostępnych źródeł danych, niebezpiecznych integracji, nadmiernych uprawnień lub słabości w samej aplikacji. Poufne informacje mogą pojawić się w wygenerowanych odpowiedziach, zabezpieczenia mogą zostać ominięte, a połączone narzędzia mogą wykonać działania niezgodne z przeznaczeniem.
Testowanie bezpieczeństwa generatywnej AI oferowane przez CA pomaga ocenić zachowanie aplikacji podczas prób nadużycia, manipulacji i realistycznych scenariuszy ataku. Analizujemy całe rozwiązanie, w tym model, prompty, dane, mechanizmy wyszukiwania informacji, uprawnienia, integracje i wspierającą infrastrukturę.
Dlaczego to ważne
Systemy generatywnej AI działają inaczej niż tradycyjne oprogramowanie. Na ich odpowiedzi wpływają instrukcje zapisane w języku naturalnym, wcześniejsza treść rozmowy, połączone źródła informacji, prompty systemowe, konfiguracja modelu oraz narzędzia dostępne dla aplikacji.
Tworzy to ryzyka, które mogą pozostać niewidoczne podczas standardowych testów funkcjonalnych. System może prawidłowo obsługiwać zwykłych użytkowników, a jednocześnie ujawniać chronione informacje, wykonywać złośliwe instrukcje ukryte w zewnętrznej treści lub pozwalać na omijanie ustalonych ograniczeń.
Skuteczne testowanie bezpieczeństwa generatywnej AI pomaga:
Chronić poufne informacje
Identyfikować sytuacje, w których dane poufne, dane osobowe, instrukcje systemowe, dane uwierzytelniające lub chronione materiały źródłowe mogą pojawić się w odpowiedzi systemu.
Testować odporność na manipulację
Sprawdzać, czy bezpośredni lub pośredni prompt injection, techniki jailbreak, zakodowane instrukcje albo wieloetapowe rozmowy mogą ominąć istniejące zabezpieczenia.
Zabezpieczać połączone narzędzia i źródła danych
Ocenić, czy system AI może uzyskać dostęp do informacji lub wykonać działania wykraczające poza zatwierdzone uprawnienia i przeznaczenie.
Wspierać bezpieczniejsze wdrożenie
Wykrywać słabości przed udostępnieniem aplikacji pracownikom, klientom, partnerom lub szerszej grupie użytkowników.
Nasze podejście
Nie oceniamy wyłącznie bazowego modelu językowego. Bezpieczeństwo rozwiązania wykorzystującego generatywną AI zależy od całego środowiska, w którym działa model.
Nasze podejście obejmuje interfejs użytkownika, logikę aplikacji, prompty systemowe, proces wyszukiwania informacji, źródła danych, zabezpieczenia tożsamości, interfejsy API, wtyczki, połączone narzędzia, konfigurację modelu, rejestrowanie, monitorowanie i wspierającą infrastrukturę chmurową.
Testy dostosowujemy do przeznaczenia systemu oraz możliwych konsekwencji niewłaściwego wykorzystania. Wewnętrzny asystent pomagający przygotowywać wersje robocze wymaga innego poziomu oceny niż agent AI posiadający dostęp do danych klientów, zatwierdzający transakcje, zmieniający informacje lub wykonujący działania w połączonych systemach.
Poznanie rozwiązania AI i określenie zakresu testów
Zaczynamy od ustalenia, jakie zadania ma wykonywać system generatywnej AI, kto będzie z niego korzystać, do jakich informacji może uzyskać dostęp oraz jakie działania wolno mu wykonywać.
Identyfikujemy model, aplikację, prompty, mechanizmy wyszukiwania, repozytoria danych, interfejsy API, wtyczki, usługi tożsamości, zewnętrznych dostawców oraz połączone systemy biznesowe.
Analizujemy również role użytkowników, oczekiwane zachowanie systemu, niedozwolone działania, istniejące zabezpieczenia, zasady rejestrowania i znane ograniczenia. Szczególną uwagę poświęcamy poufnym informacjom oraz funkcjom mogącym mieć istotny wpływ na działalność.
Pozwala to jasno określić zakres testów i przygotować realistyczne scenariusze odpowiadające rzeczywistemu sposobowi wykorzystania rozwiązania.
Testowanie promptów, zabezpieczeń i możliwości ujawnienia danych
Sprawdzamy, czy użytkownik może zmusić system do ignorowania instrukcji, zmiany roli, ujawnienia chronionych informacji lub wygenerowania treści wykraczającej poza zatwierdzone zastosowanie.
Testy mogą obejmować bezpośredni prompt injection, próby jailbreak, sprzeczne instrukcje, manipulowanie historią rozmowy, zakodowane zapytania, wielojęzyczne dane wejściowe, nietypowe formatowanie oraz powtarzane próby stopniowego osłabienia zabezpieczeń.
Analizujemy również, czy odpowiedzi mogą ujawniać prompty systemowe, instrukcje wewnętrzne, poufne informacje, dokumenty źródłowe, dane osobowe lub szczegóły należące do innego użytkownika.
Celem nie jest jedynie uzyskanie niespodziewanej odpowiedzi. Ustalamy, czy zachowanie systemu tworzy rzeczywiste ryzyko dla bezpieczeństwa, prywatności, działalności operacyjnej lub zgodności organizacji.
Ocena integracji, mechanizmów wyszukiwania i działań agentów
Aplikacje generatywnej AI często korzystają z dokumentów, baz danych, stron internetowych, interfejsów API, wtyczek oraz systemów biznesowych. Takie integracje zapewniają przydatne funkcje, ale jednocześnie zwiększają powierzchnię ataku.
Sprawdzamy, czy złośliwe instrukcje ukryte w wyszukiwanych dokumentach, wiadomościach, stronach internetowych lub innych zewnętrznych treściach mogą wpłynąć na zachowanie modelu. Jest to szczególnie istotne w rozwiązaniach Retrieval-Augmented Generation oraz agentach przetwarzających treści ze źródeł, nad którymi organizacja nie posiada pełnej kontroli.
Oceniamy również, czy system przestrzega uprawnień użytkownika podczas wyszukiwania informacji. Użytkownik nie powinien otrzymać chronionego dokumentu tylko dlatego, że aplikacja AI ma techniczny dostęp do bazowego repozytorium.
Jeżeli system może wykonywać działania, testujemy, czy zmanipulowana instrukcja może prowadzić do nieautoryzowanych zmian, ujawnienia informacji, połączenia z usługą zewnętrzną lub niewłaściwego wykorzystania narzędzia. Analizujemy także etapy zatwierdzania, ograniczenia działań i nadzór człowieka.
Ustalenie priorytetów i wzmocnienie dalszej ochrony
Dokumentujemy potwierdzone słabości w jasnym języku technicznym i biznesowym. Każdy wynik opisuje dotknięty element, warunki przeprowadzenia testu, możliwe konsekwencje i zalecane działanie naprawcze.
Priorytety ustalamy na podstawie możliwości wykorzystania słabości, wymaganych uprawnień, poufności danych, poziomu automatyzacji, potencjalnego wpływu na działalność oraz skuteczności obecnych zabezpieczeń.
Rekomendacje mogą obejmować wzmocnienie promptów systemowych, poprawę kontroli dostępu, oddzielenie danych, ograniczenie połączonych narzędzi, filtrowanie pobieranej treści, dodatkową walidację, ograniczenie automatycznych działań, lepsze rejestrowanie lub zatwierdzanie poufnych decyzji przez człowieka.
Po wdrożeniu poprawek CA może ponownie przetestować odpowiednie funkcje. Możemy również pomóc wprowadzić regularne testowanie i monitorowanie, ponieważ modele, dane, integracje, prompty oraz usługi dostawców mogą zmieniać się po wdrożeniu.
Co wyróżnia CA
Testowanie kompletnego rozwiązania AI
Oceniamy model razem z promptami, aplikacjami, źródłami danych, mechanizmami wyszukiwania, tożsamościami, interfejsami API, wtyczkami, narzędziami i infrastrukturą.
Realistyczne scenariusze ataku
Testy odzwierciedlają sposoby, w jakie pracownicy, użytkownicy zewnętrzni, atakujący i złośliwe treści mogą próbować manipulować systemem.
Ocena ryzyka w kontekście biznesowym
Wyjaśniamy, jak każda słabość może wpłynąć na informacje, klientów, działalność operacyjną, obowiązki zgodności, finanse i zaufanie do organizacji.
Praktyczne wsparcie działań naprawczych
Nasze rekomendacje pomagają zespołom programistycznym, bezpieczeństwa, prywatności, chmury i biznesu usuwać słabości bez niepotrzebnego ograniczania wartości rozwiązania.
Wartość biznesowa
Testowanie bezpieczeństwa generatywnej AI oferowane przez CA zapewnia organizacji większą pewność, że aplikacja może zostać wdrożona bez tworzenia niedopuszczalnego ryzyka dla bezpieczeństwa i prywatności.
Testy identyfikują słabości, które mogą zostać pominięte przez tradycyjne skanowanie podatności i testy funkcjonalne. Obejmuje to manipulowanie promptami, ujawnianie informacji, niebezpieczne wyszukiwanie danych, nadmierne uprawnienia, ryzykowne integracje oraz agentów AI wykonujących działania poza ustalonymi granicami.
Zespoły programistyczne i techniczne otrzymują jasne rekomendacje możliwe do zastosowania przed szerszym wdrożeniem. Rozwiązanie problemów na wcześniejszym etapie jest zwykle mniej kosztowne i mniej uciążliwe niż wprowadzanie zmian po rozpoczęciu korzystania z systemu przez pracowników, klientów lub podmioty zewnętrzne.
Niezależne testy wspierają również wewnętrzne zatwierdzanie, zapewnienie klientów, oceny ryzyka, przeglądy zgodności i odpowiedzialne zarządzanie AI. Dostarczają dowodów, że organizacja uwzględniła nie tylko oczekiwane zachowanie systemu, ale również możliwość jego niewłaściwego wykorzystania.
Rezultatem jest lepiej zabezpieczone środowisko generatywnej AI z silniejszymi zabezpieczeniami, jasno określonymi ograniczeniami, bardziej wiarygodnym monitorowaniem i większym zaufaniem do odpowiedzialnego wykorzystywania technologii.
Następny krok
Aplikacja generatywnej AI powinna być testowana nie tylko pod kątem oczekiwanych funkcji, ale również reakcji na próby manipulacji ze strony użytkowników, zewnętrznych treści i połączonych systemów.
Skontaktuj się z CA, aby umówić się na wstępną konsultację. Pomożemy określić odpowiedni zakres testów, ocenić rozwiązanie generatywnej AI przy użyciu realistycznych scenariuszy ataku oraz opracować praktyczny plan usunięcia zidentyfikowanych ryzyk.