Kritična ranljivost, ki prizadene priljubljena orodja umetne inteligence, kot so ChatGPT, Google Gemini in druge generativne AI platforme, jih izpostavlja novi vrsti napada, imenovani »Man-in-the-Prompt«.
Raziskave razkrivajo, da lahko zlonamerne razširitve za brskalnike izkoriščajo DOM (Document Object Model) za vbrizgavanje pozivov (promptov), krajo občutljivih podatkov in manipulacijo z odzivi AI brez potrebe po posebnih dovoljenjih.
Ranljivost vpliva na milijarde uporabnikov po vsem svetu, pri čemer sta posebej izpostavljena ChatGPT s 5 milijardami mesečnih obiskov in Gemini z 400 milijoni uporabnikov.
Ključne ugotovitve
- Razširitve za brskalnike izkoriščajo AI orodja za vbrizgavanje pozivov in krajo podatkov.
- Napad vpliva na milijarde uporabnikov; 99 % podjetij je ranljivih.
- Korporativni AI podatki so izpostavljeni; trenutne varnostne rešitve teh napadov ne zaznajo.
Kako razširitve izkoriščajo AI pozive?
Ranljivost izvira iz načina, kako generativna AI orodja integrirajo brskalniške funkcionalnosti preko manipulacije DOM.
Ko uporabniki komunicirajo z asistenti na osnovi velikih jezikovnih modelov (LLM), so polja za vnos pozivov dostopna vsem razširitvam za brskalnik z osnovnimi skriptnimi zmožnostmi.
Ta arhitekturna pomanjkljivost zlonamernim akterjem omogoča napade z vbrizgavanjem pozivov, kjer spreminjajo uporabniške vnose ali vnašajo skrita navodila neposredno v AI vmesnik.
Rezultat je scenarij »man-in-the-prompt«, kjer lahko napadalci berejo in pišejo v AI pozive brez kakršne koli zaznave.
Raziskovalci iz LayerX so pokazali, da lahko celo razširitve brez posebnih dovoljenj dostopajo do komercialnih LLM-ov, vključno s ChatGPT, Gemini, Copilot, Claude in Deepseek.
Posebej skrb vzbujajoče je dejstvo, da ima 99 % uporabnikov v podjetjih nameščeno vsaj eno razširitev za brskalnik, 53 % pa jih uporablja več kot 10.
Obstoječe varnostne rešitve, kot so CASB, SWG in DLP, nimajo vpogleda v DOM-interakcije, zato so pri tem napadu neučinkovite.
Ranljivost omogoča celo vbrizgavanje poizvedb v Gemini tudi takrat, ko je stranska vrstica zaprta, kar napadalcem omogoča množično pridobivanje zaupnih korporativnih podatkov.
LayerX je odgovorno razkril to ranljivost Googlu, vendar podjetje prej ni obravnavalo tveganj razširitev za brskalnik v kontekstu Gemini Workspace.
Strategije za ublažitev tveganj
Notranji LLM-i so še posebej izpostavljeni, ker imajo dostop do lastniških podatkov podjetij, vključno z intelektualno lastnino, pravnimi dokumenti, finančnimi napovedmi in reguliranimi evidencami.
Za razliko od javnih modelov notranji »copiloti« pogosto nimajo okrepljenih varnostnih mehanizmov proti sovražnim vnosom, saj predpostavljajo zaupanja vredno uporabo v okviru korporativnega omrežja.
Ta lažen občutek varnosti ustvarja velika tveganja za uhajanje intelektualne lastnine, kršitve GDPR in HIPAA ter zmanjšuje zaupanje v AI orodja v podjetjih.
Organizacije se morajo premakniti od kontrol na ravni aplikacij k inšpekciji vedenja brskalnika.
Ključne strategije vključujejo:
- nadzor DOM-interakcij znotraj AI orodij,
- vedenjsko ocenjevanje tveganj razširitev (ne le statična analiza dovoljenj),
- preprečevanje manipulacije promptov s sprotno zaščito na ravni brskalnika.
Tradicionalno blokiranje URL-jev tukaj ne pomaga, saj so notranja orodja običajno na »whitelistanih« domenah. Zato je nujna “peskovniška” (ang. sandbox) izolacija razširitev in dinamična ocena tveganja.
Dokazana resnost ranljivosti (Proof-of-Concept)
Dva pomembna napada v obliki proof-of-concept prikazujeta resnost ranljivosti:
- Napad na ChatGPT:
Zlonamerna razširitev, povezana s strežnikom za ukaze in nadzor, je v ozadju odpirala zavihke, pošiljala vbrizgane pozive ChatGPT-ju, rezultate izvažala v zunanje dnevnike ter brisala zgodovino klepetov, da bi prikrila sledi. Celoten napad je potekal znotraj uporabnikove seje, kar je skoraj onemogočilo zaznavo. - Napad na Google Gemini Workspace:
Izkoristil je integracijo z Workspace, ki omogoča dostop do e-pošte, dokumentov, kontaktov in skupnih map.
Ključna priporočila za podjetja
Da bi zmanjšali tveganja in preprečili tovrstne napade, naj podjetja uvedejo naslednje ukrepe:
Nadzor nad razširitvami: Redno preverjajte vse nameščene razširitve v podjetju in odstranite nepotrebne ali nepreverjene.
Sistem dovoljenj in odobritev: Uvedite strožji nadzor nad dovoljenji za razširitve – dovoljujte samo tiste, ki so poslovno nujne in preverjene.
Rešitve za zaščito na ravni brskalnika: Uporabite specializirana orodja za spremljanje vedenja brskalnikov, zaznavanje manipulacij DOM in izolacijo tveganih razširitev v zaščitenem testnem okolju (ang. sandbox)
Izobraževanje zaposlenih: Redno izobražujte uporabnike o nevarnostih zlonamernih razširitev, lažnih AI vmesnikov in tveganjih deljenja občutljivih podatkov preko AI orodij.
AI varnostne politike: Vpeljite interne smernice za uporabo AI orodij, ki vključujejo preverjanje virov, obvezno prijavljanje incidentov ter uporabo AI v skladu z GDPR in notranjimi pravili za zaščito podatkov.
Testiranje in simulacije napadov: Izvajajte redne simulacije »man-in-the-prompt« napadov, da preverite odzivnost vaših varnostnih rešitev in pripravljenost uporabnikov.
Ločevanje notranjih AI modelov: Če uporabljate notranje LLM modele, jih dodatno zaščitite z namenskim dostopnim nadzorom in omejitvijo povezav z zunanjimi razširitvami ali brskalniki.
Zaključek:
Napadi tipa »Man-in-the-Prompt« so jasen pokazatelj, da klasične varnostne rešitve niso dovolj za varovanje uporabe generativne AI v podjetjih. Potrebno je razmišljati na ravni brskalnika, uporabnikov in njihovega vedenja, ter proaktivno uvajati tehnologije, ki preprečujejo manipulacijo AI orodij. Kdor bo to razumel danes, bo jutri preprečil uhajanje podatkov in ohranil zaupanje v AI orodja v poslovnem okolju.
*Blog zapis je nastal na osnovi originalnega članka objavljenega na spletnem portalu Cybersecurity News in ga je pripravila avtorica Florence Nightingale.