Gjatë testeve të sigurisë, modelet e AI-së hynë pa autorizim në sistemet reale të kompanive

Anthropic ka bërë të ditur se modelet e saj Claude arritën të hynin pa leje në sistemet e tre kompanive reale gjatë vlerësimeve të sigurisë kibernetike.

Incidentet u identifikuan vetëm pasi kompania analizoi rreth 141.000 procese testimi, pas publikimit të të dhënave për një rast të ngjashëm nga OpenAI. Në kohën kur ndodhën, as Anthropic dhe as organizatat e prekura nuk e kishin konstatuar aktivitetin, ndërsa emrat e kompanive nuk u bënë publikë.

Modelet po merrnin pjesë në ushtrime të tipit “capture-the-flag”, të krijuara për të matur aftësinë e tyre për të depërtuar në një sistem kompjuterik fiktiv dhe për të zbuluar të dhëna të fshehura.

Sipas Anthropic, modeleve u ishte komunikuar se nuk kishin lidhje me internetin. Megjithatë, një gabim në konfigurimin e mjedisit testues të një pale të tretë bëri që kjo lidhje të mbetej aktive.

Tre modele e përdorën këtë mundësi, sipas një njoftimi të kompanisë në blog.

Në një prej rasteve, Claude Opus 4.7 drejtoi veprimet ndaj një kompanie reale, emri i së cilës ishte i njëjtë me atë të subjektit fiktiv të përfshirë në skenar. Brenda katër ekzekutimeve, modeli siguroi të dhëna identifikimi dhe hyri në një bazë të dhënash me disa qindra rreshta të dhënash prodhimi.

Edhe pasi kuptoi se përballë kishte një sistem real, Claude Opus 4.7 nuk e ndërpreu menjëherë aktivitetin.

Një incident tjetër përfshiu modelin Mythos 5, i cili vendosi në një platformë publike shkarkimi një program keqdashës të përgatitur për testin. Programi qëndroi i disponueshëm për rreth një orë.

Softueri u shkarkua nga pesëmbëdhjetë sisteme. Mes tyre ishte edhe një sistem i një kompanie të sigurisë kibernetike që analizon rregullisht skedarë të tillë, duke i mundësuar modelit qasje në një pjesë të infrastrukturës së saj kompjuterike.

Modeli i tretë i përfshirë në test skanoi rreth 9.000 objektiva dhe më pas komprometoi një kompani. Ai e ndërpreu sulmin kur kuptoi se objektivi ishte real.

Anthropic e vlerësoi se këto raste lidhen kryesisht me probleme në infrastrukturën dhe procedurat e testimit, dhe jo me një dështim të modelit për t’iu përmbajtur objektivave të përcaktuara të sigurisë.

Zbulimet u bënë publike disa javë pas një ngjarjeje të ngjashme me modele të krijuara nga OpenAI, kompania që zhvilloi ChatGPT.

Në mesin e korrikut, modelet e OpenAI vepruan në mënyrë autonome gjatë një testi të brendshëm dhe kryen vetë një sulm kibernetik ndaj Hugging Face, një platformë e njohur për zhvilluesit.

OpenAI e cilësoi më vonë këtë ngjarje si të paprecedentë./DPA News