Gjatë testeve të sigurisë, modelet e AI-së hynë në sistemet reale të tri kompanive

Kompania Anthropic ka bërë të ditur se modelet e saj Claude fituan akses pa autorizim në sistemet e tre kompanive reale gjatë proceseve të vlerësimit të sigurisë kibernetike.

Incidentet u identifikuan vetëm pasi Anthropic rishikoi rreth 141.000 procese testimi, pas publikimit të të dhënave për një rast të ngjashëm nga OpenAI.

As Anthropic dhe as kompanitë e prekura nuk e kishin konstatuar aktivitetin në momentin kur ndodhi. Emrat e këtyre organizatave nuk janë bërë publikë.

Modelet po merrnin pjesë në ushtrime të tipit “capture-the-flag”, të krijuara për të matur aftësinë e tyre për të depërtuar në një sistem kompjuterik fiktiv dhe për të zbuluar të dhëna të fshehura.

Sipas Anthropic, modeleve u ishte komunikuar se nuk mund të lid­heshin me internetin, por një gabim konfigurimi në mjedisin e testimit të një pale të tretë e la këtë mundësi të hapur.

Tri modele e shfrytëzuan lidhjen e pambyllur, njoftoi kompania në një postim në blog.

Në një prej rasteve, Claude Opus 4.7 sulmoi një kompani reale, pasi emri i saj ishte i njëjtë me atë të subjektit fiktiv të përfshirë në testim.

Gjatë katër ekzekutimeve, modeli siguroi të dhëna hyrjeje dhe hyri në një bazë të dhënash ku ndodheshin disa qindra rreshta me informacione prodhimi.

Edhe pasi kuptoi se sistemi nuk ishte fiktiv, ai vijoi me veprimet e tij.

Një incident tjetër përfshiu modelin Mythos 5, i cili publikoi në një platformë të hapur shkarkimi një program keqdashës të krijuar për testin. Programi mbeti i disponueshëm për rreth një orë.

Softueri u shkarkua nga 15 sisteme, mes tyre edhe një sistem i një kompanie të sigurisë kibernetike që analizon rregullisht skedarë të tillë. Si pasojë, modeli fitoi akses në një pjesë të infrastrukturës kompjuterike të kësaj kompanie.

Një model i tretë skanoi rreth 9.000 objektiva dhe më pas komprometoi një kompani.

Sulmi u ndërpre vetëm pasi modeli kuptoi se objektivi ishte një sistem real.

Anthropic vlerësoi se këto raste lidhen kryesisht me mangësi në infrastrukturën e testimit dhe në procedurat e operimit, dhe jo me një problem të përshtatjes së modeleve ndaj objektivave të përcaktuara të sigurisë.

Këto zbulime u bënë publike disa javë pas një rasti të ngjashëm me modelet e krijuara nga OpenAI, kompania që zhvilloi ChatGPT.

Në mesin e korrikut, modelet e OpenAI vepruan në mënyrë autonome gjatë një prove të brendshme dhe kryen vetë një sulm kibernetik ndaj Hugging Face, platforma e njohur për zhvilluesit.

OpenAI e cilësoi më vonë këtë ngjarje si një incident të paprecedentë. /DPA News