Unde cedează agenții cyber LLM: blocajele din rulările multi-etapă
Întreabă un red-teamer de ce lanțul lui scriptat de atac funcționează, dar cel condus de un LLM se blochează, și răspunsul e rareori „modelul nu e destul de inteligent".
Unde cedează agenții cyber LLM: blocajele din rulările multi-etapă
Întreabă un red-teamer de ce lanțul lui scriptat de atac funcționează, dar cel condus de un LLM se blochează, și răspunsul e rareori „modelul nu e destul de inteligent”. E orchestratorul care-i dă executorului o unealtă nepotrivită, sau un validator care dă din umeri „arată bine” la un răspuns de shell gol. Un studiu diagnostic nou pe agenți cyber multi-etapă (arXiv 2609.28572) disecă șase modele de frontieră în trei moduri de autonomie și pune cifre pe modurile de eșec pe care le bănuiam de mult.
Ce a măsurat studiul și de ce doare
Autorii au rulat agenți orchestrator-executor-validator prin scenarii enterprise de lateral movement — aceeași familie de tactici catalogată în MITRE ATT&CK TA0008 — și au evaluat nu doar „a spart agentul mașina”, ci costul per tentativă, calitatea interpretării dovezilor și adaptarea după eșec. Un overlay LLM-as-a-Judge a prins cazurile în care agentul raporta succes pe un output pe care un analist uman l-ar fi semnalat ca o comandă stricată.
Trei blocaje domină. Dezaliniere de unelte (tool misalignment): orchestratorul alege smbclient când ținta vorbește WinRM. Recuperare slabă: după un hop eșuat, executorul intră în buclă pe aceeași invocare stricată în loc să schimbe credențialele. Validatori optimiști: judge-ul ștampilează un 502 drept „autentificare reușită”. Oricine a construit pipeline-uri agentice pentru angajamente AEGIS va recunoaște tiparul.
2026-09-24T09:14:02Z orch: selected tool=impacket-psexec target=10.42.7.19
2026-09-24T09:14:03Z exec: run -> "SMB SessionError: STATUS_LOGON_FAILURE"
2026-09-24T09:14:04Z valid: verdict=success, note="host reachable"
2026-09-24T09:14:05Z orch: proceed to stage=credential_dump
2026-09-24T09:14:06Z exec: run -> "target unreachable, session invalid"Linia de validator e cea fatală. Lanțul avansează pentru că judge-ul a confundat „TCP reachable” cu „authenticated”. Fiecare etapă ulterioară arde tokeni pe un context mort.
Pattern-ul arhitectural care rezistă
Două decizii de design au redus rata de eșec în rulările noastre interne. Prima: schema de validare e scrisă per-unealtă, nu per-etapă — succes la impacket-psexec înseamnă un obiect RemoteShell, nu un boolean de tip 200. A doua: rutarea cu conștiință de cost trimite un plan blocat înapoi la orchestrator după N tentative eșuate, în loc să lase executorul să se învârtă în gol. ENISA Threat Landscape 2024 semnalează aceeași problemă din perspectiva apărătorului: agenții care halucinează progres sunt imposibil de distins de adversarii care pivotează silențios.
De ce contează pentru operatorii în sfera NIS2
Sub Directiva (UE) 2022/2555, așteptările privind detecția incidentelor se înăspresc, iar uneltele defensive construite pe agenți LLM intră în pipeline-urile de achiziții. AI Risk Management Framework GenAI Profile de la NIST clasifică evaluarea supra-încrezătoare drept risc de categorie unu. Dacă validatorul minte, tichetul SOC minte, iar traseul de audit minte odată cu el.
Poziția CAI Technology: rata de succes e o metrică de vanitate. Instrumentăm fiecare pas al agentului cu o schemă de dovezi per-unealtă și un plafon de cost, iar dezacordurile validatorului le tratăm ca semnale de primă clasă alimentate în stiva noastră de observabilitate multi-agent IRIS. Dacă evaluați o platformă agentică de red-team în acest trimestru, întrebați furnizorul cum tratează validatorul lor un 502 — și cât costă când greșește.