Când RAG dăunează: explicarea malware-ului ca extracție de semnal

Trei din patru rapoarte de malware pe care le deschide un analist junior sunt mai zgomotoase după retrieval decât înainte. Acesta este rezultatul incomod din spatele unui studiu empiric recent despre Retrieval-Augmented Generation pentru explicarea malware-ului, care a testat dacă alimentarea LLM-urilor cu mai mult context din rapoarte de tip VirusTotal îmbunătățește rezumatul prezentat analistului. De obicei nu o face.

Autorii au evaluat mai multe LLM-uri open și closed pe input-uri structurate VirusTotal, apoi au injectat context preluat din corpusuri publice de threat intelligence. Pasajele preluate introduceau frecvent asocieri slabe — atribuiri greșite de familie, CVE-uri irelevante sau nume de campanii expirate — pe care modelul le țesea conștiincios în explicație. Concluzia: triajul de malware este o sarcină de extracție a semnalului, nu una de recuperare a cunoștințelor.

De ce retrieval-ul degradează un prompt de triaj

Majoritatea pipeline-urilor RAG au fost proiectate pentru question answering peste un corpus curatoriat. Ele recompensează recall-ul. Rapoartele de malware au forma opusă: un singur tabel de import, un mutex suspect, o semnătură de packer. Semnalul trăiește în câmpuri structurate dense, iar zgomotul trăiește în coada lungă a prozei „înrudite”. Când un retriever trage acea proză în fereastră, diluează raportul dovadă-text al prompt-ului, iar modelul parafrazează diluția.

Raportul ENISA din 2024 privind peisajul amenințărilor documentează o creștere accentuată a loader-elor de tip commodity care partajează string-uri între familii (ENISA Threat Landscape 2024). Un retriever indexat pe acele string-uri va returna o jumătate de duzină de familii neînrudite. NIST SP 800-83 Rev. 1 avertizează deja că atribuirea bazată doar pe string-uri este nesigură (NIST SP 800-83 Rev. 1). Studiul raportează o scădere medie a scorului F1 de 0,12 odată ce pasajele preluate intră în fereastra prompt-ului, cu scăderi de peste 0,20 în cel mai rău caz, pe familiile de loadere polimorfe.

triage_pipeline:
  input_priority:
    virustotal_behaviour: 1.0
    imports_table: 0.9
    yara_match: 0.8
  rag_context:
    enabled: false        # dezactivat după ce F1 a scăzut cu 0.18
    fallback: structured_lookup
  notes: "vezi /rag/when-not-to-retrieve/"

flowchart TD
    A[Raport VirusTotal ingerat] --> B{Câmpuri structurate complete?}
    B -->|da| C[Rezumat LLM direct]
    B -->|nu| D[Lookup țintit: familie, CVE, packer]
    C --> E[Analistul revizuiește în 90s]
    D --> F[RAG doar peste docs de vendor pe whitelist]
    F --> G[Rezumat LLM cu ID-uri de citare]
    G --> E
    classDef good fill:#dcfce7,stroke:#10b981
    classDef bad fill:#fee2e2,stroke:#ef4444
    class C,E,G good
    class D,F bad

Ce rulăm în schimb

La CAI Technology tratăm înregistrarea VirusTotal ca prompt, nu ca interogare împotriva unui corpus. Tiparul nostru de generare grounded pentru output-uri de SOC ține retriever-ul în afara buclei până când analistul cere explicit extinderea contextului. NIST AI Risk Management Framework codifică acest compromis ca un control de integritate a contextului (NIST AI RMF), iar ghidul propriu de câmpuri al VirusTotal clasează câmpurile de comportament deasupra comentariilor comunității pentru atribuire (VirusTotal API reference).

Punctul mai profund: calitatea retrieval-ului domină volumul retrieval-ului odată ce corpusul are orice suprapunere între familii. Un filtru de etapa a doua care punctează chunk-urile în raport cu input-ul structurat, nu cu interogarea în limbaj natural, recuperează cea mai mare parte din F1-ul pierdut. Vedem aceeași dinamică în explicabilitatea pentru triajul de malware: dovadă mai puțină, narațiune mai strânsă, mai puține afirmații retrase.

Dacă SOC-ul tău rutează în prezent fiecare alertă prin același retriever, oprește-l mai întâi pentru evenimentele de clasă malware și măsoară delta de F1 pe parcursul unui sprint. Hai să parcurgem împreună acest pas în playbook-ul nostru de audit RAG.

Lectură suplimentară

• Strategia de embedding pentru corpusuri de IOC
• Când să nu faci retrieval
• Narațiuni de incident asistate de LLM