Încredere oarbă în RAG? Otrăvirea reduce la jumătate acuratețea verificării factuale
Un model Llama 3.1 8B cuantizat care atinge 77,9% pe task-ul de fact-checking FEVER se prăbușește la 43,5% când toate cele trei pasaje recuperate sunt corupte în tăcere.
Încredere oarbă în RAG? Otrăvirea reduce la jumătate acuratețea verificării factuale
Un model Llama 3.1 8B cuantizat care atinge 77,9% pe task-ul de fact-checking FEVER se prăbușește la 43,5% când toate cele trei pasaje recuperate sunt corupte în tăcere. Aceasta este concluzia principală a unui studiu arXiv din septembrie 2026 despre robustețea RAG sub otrăvirea documentelor (arXiv:2609.09243), și lovește exact acolo unde inginerii de retrieval simt presiunea: retriever-ul este acum suprafața de atac, nu modelul.
Experimentul cu 588 de rulări
Autorii au executat 588 de teste de verificare factuală pe un task derivat din FEVER, injectând trei variante de otrăvire în pasajele recuperate: interschimbare de entități, interschimbare de numere și negare. Interschimbarea de entități a fost cea mai distructivă. Când corupția era totală, modelul prefera să se abțină în loc să fabrice — o mică consolare, dar nu o apărare.
Acest comportament contează pentru oricine rulează RAG în medii reglementate. NIST AI Risk Management Framework listează integritatea datelor ca un control la nivel de guvernanță, iar raportul ENISA privind securizarea algoritmilor de machine learning clasifică otrăvirea retrieval-ului ca o clasă de amenințare distinctă de prompt injection. Dacă pipeline-ul vostru de evaluare măsoară doar acuratețea răspunsurilor pe corpusuri curate, măsurați lucrul greșit.
Diferența de 34 de puncte între contextul curat și cel complet otrăvit nu este zgomot statistic. Este costul încrederii într-un retriever fără verificări de proveniență. Iar comportamentul de abținere, deși mai sigur decât halucinația, tot compromite automatizările din aval care așteaptă o decizie.
Răspunsul ingineresc
Tratăm integritatea retrieval-ului ca un SLO de primă clasă. Asta înseamnă manifeste de corpus semnate, hash-uri per chunk și alerte de drift pe centroizii embedding-urilor. Un bloc minim de igienă din una dintre configurațiile noastre de producție:
retrieval_integrity:
chunk_hash_algo: sha256
manifest_signing: ed25519
drift_alert_threshold_cosine: 0.08
poison_canaries_per_1000_chunks: 3
abstain_on_manifest_mismatch: true
audit_retention_days: 365Chunk-urile canary — pasaje plantate deliberat, cu răspunsuri cunoscute — ne permit să detectăm interschimbări de entități sau numere la ingestie, înainte să ajungă la retriever. Este aceeași disciplină pe care o descriem în analiza noastră detaliată a debugging-ului Graph RAG, și se combină cu contramăsurile multi-agent din nota noastră despre cum supraviețuiesc backdoor-urile între agenți.
Matricea MITRE ATLAS cataloghează aceste tehnici sub atacuri pe supply-chain-ul ML; textul AI Act al Comisiei Europene impune obligații de guvernanță a datelor pentru sistemele cu risc ridicat în Articolul 10. Pragul de reglementare urcă; pragul empiric, conform acestui studiu, este 43,5%.
Pentru ce construim
CAI Technology citește acest rezultat ca o validare a observabilității pe partea de retrieval, nu a întăririi pe partea de model. Modelele mai mari nu vor repara un index otrăvit — vor fi doar mai încrezătoare când greșesc. Abținerea este o funcționalitate utilă doar dacă produsul vostru poate ruta către un om când retriever-ul refuză. Dacă nu poate, aveți un mod de eșec silențios deghizat în prudență. Vedeți cum instrumentăm această graniță în harta noastră de amenințări pe retrieval și generare.