Decalajul de audit al DP-SGD: când confidențialitatea demonstrabilă întâlnește atacatorii reali
Un model antrenat cu ε=8 pe hârtie poate prezenta scurgeri echivalente cu ε=2 sub un membership inference attack real.
Decalajul de audit al DP-SGD: când confidențialitatea demonstrabilă întâlnește atacatorii reali
Un model antrenat cu ε=8 pe hârtie poate prezenta scurgeri echivalente cu ε=2 sub un membership inference attack real. Acel decalaj — între limita superioară teoretică a DP-SGD și ce măsoară efectiv un auditor — este locul unde dezbaterea privind confidențialitatea s-a mutat în liniște. Lucrarea Revisiting the Provable-Auditable Privacy Gap of DP-SGD transformă acel decalaj în obiectiv de optimizare, nu într-o simplă notă de subsol.
De ce cele două cifre nu coincid
Differentially Private Stochastic Gradient Descent, introdus de Abadi et al. la ACM CCS 2016, oferă un buget de confidențialitate ε calculat pentru cazul cel mai defavorabil, presupunând un adversar cât se poate de puternic, cu date auxiliare nelimitate. Atacurile reale de membership inference — cele pe care le va rula un auditor intern sau un regulator — sunt mai slabe. Prin urmare, ε-ul empiric, măsurat prin capacitatea atacatorului de a distinge membrii setului de antrenament de non-membri, iese cu mult sub cel teoretic.
NIST SP 800-226 documentează această asimetrie ca limitare cunoscută a garanțiilor DP. Consecința pentru echipele de inginerie este incomodă: poți plăti taxa de utilitate a unui ε strâns și tot să nu știi cât din suprafața de atac ai eliminat efectiv.
Ce schimbă noul framework de apărare
Autorii tratează confidențialitatea empirică — o limită inferioară derivată din audituri adversariale — ca obiectiv de primă clasă. Augmentarea lor, ușoară ca overhead, rulează în paralel cu DP-SGD standard, ajustează bucla de antrenament și îmbunătățește confidențialitatea auditabilă pe benchmark-uri standard fără a relaxa limita teoretică. ε-ul teoretic rămâne același; rata de succes a atacului empiric scade.
dp_sgd_pipeline:
noise_multiplier: 1.1
max_grad_norm: 1.0
delta: 1.0e-5
audit:
attack: shadow_model_mia
n_shadow: 128
report: empirical_epsilon_lower_boundPasul de audit este piesa pe care majoritatea pipeline-urilor de producție o sar. Fără el, ε este un certificat pentru avocat, nu un semnal pentru inginer.
Ce înseamnă asta pentru echipele din UE
Conform Articolului 25 din GDPR — protecția datelor prin design — operatorul trebuie să justifice măsurile de protecție alese în raport cu riscuri realiste, nu doar formale. Raportul ENISA privind securitatea cibernetică a IA numește explicit membership inference și model inversion drept amenințări relevante pentru orice organizație care antrenează pe date personale. Un ε teoretic singur nu va satisface un inspector ANSPDCP care întreabă: „ce atac ați simulat efectiv?”
Poziția noastră la CAI Technology, ascuțită prin lucrul pe pipeline-uri de modele cu confidențialitate nativă sub Janus și instrumente de audit sub Aegis, este că auditurile empirice de confidențialitate aparțin CI-ului, nu dosarului anual de conformitate. Shadow-model MIA costă mai puțin decât o rundă de antrenament, produce o cifră pe care un regulator o înțelege și prinde regresii pe care demonstrația teoretică nu le poate vedea. Decalajul provable-auditable nu se închide de la sine — se închide când auditul devine poarta de trecere.
Pregătit să integrezi confidențialitatea auditabilă în bucla ta de antrenament? Începe cu sinteza noastră de privacy engineering din Janus.