Model Collapse: De ce antrenamentul AI-pe-AI otrăvește următorul model
Până în 2027, majoritatea tokenilor colectați din web-ul deschis vor fi generați de mașini. Doar acest fapt schimbă felul în care echipele de inginerie ar trebui să gândească preantrenamentul, corpusurile RAG și ciclu…
Model Collapse: De ce antrenamentul AI-pe-AI otrăvește următorul model
Până în 2027, majoritatea tokenilor colectați din web-ul deschis vor fi generați de mașini. Doar acest fapt schimbă felul în care echipele de inginerie ar trebui să gândească preantrenamentul, corpusurile RAG și ciclurile de reîmprospătare a fine-tuning-ului. O recenzie recentă a fenomenului de model collapse (MC) — situația în care modelele generative antrenate pe date sintetizate de AI deraiază într-o buclă auto-consumatoare de calitate degradată — adună într-un singur loc literatura de contramăsuri (Reviewing Model Collapse and Countermeasures, arXiv 2608.21366).
Mecanismul nu este subtil. Nature a publicat experimentul canonic: antrenamentul recursiv pe output-uri de model prăbușește distribuțiile de coadă în câteva generații (Shumailov et al., Nature 631). Fapte rare, dialecte minoritare, entități long-tail — dispărute.
Forma inginerească a problemei
Colapsul apare în două moduri de eșec. Colapsul timpuriu pierde evenimentele cu probabilitate scăzută; colapsul tardiv convergează varianța output-ului spre medie și produce generări fade, cvasi-duplicate. Ambele sunt efectiv ireversibile fără date cu proveniență curată.
# corpus_governance.yaml — configurație de preantrenament în producție
provenance:
human_verified_ratio_min: 0.60 # prag minim strict
synthetic_share_max: 0.35
watermark_detectors: [c2pa, synthid, unicode-zwsp]
reject_on_detect: true
audit:
drift_metric: kl_vs_reference_2024
alert_threshold: 0.18
retention_days: 365Recenzia grupează contramăsurile în trei familii: proveniența datelor și watermarking, antrenament din surse mixte care ancorează fiecare generație pe date umane proaspete, și filtre de detecție care clasifică conținutul sintetic înainte de ingestie. Niciuna nu este suficientă singură.
Ce așteaptă deja reglementatorii
Articolul 10 din EU AI Act obligă furnizorii de sisteme cu risc ridicat să documenteze guvernanța dataseturilor, inclusiv originea și prepararea (Regulamentul (UE) 2024/1689). Cadrul multicstrat ENISA semnalează otrăvirea dataseturilor și derivele de integritate drept riscuri de top în lanțul de aprovizionare AI (ENISA multilayer framework for AI cybersecurity). AI RMF de la NIST ridică trasabilitatea măsurabilă a datelor în funcțiile „Map” și „Measure” (NIST AI RMF 1.0).
Tradus pentru engineering leads: model card-ul trebuie să declare raportul sintetic-uman, stiva de detectoare rulată și metrica de derivă monitorizată între reîmprospătări. „Am folosit date din web” nu mai este un răspuns pe care reglementatorii îl acceptă.
Un pipeline concret
Două reguli operaționale pe care recenzia le face explicite: înghețați un corpus de referință vintage 2024 pentru baseline-urile de derivă și plafonați ponderea sintetică la aproximativ o treime din orice batch de antrenament. Echipele care livrează sisteme agentice unde siguranța stă în topologie, nu în weights, vor recunoaște tiparul — proprietatea se află la pipeline, nu la checkpoint.
Poziția noastră
CAI Technology tratează model collapse ca o problemă de lanț de aprovizionare cu date, nu ca o problemă de modelare. Asta reîncadrează bugetele: investiți în infrastructură de proveniență și benchmarking de detectoare, nu în checkpoint-uri mai mari. Înseamnă totodată că și corpusul RAG, și corpusul de preantrenament au nevoie de aceeași disciplină de guvernanță — un punct pe care îl dezvoltăm în munca noastră despre debugging și compararea pipeline-urilor Graph RAG de la cap la coadă. Dacă reîmprospătați un model de bază în 2026, parcurgeți trasabilitatea datelor înainte să atingeți un hiperparametru.