// Glossario IT
Model Poisoning
Un attacco che manipola deliberatamente il processo di addestramento di un modello di intelligenza artificiale, per comprometterne il comportamento futuro.
Cos'è
Il model poisoning manipola deliberatamente il processo di addestramento di un modello di intelligenza artificiale, inserendo dati corrotti o manipolati nel set di addestramento in modo che il modello apprenda comportamenti scorretti o dannosi, che si manifesteranno poi in modo controllato dall'attaccante quando il modello viene effettivamente utilizzato in produzione.
Perché conta
È una minaccia particolarmente insidiosa perché il modello compromesso può continuare a funzionare correttamente nella maggior parte dei casi, rivelando il comportamento manipolato solo in condizioni specifiche scelte dall'attaccante, rendendo la compromissione molto difficile da individuare attraverso normali test di qualità che non prevedono esplicitamente quello scenario specifico di attacco.
Tag