Le completions di codice AI con backdoor richiedono analisi forense mentre i dati di addestramento avvelenati diventano un rischio per la supply chain

Un articolo di Help Net Security descrive uno strumento forense progettato per tracciare completions di codice con backdoor generate da assistenti AI. La preoccupazione è che il codice usato per addestrare modelli di grandi dimensioni possa essere stato manomesso prima dell’addestramento, consentendo a esempi avvelenati di influenzare i suggerimenti successivi. In pratica, ciò potrebbe insegnare a un assistente a emettere codice insicuro o malevolo solo quando compare un determinato prompt o contesto. Questo crea un sottile problema della supply chain perché la debolezza potrebbe rimanere nascosta fino a quando il modello viene usato nei flussi di lavoro di sviluppo in produzione. L’articolo è significativo per le organizzazioni che fanno forte affidamento su strumenti di programmazione AI senza rigorosi controlli di revisione e provenienza. Sottolinea che lo sviluppo assistito dall’AI ora necessita dello stesso tipo di attenzione all’integrità e all’audit applicata alle normali supply chain del software.

Fonte: Help Net Security