Allucinazione (IA)
Definizione breve
L'allucinazione è quando un modello di IA afferma qualcosa di falso con un tono sicuro che si legge come un fatto reale.
Quando un modello linguistico incontra una domanda a cui in realtà non sa rispondere, non lascia il campo vuoto, può produrre, basandosi su schemi, una risposta plausibile ma falsa. Questa è l'allucinazione, e inventare una fonte, una data, una cifra o una citazione ne è la forma più comune.
Il modello non lo fa deliberatamente, non ha modo di distinguere se il proprio output sia vero o falso, il tono resta ugualmente sicuro in entrambi i casi, il che rende l'errore più difficile da notare.
Il rischio di allucinazione aumenta quando il modello lavora con conoscenze superate, quando gli si chiede qualcosa di molto specifico, o quando genera liberamente senza appoggiarsi a una fonte, vedi RAG.
Il modo più semplice per riconoscere un'allucinazione nella pratica è aprire e verificare ogni fonte o link citato dal modello; una fonte inventata di solito non esiste affatto oppure non contiene il dato affermato. Qualsiasi risposta con cifre o date non andrebbe mai pubblicata prima che lei la confronti con il documento originale o un registro ufficiale.
Perché conta
Un'allucinazione lasciata senza controllo significa che un prezzo sbagliato, un'informazione legale falsa o una fonte inesistente può arrivare fino a un messaggio al cliente o a un contenuto pubblicato. Per questo ogni output di IA, soprattutto con cifre o affermazioni, ha ancora bisogno di un controllo umano.
Esempio illustrativo
Un assistente integrato con un sistema di SKU ha suggerito un codice prodotto inesistente come se fosse reale, il team lo ha notato prima che venisse pubblicato.
