Preparazione dei dati per progetti IA: da dove cominciare
Come preparare i dati prima di un progetto IA: inventario, pulizia, responsabili, accesso, set di prova, protezione dei dati ed errori comuni.
Team rabbitclipPubblicato: 6 min di lettura
In breve
Preparare i dati per un progetto IA significa stabilire prima di cominciare dove si trovano i suoi dati, a chi appartengono, quanto sono affidabili e quali parti un sistema di IA può vedere, e poi ripulire ciò che va ripulito. Nella maggior parte dei progetti questo richiede più tempo della scelta del modello e plasma di più il risultato. Se i dati sono sparsi, obsoleti o contraddittori, l'IA non li ripara; ripete gli errori in una prosa scorrevole. I dati sensibili vengono separati e protetti in questa fase, non dopo.
Questo articolo non riguarda la scelta di un modello o di uno strumento; riguarda ciò che dovrebbe essere pronto qualunque strumento scelga. Non illustra la costruzione di una specifica base di conoscenza né una legge sulla protezione dei dati; esamina le domande da porsi prima che un progetto cominci.
Perché la preparazione dei dati viene prima del modello?
L'IA impara dai dati che le vengono mostrati, oppure risponde basandosi su di essi. Un errore nei dati può diventare una tendenza duratura nel comportamento del sistema. Se un produttore di pavimenti tiene i dati dei prodotti in tre tabelle con tre unità di misura diverse, un assistente che lavori a partire da esse può indicare misure diverse per lo stesso prodotto.
La preparazione non è quindi un costo pagato all'inizio, ma un modo per prevenire gli errori che altrimenti affiorerebbero più tardi. La causa comune di molti progetti falliti non è il modello, ma dati di cui nessuno si fida.
Come si costruisce un inventario dei dati?
Il primo passo è un elenco di ciò che possiede: quale informazione è conservata dove, chi la aggiorna, quando è stata aggiornata l'ultima volta e in quale formato. L'elenco spesso sorprende; lo stesso dato di un cliente può vivere separatamente in un programma di contabilità, in una casella di posta e in un foglio di calcolo.
Per ogni fonte l'inventario risponde a tre domande: è aggiornata, è affidabile, un sistema di IA può vederla. Una fonte per cui non può rispondere sì a tutte e tre viene lasciata fuori dal progetto o sistemata per prima.
- Fonte: dove sono conservati i dati, in quale sistema o file
- Responsabile: chi li aggiorna e chi risponde della loro esattezza
- Attualità: quando sono stati rivisti l'ultima volta
- Formato: tabella strutturata, testo libero o immagine scansionata
- Sensibilità: se contengono materiale personale, finanziario o commercialmente riservato
Come si puliscono i dati?
La pulizia consiste in tre compiti: unire i duplicati, risolvere le contraddizioni e colmare o segnalare le lacune. Un cliente registrato con tre grafie, un prodotto con due prezzi, campi lasciati vuoti: sono casi tipici. Gli strumenti automatici spesso fanno metà del lavoro, e qualcuno che conosce l'attività completa il resto.
Anche qui l'IA può aiutare, per esempio raggruppando registrazioni simili e suggerendo unioni; ma il suo suggerimento può essere sbagliato, e unire per errore due schede cliente è difficile da annullare. Le decisioni di unione vengono prima verificate a occhio su un piccolo campione e poi estese.
Come si separano e si proteggono i dati sensibili?
Non tutti i dati devono essere mostrati all'IA. I numeri di documento d'identità, i dati sanitari, le coordinate bancarie e la corrispondenza privata con i clienti vengono lasciati fuori o mascherati, a meno che il compito non ne abbia davvero bisogno. I dati più sicuri sono quelli che non vengono mai mostrati.
Per i dati che vengono mostrati, l'accesso è ristretto: li vedono solo le persone del progetto, ogni accesso viene registrato e si stabilisce in anticipo a quale servizio vanno i dati, se vengono conservati lì e se sono usati per addestrare il modello. Qui non si può dare un giudizio netto sugli obblighi giuridici; prima di un progetto che tocchi dati personali, si rivolga a un avvocato, anche per quanto riguarda il GDPR.
Come si prepara un set di prova per misurare il successo?
La parte della preparazione che più spesso si salta è il set di prova: un breve elenco di domande reali a cui il sistema deve rispondere correttamente, con le risposte giuste. Lo scrive qualcuno che conosce il lavoro, indipendentemente dal sistema. Circa cento domande bastano per cominciare nella maggior parte delle aziende.
Senza un set di prova, sapere se il sistema funziona bene è solo un'impressione. Ogni volta che aggiorna i dati o cambia strumento, rilancia lo stesso elenco e vede se è migliorato o peggiorato. L'IA a volte risponde in modo sbagliato; il set di prova mostra con che frequenza e su quali argomenti.
Quando la preparazione dei dati è superflua, o prematura?
Se usa l'IA solo per correggere l'ortografia, riassumere riunioni o abbozzare testi generici, non ha bisogno di dati propri e una preparazione dettagliata sarebbe eccessiva. La vera questione lì è una regola semplice su ciò che non va mai digitato nello strumento.
La preparazione è prematura anche quando lo scopo del progetto è ancora vago. Ripulire i dati prima di sapere cosa si vuole risolvere rischia di sistemare la cosa sbagliata. Scelga prima una domanda piccola e chiara, poi prepari i dati che la servono.
Quali errori si commettono più spesso?
L'errore più comune è cercare di preparare tutti i dati in una volta. Una pulizia che dura mesi logora le persone prima che appaia un qualsiasi risultato. Cominciare in piccolo, con i dati di un solo argomento, dà un risultato rapido e mostra cosa funziona.
Il secondo sono i dati orfani: una fonte senza una persona chiara che la aggiorni torna obsoleta dopo un po'. Il terzo è che i dati sensibili vengano dimenticati durante la preparazione e caricati così come sono in un foglio di calcolo. La separazione si fa mentre si preparano i dati, non si lascia per dopo.
Il successo di un progetto IA dipende in larga misura da come vengono preparati i dati: cosa esiste, a chi appartiene, quanto è affidabile, quale parte può essere mostrata e se il sistema risponde correttamente. Cominciare da un piccolo argomento e costruire a turno inventario, pulizia, separazione dei dati sensibili e set di prova riduce sia il rischio sia il costo. Se desidera rivedere insieme a noi quanto i suoi dati siano pronti per l'IA, può fissare un colloquio conoscitivo con rabbitclip.
Domande frequenti
Di quanti dati ha bisogno un progetto IA?
Varia moltissimo a seconda del compito. Se fonda un assistente sui suoi documenti, attualità e coerenza contano più del volume; un piccolo insieme pulito spesso funziona meglio di uno grande e disordinato.
Posso cominciare se i miei dati sono sparsi?
Sì, con un argomento. Raccolga e ripulisca prima i dati di quell'argomento, poi estenda; cercare di sistemare tutto in una volta tende a logorare un progetto.
È sicuro mostrare dati dei clienti a un'IA?
Non mostrarli finché non serve è la via più sicura. Se servono, li mascheri, restringa l'accesso e verifichi se il servizio li conserva. Per il GDPR, chieda a un avvocato.
Perché serve un set di prova?
Permette di misurare se il sistema funziona ponendo più volte le stesse domande, invece di affidarsi all'impressione. Quando cambia i dati o lo strumento, il miglioramento o il peggioramento diventa visibile.
