L’etichettatura trasparente dei dati di addestramento aumenta la fiducia nell’IA

Secondo i ricercatori, dimostrare che i dati visivi immessi nei sistemi di intelligenza artificiale (AI) sono etichettati correttamente può far sì che le persone si fidino maggiormente dell’IA. Il team ha aggiunto che i risultati potrebbero anche aprire la strada per aiutare gli scienziati a misurare meglio la relazione tra credibilità, prestazioni dell’IA e fiducia.

In uno studio, i ricercatori hanno scoperto che l’etichettatura di alta qualità delle immagini ha portato le persone a percepire i dati di addestramento come affidabili e a fidarsi maggiormente del sistema di intelligenza artificiale. Tuttavia, quando il sistema mostra altri segni di parzialità, alcuni aspetti della loro fiducia diminuiscono mentre altri rimangono a un livello elevato.

Affinché i sistemi di intelligenza artificiale apprendano, devono prima essere addestrati utilizzando informazioni che sono spesso etichettate dagli esseri umani. Tuttavia, secondo S. Shyam SundarGiacomo B. Jimirro è professore di effetti multimediali Donald B Bellisario College of Communication e condirettore di Laboratorio di ricerca sugli effetti multimediali In Penn State University.

Sundar, che è anche affiliato con Penn State Institute per le scienze computazionali e dei dati. Può succedere solo se l’IA viene addestrata su un buon campione di dati. In definitiva, gran parte della preoccupazione per la fiducia nell’IA deve essere una vera preoccupazione per la nostra fiducia nei dati di addestramento su cui si basa questa IA. Tuttavia, è stato difficile trasferire la qualità dei dati di formazione alla persona media”.

Secondo i ricercatori, un modo per esprimere affidabilità è dare agli utenti uno sguardo ai dati di etichettatura.

“Il processo di tagging spesso non viene divulgato agli utenti, quindi ci siamo chiesti cosa sarebbe successo se avessimo divulgato le informazioni dei dati di addestramento, in particolare l’accuratezza del tagging”, ha affermato Chris (Cheng) Chen, professore associato di comunicazione e design presso la Elon University. Autore dello studio. “Volevamo vedere se questo avrebbe modellato la percezione delle persone sull’affidabilità dei dati di addestramento e avrebbe influenzato ulteriormente la loro fiducia nel sistema di intelligenza artificiale”.

I ricercatori hanno reclutato un totale di 430 partecipanti per lo studio online. Ai partecipanti è stato chiesto di interagire con un prototipo di sito Web Emotion Reader AI, che è stato presentato come un sistema progettato per rilevare le espressioni facciali nelle immagini dei social media. I ricercatori hanno informato i partecipanti che il sistema di intelligenza artificiale è stato addestrato su un set di dati di quasi 10.000 immagini di volti etichettati, contrassegnando ogni immagine come una delle sette emozioni: gioia, tristezza, rabbia, paura, sorpresa, disgusto o neutralità. I partecipanti sono stati inoltre informati che più di 500 persone avevano partecipato alla classificazione dei dati per il set di dati. Tuttavia, i ricercatori hanno manipolato l’etichettatura, quindi in un caso le etichette descrivevano accuratamente le emozioni, mentre nell’altra metà le immagini facciali erano etichettate in modo errato.

Per studiare le prestazioni di un sistema di intelligenza artificiale, i ricercatori hanno assegnato in modo casuale i partecipanti a uno dei tre stati sperimentali: nessuna prestazione, prestazione distorta e prestazione imparziale. Nelle condizioni distorte e imparziali, ai partecipanti sono stati mostrati esempi di prestazioni dell’IA che comportavano la valutazione delle emozioni espresse da due soggetti bianchi e due neri. Nella condizione di prestazioni distorte, il sistema AI ha valutato tutte le immagini di individui bianchi con una precisione del 100% e tutte le immagini di individui neri con una precisione dello 0%, il che indica un forte pregiudizio razziale nelle prestazioni dell’IA.

Secondo i ricercatori, la fiducia dei partecipanti è crollata quando hanno percepito che le prestazioni del sistema erano distorte. Tuttavia, il loro attaccamento emotivo al sistema e il desiderio di usarlo in futuro non sono diminuiti dopo aver assistito a una performance distorta.

L’affidabilità dei dati di addestramento

I ricercatori hanno coniato il termine “affidabilità dei dati di addestramento” per descrivere se un utente percepisce i dati di addestramento come affidabili, affidabili, affidabili e affidabili.

Suggeriscono che sviluppatori e progettisti possono misurare la fiducia nell’intelligenza artificiale creando nuovi modi per valutare la percezione dell’utente sull’affidabilità dei dati di addestramento, ad esempio consentendo agli utenti di rivedere un campione di dati etichettati.

“È anche eticamente importante per le aziende mostrare agli utenti come classificare i dati di formazione, in modo che possano decidere se sono di alta o bassa qualità”, ha affermato Chen.

Sundar ha aggiunto che gli sviluppatori di intelligenza artificiale dovranno trovare modi innovativi per condividere le informazioni sui dati di formazione con gli utenti, ma senza sopraffarli o fuorviarli.

Sundar, che è anche un regista, ha detto Penn State Center for Socially Responsible Artificial Intelligence, o CSRAI. “Nel sostenere modi senza soluzione di continuità per mostrare poster di qualità, vogliamo design dell’interfaccia che informino e facciano riflettere gli utenti piuttosto che convincerli a fidarsi ciecamente di un sistema di intelligenza artificiale”.

I ricercatori hanno presentato i loro risultati oggi (24 aprile) nel Conferenza ACM CHI sui fattori umani nei sistemi informaticie lo ha citato nelle sue deliberazioni, la prima pubblicazione di ricerca sull’interazione uomo-computer.