“Non ho paura delle macchine che si sostituiscono all’uomo, ho paura delle macchine che non funzionano”. Lo ha detto Michael Irwin Jordan, uno dei padri del moderno machine learning, intervenendo a Trieste Next, il festival della ricerca scientifica che si tiene a fine settembre nella città friulana.
Nel vasto panorama delle applicazioni dell’intelligenza artificiale, i rischi maggiori sembrano derivare proprio da malfunzionamenti degli algoritmi, più che da un loro “risveglio umano”. Gli errori possono derivare sia da una poca “robustezza” degli algoritmi che, di fronte a istanze molto simili dello stesso problema, a volte danno risposte molto diverse, sia dalle assunzioni sbagliate su cui si basano le macchine nella risoluzione dei problemi. Per esempio – casi che si sono davvero verificati – algoritmi per il riconoscimento immagini classificano immagini indistinguibili per l’occhio umano con etichette diverse (come “gatto” e “gru”) oppure, avendo avuto accesso solo a foto di cani sulla neve, concludono che ogni animale sulla neve è un cane. Questi tipi di errore sono legati intrinsecamente al fatto che le macchine, in quanto tali, hanno meno capacità di astrazione del cervello umano, e possono sbagliare in modo banale e quasi divertente ai nostri occhi.
Tuttavia, esistono anche casi in cui gli algoritmi sbagliano perché “troppo umani”. L’imparzialità e l’obiettività che ci aspetteremmo da un algoritmo di intelligenza artificiale vengono meno se questo “assorbe” in fase di allenamento i pregiudizi propri degli umani. Questo tipo di errore è ancora più insidioso da rintracciare: in fondo, anche per gli esseri umani è difficile capire se una decisione nasconde un preconcetto di qualche tipo. Negli algoritmi, il tutto è complicato dal loro essere “scatole nere”, i cui i meccanismi interni sono per lo più incomprensibili per l’uomo. Le conseguenze di questi errori possono essere più o meno gravi, tanto che oggi si dibatte per capire come garantire la cosiddetta “giustizia algoritmica”, cioè assicurare che i diritti di tutti vengano rispettati anche quando i processi decisionali richiedono l’utilizzo di algoritmi di decisione automatica.
Lezioni dal passato
Che i programmi informatici non siano proprio imparziali è risaputo già dagli anni ‘80. In un noto caso di quegli anni, un programma usato alla Saint George’s Medical School di Londra per la selezione dei candidati fu trovato discriminatorio nei confronti di minoranze etniche e donne. Il programma, usato per decidere chi avrebbe avuto accesso a un colloquio, assegnava ai candidati un punteggio sulla base di alcune informazioni che, in teoria, non contenevano alcun riferimento esplicito all’etnia. Nonostante ciò, una commissione d’inchiesta, nel 1988, ritenne che l’algoritmo avesse assegnato consistentemente punteggi più bassi alle donne e alle minoranze, inferendo queste ultime dal cognome e dal luogo di nascita.
Come notava il British Medical Journal, benché il programma non fosse stato concepito come discriminatorio, aveva finito con il riflettere le discriminazioni già presenti nel sistema di selezione messo in atto dagli esseri umani. Infatti, il programma era stato sviluppato con l’obiettivo di replicare i punteggi assegnati in passato da una commissione umana. Già trent’anni fa, dunque, lo stesso articolo della rivista raccomandava a qualunque istituzione intenzionata a utilizzare un algoritmo di decisione automatica per effettuare una selezione ad assumersi la responsabilità di verificarne il funzionamento, proprio per evitare altri episodi del genere. Purtroppo l’avvertimento è caduto nel vuoto.
Pregiudizi nascosti
Nel 2016, il tema degli algoritmi discriminatori è tornato alla ribalta grazie a un’inchiesta di ProPublica, un’agenzia di giornalismo investigativo statunitense. Secondo ProPublica, COMPAS, un programma utilizzato nei tribunali di diversi stati americani per valutare il rischio di recidivismo degli imputati, esibiva un comportamento razzista. Nello specifico, il programma sovrastimava consistentemente il rischio di recidivismo per gli afro-americani, sottostimandolo invece per gli imputati bianchi, anche a parità di reato commesso e fedina penale. Di nuovo, in teoria l’algoritmo non aveva accesso a informazioni sull’etnia dell’imputato ma, secondo ProPublica, questa sarebbe stata inferita dalle 137 domande su cui l’algoritmo basava il punteggio di rischio.
In un paese con una lunga storia di disparità razziale, lasciare a un algoritmo, in teoria imparziale e obiettivo, la valutazione del rischio di recidivismo sembra un’idea più che giusta. Ma allora perché un algoritmo sviluppato con queste buone intenzioni dovrebbe essere razzista? Su questo non si hanno certezze, anche perché Northpointe, l’azienda proprietaria di COMPAS, ha rifiutato di rilasciare il codice sorgente. Tuttavia, come sappiamo, gli algoritmi vengono “allenati” su dati storici e, esattamente come alla Saint George Medical School il programma per la selezione rifletteva i punteggi assegnati negli anni passati da commissioni umane, probabilmente anche COMPAS era stato allenato su valutazioni umane, finendo con l’inglobare nel suo funzionamento gli stessi pregiudizi che era nato per evitare.
E pregiudizi manifesti
Ci sono anche casi in cui i programmi possono parlare, dichiarando al mondo i propri pregiudizi. Nel 2016 Microsoft ha rilasciato su Twitter Tay, un chatbot che avrebbe dovuto interagire con gli utenti simulando le risposte di una ragazza americana di circa 19 anni. Nell’idea di Microsoft, tramite l’interazione con gli utenti, Tay avrebbe imparato a dialogare in maniera sempre più naturale su un numero sempre maggiore di argomenti. Peccato, però, che non tutti gli utenti fossero ben intenzionati. In un attacco coordinato, alcuni troll hanno iniziato a tempestare Tay con messaggi provocatori e politicamente scorretti. Visto che il chatbot era stato programmato per imparare dalle interazioni e a ripetere le espressioni imparate, nel giro di sole sedici ore, l’amichevole e garbata Tay è passata dal salutare con gioia i nuovi utenti a odiare tutti, fino ad affermare che “Hitler aveva ragione”. A quel punto Microsoft ha ritirato Tay da Twitter con tanto di scuse pubbliche.
Giusto per evitare altri spiacevoli episodi, Zo, il chatbot successore di Tay, evitava in partenza di ingaggiare qualsiasi conversazione contenente parole chiave potenzialmente scomode. Oggi, per fortuna, oggi ChatGPT sembra cavarsela meglio.
Giustizia algoritmica
Nel mondo della ricerca, il nome simbolo della battaglia per la giustizia algoritmica è quello dell’informatica Joy Buolamwini. Mentre era una studentessa al Media Lab del MIT, Joy lavorava a un algoritmo che avrebbe dovuto proiettare una maschera sul viso delle persone inquadrate da una webcam. Di origini ghanesi, Joy aveva notato che, a differenza delle sue colleghe bianche, l’algoritmo non riusciva a identificare il suo volto a meno che lei non indossasse una maschera bianca. Esperienze simili le si erano già presentate in passato, portandola a concludere che il problema fossero i database su cui gran parte degli algoritmi di riconoscimento facciale, come quello usato nel suo progetto, venivano allenati. In effetti, in gran parte di questi database, la maggior parte dei volti sono di uomini bianchi. Il risultato è che, in fase di allenamento, gli algoritmi “vedono” tanti volti di uomini bianchi, ma solo pochi volti di donne e persone appartenenti a minoranze etniche (guarda caso, ecco spuntare di nuovo la discriminazione razziale). Messi davanti a un nuovo volto, gli algoritmi avranno più difficoltà a riconoscerlo se questo appartiene a una delle categorie meno viste, esattamente come accadeva con il volto di Joy.
Joy ha subito capito che il problema va ben oltre i programmi di riconoscimento facciale: sapere se un algoritmo fa differenze sulla base di etnia, genere, o qualunque altra informazione, può avere conseguenze enormi sulla vita delle persone. Così, nel 2016, Joy ha fondato l’Algorithmic Justice League, allo scopo di sensibilizzare e diffondere consapevolezza sui temi della giustizia algoritmica. Oggi l’AJL opera su diversi canali di comunicazione e ha all’attivo un documentario (“Coded Bias”) e diverse pubblicazioni.
L’Europa contro gli errori
Il 2016 non è stato un anno importante solo dal punto di vista dell’attivismo. In quell’anno l’Unione Europea ha adottato il Regolamento Generale sulla Protezione dei Dati, GDPR, entrato in vigore nel 2018. Il regolamento aggiorna le normative europee in materia di trattamento dei dati, ma affronta anche il tema dei procedimenti di decisione automatizzata, cioè proprio quelli in cui un algoritmo è responsabile di una decisione. Nel regolamento, gli Stati membri dell’Unione Europea hanno sottoscritto che “una decisione basata unicamente su un trattamento automatizzato, compresa la profilazione, che produca effetti giuridici negativi o incida significativamente sull’interessato sia vietata salvo che sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento e che preveda garanzie adeguate per i diritti e le libertà dell’interessato, almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento”.
Anche se non è chiaro il modo in cui verrà applicato questo passaggio, il suo obiettivo lo è: limitare l’applicazione di algoritmi di decisione totalmente automatici, cioè non vigilati dall’uomo. Se autorizzati, al soggetto su cui ha effetto la decisione dovranno essere fornite adeguate garanzie sugli algoritmi, compresa quella che, su richiesta, la decisione venga demandata a un essere umano. In poche parole, se lo chiedete, avete diritto a sentire il parere di un medico o un consulente finanziario in carne ed ossa, e non solo quello del programma. Può sembrare poco, e in molti hanno osservato la mancanza di un vero “diritto alla spiegazione” che obblighi chi utilizza un algoritmo a spiegare come questo raggiunga le proprie decisioni (cioè quello che ci si augurava nel 1988). Tuttavia, il GDPR è sicuramente un passo in avanti importante in quello che è un tema quasi del tutto nuovo nella storia della giurisprudenza.
Al GDPR ha fatto seguito il Regolamento Europeo sull’Intelligenza Artificiale, entrato in vigore nel 2024. Noto anche come “Legge sull’IA”, questo secondo documento classifica i sistemi di intelligenza artificiale in base ai potenziali rischi che possono porre, e stabilisce che le aziende fornitrici debbano garantire requisiti di sicurezza più rigorosi per i sistemi ritenuti più ad alto rischio, come i software medici o quelli usati per l’assunzione del personale. La legge entrerà pienamente in vigore nei prossimi due anni e può essere vista come un ulteriore passo avanti nel percorso di regolamentazione di queste tecnologie.
Intanto, fuori dai laboratori, che cosa possiamo fare? In quanto fruitori dei prodotti dell’intelligenza artificiale, è nostra responsabilità e dovere motivare il mondo della ricerca a tenere gli occhi aperti su qualunque violazione dei diritti coltivando la consapevolezza e promuovendo un uso critico e accorto degli strumenti che ci vengono forniti. Ciascuno di noi può insomma contribuire a indirizzare il futuro dell’intelligenza artificiale.
