For a Human-Centered AI

Big Data, big faith? Credenze e bias nel processo decisionale algoritmico

21 Settembre 2020

Con l'arrivo dei Big Data e della scienza computazionale, i dati sono diventati rapidamente il petrolio del XXI secolo ed è nato un nuovo contratto sociale.

Dopo tutto, come ha scritto Alex Preston (2014): “Google sa cosa stai cercando. Facebook sa cosa ti piace. La condivisione è la norma e la segretezza è tagliata fuori”. Big Data e algoritmi sono ovunque, il ché non costituisce un problema di per sé. Sotto molti aspetti infatti, queste tecnologie stanno rendendo la nostra vita sociale e professionale infinitamente più facile. Tuttavia, lungi dall’essere obiettivi, neutrali e infallibili, gli algoritmi – quegli “artefatti umani in continua evoluzione, carichi di teoria, naturalmente selettivi e prodotti all’interno di un contesto commerciale” (Balazka e Rodighiero, 2020) – possono riprodurre in forma digitale le discriminazioni esistenti. Questa non è una novità. Nonostante una narrativa popolare affermi il contrario, non c’è nulla di “grezzo” nei dati, grandi o piccoli che siano. C’è il rischio di sottorappresentare e di stereotipizzare le minoranze etniche o religiose, di privilegiare gli uomini rispetto alle donne o di danneggiare sistematicamente attori sociali frequentemente marginalizzati, come la comunità LGBT. Poiché i Big Data e il processo decisionale algoritmico diventano sempre più pervasivi, la rilevanza sociale di questi problemi cresce.

I Big Data e gli algoritmi hanno conseguenze reali. C’è il noto caso del sistema di tracciamento dell’influenza che ha consistentemente e ripetutamente sovrastimato i casi di influenza negli Stati Uniti (Lazer et al., 2014). Più recentemente, 100 conducenti del Colorado si sono fidati un po’ troppo del loro navigatore online finendo bloccati nel fango (Lou, 2019). Lungi dall’essere casi rari o isolati, questi eventi sono relativamente comuni. Per citare solo alcuni degli esempi riportati dai media negli ultimi anni, si pensi all’algoritmo “contro la costituzione” che ha gestito male i trasferimenti di oltre 10.000 insegnanti in Italia (Zunino, 2019), ai bias razziali e di genere negli annunci di lavoro (Biddle, 2019), oppure ai recenti arresti di Robert Julian-Borchak Williams (Hill, 2020) e Michael Oliver (O’Neill, 2020) causati da un errore dell’algoritmo di riconoscimento facciale impiegato dalla polizia del Michigan. Dai bias nei processi di selezione del personale (O’Neil, 2016) alle manipolazioni della procedura di valutazione in ambito scolastico durante la pandemia (Smith, 2020), gli algoritmi a volte privilegiano specifiche categorie di persone e/o coloro che sanno come sfruttare il sistema esistente per aumentare la propria visibilità.

Nel bel mezzo dell’entusiasmo generale legato all’arrivo dei Big Data, Chris Anderson (2008) annunciava l’arrivo della “Petabyte Age”, esplorando le modalità con cui l’industria dei Big Data e il suo modello di business potrebbero migliorare la scienza. In seguito al crescente empowerment di attori privati, collettivi e non accademici di varia natura coinvolti nella raccolta di Big Data, abbiamo assistito ad una ridefinizione delle dinamiche di potere nell’ambito della scoperta della conoscenza. Oltre un decennio più tardi è probabilmente giunto il momento di cambiare prospettiva e chiederci: cosa può imparare l’industria dei Big Data dalla scienza? In questo senso è importante spostare progressivamente l’attenzione sullo sviluppo di strumenti decisionali responsabili, inclusivi e trasparenti (Jo e Gebru, 2020; Lepri et al., 2018) al fine di contrastare la stereotipizzazione digitale e i bias legati a genere, colore della pelle, età, religione, preferenze sessuali e così via. Per fare questo, dobbiamo concentrarci sulla raccolta di dati migliori e non soltanto di dati più “grandi”.

Pur essendo circondati da esempi di errori nell’ambito dei Big Data, la credenza nell’accuratezza e nell’obiettività dei Big Data e delle moderne tecniche computazionali sembra essere incrollabile fuori dal contesto accademico (vedi Baldwin-Philippi, 2020). Come sottolineato da Daniel e Richard McFarland (2015), i Big Data comportano un vero “pericolo di essere precisamente imprecisi”, ma un tale pericolo è spesso trascurato al di fuori dei circoli accademici. Dal nowcasting al processo decisionale individuale o istituzionale basato sui dati, i Big Data promettono una comprensione più profonda del nostro ambiente sociale e fisico e aprono la porta al reincanto, non con la magia o con la religione nella sua forma tradizionale, ma con un realtà ‘datificata’.

In un mondo presumibilmente secolarizzato in cui la non-religione sta progressivamente diventando un fenomeno maggioritario, i Big Data si stanno trasformando sempre più in una questione di fede. Quando la precisione, l’obiettività e l’accuratezza diventano una credenza piuttosto che l’oggetto di un esame critico, quando i risultati sono accettati come implicitamente e indiscutibilmente veri, il World Wide Web diventa il profeta definitivo di una “divinità algoritmica pseudo onnisciente” (Gransche, 2016). La religione non riguarda solo la religione, ma può essere una questione di identità nominale basata su motivazioni legate a nascita, etnia o aspirazioni (Day, 2013). Allo stesso modo, la non-religione non riguarda sempre la sua assenza, ma può coinvolgere una varietà di credenze religiose, spirituali, soprannaturali o secolari (Balazka, 2020; Bullivant et al., 2019). E che dire dei Big Data, del machine learning e degli algoritmi? Riguardano davvero sempre e solo la scienza più pura?


L’autore, Dominik Balazka, è un ricercatore presso FBK-ICT e FBK-ISR. In collaborazione con Smart Community Lab e Center for Religious Studies, sta attualmente lavorando a un progetto su religious nones e credenze (non) religiose in Occidente. La sua ricerca si concentra sulla non religione e sull’impatto dei Big Data nel campo degli studi sulla non religione.


Autore/i