The LLM wears Prada. Quando l’intelligenza artificiale fa shopping online con gli stereotipi

Quando un assistente basato sull’intelligenza artificiale osserva il nostro carrello della spesa, cosa interpreta davvero di noi? Le nostre preferenze oppure gli stereotipi presenti nei dati con cui è stato addestrato?

A rispondere è “The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data”, pubblicato su ACM Transactions on Intelligent Systems and Technology (TIST) e firmato da Massimiliano Luca, Ciro Beneduce e Bruno Lepri dell’unità MobS – Mobile and Social Computing Lab del centro Augmented Intelligence della Fondazione Bruno Kessler e da Jacopo Staiano dell’Università di Trento.

I Large Language Models – LLM sono ormai alla base di molti assistenti virtuali, sistemi di raccomandazione e piattaforme di e-commerce, dove analizzano i comportamenti degli utenti per suggerire prodotti e personalizzare l’esperienza di acquisto. Capire su quali informazioni e quali schemi basano le loro decisioni è quindi fondamentale, soprattutto se il rischio è che non si limitino a riflettere i pregiudizi presenti nei dati di addestramento ma finiscono per amplificarli.

Più di 1,8 milioni di acquisti effettuati tra il 2018 e il 2022 da più di 5000 utenti statunitensi di Amazon è il dataset alla base dello studio, che ha confrontato il comportamento di cinque tra i principali LLM, selezionati per rappresentare sia modelli proprietari sia open source di ultima generazione. L’obiettivo era capire se fosse possibile dedurre il genere di una persona esclusivamente dalla cronologia dei suoi acquisti e, soprattutto, quali criteri utilizzassero i modelli per arrivare a questa conclusione. Il fatto che risultati analoghi emergano in modelli sviluppati da aziende diverse suggerisce che il fenomeno non dipenda da un singolo sistema, ma rappresenti un comportamento diffuso tra gli LLM contemporanei.

I risultati mostrano che gli LLM riescono a prevedere il genere con una precisione moderata, ma spesso basano le loro decisioni su collegamenti stereotipati tra determinate categorie di prodotti e il genere degli utenti. Ancora più significativo è che, anche quando viene esplicitamente chiesto loro di evitare stereotipi e bias, questi modelli diventano semplicemente più prudenti nelle risposte usando un linguaggio più cauto e meno assertivo, senza modificare realmente il modo in cui ragionano. Le istruzioni riducono la sicurezza delle risposte, ma non eliminano i collegamenti appresi durante l’addestramento che continuano a guidarne le decisioni.

Lo studio evidenzia inoltre che gli LLM non si limitano a riflettere i comportamenti osservati nei dati ma tendono ad amplificarli. Gli autori distinguono tre diversi fenomeni: la riproduzione di associazioni realmente presenti nei dati, la loro amplificazione oltre quanto osservato nella realtà e, nei casi più critici, la costruzione di associazioni stereotipate che i dati non supportano. Alcuni prodotti acquistati più frequentemente dalle donne vengono sistematicamente associati agli uomini, a conferma del fatto che i modelli tendono ad affidarsi a collegamenti stereotipati più che alle distribuzioni osservate. Un esempio riguarda alcune categorie di prodotti che nel dataset risultano acquistate più frequentemente da donne, come i vehicle lift kits o i lettori DVD, ma che tutti i modelli analizzati associano invece sistematicamente agli uomini  In altre parole, finiscono per privilegiare categorie semplificate che non sempre riflettono la complessità dei comportamenti reali.

Le implicazioni vanno ben oltre lo shopping online. Se gli assistenti AI costruiscono raccomandazioni sulla base di schemi stereotipati, rischiano non solo di rafforzare disuguaglianze e pregiudizi, ma anche di diventare meno efficaci. Un sistema che legge le preferenze degli utenti attraverso questi schemi può infatti suggerire prodotti meno pertinenti, riducendo la qualità della personalizzazione e dell’esperienza d’acquisto. Le implicazioni riguardano anche la ricerca sociale, dove i modelli vengono sempre più impiegati per simulare comportamenti e popolazioni: senza adeguati controlli, potrebbero produrre risultati distorti anziché descrivere fedelmente la realtà.

Il fenomeno emerge in modo consistente anche cambiando le condizioni sperimentali: variando la quantità di cronologia degli acquisti fornita ai modelli, modificando i prompt, utilizzando esempi aggiuntivi o cambiando l’ordine degli acquisti, gli stereotipi osservati rimangono sostanzialmente invariati. Un’indicazione che il problema non dipende dalla formulazione delle istruzioni, ma è radicato nel modo in cui i modelli interpretano i dati.

“I Large Language Models stanno diventando infrastrutture sempre più importanti nella vita quotidiana. Per questo non basta misurarne l’accuratezza: è fondamentale capire come prendono le decisioni e quando rischiano di amplificare stereotipi che possono influenzare persone, mercati e servizi digitali”, commenta Bruno Lepri, responsabile dell’unità MobS del Centro Augmented Intelligence di FBK.

“Sempre più spesso usiamo LLMs per simulare come si comporterebbero delle persone, o per farli agire al posto nostro. Abbiamo visto che se l’unica informazione che forniamo a questi modelli è un profilo socio-demografico, quello che otteniamo rischia di non essere una previsione ma uno stereotipo con un numero attaccato”, spiega Massimiliano Luca, primo autore della ricerca.

“Comprendere come i modelli costruiscono le proprie decisioni è un passaggio essenziale per progettare assistenti intelligenti più equi, trasparenti e realmente centrati sugli utenti, soprattutto in applicazioni che incidono sempre più sulla vita quotidiana delle persone”, aggiunge Ciro Beneduce.

Lo studio conferma l’impegno della Fondazione Bruno Kessler nello sviluppo di un’intelligenza artificiale responsabile, capace di coniugare innovazione tecnologica, affidabilità e attenzione all’impatto sociale. I risultati contribuiscono al dibattito internazionale su come progettare sistemi di AI che non siano soltanto più performanti, ma anche più equi e consapevoli delle conseguenze delle proprie decisioni.