For a Human-Centered AI

Incertezze inconfutabili

15 Giugno 2020

Uno studio pubblicato su “Nature”, che ha coinvolto anche due ricercatori FBK, ha indagato in che misura diversi gruppi di ricerca possono arrivare a conclusioni differenti analizzando gli stessi dati

In questo periodo la scienza è più che mai al centro della scena. Virologi, medici ed esperti sono continuamente intervistati dai giornali e ospitati nei salotti televisivi, e spesso non sono d’accordo tra loro. Quest’ultimo aspetto in particolare è visto a volte con sconcerto dall’opinione pubblica e anche dalla politica, che pretenderebbe dalla scienza risposte univoche o persino “inconfutabili”, per citare un ministro. Ma il metodo scientifico galileiano, fondato sulla riproducibilità dei risultati sperimentali e più in generale su un approccio costantemente critico all’indagine scientifica, afferma in sostanza l’esatto contrario: essere in disaccordo e discutere è del tutto normale all’interno della comunità scientifica. Semmai, è interessante capire quali meccanismi guidano il dibattito scientifico, così come l’eventuale diversa interpretazione degli stessi dati.

Proprio in questa direzione si muove uno studio pubblicato di recente sulla rivista “Nature” da una collaborazione internazionale all’interno del progetto NARPS (Neuroimaging Analysis, Replication and Prediction Study), guidata da ricercatori delle Università di Tel Aviv, Dartmouth College e Stanford e composta da quasi 200 scienziati (divisi in circa 70 gruppi di ricerca) provenienti da diversi settori tra cui le neuroscienze, la psicologia, la statistica e l’economia. Tra questi figura anche un gruppo di ricerca basato a Trento e composto da Paolo Avesani ed Emanuele Olivetti dell’unità di ricerca NILab di FBK e Vittorio Iacovella del CIMeC/Università di Trento.

L’obiettivo dello studio è stato quello di studiare come (e quanto) sia variabile l’analisi di uno stesso insieme di dati per testare le stesse ipotesi scientifiche, sottoposte al vaglio indipendente di diversi gruppi di ricerca. In altri termini, lo studio si è posto la seguente domanda: ricercatori diversi possono giungere a conclusioni differenti partendo dagli stessi dati e ipotesi?

Per farlo, presso il centro di ricerca “Strauss” dell’Università di Tel Aviv è stato inizialmente raccolto un insieme di dati di imaging cerebrale relativi a 108 partecipanti impegnati in un compito in cui erano chiamati a prendere delle decisioni. I dati sono stati poi inviati ai 70 gruppi di ricerca, provenienti da tutto il mondo, cui è stato chiesto di analizzare i dati in modo indipendente e testare in particolare nove ipotesi predefinite (le stesse per tutti i gruppi) riguardanti l’attività di alcune zone del cervello in relazione alle decisioni prese dai partecipanti. A ogni gruppo sono stati concessi tre mesi per analizzare i dati, con l’invito a specificare (oltre ai risultati finali) informazioni dettagliate sui metodi di analisi e anche sui risultati statistici intermedi.

I risultati sono interessanti: solo per quattro delle nove ipotesi si è osservata una certa coerenza tra i vari gruppi, mentre per le altre cinque c’è stato un sostanziale disaccordo. Non solo: le mappe statistiche del cervello relative a ciascuna ipotesi, elaborate dai vari gruppi, sono risultate molto simili, eppure ciò non ha impedito una diversificazione dei risultati finali. Per quanto riguarda i risultati intermedi c’è stata invece una maggiore convergenza per quasi tutte le ipotesi.

Un’altra parte importante dello studio, curata da economisti ed esperti di finanza comportamentale, ha puntato a stabilire le aspettative dei gruppi partecipanti sui risultati della ricerca, attraverso i cosiddetti prediction markets (in finanza, strumenti di investimento i cui profitti dipendono dall’esito di un certo evento futuro). In questo caso il “mercato” era rappresentato dai risultati delle nove ipotesi scientifiche considerate: i prediction market hanno rivelato che i ricercatori sono stati in media eccessivamente ottimisti nello stimare la probabilità di ottenere risultati significativi.

«Lo studio condotto con NARPS non solo ha puntato a investigare la varianza nell’analisi dei dati, ma anche a misurare se e come l’aspettativa del risultato atteso possa influenzare il risultato finale. L’analisi dei dati è fortemente condizionata dalle nostre aspettative a priori», sottolinea Paolo Avesani. «Fare inferenza dai dati è un processo complesso che comporta numerose assunzioni che spesso restano tacite, sebbene possano avere un impatto significativo sui risultati».

«Le nostre assunzioni a priori sono ciò che dobbiamo motivare e difendere di fronte alla comunità scientifica», aggiunge Emanuele Olivetti.

Più in generale, il lavoro ha messo in luce chiaramente quanto l’elemento dell’incertezza e del dibattito siano insiti nel processo scientifico. Processo che può portare, anche partendo dagli stessi dati, a trarre conclusioni diverse su un certo fenomeno, e a volte ad avere anche aspettative non totalmente corrette. Il fatto che gli stessi scienziati ne siano consapevoli diventa quindi un elemento essenziale per migliorare l’approccio all’analisi dei dati in una ricerca.
«Sebbene controintuitivo, nella ricerca scientifica pur partendo da una domanda e dati comuni non si ottiene necessariamente una risposta univoca», prosegue Avesani. «La forte richiesta di certezza in questo periodo di emergenza epidemiologica ha accentuato la polarizzazione tra scetticismo e scientismo, ma spesso la scienza contempla un terzo tipo di risposta: “non sappiamo”».

Da un punto di vista più strettamente tecnico, un altro aspetto cruciale è «la necessità per la comunità scientifica delle “scienze umane” di rendere più strette le soglie di significatività dei test statistici per decretare una scoperta», come sottolinea Olivetti. «In altri settori, come la fisica delle alte energie, queste soglie sono estremamente più stringenti. In generale, noi cerchiamo di lavorare per una scienza robusta e credibile, spingendo le buone pratiche in quella direzione, come è stato fatto anche in questo lavoro per “Nature”».

Di certo l’esperimento portato avanti dal progetto NARPS è già un successo, vista la grande partecipazione e collaborazione da parte di ricercatori di tutto il mondo. Che si inserisce nel contesto dell’open science, ossia quell’insieme di pratiche che puntano a rinforzare l’autorevolezza della ricerca scientifica, attraverso la collaborazione tra scienziati e la condivisione di dati e risultati. Un aspetto che si sta rivelando particolarmente importante e necessario in questo periodo di emergenza sanitaria (basti pensare alle collaborazioni internazionali portate avanti per la ricerca di un vaccino contro il Covid-19). Ma è un approccio, al tempo stesso, che potrà essere decisivo anche per definire un metodo utile a gestire meglio il problema della polarizzazione delle posizioni all’interno della comunità scientifica.

 


Autore/i