“Nuovi studi dimostrano…”

Perché non possiamo fidarci del modo in cui viene riportata la scienza, di Harriet Hall. Traduzione di Sonia Ciampoli.

Il metodo scientifico è uno strumento che fornisce l’unica maniera affidabile di capire come funzionano le cose nel mondo reale. Ma alcuni sono giunti a diffidarne, perché la scienza continua a cambiare idea. Si pensa che dovrebbe dirci “La Verità” scritta nero su bianco in lettere maiuscole, e invece è tutto grigio e sfocato. Un giorno ci dice che il caffè fa male, il giorno dopo che fa bene. A cosa dobbiamo credere?

Ecco una progressione tipica (Disclaimer: Questo è un esempio fittizio: ogni somiglianza con kumquat reali, vivi o morti, è puramente causale.):

• Un servizio giornalistico dichiara “Nuovi studi dimostrano che chi mangia kumquat vive più a lungo del 40%”. Uscite di corsa a comprare dei kumquat e cominciate a mangiarli regolarmente. Vi sentite intelligenti e virtuosi.
• L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che dopotutto chi mangia kumquat non vive così tanto di più: solo il 5% più a lungo.” Continuate a mangiare kumquat, ma con meno entusiasmo. Vi sentite delusi.
• L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che non c’è alcuna differenza nella longevità di quelli che mangiano kumquat rispetto a quelli che non ne mangiano.” Non sapete cosa fare. Forse smettete di mangiare kumquat. Vi sentite confusi, infelici e indignati.
• L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che chi mangia kumquat non vive molto a lungo e ha il doppio delle possibilità di ammalarsi di cancro.” Adesso siete davvero sconvolti. La scienza vi ha ingannati. Vi ha traditi. Vi ha convinti a fare qualcosa che potrebbe avervi danneggiato. Come potrete fidarvi di nuovo?

L’ironia di tutto ciò è che questo modo di pensare spinge la gente ad abbracciare le pseudoscienze e le ciarlatanerie. È una cosa stupida. Se la scienza è fallace, non ha molto senso sostituirla con qualcosa di ancora più erroneo. Se il vostro meccanico non riesce ad aggiustarvi la macchina, non potete aspettarvi che il vostro barbiere o vostro figlio di 5 anni facciano di meglio. La scienza si basa sulle prove ed è tenuta a rielaborare le proprie provvisorie conclusioni quando le prove cambiano. Non è meglio così piuttosto che basarsi su un sistema medico prescientifico quale per esempio l’omeopatia, dove le convinzioni non cambiano mai e le prove contrarie vengono ignorate? Come dice il comico Dara Ò Briain: “La scienza sa di non sapere tutto, altrimenti si fermerebbe. Ma il fatto che la scienza non sappia tutto non significa che puoi riempire gli spazi vuoti con qualsiasi favoletta ti piaccia di più”.

Notizie mutevoli non significano che non possiate fidarvi della scienza. Significano che non potete fidarvi sempre del modo in cui la scienza è riportata dai media. E significano che la scienza è complicata.

Il corpus complessivo della scienza è affidabile, gli studi individuali non lo sono. La progressione del kumquat non è un fallimento della scienza, è la fotografia di un successo della scienza. È esattamente il modo in cui la scienza dovrebbe funzionare.

Il primo studio su una nuova ipotesi consiste solitamente in un piccolo test preliminare non inteso a raggiungere una risposta definitiva o a fare da linea guida per un’applicazione clinica. Usiamo questi “studi pilota” per indirizzare ricerche più definitive. Di solito sono seguiti da studi molto più ampi e rigorosi e da tentativi, da parte di altri scienziati, di replicare i risultati ottenuti. Qualche volta questi studi sono in contrasto l’uno con l’altro. Gli scienziati cercano di individuare le possibili ragioni alla base delle discrepanze. Tutti questi studi sono sottoposti a peer review e pubblicati dove possono essere esaminati e criticati da altri esperti del settore.

Alla fine, si raggiunge una posizione condivisa basata sulla quantità e qualità di tutte le prove pubblicate.

Non possiamo mai basarci sui risultati che i singoli nuovi studi dimostrano. Dobbiamo pesare tutte le prove. E naturalmente le prove devono essere plausibili rispetto al resto della conoscenza scientifica. Sarebbe necessaria una straordinaria valanga di prove, ad esempio, per dimostrare la straordinaria affermazione che dice che l’acqua ricorda una sostanza omeopatica dopo che è stata diluita.

LA CORRELAZIONE NON DIMOSTRA LA CAUSA. Lo scrivo in lettere maiuscole perché è di fondamentale importanza non dimenticarlo, e la maggioranza dei servizi “Nuovi studi dimostrano” si limitano a riportare una correlazione. L’aumento delle diagnosi di autismo è correlato con l’aumento di pirateria, ma questo non significa che i pirati causino l’autismo o che l’autismo causi i pirati. Ciononostante, quando uno studio mostra una correlazione fra violenza e numero di ore che i bambini guardano la televisione, siamo automaticamente tentati di presumere che ciò significa che i bambini non dovrebbero guardare così tanta televisione. Non ci fermiamo a chiederci se per caso non c’è una ragione per cui i bambini inclini alla violenza guardano più televisione, o se qualche altro fattore non correlato potrebbe portare sia alla violenza sia all’aumento di televisione (per esempio, genitori non adeguati in un brutto ambiente socioeconomico in cui bambini abbandonati a se stessi usano la televisione come babysitter e assistono ad atti di violenza nella propria comunità). E anche se un eccesso di televisione può portare alla violenza, questo non significa necessariamente che diminuire la televisione preverrebbe la violenza.

Nella scienza non si può presumere niente. Non importa quanto intuitivamente ovvio e logicamente convincente sembri qualcosa, bisogna comunque testarlo. L’omocisteina è un esempio istruttivo. Alti livelli di omocisteina nel sangue sono correlati con il rischio di malattie cardiache. La vitamina B riduce il livello di omocisteina. Di conseguenza, supplementi di vitamina B dovrebbero prevenire le malattie cardiache. Ma non lo fanno. Abbassano realmente il livello di omocisteina, ma non riducono il rischio di malattie cardiache.

Un nuovo studio dimostra… ma non significa che possiamo crederci. Uno studio classico effettuato da John Ioannidis (e del quale ci siamo già occupati, N.d.T.) ci ha insegnato che molti risultati di ricerche scientifiche pubblicati sono sbagliati. Questi sono solo alcuni dei fattori che possono contribuire a creare tali sfortunate situazioni:

• Il bias del ricercatore. Se lo studio sul kumquat è svolto dall’Associazione Coltivatori di Kumquat, i loro pregiudizi, consci o inconsci, potrebbero aver influenzato i risultati.
• L’effetto File Drawer (il cassetto dell’archivio). I ricercatori possono aver già svolto 9 studi sui kumquat che hanno ottenuto risultati insignificanti o negativi, e li hanno semplicemente archiviati. Poi lo Studio N. 10 ottiene risultati positivi e i ricercatori sottopongono solo quello alla pubblicazione.
• Il bias di chi pubblica. I giornali scientifici tendono a rifiutare studi negativi che non hanno ottenuto risultati significativi e pubblicano solo quelli con risultati positivi.
• Progettazione o esecuzione della ricerca scarse. Controlli inadeguati o addirittura nessun gruppo di controllo. Contaminazioni in laboratorio. “Aggiustamento” dei dati da assistenti di ricerca che sanno cosa vuole il capo. Troppi pochi soggetti. Troppi soggetti che si ritirano. Periodo di studio troppo breve. Relazioni sui dati incomplete. Test statistico inadatto al tipo di dati raccolti. Potrebbero aver sbagliato i conti. Magari si fidano di soggetti che riportano il numero di kumquat mangiati l’anno scorso, ma la memoria è notoriamente inaffidabile e le persone tendono a esagerare e a dire ai ricercatori quel che pensano vogliano sentirsi dire.
• Falsi positivi. Il margine p=0.05 tipicamente usato negli studi clinici significa che se l’ipotesi è falsa, 1 test su 20 può comunque produrre falsi positivi.
• Valore statistico non significa valore clinico. In uno studio ampio, può essere statisticamente rilevante che una medicina abbassi la pressione di 1-2 mm, ma il valore non comporta alcuna differenza reale per un paziente.
• Frode. I dati possono essere stati inventati o falsificati. Sono stati riportati anche dai media molti casi di ricerche fraudolente di recente. Scommetto che riuscite a ricordarne almeno uno.
• Riferimenti multipli. Forse i ricercatori hanno studiato gli effetti dei kumquat su 30 differenti condizioni, dalle malattie cardiache all’artrite, dal cancro alle malattie renali, ed è stata trovata una sola correlazione. Guardando un numero sufficiente di elementi, potete avere la certezza di trovare una falsa correlazione da qualche parte.
• E l’elenco prosegue…

A volte è sbagliato l’articolo di presentazione della ricerca. Ho visto fin troppi studi pubblicati in cui i dati non giustificavano la conclusione, o addirittura portavano all’esatto opposto. Gli editor e i referee che effettuano le peer-review dovrebbero eliminare questi studi, ma a volte fanno un lavoro incompetente.

Pochi giornalisti, anche fra i giornalisti scientifici, hanno una profonda comprensione della scienza. Possono non apprezzare il vasto mare che separa il misurare una reazione chimica in un pugno di cellule di ratto in provetta e l’effettuare uno studio clinico randomizzato in doppio cieco controllato con placebo. Sono interessati alla firma e al numero di parole. Le trombe del sensazionalismo misurano il giudizio. I titoli acchiappa-lettori non hanno molto a che fare con i reali risultati dello studio. Gli editori sono più interessati a vendere giornali che non a ritrarre la realtà.

Cosa fare? Ogni volta che sentite dire nuovi studi dimostrano… tirate un lungo respiro e attivate il vostro sensore di idiozie. Siate pazienti. Non cambiate quello che state facendo prima di aver visto ulteriori prove. Archiviatelo in un angolo della vostra mente e rimanete sintonizzati per i successivi sviluppi. Potete controllare PubMed (archivio bibliografico di letteratura medica, N.d.T.) per verificare se qualche studio ha portato risultati differenti. Potete controllare se qualcuno ha criticato la ricerca in questione. Potete controllare blog scientifici di reputazione e altre fonti internet per leggere le interpretazioni degli scienziati di settore, che possono mettere in prospettiva i risultati.

La singola cosa più importante che potete fare è ricordare la Regola di SkepDoc: prima di accettare una qualsiasi affermazione, cerca di scoprire chi la contraddice e perché. C’è sempre un’opinione diversa, anche in merito ai vaccini che causano l’autismo o all’uomo che è andato sulla Luna. Una volta individuato l’argomento contrario, potete valutare quale delle parti abbia le prove più credibili e le minori fallacie logiche. Di solito è piuttosto facile riconoscere il vincitore.

Un mio amico l’ha descritta come “la lenta e sgraziata bestia che chiamiamo scienza”. Il mastodonte è goffo, inciampa e si smarrisce durante la sua ricerca, ma, alla fine, il suo corso si corregge da solo e arranca inesorabile verso il proprio obiettivo finale: la verità.

Articolo tratto da Skeptic, Vol. 18, n. 2/2013, per gentile concessione dell’autrice. Foto di Joanna Stołowicz da Unsplash