Ben Goldacre: Quello che i medici non sanno dei farmaci che prescrivono

Quando viene sperimentato un nuovo farmaco, i risultati degli esperimenti dovrebbero essere pubblicati per il resto del mondo medico -- eppure la maggior parte delle volte, le scoperte negative o inconcludenti non vengono segnalate, lasciando medici e ricercatori all'oscuro. In questo discorso appassionato, Ben Goldacre spiega perché questi casi di dati negativi non segnalati sono particolarmente fuorvianti e pericolosi.

Buongiorno. Bene, questo tipo qui,

pensa di poter prevedere il futuro.

Si chiama Nostradamus, anche se qui il Sun

lo fa somigliare più a Sean Connery.
(Risate)

Come molti di voi, immagino, io non credo

si possa prevedere il futuro.

Non credo nella preveggenza e, di tanto in tanto,

si sente dire che qualcuno è riuscito a prevedere il futuro,

probabilmente per puro caso, e

solo i colpi di fortuna e le stranezze fanno notizia.

Non sentiamo mai parlare di tutte le previsioni che la gente ha sbagliato.

Pensiamo che sia così solo per le storielle

sulla preveggenza, mentre il problema è

che la stessa situazione si verifica in ambito accademico

e medico e, in questo ambito, costa vite.

In primo luogo, pensando solo alla preveggenza, si è scoperto

proprio l'anno scorso un ricercatore di nome Daryl Bem ha diretto

una ricerca in cui ha trovato prove

di poteri di chiaroveggenza negli studenti universitari,

ed è stato pubblicato in una rivista accademica

e gran parte di chi l'ha letta si è detta "Ok,

mi sta bene, ma credo che sia un caso, è uno scherzo, perché so

che se facessi una ricerca in cui non trovo prove

di chiaroveggenza negli studenti universitari

probabilmente non verrebbe pubblicata su una rivista.

E di fatto, sappiamo che è vero, perché

diversi gruppi di ricercatori hanno tentato

di replicare le scoperte di questo studio sulla preveggenza,

e quando le hanno sottoposte alla stessa rivista,

la rivista ha detto, "No, non ci interessa pubblicare

repliche. Non siamo interessati ai vostri dati negativi."

Questa è già una prova di come, in letteratura accademica,

si vada a creare un campione distorto della reale situazione

di tutti gli studi scientifici condotti.

Ma non succede solo nell'asettico mondo accademico della psicologia.

Succede anche, per esempio, nella ricerca sul cancro.

A marzo 2012, solo un mese fa, alcuni ricercatori

hanno riportato sulla rivista Nature di come avessero tentato

di replicare 53 diverse ricerche scientifiche in cerca

di potenziali trattamenti per il cancro,

e di queste 53 ricerche, sono stati in grado di replicarne

con successo solo 6.

47 di quelle 53 non erano replicabili.

E nella loro discussione dicono che è molto probabilmente

perché vengono pubblicate le anomalie.

Si fanno tantissime ricerche diverse,

e se i risultati sono positivi vengono pubblicati,

se no, non vengono pubblicati.

La loro prima raccomandazione su come risolvere il problema,

perché è un problema, perché ci spedisce dritti in un vicolo cieco,

la loro prima raccomandazione su come risolvere il problema

è rendere più facile la pubblicazione scientifica dei risultati negativi,

e cambiare gli incentivi in modo che gli scienziati

siano incoraggiati a rendere noti al pubblico i risultati negativi.

Ma non succede solo nell'asettico mondo

della ricerca scientifica pre-clinica sul cancro.

Succede anche nel mondo reale, in carne e ossa,

della medicina accademica. Nel 1980,

alcuni ricercatori hanno realizzato una ricerca su un farmaco chiamato lorcainide,

un farmaco contro le aritmie,

che inibisce i battiti cardiaci anomali.

e l'idea era che nei casi di infarto,

era più probabile il verificarsi di battiti cardiaci anomali,

quindi somministrando un farmaco che inibisce i battiti anomali

aumentano le possibilità di sopravvivenza.

Nelle prime fasi di sviluppo, hanno realizzato un piccolissimo test,

su poco meno di un centinaio di pazienti.

A 50 pazienti è stata somministrata la lorcainide, e di questi, 10 sono deceduti.

Agli altri 50 pazienti è stata somministrata una finta pillola placebo

senza alcun principio attivo, e solo uno di loro è deceduto.

Quindi hanno giustamente archiviato questo farmaco come fallimento,

e il suo sviluppo commerciale è stato fermato. Poiché

lo sviluppo commerciale era stato bloccato, l'esperimento non è mai stato pubblicato.

Sfortunatamente, nei 5 o 10 anni successivi

altre aziende hanno avuto la stessa idea di farmaci

per la prevenzione di aritmie post-infarto.

Questi farmaci sono stati messi sul mercato. Sono stati prescritti

molto ampiamente perché gli infarti sono abbastanza comuni,

e ci è voluto talmente tanto per scoprire che anche questi farmaci

causavano un aumento del tasso di decesso

che prima di identificare quel segnale di allarme,

più di 100.000 persone erano morte inutilmente in America

per colpa della prescrizione di farmaci anti-aritmie.

Poi, nel 1993,

i ricercatori che avevano realizzato quella prima ricerca nel 1980,

hanno pubblicato un mea culpa, una scusa alla comunità scientifica,

in cui hanno detto, "Quando abbiamo realizzato la ricerca nel 1980,

abbiamo pensato che l'aumento del tasso di decessi che avveniva

nel gruppo trattato con lorcainide fosse un caso."

Lo sviluppo della lorcainide è stato abbandonato per ragioni commerciali,

e quella ricerca non è mai stata pubblicata;

è ora un buon esempio di "bias" nella pubblicazione.

È il termine tecnico del fenomeno per cui

dati non accettabili vengono persi, non vengono pubblicati,

vengono persi per strada, e dicono che i risultati qui descritti

"avrebbero potuto segnalare con anticipo i problemi."

Queste sono storie di scienza basilare.

Queste sono storie di 20, 30 anni fa.

Il mondo delle pubblicazioni accademiche ora è molto diverso.

Ci sono riviste accademiche come "Trials", ad accesso libero,

che pubblicherà qualunque esperimento condotto su esseri umani

a prescindere dal risultato positivo o negativo.

Ma questo problema dei risultati negativi che si perdono per strada

è ancora molto diffuso.
Di fatto è così diffuso

che va dritto al nocciolo della medicina basata sulle prove

Questo è un farmaco chiamato reboxetina ed è un farmaco

che ho prescritto io stesso. È un antidepressivo.

Sono un medico molto pignolo, quindi ho letto tutte le ricerche

possibili su questo farmaco.
Ho letto l'unica ricerca pubblicata

che mostrava che la reboxetina era meglio del placebo,

e ho letto gli altri tre studi pubblicati

che mostravano che la reboxetina era efficace tanto quanto un qualunque altro antidepressivo,

e dato che per questo paziente gli altri antidepressivi non avevano funzionato,

ho pensato che la reboxetina andasse bene.
Era da provare.

Ma si è scoperto che sono stato ingannato.
Di fatto,

sono stati condotti 7 esperimenti che confrontavano la reboxetina

con le pillole placebo.
Uno di loro

era positivo ed è stato pubblicato, ma 6

erano negativi e sono stati scartati.

Sono stati pubblicati tre esperimenti che confrontavano la reboxetina

con altri antidepressivi in cui la reboxetina

risultava altrettanto efficace: e sono stati pubblicati,

ma sono stati raccolti dati sul triplo dei pazienti

che mostravano che la reboxetina era peggio

degli altri trattamenti. Quegli esperimenti invece non sono stati pubblicati.

Mi sono sentito ingannato.

Potreste dirmi che è un esempio estremamente anomalo

e non vorrei sentirmi colpevole dello stesso tipo

di selezione e referenziamento

di cui accuso gli altri.

Ma risulta che il fenomeno dei bias nelle pubblicazioni

sia stato studiato molto, molto a fondo.

Ecco un esempio di approccio.

Il modello classico consiste nel prendere una serie di ricerche

che si sanno essere state condotte e completate,

e poi si va a vedere se sono state pubblicate da qualche parte

nella letteratura accademica.
Questo ha preso tutti i test

mai condotti sugli antidepressivi

approvati in 15 anni dalla FDA.

Hanno preso tutti i test che sono stati sottoposti alla FDA come parte del pacchetto di approvazione.

Non sono tutti gli esperimenti che sono stati condotti sui farmaci,

perché non possiamo sapere se li abbiamo,

ma sono quelli condotti per poter ottenere l'autorizzazione a commercializzare.

E poi sono andati a vedere se questi esperimenti sono stati pubblicati

nella letteratura accademica a revisione paritaria.
E questo è ciò che hanno scoperto.

Era più o meno la metà. In realtà la metà di questi esperimenti

erano positivi, la metà erano negativi.

Ma quando sono andati a cercare questi test nella letteratura accademica con revisione paritaria,

ciò che hanno scoperto era tutt'altro.

Solo tre degli esperimenti negativi erano stati pubblicati,

mentre tutti i test positivi tranne uno erano stati pubblicati.

Se andiamo avanti e indietro tra questi due,

vedete l'incredibile differenza che c'era

tra la realtà e quello che i dottori, i pazienti,

i commissari dei servizi sanitari e gli accademici

hanno potuto vedere nelle revisioni paritarie della letteratura accademica.

Siamo stati ingannati ed è un vizio sistematico

alla base della medicina.

Di fatto, sono state condotte così tante ricerche

sui bias di pubblicazione, più di un centinaio,

che sono state raccolte in una revisione sistematica, pubblicata nel 2010,

prendendo ogni singola ricerca sui bias di pubblicazione

che si è riusciti a trovare.

Bias di pubblicazione si contano in ogni ambito della medicina.

Circa la metà degli esperimenti, in media, si perde per strada,

e sappiamo che i risultati positivi hanno circa il doppio delle probabilità

di essere pubblicati rispetto a quelli negativi.

È un cancro nel cuore della medicina basata sulle prove.

Se lanciassi una moneta 100 volte, ma poi

vi nascondessi il risultato di metà di questi lanci,

potrei far sembrare di avere una moneta che dà sempre testa.

Ma questo non significherebbe che ho una moneta con due teste.

Vorrebbe dire che sono un irresponsabile

e voi siete stupidi a lasciarmelo fare.
(Risate)

Ma è esattamente ciò che tolleriamo ciecamente

nella medicina basata sulle prove.

A mio parere, è una prassi disdicevole nella ricerca.

Se conducessi una ricerca e nascondessi

la metà dei dati di quella ricerca,

mi accusereste giustamente di truffa nella ricerca.

Eppure, per qualche ragione, se qualcuno conduce

10 ricerche, ma pubblica solo quelle 5 che danno il risultato che vuole

non la consideriamo una prassi sbagliata.

E quando quella responsabilità si diffone

su un'intera rete di ricercatori, accademici,

sponsor industriali, editori di riviste, per qualche ragione

lo troviamo più accettabile,

ma l'effetto sui pazienti è schiacciante.

E questo succede ora, oggi.

Questo è un farmaco chiamato Tamiflu.
Il Tamiflu è un farmaco

che i governi di tutto il mondo hanno accumulato

spendendo miliardi e miliardi di dollari.

Abbiamo fatto scorte Tamiflu presi dal panico,

credendo che avrebbe ridotto il tasso di complicazioni dell'influenza.

Complicazioni è un eufemismo medico per dire polmonite

e morte.
(Risate)

Quando i revisori sistematici della Cochrane

hanno cercato di raccogliere tutti i dati

da tutti gli esperimenti condotti per il verificare che il Tamiflu lo facesse o meno,

hanno scoperto che diversi di questi esperimenti non erano stati pubblicati.

I risultati non erano accessibili.

Quando hanno iniziato a ricevere i resoconti di quelle prove attraverso altri mezzi,

appellandosi alla Freedom of Information Act,

rompendo le scatole a diverse organizzazioni, hanno scoperto delle incoerenze.

Quando hanno cercato di ottenere le relazioni delle ricerche cliniche,

i documenti di 10 000 pagine

con il più accurato resoconto delle informazioni,

è stato detto loro che non erano autorizzati ad averli.

Se volete leggere la corrispondenza completa

e le scuse e le spiegazioni date dalla casa farmaceutica,

le trovate pubblicate nell'edizione di questa settimana

di PLOS Medicine.

La cosa più strabiliante di tutte, ai miei occhi,

è che non solo questo è un problema, non solo riconosciamo

che questo è un problema, ma abbiamo dovuto subire finti aggiustamenti.

C'era chi sosteneva che il problema era stato risolto.

Prima di tutto, avevamo i registri degli esperimenti, e tutti dicevano:

Ok, va tutto bene. Faremo in modo che tutti registrino i test, pubblicheranno il protocollo

dichiareranno ciò che vogliono fare prima di iniziare,

e poi saremo in grado di controllare e vedere se tutti gli esperimenti

sono stati condotti, completati e pubblicati.

Ma nessuno si è preoccupato di usare quei registri.

Quindi poi il Comitato Internazionale dei Redattori di Riviste Mediche (ICMJE) è arrivato

e ha detto: Bene, manterremo la posizione.

Non pubblicheremo nessuna rivista, non pubblicheremo nessun test

che non sia stato registrato prima di essere avviato.

Ma non hanno mantenuto la posizione.
Nel 2008 è stata condotta una ricerca

che ha mostrato che la metà dei test pubblicati dalle riviste

dei membri del ICMJE

non erano stati regolarmente registrati e un quarto di loro non era stato affatto registrato.

Infine, il decreto di riforma della FDA è stato approvato

un paio di anni fa e diceva che chiunque conduca

un esperimento deve pubblicare i risultati di quel test entro un anno.

E nel BMJ, nella prima edizione di gennaio 2012,

si trova una ricerca che controlla se la gente si è adeguata

a quella regola e si è scoperto che solo uno su cinque

lo ha fatto.

È un disastro.

Non possiamo sapere i veri effetti dei farmaci

che prescriviamo se non abbiamo accesso

a tutte le informazioni.

Non è un problema difficile da risolvere.

Dobbiamo costringere la gente a pubblicare tutti gli esperimenti

condotti su esseri umani, compresi i vecchi esperimenti,

perché il decreto di riforma della FDA chiede solo di pubblicare gli esperimenti condotti dopo il 2008,

e non so che mondo sia quello in cui

pratichiamo la medicina sulla base dei soli test completati nei due anni precedenti.

Dobbiamo pubblicare tutti gli esperimenti sugli esseri umani,

compresi gli esperimenti più vecchi, per tutti i farmaci attualmente in uso,

e dovete dire a tutti che sapete

che questo è un problema che non è stato risolto.

Grazie infinite.
(Applausi)

(Applausi)