Page 14 - Toscana Medica

14 QUALITÀ E PROFESSIONE
“Research: increasing value, reducing waste”. Gli articoli affrontano e suggeriscono, anche da un punto di vista metodologico, le modalità con cui si possono ridurre gli sprechi e l’inefficienza nella ricerca clinica.
Come dicevamo all’inizio, il problema della non riproducibilità dei dati riguarda anche la ri- cerca preclinica ed è da questo punto di vista, in quanto ricercatori preclinici, che vogliamo affrontare il problema. Differenze nelle specie animali utilizzate e variazioni nelle condizioni sperimentali sono state portate da sempre a giustificazione del fatto che i risultati di lavori analoghi fossero diversi o comunque non esat- tamente sovrapponibili, ma la discussione ri- maneva molto spesso limitata agli specialisti di quello specifico campo di ricerca che cercavano altri modi per confermare le proprie osservazio- ni con l’obiettivo di arrivare alla verità.
L’impatto della non riproducibilità dei dati è emerso in tutta la sua importanza più recente- mente quando è stato chiaro che i ricercatori in- dustriali, soprattutto nel campo dell’oncologia, basavano lo sviluppo clinico di alcune molecole sui dati preclinici presenti in letteratura. In parti- colare, alcuni ricercatori della azienda biotecno- logica Amgen in California, prima di impegnarsi nello sviluppo della ricerca clinica, decisero di verificare la riproducibilità di 53 studi che era- no considerati pietre miliari nello specifico set- tore. Gli articoli erano pubblicati su riviste ad alto impact factor (21 su giornali con IF > 20), avevano generato numerose pubblicazioni se- condarie e avevano un alto numero di citazioni. Gli esperimenti dei ricercatori Amgen, effettuati nell’arco di 10 anni, hanno però documentato la riproducibilità dei dati scientifici di solo 6 dei 53 studi (11%), un dato estremamente bas- so e preoccupante anche tenendo conto delle molteplici limitazioni e difficoltà della ricerca preclinica in onco-ematologia (CG Begley and LM Ellis, Nature 483(7391):531-3,2012, http:// www.nature.com/nature/journal/v483/n7391/ full/483531a.html).
Ovviamente la complessità di questi studi e delle metodologie oggi utilizzate rende spesso difficile riprodurre singoli esperimenti in labora- tori diversi, e pertanto la parola “riproducibilità” deve essere in qualche modo “contestualizzata” e non dobbiamo cadere nella semplificazione (che alcuni media hanno fatto) di dire che il 90% di tutta la scienza non è riproducibile. Non dobbiamo però nemmeno minimizzare il signi- ficato di questo e di altri analoghi risultati. Se ci domandiamo quali possono essere le ragio- ni che hanno portato alla pubblicazione di dati sbagliati o irriproducibili, dobbiamo essere con- sapevoli di come l’attuale sistema accademico e il sistema di “referaggio” basato sulla revisione tra pari (peer-review) tolleri o, in alcuni casi, for- se inconsapevolmente favorisca questo tipo di
pubblicazioni: per ottenere fondi, per avere un lavoro o un avanzamento nella propria carriera, i ricercatori devono avere un curriculum solido, con molte pubblicazioni, comprese alcune di cui devono essere primo autore, pubblicate in riviste ad elevato fattore di impatto. Gli editori delle riviste scientifiche, i revisori degli articoli, i comitati che assegnano i finanziamenti spesso sono attratti da dati scientifici semplici, chiari e il più possibile completi. Il lavoro deve riportare una sorta di storia perfetta che partendo dalla ipotesi iniziale presenti dei dati che permettano delle conclusioni coerenti. Ecco che allora può nascere la tentazione di selezionare i dati, anche “massaggiarli” un po’ in modo che soddisfino adeguatamente l’ipotesi iniziale.
La conseguenza di questo sistema è che la riproducibilità degli studi è resa molto diffici- le: per i giovani ricercatori, la necessità di in- crementare il punteggio dell’impatto e di non “provocare” le autorità scientifiche del settore, porta spesso a rifiutare di compiere studi confir- matori. Per i ricercatori più “anziani”, l’esecuzio- ne di studi di conferma è spesso frutto di rivalità con colleghi, e pertanto è comunque macchiata dal rischio di commettere errori, essendo gui- data principalmente da un senso di rivalsa. Pro- prio per quest’ultimo motivo non sono molti i ricercatori che rendono facile la replicazione dei propri dati, attraverso una completa descrizione dei metodi e degli esperimenti: solo il 45% dei ricercatori sarebbe infatti disposto a condividere i dati grezzi delle proprie ricerche.
Il sistema di peer review è ritenuto un siste- ma solido per passare al vaglio i risultati scienti- fici, che vengono scrutinati da esperti nel settore che dovrebbero essere mossi solo dall’obbligo professionale. I problemi intrinseci nel sistema di peer review sono però stati evidenziati da alcuni “esperimenti”. John Bohannon, un bio- logo di Harvard, ha recentemente sottoposto un lavoro utilizzando uno pseudonimo a 304 giornali scientifici contemporaneamente in cui si descriveva gli effetti di un nuovo composto ad azione antitumorale (ovviamente inventato). Ben 157 giornali, compresi giornali ad alto im- patto, hanno accettato il lavoro per la pubblica- zione. Per testare il sistema un editore del BMJ (Fiona Goodlee) inviò invece a 200 revisori del suo stesso giornale un lavoro fittizio con eviden- ti errori di disegno dello studio, di analisi e di interpretazione dei dati. Sebbene diversi errori siano stati rilevati dai revisori, nessuno di loro riuscì ad identificare contemporaneamente tutti gli errori. Raramente ad esempio i revisori ripe- tono l’analisi statistica ed è assai difficile quindi che riescano a identificare errori volontari o in- volontari.
Gli errori compiuti dagli scienziati sono mol- to spesso involontari. In alcuni casi tuttavia si può arrivare alla malafede e a situazioni vera-
Toscana Medica 4|2015