Une crise de reproductibilité en science ? - Matt Anticole

Voir la leçon complète : http://ed.ted.com/lessons/is-there-a-reproducibility-crisis-in-science-matt-anticole

Les publications scientifiques peuvent motiver la recherche, inspirer des produits et informer des gouvernements. Pourtant, les études récentes qui ont examiné des douzaines de publications pharmaceutiques n'ont pu reproduire les résultats que de moins de 25% d'entre elles, et les autres disciplines scientifiques montrent des résultats similaires. Comment peut-on combattre cette crise de non-reproductibilité des résultats scientifiques? Matt Anticole creuse le sujet.

Leçon par Matt Anticole, animation par Bret Underhill.

En 2011, une équipe de physiciens
annonçaient une découverte étonnante :

les neutrinos voyagaient plus vite
que la vitesse de la lumère

de 60 milliardièmes de seconde

lors de leur voyage de 730km
entre Genève et un détecteur en Italie.

Six mois de vérifications n'ont pas pu
mettre en défaut cette étrange découverte.

Mais au lieu de célébrer
une révolution de la physique,

les chercheurs ont publié
un rapport prudent,

plaidant pour continuer les recherches
afin d'expliquer cette anomalie.

Finalement, l'erreur a été identifiée,
c'était une fibre optique mal connectée.

Cet exemple nous rappelle que la science
ne se résume pas à des manuels statiques.

Les chercheurs du monde entier
publient continuellement

leur dernières découvertes,

chaque rapport alimentant
la discussion scientifique.

Les publications peuvent
motiver des recherches futures,

inspirer de nouveaux produits,

et renseigner la politique
gouvernementale.

Il est donc important d'avoir
confiance dans les résultats publiés.

Si les conclusions sont fausses,

nous risquons du temps,

des ressources,

et même notre santé
dans la poursuite de fausses pistes.

Quand les découvertes sont importantes,

elles sont fréquemment vérifiées
par d'autres chercheurs,

soit en ré-analysant les données,

soit en reproduisant l'expérience.

Par exemple, les données du CERN ont
nécessité plusieurs investigations

avant que l'erreur
soit finalement identifiée.

Actuellement, il n'existe aucune
ressource ou incitation profesionnelle

pour vérifier le million de rapports
scientifiques publiés chaque année.

Et quand ils le sont,
les résultats ne sont pas rassurants.

Des études récentes qui ont examiné
des dizaines de rapports pharmaceutiques

n'ont réussi à reproduire que
moins de 25% de leur résultats.

Et les résultats sont similaires
dans d'autres disciplines scientifiques.

Il y a de nombreux facteurs qui expliquent
la non-reproductibilité des résultats.

Les erreurs peuvent se cacher
dans la conception,

l'exécution ou l'analyse des données.

Des facteurs inconnus,

tels qu'un élément non divulgué
dans une étude médicale,

peuvent produire des résultats

non-reproductibles
chez les nouveaux sujets de test.

Parfois, le 2ème groupe de recherche
ne parvient pas à reproduire les résultats

simplement parce qu'il ne sait pas
exactement ce qu'a fait le premier groupe.

Toutefois, certains problèmes peuvent
provenir de décisions systématiques,

de la façon dont nous faisons
de la science.

Les chercheurs,

les institutions qui les emploient

et les journaux scientifiques
qui publient les découvertes

sont tenus de produire régulièrement
des résultats majeurs.

Les publications importantes peuvent
promouvoir une carrière,

générer l'attention des médias

et assurer des fonds essentiels,

donc les chercheurs sont peu motivés
à vérifier leurs propres résultats.

De plus, il n'existe
qu'une faible incitation

à publier des résultats qui ne soutiennent
pas les hypothèses attendues.

Ceci conduit à un déluge de concordances
entre ce qui est attendu

et ce qui a été découvert.

Dans de rares occasions, cela peut même
conduire à la fabrication de preuves,

comme en 2013, lorsqu'un chercheur
a ajouté du sang de lapin à du sang humain

pour donner une fausse preuve
que son vaccin contre le VIH fonctionnait.

Cet état d'esprit de vouloir publier
à tout prix peut aussi compromettre

les procédures d'examen par des pairs
des journaux académiques traditionnels,

qui sont des contrôles

où des experts examinent les publications
pour trouver de potentielles lacunes.

Le système actuel,

qui n'implique qu'un ou deux examinateurs,

peut s'avérer terriblement inefficace.

C'est ce qu'a démontré une étude de 1998

où huit lacunes étaient introduites
de façon délibérée dans des rapports,

mais seulement 25% ont été
identifiées lors de l'examen.

De nombreux scientifiques travaillent
à améliorer la reproductibilité.

Les chercheurs sont incités à rendre
les données,

les procédures expérimentales

et les techniques d'analyse
plus ouvertement accessibles

afin de faciliter les efforts
de reproduction des résultats.

L'examen par des pairs
pourrait aussi être renforcé

pour mieux écarter les rapports
insuffisants avant leur publication.

Et on pourrrait modérer la pression
à fournir d'importants résultats

avec plus de publications
ne corroborant pas l'hypothèse d'origine,

fait bien plus courant que ne le suggère
la littérature scientifique actuelle.

La science a toujours pris et prendra
toujours de mauvais départs,

cela fait partie de l'acquisition
de nouvelles connaissances.

Trouver des moyens d'améliorer
la reproductibilité de nos résultats

peut nous aider à écarter ces mauvais
départs de façon plus efficace,

et continuer de progresser
vers d'excitantes découvertes.