Правда ли, что наука переживает кризис воспроизводимости? — Мэтт Энтикол

Смотри урок полностью на: http://ed.ted.com/lessons/is-there-a-reproducibility-crisis-in-science-matt-anticole

Научные публикации могут стимулировать исследования, вдохновлять на создание новых разработок и определять государственную политику. В процессе недавних проверок удалось воссоздать менее 25% результатов опубликованных фармацевтических статей — подобные результаты обнаружены и в других научных дисциплинах. Как нам побороть этот кризис воспроизводимости науки? Мэтт Энтикол исследует это.

Урок: Мэтт Энтикол. Анимация: Бретт Андерхилл.

В 2011 году команда физиков
сообщила о поразительном открытии:

нейтрино преодолел
730-километровое расстояние

между Женевой и датчиками в Италии

на 60-миллиардную долю секунды
быстрее скорости света.

Полгода перепроверок не смогли
опровергнуть странное открытие.

Но вместо того, чтобы праздновать
революцию в физике,

исследователи опубликовали
неоднозначную статью,

призывающую
к дополнительному исследованию,

которое объяснит наблюдаемую аномалию.

Со временем выяснилось, что ошибку вызвали

неправильно соединённые
оптоволоконные кабели.

Данный пример напоминает,

что настоящая наука не ограничивается
написанным в учебниках.

Однако исследователи со всего мира

постоянно публикуют новейшие открытия,

каждой публикацией
внося вклад в научную беседу.

Публикации могут стимулировать
будущие исследования,

вдохновлять на создание новых разработок

и определять государственную политику.

Поэтому важна уверенность
в опубликованных результатах.

Если выводы неверны,

мы рискуем временем,

ресурсами

и даже здоровьем в погоне
за ложными зацепками.

Если результаты значительны,

их часто перепроверяют
другие исследователи:

повторно анализируют информацию

или воссоздают весь эксперимент.

Например, для обнаружения
ошибки синхронизации

пришлось несколько раз
исследовать данные ЦЕРН.

К сожалению, на данный момент

более миллиона ежегодно
публикуемых научных статей

невозможно перепроверить из-за отсутствия
ресурсов и профессиональных стимулов.

Иногда нельзя доверять даже тем данным,
которые перепроверялись.

В процессе недавних проверок

удалось воссоздать менее 25% результатов
опубликованных фармацевтических статей.

Подобная ситуация обнаружена
и в других научных дисциплинах.

Существует множество источников
невоспроизводимых результатов.

Ошибки могут крыться в исходном замысле,
исполнении или анализе данных.

Неизвестные факторы,

например, неуказанное состояние
пациента в медицинском исследовании,

могут дать результаты, которые невозможно
воспроизвести на новых испытуемых.

Иногда вторая исследовательская группа
не может воссоздать исходные результаты,

потому что точно неизвестны
действия первоначальной группы.

Возможно, некоторые проблемы
исходят из систематических решений,

касающихся процесса
проведения исследований.

Предполагается, что сами исследователи,

учреждения, в которых они работают,

и научные журналы,
в которых публикуются результаты,

должны часто выдавать значимые результаты.

Важные статьи могут способствовать
карьерному росту,

порождать заинтересованность СМИ

и обеспечивать финансирование,

что вряд ли мотивирует исследователей

перепроверять полученные
необычные результаты.

Кроме того, у них нет достаточного стимула

публиковать результаты,
противоречащие предполагаемой гипотезе.

В результате открытия просто
подтверждают предположения.

В редких случаях это может привести
к умышленной фальсификации данных.

Например, в 2013 году исследователь
смешал кровь человека и кролика,

чтобы получить ложные доказательства
эффективности его вакцины от ВИЧ.

Такое давление «публикуй или сгинь»

ставит под сомнения традиционный процесс
рецензирования в научных журналах,

служащий проверкой надёжности,

при которой эксперты проверяют статьи
на возможные недоработки.

Действующая система,

которая предполагает наличие
лишь 1–2 рецензентов,

может быть удручающе неэффективной.

Ярким примером того
является исследование 1998 года,

когда в публикации умышленно
было допущено восемь ошибок,

но лишь около 25% из них
были обнаружены при редактуре.

Многие учёные работают над улучшением
воспроизводимости в своих отраслях науки.

Чтобы упростить попытки
воспроизведения эксперимента,

исследователям необходим

открытый доступ к исходным данным,

этапам эксперимента
и аналитическим методам.

Экспертный обзор также можно усилить,

чтобы повысить эффективность
отсеивания слабых статей до публикации.

Также можно ослабить давление
получения значительных результатов,

из-за которого публикуется много статей,
чьи результаты не подтверждают гипотезу —

подобное случается гораздо чаще,

чем говорится в современной
научной литературе.

Наука всегда будет сталкиваться
с «фальстартами»,

которые являются частью
коллективного получения новых знаний.

Обнаружение путей совершенствования
воспроизводимости результатов

может помочь более эффективно
отсеивать эти «фальстарты»

на пути к новым восхитительным открытиям.