과학계의 재현성 위기|매트 앤티콜(Matt Anticole)

전체 강의 보기: http://ed.ted.com/lessons/is-there-a-reproducibility-crisis-in-science-matt-anticole

출판되는 과학 논문들은 연구의 동기, 제품에 대한 영감, 정책의 알리미가 될 수 있습니다. 그러나, 수십개의 약학 논문들을 검토한 최근의 연구는 그것들 중 25% 미만의 결과들은 다른 과학적 학문에서도 비슷하게 도출된다는 것을 알아냈습니다. 어떻게 우리는 이러한 과학적인 재생 불가능함의 위기를 어떻게 극복할 수 있겠습니까? 매트 앤티콜이 조사했습니다.

강의 : 매트 앤티콜
영상 : 브랫 언더힐

2011년, 한 물리학 연구팀은
깜짝 놀랄 만한 발표를 했습니다.

중성미자가 광속보다

600억분의 1초 차이로

제네바에서 이탈리아까지의 730km를
더 빨리 주파했다는 것입니다.

여섯 달간 재차 확인했지만
이를 반박할만한 증거는 없었습니다.

하지만 이 물리적 혁명을
축하하는 대신,

과학자들은 조심스럽게
논문을 발표하여

이례적인 관측결과를 설명하기 위해서
연구를 계속해야 한다고 주장했습니다.

이윽고, 이 일은 잘못 연결된
광섬유에 의한 오류로 밝혀졌습니다.

이 예시는 우리에게 실제 과학이
교과서보다도 고정적임을 알려줍니다.

대신, 전 세계의 학자들은
최근 성과를 꾸준히 발표합니다.

과학적 설명을 추가한
논문과 함께 말입니다.

발표된 논문들은
향후의 연구에 동기부여가 되고,

새 제품에 영감을 주기도 하며,

정부 정책에 도움이 되기도 합니다.

그래서 발표된 연구 결과에 대한
신뢰를 갖는 것이 중요합니다.

연구 결과가 틀렸다면,

시간,

자원,

심지어는 잘못된 발표를 따른
우리의 건강까지도 위험하기 때문입니다.

발견 결과가 중요한 것이라면,

보통 다른 연구자들이 재차 확인하고

데이터를 다시 분석하거나

전체적으로 다시 한번 실험해봅니다.

예를 들어, CERN 데이터를
먼저 재분석 했었다면

시간 측정에 오류가 있다는 것이
먼저 밝혀졌을 것입니다.

불행하게도, 현재로선 자원도,
전문 인력도 부족합니다.

매년 백만개 이상의 논문을
두 번씩 확인하기는 무리인 것입니다.

심지어 연구에 이의제기를 해도
안심할 수 있는 것은 아닙니다.

수십여 개의 약학 논문을 분석한
최근의 연구는

그 결론들 중 25% 미만은
서로 겹친다는 것을 알아냈습니다.

그리고 또한 비슷한 결과가
다른 과학 분야에서도 발견됩니다.

이러한 다양한 문제들은
결과를 재현 불가능하게 만듭니다.

오류는 그들의 원래의 형태, 솜씨나
데이터 분석결과를 숨기게 될 수 있습니다.

알려지지 않은 사실이지만,

의학 연구에서 환자가
스스로 밝히지 않은 상태는

새로운 환자에게도 적용하기가 힘든
결과가 도출하게 만듭니다.

그리고 가끔, 후발 연구팀이
원래의 결과를 재현 못할 수 있습니다.

간단하게도, 원래의 연구팀이
무엇을 어떻게 했는질 모르기 때문입니다.

그러나 문제는 결론을 내리기까지의
과정은 체계적인 줄기로 이어져서

우리가 과학을 연구하는 방법과
같다는 것입니다.

연구자,

그들을 고용한 여러 기관들은

그리고 그들의 발견을
개제하는 학술지들은

연구자들이 대단한 발견을
자주 내놓기를 바랍니다

좋은 논문은 훌륭한 경력이 되어주고,

미디어의 관심을 받으며,

필수적인 후원금을 확보해주기에

그들은 연구자들로 하여금
흥미로운 분야에만 종사하게 합니다.

게다가 장려금이

기대 가설의 결과를 발표하기는 것엔
턱없이 적기도 합니다.

이 결과는 무엇이 기대되는가에 대한

그리고 무엇이 발견되었는가에 대한
합의가 성행하는 중에 생겨난 것입니다

드물게 이것들은 교묘한 거짓을
만들어내기도 합니다.

2013년에 한 연구자는
사람의 피에 토끼 피를 섞어서

HIV 백신이 효과가 없다는 증거로
사용하기도 했습니다.

발표되거나 사장된 사고방식은

학술지의 전통적인 논문 심사 과정인
동등 비평 방식의

안전한 확인 과정을,

즉 전문가들의 잠재적 결점을 찾아내려는
보고서 검토를 완화시킬 수 있습니다.

현재 시스템은

검토자가 오직 한 명에서 두 명으로

효율성이 몹시 떨어지게 됩니다

이 문제는 1998년 연구에서
드러나게 되었는데,

논문상에 8개나 되는 오류가 있었으나

그중 25%만이 발견되었습니다.

많은 과학자가그들의 분야에서
재현 가능성을 향상시키고자 일합니다.

이것들은 연구자들의 막 도출된 데이터와

실험 과정,

분석 기술을 더욱 개방적으로
공개하도록 했습니다.

재현을 쉽게 할 수 있도록 말입니다.

논문 심사 과정도 강화시켜

더욱 효과적으로, 논문의 발표 이전에
오류를 제거하게끔 했습니다.

또한 우리는 결과를 찾는데만 집중하라는
압력을 누그러뜨릴 수도 있습니다.

많은 논문들이 원래의 가설을 증명하는데
실패하게 끔 한 원흉으로,

과학 소설의 제안보다도
못한 수준입니다.

과학에선 언제나 잘못된 시작과 마주할
가능성이 있어왔고, 있을 것이며

이는 새로운 지식을 집단적 습득하는
과정에서 필연적인 것입니다.

우리의 결과 재현 가능성을
높힐 방법을 찾는 것은

이러한 잘못된 시작을 더욱 효과적으로
제거할 수 있도록 도울 것이고,

우리가 새로운 발견을 향해
착실하게 나아가도록 해줄 것입니다.