사람들은 점차 과학 이면에 있는 과학적 방법론에 주의를 기울이기 시작했고, 이제 과학적 방법론은 과학자뿐만 아니라 현대를 사는 일반인에게 무소불위의 진리로 여겨진다. 그러나 이런 상황에서도 일반인뿐만 아니라 과학자도 과학적 방법론이 어떻게 시작되었고, 모든 분야에 성공적으로 적용할 수 있는지 또 그것이 얼마나 올바른지 등을 놓고는 별 고민이 없다.
이런 세태를 놓고 지난 2010년 12월 미국 잡지 <뉴요커>는 현재의 과학적 방법론이 과연 올바른지를 놓고 한 편의 기사("진실이 사라지다 : 우리의 과학적 방법론에 오류가 있는가?)를 실었다. (☞관련 기사 : The Truth Wears Off: Is there something wrong with the scientific method?)
현대 문명의 중요한 특징 중 하나인 과학과 그것의 방법론에 대해서 고민해볼 수 있는 중요한 기사인데도 국내에 전혀 소개가 안 된 터라, 뒤늦게라도 해당 내용을 소개하면서 우리가 상식처럼 받아들이는 과학적 방법론의 문제점을 짚어보고자 한다. 최근 온갖 논쟁에서 너도나도 독점하려는 '과학'을 근본적으로 성찰하는 기회가 되었으면 한다.
|
| ▲ <뉴요커> 2010년 12월호는 과연 우리가 상식처럼 믿는 '과학적 방법론'은 무오류의 것인지를 묻는 도발적인 기사를 게재했다. ⓒ프레시안 |
과학적 방법론의 역사에서 중요한 인물로는 데카르트, 베이컨 등 여럿이 있지만, 고전 역학의 획을 그은 뉴턴을 빼놓을 수 없다. 그는 <프린키피아>에서 과학적 추론 기법을 명시하였다. 이 과학적 추론 기법의 중심은 '실험을 통한 증명'과 '재연(replication)을 통한 검증'이다.
이 원칙은 뉴턴의 사후에 나타난 18세기 이후의 과학의 모습에 커다란 영향을 끼쳤다. 또 일반인에게 과학이 객관적이고 합리적이라는 이미지를 심어주는 데에도 큰 역할을 했다. 즉 분야는 비록 다를지라도 단일한 관점, 방법 등으로 과학의 문제를 다룰 수 있다는 비전을 사람들에게 갖게 해주었던 것이다.
이런 '재연성(replicability)'에 입각한 방법론은 현대적 과학적 방법론(주로 통계학의 영향을 받아)으로 연마되면서, 오늘날 과학 체계의 근간이 되었다. 또 당연히 대부분의 과학자와 일반인도 이를 상식처럼 의심 없이 받아들인다. 그러나 <뉴요커>의 기사는 이런 상식이 과연 맞는지 의문을 제기한다.
현실에서는 재연성에 기반을 둔 실험이 종종 과학자를 잘못된 길로 안내할 뿐만 아니라, 더 나아가 많은 과학자들이 자신의 초기 실험을 재연하거나 혹은 다른 과학자의 아이디어를 재연하는 데 어려움을 겪고 있다는 것이다. 이 기사는 상황이 이렇게 된 원인을 세 가지로 정리한다. 우선 몇 가지 재미있는 예를 들어보자.
1980년대 조나단 스쿨러가 언어와 기억에 관한 놀라운 발견을 보고했다. 그 동안 일반적으로 기억을 기술하는 행위가 기억을 증진시킨다고 생각해왔다. 그런데 스쿨러는 얼굴을 보기만 한 사람이, 얼굴을 보고 이를 기술한 사람보다, 얼굴을 더 잘 인식한다는 것을 실험을 통해 밝혀냈다.
이른바 '언어의 과그림자 현상(verbal overshadowing)'을 발견한 이 논문은 수백 번 이상 인용되었고, 이 모델은 기억과 관련된 다양한 문제-예를 들면 와인 감별-에 확대 적용되었다. 하지만 정작 스쿨러의 실험 결과는 다른 사람뿐만 아니라 스쿨러 자신도 재연하기가 굉장히 힘들었다.
스쿨러는 심지어 자신의 실험을 반복 할 때마다, 이 효과가 점점 더 약해지는 현상(감쇠 현상, decline effect)을 발견했다. 이런 일은 학문의 다양한 분야에서 일어난다. 마이클 제니온이라는 생물학자는 생태학, 진화생물학 등의 다양한 주제를 다룬 수백 편의 연구 논문과 44편의 방법론 연구(meta analysis)를 조사해, 시간에 따라 효과 크기(Effect Size)가 줄어드는 감쇠 현상을 찾아냈다.
이런 감쇠 현상이 일어나는 원인 중 하나는 출간 바이어스(Publication Bias)이다. 새 이론에 대한 불붙는 듯한 관심과 시간이 지남에 따라 관심이 줄어드는 현상은 과학적 패러다임의 전형적인 예이다. 즉 새로운 이론이 제안되면, 과학자 간의 리뷰(peer to peer review) 시스템을 통해 긍정적인 결과만 관심을 받게 된다.
그러다가 어느 정도 시간이 지나, 더 이상 새로운 연구 결과가 나오지 않게 되면, 부정적인 결과가 새로운 논문 주제가 되어서 출간된다. 이것이 전체적으로 보면 감쇠 현상으로 나타난다. 즉, 과학도 과학자 집단이 하는 것이고, 연구비 획득 및 논문 출간 등의 다양한 규제 및 인센티브 등으로 인하여 영향을 받는다.
따라서 새로운 지식이 알려지면, 이를 지지하는 관련 연구들이 쉽게 논문으로 출간되고, 이 와중에 부정적인 결과들은 가려진다. 그러다가 관심 동력이 떨어지면, 그제야 부정적인 주장이 담긴 연구 결과물이 출간된다는 것이다. 이를 통칭해서 출간 바이어스라고 부른다. 이는 큰 이권이 걸린 임상 시험뿐 아니라, 이권과 상관없는 다양한 학문 분야에서도 큰 왜곡을 만들어 낸다.
하지만 앞의 스쿨러처럼 자기 자신의 반복 실험이 안 되는 것은 이보다 복잡한 이유가 있다. 그 중 하나가 선택적인 결과 보고(Selective reporting of result)이다. 통계적으로 실험 데이터는 일정 패턴을 따르게 되는데, 작은 샘플 크기(Sample size)의 연구는 표본오차가 커지기 때문에 더 큰 무작위의 산포를 보이는 대신에, 큰 샘플 크기를 가지는 연구는 전체적으로 어떤 특정 값으로 응집된다.
문제가 되는 연구들을 분석해 보면, 위의 통계적으로 알려져 있는 것과 반대의 경향-샘플 크기가 작더라도 아주 특정 경향성을 가지는-을 나타낸다. 이를 선택적 보고라 한다. 이는 과학적 사기와는 다르지만, 과학자가 저지르는 사소한 생략이나 무의식적 오해 또는 선험적 믿음 등에 의해서 발생된다. 즉, 무엇을 측정 또는 증명하는 행위는 수많은 종류의 인식적 오류에 취약하다.
문제는, 이런 것에서 오는 과장이 생의학 분야의 연구에서 심각한 문제를 만든다는 것이다. 예를 들어, 침이 효과가 있다고 널리 믿는 동양 문화권에서의 침 연구 결과는 서양 문화권의 연구 결과와는 너무나도 큰 차이를 보인다. 또 과학자도 자신이-또는 자신의 가설이- 옳다는 것을 증명하고 싶어 한다.
마지막으로, 세상에 재연되지 않는 수많은 연구가 있다. 과학 잡지 <네이처>에 따르면, 전체 연구의 3분의 1이 한 번도 인용되지 않는다. 이런 요소들이 특정 과학적 현상을 과장하게 되며, 사람들로 하여금 연구 결과의 효과 크기를 과대평가하게 만든다.
마지막으로 미지의 요소가 재연성 검증을 왜곡할 수 있다. 존 크랩이 뉴욕, 앨버타, 및 오리건 주에 있는 서로 다른 세 개의 실험실에서 동시에 동일한 쥐의 행동 실험을 수행하였다. 그는 과학자로서 생각할 수 있는 모든 조건을 동일하게 만들어 실험을 하였으나, 각 실험실의 결과는 서로 불일치하였다.
이것은 우리가 보는 "특별한" 과학적 결과-특정 연구실에서는 재연되었다고 하더라도, 대부분의 실험실에서는 재연되지 않는 결과-는 단지 통계의 유의수준을 우연히 넘는 노이즈일 수도 있다는 충격적인 사실을 암시한다. 그럼에도 불구하고 이런 실험 결과들은 내적으로 통계적 유의성을 가지고 있고, 새로운 내용이라는 이유로 좋은 잡지에 출간된다. 그 뒤로 관련된 연구 제안서가 연달아 나오고, 제안서에 따른 수많은 실험이 반복 수행된다.
이런 과정을 통해, 수많은 과학적 이론이 반복 실험의 실패에도 불구하고, 과학적 진실로 받아들여진다. 그 이유는 그것들이 진실로 보이고, 그것들을 대체할 것을 찾지 못하기 때문이다. 이는 인간으로서 과학자가 개인의 믿음이나 취향을 배제하고, 객관적 실험을 통해 결과를 얻고 증명하는 것이 얼마나 어려운 일인지를 보여준다. 연구 결과를 만드는 과학자나 이를 받아들이는 일반인은 결국 로마 시대 카이사르가 이야기한 것처럼 "보고 싶은 것만 보고, 믿고 싶은 것만 믿는" 연약한 존재인 것이다.
이런 현상이 의학계에서 점점 심각하게 받아들여지고 있다. 이런 감쇠 현상이나 선택적인 결과 보고 등을 극복하기 위하여, 세계보건기구(WHO) 산하에 국제적 임상 시험 등록 플랫폼(☞바로 가기)이 설치 운영되고 있다. 대규모 임상 시험을 시작할 때, 이 시스템에 등록하지 않으면 학계에서 객관적으로 인정받기 어려워지고 있다.
이 시스템은 부정적 결과를 도출한 다른 임상 시험들이 묻히는 것을 막음으로써 긍정적 결과만 출간되는 출간 바이어스를 줄여 줄 것이다. 또 자세한 계획 및 결과가 공개됨으로써 연구자 개인의 선택적 결과 보고 등의 문제도 줄여 줄 것으로 기대된다.
전체댓글 0