빅 데이터(Big data)라는 용어가 일상화 된 요즈음, 데이터는 더 이상 연구자들에게만 친숙한 개념이 아니다. 이제 우리는 삶의 많은 부분에서 일상적으로 데이터의 중요성을 이야기하며, 수치화된 데이터가 뒷받침되어야 만이 어떤 사실을 '믿을 수 있다'고 여긴다. 물론 충분한 검증을 거친 데이터는 신뢰할 수 있지만, 보통 결과만이 강조되어 자료가 수집되고 가공되는 과정은 잘 드러나지 않는다.
보건정책의 입안과 실행 그리고 평가의 각 단계에서도 데이터가 중요하게 다루어진다. 그러나 정책 시행의 실효성 근거로 제시되는 수많은 데이터들은 어떠한 과정으로 만들어지며, 얼마만큼의 타당성을 가지고 있다고 할 수 있을까? 코펜하겐대학의 호이어와 뵈드커 연구팀은 이 점에 주목하여 덴마크에서 노인재활에 대한 보건정책이 현실을 제대로 반영하지 못한 데이터에 의존함으로써 노인복지를 축소시키는 모순적인 결과로 이어지는 과정을 밝힌 논문을 국제학술지 <계간 의료인류학>에 실었다.(☞ 바 로 가기 : 측정도구에 대한 사회적 전기 그리고 측정도구가 자택 요양의 책임을 보장하는데 실패하는 이유)
덴마크 지방정부는 노인의 자택요양서비스에 대한 당국의 부담을 줄이기 위해 노인 각자의 책임성을 강조하며 방문간병인 없이 독립적으로 살면서 재활하는 프로그램을 기획했다. 연구자들은 이 정책을 뒷받침할 수 있는 데이터의 결과가 아니라 자료를 수집하는 현장 그 자체에 주목하였다. 그리고 이 과정에서 현실의 사정과 맞지 않는 측정 도구를 사용하면서 나타나는 균열들을 발견하였다. 새로운 재활프로그램은 자택요양 노인들의 자기주도화 과정의 효과를 판단하기 위해 미국에서 개발된 '환자 특정 기능 척도(이하 PSFS)' 측정법을 도입하였다. PSFS 측정법은 0에서 10까지의 범위에서 현재의 신체적·정신적 능력을 측정하고 자신이 개선하고 싶은 분야의 목표치를 설정한 다음, 8주의 트레이닝을 거친 후 다시 0에서 10으로 측정하여 전후 결과를 비교하는 방식이다. 덴마크 지방정부는 이미 검증된 PSFS 측정법을 도입함으로써 해당 프로그램 결과에 대한 데이터의 신뢰를 높일 것을 기대했지만 연구자들이 조사한 결과, 실제 설문조사를 하고 파일럿 프로그램을 진행하는 현장에서는 데이터의 실효성에 의문을 갖게 하는 다양한 상황들이 벌어지고 있었다.
크게 두 가지 문제가 불거졌는데, 첫째는 PSFS 측정법은 기본적으로 재활치료를 하는 환자들을 기준으로 하기 때문에 점진적으로 노화가 진행되는 노인들의 신체적·정신적 기능을 측정하기에는 적합하지 않다는 점이다. 두 번째는 자율성을 증진시킨다는 명목 아래 노인들이 스스로 목표를 설정하게 하는 과정에서 어려움이 발견되었다.
예를 들어 연구자들이 실제 관찰한 현장의 상황은 다음과 같았다.
위의 사례에서처럼 노인 스스로 해당 프로그램을 제대로 이해하지 못하거나 목표를 설정할 의지가 없는 경우가 많았으며, 때에 따라 노인이 주도적이 되는 것이 아니라 오히려 설문조사로 인해 불쾌감이나 굴욕감을 느끼게 되는 경우 또한 있었다.
뿐만 아니라 연구자들은 측정의 기준 또한 모호하다는 점을 지적한다. 0에서 10까지의 스케일은 일견 세세하게 단계가 나누어져 있는 것 같지만 어디까지나 개인의 행동양식이나 신체적 기능의 정도를 주관적으로 평가하는 것이다. 그렇기 때문에 노인들뿐 아니라 평가자들도 답변을 어떻게 숫자로 표기해야 할지 어려움을 겪었다. 이로 인해 평가자가 스스로 씻는 것에 대한 스케일을 평가하려고 노인에게 질문했을 때 노인은 예전에는 잘 할 수 있었기 때문에 10이라 대답하고 평가자는 이것이 적절치 않아 "그럼 7이라고 할까요?"와 같이 협상을 하는 상황이 발생하게 되는 것이다.
그러나 현장에서의 이러한 우여곡절에도 불구하고 해당 정책은 성공적으로 입안되었다. 이 정책을 평가하는 위원회에서 80%의 새로운 자택요양 방문서비스 지원자들과 15%의 기존 수혜자들이 해당 프로그램에 참여했으며, 그중 50%의 참여자들이 긍정적인 결과를 냈다는 데이터에 주목하였기 때문이다. 앞서 연구자들이 밝힌 것처럼 '어떠한 방식'으로든 결과를 낸 설문조사의 실효성 문제가 있었지만, 이는 수치화되지 않은 이면으로 남게 되었다. 또한 연구자들은 해당 평가가 사전에 정책으로 입안되려는 목적 아래에서 시행된 프로그램이었다는 점을 지적한다. 한 인터뷰 대상자는 (80%의 참여율이라는 이례적인 수치라는 점만 보더라도) 평가위원회에서 데이터의 실효성에 의문을 제기할 수 있음에도 이 정책을 통과시킨 것은 수치의 객관성보다는 정책 입안에 필요한 일종의 쇼맨십으로써 상징적인 가치가 더 부각된 것이 아니냐며 우려하기도 했다. 결국 해당 정책은 시행되었고, 프로그램을 수료하여 자기주도적인 생활을 할 수 있다고 '평가된' 실질적으로 도움이 필요한 40%의 노인들이 더 이상 자택요양 서비스를 받을 수 없게 되었다. 노인 중심적인 보건정책을 뒷받침하기 위해 만들어진 데이터가 더 많은 노인들을 복지의 사각지대로 밀어내는 모순적인 결과를 낳게 된 것이다.
우리는 종종 '데이터'라는 용어 또는 통계화 된 수치가 주는 신뢰성에 매몰되어 해당 데이터 자체의 타당성에 대해서는 의문을 갖지 않고 넘어가게 된다. 그러나 이 연구에서처럼 세상의 모든 데이터가 현실을 잘 반영하는 데이터라고는 할 수 없다. 특히, 사람의 건강과 안녕에 관심을 가지는 보건학 분야에서 신뢰성 있는 데이터는 그 어느 때 보다 중요하다고 할 수 있다. 비단 데이터의 생산뿐 아니라 데이터를 소비하는 입장에서 맹목적으로 해당 데이터를 수용하기 전에 내가 지금 읽고 있는 자료가 얼마나 타당한 것인가에 대해 한 번쯤 생각해 본다면 신뢰성 있는 데이터의 순환에 기여할 수 있을 것이다.
*서지정보
- Hoeyer, K., & Bødker, M. (2020). Weak Data: The Social Biography of a Measurement Instrument and How It Failed to Ensure Accountability in Home Care. Medical anthropology quarterly, 34(3), 420-437.
전체댓글 0