Top

제  목    :    임상 연구 설계 및 분석의 첫 걸음 01: Research Question
작성자 관리자
등록일 2015년 06월 24일 13시 31분 17초 조회 2,253

공지: 본 문서는 Mitchell H. Katz의 Study Design and Statistical Analysis(Cambridge University Press. 2006년)을 토대로 하여 부분적으로 내용을 추가한 것입니다. 이 책을 참고 도서로 사용하도록 허락하여 주신 Dr. Katz에게 감사 드립니다.


임상 연구에서 통계 분석이 필요한 이유

임상 연구에서 통계 분석이 필수적으로 사용된 것은, 그렇게 오래 된 일이 아닙니다. Acute ischemic stroke 환자에게 endovascular recanalization treatment를 처음으로 시도한 논문은, 단 3건의 사례를 바탕으로 쓰여졌고 어떠한 통계적 분석도 이루어지지 않았습니다.1

Statistical methods in the NEJM
이 표는 New England Journal of Medicine에 실린 논문들에서 사용된 통계 기법을 정리한 것입니다.2 1990년대 이전만 하더라도, 현재 기초적인 수준의 통계 방법이라고 간주하는 것만 알고 있어도, NEJM에 실리는 논문을 대부분 문제 없이 읽고 해석할 수 있다는 것을 알려 줍니다. Stroke 저널에서 90년대에 출판된 논문을 보면, 단순한 카이 제곱-검정이나 t-검정으로만 분석된 논문을 숱하게 발견할 수 있습니다.

 

연구의 결과를 요약하여 전달

통계 분석은 단순한 임상 경험의 나열에 비하여 더 많은 정보를 정제된 형태로 전달할 수 있습니다. 다음 예화를 읽어 보세요.

심방세동이 있는 환자에서 뇌졸중 예방을 위하여, 아스피린과 와파린은 모두 각각의 효능을 갖고 있습니다. 그러나 특정 약물에 의한 출혈성 합병증이나 뇌경색/심근경색 등의 혈관계 질환은 개별 의사가 인지하기 쉽지 않을 정도로 비교적 드물게 발생합니다. 따라서 통계적 방법을 통하여 제시되는 근거가 없으면, 다음과 같은 상황이 벌어질 것입니다.
의사들은 모든 환자에게 항응고제를 투여하다가 한 환자에서 출혈성 합병증이 발생하면 바로 모든 환자에게 아스피린을 처방하고, 그러다가 거꾸로 허혈성 뇌졸중/심근경색 등의 허혈성 혈관계 질환이 발생하면 다시 와파린으로 돌아갈 것입니다. 3

그렇지만 통계 분석을 통하여 우리는, 다음과 같은 숫자를 알게 되었습니다.
Figure 01-01
위 분석 결과, 심장 판막 질환이 없는 심방 세동 환자에게, 와파린을 투여하면 허혈성 뇌졸중의 발생률을 100-인년 당 2.3건 감소시키지만 이에 비하여 주요 출혈성 합병증의 발생률은 100-인년 당 0.9건 증가함을 알 수 있습니다. 따라서, 허혈성 뇌졸중과 출혈성 합병증을 동등하게 간주하는 환자에게는 와파린을 투여하고, 출혈성 합병증의 위험을 허혈성 뇌졸중에 비하여 3배 더 가치있게 간주하는 환자에게는 차라리 아스피린을 투여하는 것이 바람직함을 알 수 있습니다. 4

 

우연히 발생한 사건을 배제

또한 통계 분석을 통하여 우리는, 어떠한 결과가 우연히 발생하였는지 혹은 어떠한 주요 원인에 의하여 체계적으로 결과의 발생에 비뚤림이 발생하였는지 알 수 있습니다.5

동전을 100번 던졌을 때, 50번 앞 면이 나오면 이 동전은 양 쪽 면의 모양이 동일하고 무게가 전체적으로 고르게 분포된, 정상적인 동전이라고 할 수 있을 것입니다.
그렇다면, 동전을 100번 던졌을 때, 45번 앞 면이 나오면 정상적이라고 할 수 있을까요? 40번 앞 면이 나와도 정상적이라고 할 수 있을까요? 35번 나와도 정상적이라고 할 수 있을까요?

동전의 무게와 모양이 완전히 정상적이어서 체계적인 비뚤림이 없다고 할 때, 우리는 동전을 한 번 던져 앞 면이 나올 확률을 0.5라고 할 수 있습니다.
이러한 조건을 가정할 때, 100번 던져 49번 앞 면이 나올 확률(정확히 표현하자면, 해당 조건에서 확률 밀도 함수의 값)은 0.92입니다. 45번 앞 면이 나올 확률은 0.32이며 35번 앞 면이 나올 확률은 0.003이 되겠죠.

Figure 01-02

이 때, 만약 우리가 1/3 이하의 빈도로 이러한 일이 발생한다면, 이는 우연일 수 없다고 가정하면, 45번 이하로 앞 면 (혹은 동시에 55번 이상 뒷 면)이 나오면 이 동전은 정상적이지 않다고 할 수 있습니다.또한 우리가 0.3%이하의 극단적인 값만을 ‘비정상’이라고 간주한다면, 100번 던져 36번 앞 면이 나오는 동전도 우리는 ‘정상’이라고 간주를 해야겠죠.

이러한 과정을 통하여 우리는, 충분히 많은 숫자의 데이터를 통하여 적절한 그리고 수학적 엄밀성에 기초한 판단을 내릴 수 있게 됩니다.

요약하자면, 우리는 임상 연구를 할 때 통계라는 도구를 이용하여 다음과 같은 이득을 얻을 수 있습니다.

  1. 임상 데이터를 정리하고 요약하여, 연구의 결과를 효율적으로 전달할 수 있다.
  2. 우연의 영향을 배제하여 진짜 연관성(true association)을 파악할 수 있다.

 

임상 연구의 목적: Research question의 설정

새롭게 임상 연구를 시작하는 사람에서, 통계가 임상 연구의 전부라고 오해하는 경우를 종종 봅니다. 하지만 통계는 임상 연구를 수행하는 도구의 하나일 따름입니다. 우리가 서울에서 대전까지 갈 때, KTX를 이용할 수도 있고 운전하여 갈 수도 있습니다. 교통수단은 단지 대전까지 간다는 목적을 이루기 위한 도구이며, 여러 제반 상황을 고려하여 최적의 도구를 선택하는 고민이 필요합니다. 오히려 더 고민을 많이 해야 하는 지점은 바로, 임상 연구의 목적, 즉 research question을 적절하게 설정하는 것입니다. 통계 분석이라는 측면에서 임상 연구자는 통계학자를 뛰어 넘을 수 없습니다. 임상 연구자에게 필요한 덕목은, 새롭고 실현 가능한 research question을 만들고 이에 따라 데이터를 수집 및 가공하여, 통계 분석이 가능한 데이터셋을 재현 가능한 방식으로 제시하는 것입니다.6

 

Research question이란?

Research question은 연구를 통하여 답을 하고자 하는 문제를 정식화(statement)하여 표현한 것입니다. Research question에는 연구의 배경이 포함되어 있지 않습니다. Research question이 정리된 이후, 자연스럽게 연구의 배경과 연구의 필요성을 조사할 수 있습니다. 그리고 Research question은 필연적으로 본 질문에 답을 할 수 있는가, 즉 연구의 수행 가능성(feasibility)의 평가를 내포하고 있습니다.

The research question determines the research architecture, strategy, and methodology. 7

 

Research question을 어떻게 만드는가?

새로 임상 연구를 시작하는 연구자의 입장에서, research question 혹은 적어도 research topic은 교수님 혹은 선배로부터 주어지는 경우가 많습니다. 하지만 주어진 주제에 대해서도 자신의 언어와 표현으로 research question을 정식화하고 이로부터 이후 데이터 수집과 분석의 틀을 잡아 가는 것이 중요합니다.

 

Research question의 착상

Research question을 만들어가는 과정은, research idea를 떠올리는 것과 유사합니다. 가장 좋은 방법은, 뇌졸중 환자를 진료하면서 잘 몰랐던 부분 혹은 아직 진료 지침에 규정되지 않은 부분을 인식하는 것입니다. 혹은 국내외 학회에서 다른 연구자들이 발표하는 것을 들으면서, 이를 약간 비틀어 개별 환자 혹은 개별 임상 환경에 적용해 보는 것입니다. 그러면서, 해당 주제에 대해 이미 알려져 있는 것과 아직 모르고 있는 것을 정리하면, 이 과정이 바로 연구의 배경 및 문헌 조사가 되는 것입니다. 이 과정은 이후 논문 작성 과정에서 introduction으로 그대로 이어집니다.
이 때 가장 중요한 것은, 주변의 동료 연구자 혹은 선배와 토론하는 것입니다. 두 명의 연구자가 토론하면, 시냅스의 총합은 (2N+1)개가 되지 않겠습니까. 8

아래 논문을 예시로 하여 research question의 정식화 과정을 따라가도록 하겠습니다. 9
Title - SSSI-END paper

뇌졸중 환자가 급성기에 입원한 이후, 첫 2-3일 이내에 신경학적 악화가 발생하는 경우를 종종 보게 됩니다. Lacunar stroke으로 처음에 motor grade IV 정도이었던 환자는 대개 환자나 의사가 초반에 마음을 놓게 됩니다. 그러나 이들 중 일부에서 신경학적 악화가 발생하면서 motor grade 0-I이 되면서, 환자는 물론 의사에게도 정말 마음 아픈 상황이 빚어입니다. 그래서 lacunar stroke 환자에서 조기 신경학적 악화(early neurological deterioration; END)를 예측할 수 있는 요소를 찾고 싶었습니다.
이러한 막연한 궁금함이 바로 research idea이며, 이를 발전시키면서 research question을 만들게 됩니다.

 

Research question의 요소 (프레임) 및 평가

앞서 research question은 정식화되어야 한다고 말씀을 드렸습니다. 즉, research question은 반드시 들어가야 하는 필수 요소를 몇 개 갖고 있습니다. 막연하게, “lacunar infarction에서 progression을 예측하는 요소는 무엇인가?” 라고 진술한다면, 이는 아직 resaerch idea 수준에 머물러 있습니다. 이러한 수준에서는, 내용에 대한 평가가 불가능합니다. 그래서, research question은 아래와 같은 요소를 갖춘 문장이 되어야 합니다. 이를 각 요소의 두문자를 따서 PICOT라고 부릅니다. 10

  1. P (Patient)
  2. I (Intervention / exposure)
  3. C (Comparator / control / non-exposure)
  4. O (Outcome)
  5. T (Time-frame of outcome assessment)

예를 들어 최근 발표된 ESCAPE trial을 봅시다. 11
ESCAPE trial - title page

  • P: Patients with a proximal intracranial occlusion in the anterior circulation within 12 hours after symptom onset, excluding patients with a large infarct core or poor collateral circulation on CT and CT angiography
  • I: Standard care plus endovascular treatment with the use of available thrombectomy devices
  • C: standard care
  • O: the score on the modified Rankin Scale
  • T: at 90 days

PICOT frame은 RCT에 가장 잘 적용됩니다. 그렇지만 observational study에서도 마찬가지로 적용됩니다.

앞서 언급한 논문의 아이디어를 발전시켜 나가는 과정에서, 두 가지 노출 변수가 떠올랐습니다. 하나는 white matter hyperintensity를 포함한 cerebral small vessel disease 이고, 다른 하나는 large vessel stenosis 이었습니다. 전자는 exposure variable로 보다 직관적이기는 하나, 이미 유사한 논문이 발표되었습니다. 12 후자는, stroke mechanism 분류 상 large artery atherosclerosis (LAD) / branch atheromatous disease (LAD-BR) / small vessel occlusion (SVO) 사이의 구분이 정교하게 들어가야 하며, 자칫 직접적인 연관성이 없을 가능성이 있다는 단점이 있었습니다. 그렇지만 이 주제로 한 편의 논문13만이 출판되었고, 방법론 측면에서 엄밀하지 못하다고 판단하여, 후자를 전개시키기로 결정하였습니다.

그리하여 도출된 PICOT는 다음과 같습니다.

  • P: Single small subcortical infarction 환자
  • I: 해당 부위의 large vessel stenosis (≤50%) 혹은 branch atheromatous disease
  • C: stenosis가 없거나 branch atheromatous disease가 없음
  • O: Early neurological deterioration의 발생
  • T: 뇌졸중 발생 3주 이내.

이와 같이 정리를 하면, 다음 두 가지 관점에서 research question을 평가하게 됩니다.

  1. New? (Relevant?)
  2. Feasible?

시간과 노력을 들여서 하는 연구이므로, 새롭지 않은 연구 그리고 이미 발표된 내용을 재현하는 연구는 필요하지 않습니다. 그렇지만 새로 시작하는 임상 연구자의 입장에서, 자신이 만들어 낸 research question이 새로운 것인지 판단하기는 쉽지 않습니다. 비슷한 내용이 이미 출판이 되어 있더라도, 만약 연구 대상인 환자나 적용하는 상황이 다르다면 이는 그 나름대로의 ‘새로움’을 갖고 있을 수 있기 때문입니다. 따라서 ‘새로움’에 대한 평가는, 교수님이나 선배와의 토론을 통하여 방향을 잡고 판단하는 것이 좋습니다.
‘새로움’과는 또 다른 의미에서, relevance라는 판단 기준이 있을 수 있습니다. 기존에 알려져 있던 내용이라 하더라도, 이를 임상에 적용하여 치료 방법이나 진단 기법 등을 개선하여 궁극적으로 환자의 예후를 개선시키는 경우를 의미합니다. 대표적인 예시가 바로 ABCD2 score 입니다. 14 ABCD2 score를 구성하는 연령, 당뇨, 고혈압, 증상 지속 시간, 신경학적 증상 각각에 대해서는 이전에 유사한 연구가 출판되었고, 이를 조합하여 별도의 척도를 제시하고자 하는 노력도 2007년 이전에 있었습니다. ABCD2 score는 기존의 연구에서 한 발 더 나아가, 이질적인 환자군에서 척도를 유도하였고 또 비슷한 방식으로 검증을 하였습니다. 그 결과, 기존에 알려져 있던 내용에 기반을 하였음에도 좋은 평가를 받고 널리 사용되는 척도를 개발하게 된 것입니다.

중요한 평가 항목 가운데 두 번째는, 실행 가능성에 대한 질문입니다. 훌륭한 research question이지만, 수행할 수 없는 연구도 있습니다. 예를 들어, 위에서 제시한 PICOT에서 Intervention/Comparator를 “허혈이 발생한 뇌 조직으로 혈액을 공급하는 소혈관 벽의 아밀로이드 침착여부”로 잡는다면, 이는 그야말로 새로운 주제이며 결과에 따라 이후 뇌졸중의 새로운 치료 방법으로 이어질 수 있을 것입니다. 그렇지만 그러한 아밀로이드 침착을 검출할 수 있는 기기를 갖고 있지 않다면, 이는 훌륭한 주제이나 실현 불가능한 연구라는 딱지를 붙여야 합니다. 마찬가지로 Intervention/comparator 사이의 차이를 제시하기 위하여 매우 많은 숫자의 대상자가 필요하다면, 이 역시 단일 병원에서는 실현 불가능한 연구가 될 것입니다. 다만 이 때, ‘실현 불가능함’이라는 딱지는 언제나 ‘일시적인 평가’일 따름입니다. 시간이 지나 새로운 도구가 개발되고 더 큰 자료를 수록한 데이터에 접근하게 되면, ‘실현 불가능한 연구’는 이제 좋은 기회로 탈바꿈할 것입니다.

 

Research question을 꼭 만들어야 하는가?

새로 시작하는 임상 연구자에게 research question과 같이 낯선 개념은 오히려 진입 장벽으로 다가올 수 있겠습니다. 그렇지만 PICOT로 정리된 research question은, 이후 임상 연구의 형태 및 수집이 필요한 (그리고 가능한) 데이터를 필연적으로 규정하며, 나중에는 통계 분석을 위한 가설 설정 단계까지 순차적으로 이어집니다. 또한 research question을 만들고 이를 주변의 동료 및 선배와 토론하는 과정에서 보다 구체적이고 손에 잡히는 연구 설계가 가능합니다. 무엇보다 중요한 것은, research question을 만듦으로서 새롭지 않으며 또한 실현 불가능한 연구를 구상하는 데 들이는 많은 노력을 아낄 수 있습니다.

Better framing of the research question using the PICOT format is independently associated with better overall reporting quality and better reporting of key methodologies. 15

 

Footnote


  1. Sussman BJ, Fitch TSP, Plainfield, NJ. Thrombolysis with fibrinolysin in cerebral arterial occlusion. J Am Med Assoc. 1958;167:1705-1709.

  2. Agarwal S, Colditz G, Emerson JD. Chapter 3, Use of statistical analysis in the New Endland Journal of Medicine. In: Bailar III JC and Hoaglin DC (ed). Medical Uses of Statistics. Third ed. Wiley. 2009

  3. Katz, MH. Study Design and Statistical Analaysis: A practical Guide for Clinicians. Cambridge University Press. 2006.

  4. Sackett이 제시하는 evidence-based medicine workshop의 마지막에는 환자의 가치관에 따라 두 가지 결과(좋은 결과 대 나쁜 결과) 각각에 대해 가중치를 부여하는 과정이 있습니다.

  5. 일반적으로 주요 노출 변수 혹은 개입(intervention)에 대해서는 ‘체계적인 비뚤림(systematic bias)’라는 용어를 사용하지 않습니다. 이는 해당 노출 변수 혹은 개입이 결과 변수와 갖는 연관성의 방향 및 정도가 임상 역학 연구의 주요 관심사이기 때문입니다. 그러나 본 예시에는 ‘정상적인 동전’이 주요 관심사이기 때문에, 이 용어를 적용하였습니다.

  6. 물론 환경에 따라 통계학자와의 협력 작업이 용이하지 않은 곳이 있을 수도 있습니다. 또한 통계학자와 협력하여 분석을 수행하는 연구자도, 적용하고 있는 방법에 대한 개괄적 이해와 준수해야 하는 가정 그리고 모델 추정에 대한 개념은 알고 있어야 하겠지요.

  7. Sackett D, Wennberg JE. Choosing the best research design for each question. BMJ. 1997;315:1636.

  8. 연구자 A의 시냅스 N1 + 연구자 B의 시냅스 N2 + 두 연구자가 형성하는 시냅스 (1)

  9. Jeong HG, Kim BJ, Yang MH, Han M-K, Bae H-J. Neuroimaging markers for early neurological deterioration in single small subcortical infarction. Stroke. 2015;46:687-691.

  10. 마지막에, S (study design)을 추가하여 PICOTS를 제시하는 경우도 있습니다.

  11. Goyal HG, Demchuk AM, Menon BK, Eesa M, Rempel JL, Thornton J, et al. Randomized assessment of rapid endovascular treatment of ischemic stroke. N Engl J Med. 2015;372:1019-1030.

  12. 문장섭, 김나영, 강지훈, 양미화, 장명숙, 한문구, 배희준. 뇌미세혈관병증 3가지 표식과 열공뇌경색 초기 신경학적 악화와의 관련성. 대한신경과학회지. 2012;30:267-273.

  13. Yamamoto Y, Ohara T, hamanaka M, Hosomi A, Tamura A, Akiguchi I. Characteristics of intracranial branch atheromatous disease and its association with progressive motor deficits. J Neurol Sci. 2011;304:78-82.

  14. Johnston C, Rothwell PM, Nguyen-Huynh MN, Giles MF, Elkins JS, Bernstein AL, Sidney S. Validation and refinment of scores to predict very early stroke risk after transient ischemic attack. Lancet. 2007;369:283-292.

  15. Rios LP, Ye C, Thabane L. Association between framing of the research question using the PICOT format and reporting quality of randomized controlled trials. BMC Med Res Methodol. 2010;10:11.

답변

  • 김진권 2015.07.22

    댓글

    수정

    댓글 확인
  • 김범준 2015.07.10

    댓글

    수정

    댓글댓글
  • 김범준 2015.07.10

    댓글

    수정

    [김범준 님에 대한 답글]
    댓글에 대한 댓글
    댓글
    댓글
    노노노노노노
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
  • 관리자 2015.07.10

    댓글

    수정

    댓글 테스트 진행중입니다..수정적용11121321312
  • 관리자 2015.07.10

    댓글

    수정

    [관리자 님에 대한 답글]
    답글 진행중입니다...11188341312312
  • 김범준 2015.07.10

    댓글

    수정

    [관리자 님에 대한 답글]
    댓글 댓글 또 댓글
  • 관리자 2015.07.10

    댓글

    수정

    aaaaa342341231231212
    as
    fas
    fas
    fasfsdf
  • 관리자 2015.07.10

    댓글

    수정

    [관리자 님에 대한 답글]
    test111123ㄱ2423asdfasdf12312312312312312
  • 관리자 2016.02.24

    댓글

    수정

    [관리자 님에 대한 답글]
    0909090909090909909909
  • 관리자 2016.02.24

    댓글

    수정

    [관리자 님에 대한 답글]
    testsetstsetst
  • 관리자 2016.02.24

    댓글

    수정

    [관리자 님에 대한 답글]
    bbbbbbb
  • 관리자 2015.07.10

    댓글

    수정

    asdfasdfasdf
    asdfasdf
  • 관리자 2015.07.10

    댓글

    수정

    댓글 추가로 남깁니다.
이 게시판은 회원 분들의 활성화를 위하여 정기적, 비정기적으로 연구와 관련된 tip 및 정보를 게시하는 곳입니다. 게시판 글의 작성은 뇌졸중학회 연구활성화위원회에서 맡고 있으며, 연구활동시 도움이 될만한 통계에 관한 도움말, 논문 작성법, 외부 홈페이지 소개 및 노하우 등 연구활동에 관한 전반적인 정보를 제공하고자 합니다. 기본적으로 월1회이상 정기적인 게시물이 작성될 예정이며 간단한 정보 등은 비정기적으로도 게시될 예정입니다. 만약 회원분들 중에서 연구와 관련하여 게시되었으면 하는 내용이 있을 경우에는 rsstrokeorkr@gmail.com 으로 메일을 주시면 가능한 참조하도록 하겠습니다.
번호 제목 작성자 조회 ↓ 등록일
9 9, 10월에 교육자료실에 업로드된 VOD 정보 관리자 863 2016-11-10
8 임상연구에서 사용되는 통계기법이 소개된 홈페이지 관리자 792 2016-11-10
7 임상 연구 설계 및 분석의 첫 걸음 03: 단변량 분석 관리자 1,699 2016-01-04
6 자료분석을 위한 데이터 결합과 변환 기초 관리자 1,731 2015-11-26
5 R에 처음 접근하기 어려운 분들을 위한 EZR 소개 관리자 8,987 2015-09-24
4 임상 연구 설계 및 분석의 첫 걸음 02: 대상 선정과 Databa... 관리자 1,684 2015-08-27
3 통계프로그램 R 소개 및 설치법, Web-based R강좌 소개 관리자 5,689 2015-07-23
2 임상 연구 설계 및 분석의 첫 걸음 01: Research Questio... 관리자 2,253 2015-06-24
1 Net Reclassification Index (NRI) & Integrated Discrimi... 관리자 6,464 2015-05-26

작성 목록

Gets the previous 10 pages. Go to previous page. [1] Go to next page. Gets the next  10 pages.



대한뇌졸중학회
VeriSign