Top

제  목    :    Net Reclassification Index (NRI) & Integrated Discrimination Improvement (IDI)
작성자 관리자
등록일 2015년 05월 26일 14시 50분 16초 조회 5,156


최근 의학논문들을 살펴보면 Net Reclassification Index (NRI) 와 Integrated Discrimination Improvement (IDI) 라는 이름의 통계값이 언급되는 경우를 자주 경험하게 된다. NRI와 IDI는 어떠한 biomarker 혹은 검사법이 event의 유무나 질환예측에 실제로 도움이 되는지를 알아보기 위한 통계분석법의 하나이다. 예로 들어 응급실에 내원한 환자가 뇌경색인지 아닌지를 구분해야 하는 경우를 가정해보자. 기존에 알려진 몇가지 검사방법이나 예측모델에 따라서 환자의 질병유무를 판단하게 될 것인데, 여기에 새로 개발한 biomarker나 검사결과를 추가적으로 고려하는 것이 환자의 질환유무를 판단하는데 도움이 되느냐를 분석하려 할 때 NRI, IDI를 사용할 수 있다. 기존에 Receiver operating characteristic (ROC) curve를 그려서 해당 biomarker를 넣은 예측모델과 넣지 않은 예측모델의 area under curve (c-index)를 비교하는 것과 유사한. ROC curve를 통한 AUC의 비교는 biomarker의 영향을 보기 위한 고전적이면서 중요한 통계분석법이지만, 실제 임상적으로 매우 중요한 risk factor나 biomarker일지라도 AUC의 비교에서는 대부분 유의미한 통계학적 차이를 보이지 못한다는 단점을 지니고 있다. 즉, 유의미한 biomarker를 구분해내기 위한 목적으로의 AUC 비교는 너무 non-specific하다는 단점이 있어 이를 대체할 만한 통계학적 방법들이 연구가 되어 왔으며 대안으로 제시된 방법 중 하나가 NRI와 IDI이다.


실제 NRI, IDI가 사용된 논문을 한가지 예로 들어보자.

Risk stratification using computed tomography coronary angiography in patients undergoing intermediate-risk noncardiac surgery. J Am Coll Cardiol. 2013 Feb 12;61(6):661-8
http://content.onlinejacc.org/article.aspx?articleid=1567635
 

위 논문의 주제는 수술전에 시행한 coronary CTA의 결과 (coronary artery calcification및 stenosis 유무)가 수술후 cardiac event의 예측에 도움이 되는지에 관한 내용이다. 기존에 알려진 revised cardiac risk index (RCRI)에 coronary CTA의 결과를 추가로 고려한 모델과 기존 RCRI 모델간에 ROC curve상의 AUC, NRI, IDI를 모두 비교 (아래 Table 5)하였으며 세가지 통계에서 모두 CTA결과를 추가한 경우가 유의미하게 차이를 보였기에 CTA가 수술시 고위험군의 예측에 도움을 준다는 결론이다. 

 

 

위 논문에서 모델간의 비교에 관한 statistical method 설명 및 NRI, IDI결과의 기술은 다음과 같다.
 

Finally, we compared 2 or more ROC curves using the area under the curve (AUC) comparison analysis method as described by DeLong et al. We also calculated the integrated discrimination improvement (IDI) and the net reclassification improvement (NRI) with a category-free option among models following the methodology of Pencina et al.
 

Based on the results of differences among the AUCs, RCRI plus CACS ≥113 score, RCRI plus multivessel disease, and RCRI plus CACS ≥113 plus multivessel disease were significantly more predictive of post-operative cardiovascular events than RCRI alone. Additionally, to estimate the incremental value of CTCA to predict cardiovascular events, we compared the probabilities of events and nonevents of models using the relative IDI and category-free NRI. The IDI of adding
multivessel disease to the RCRI improved significantly (relative IDI for CACS≥113 = 0.39, p=0.098; for multivessel disease= 1.67, p= 0.001; and for the combined CACS≥113 and multivessel disease = 1.78, p=0.001)


아래는 비슷한 방식으로 NT-proBNP, CRP의 측정이 ICU환자들에서의 사망률예측에 도움이 되는지를 NRI, IDI를 사용하여 분석한 논문이다.

Usefulness of N-terminal pro-brain natriuretic peptide and C-reactive protein to predict ICU mortality in unselected medical ICU patients: a prospective, observational study. Crit Care. 2011;15(1):R42.
http://ccforum.com/content/15/1/R42


역시 NT-proBNP, CRP를 추가한 모델과 그렇지 않은 모델간의 비교를 AUC, NRI, IDI를 통하여 시행하였으며 AUC (c-index)는 유의한 차이를 보이지 못하였으나 NRI, IDI에서는 유의한 차이를 보여 해당 biomarker들이 사망률예측에 도움이 된다는 결과를 도출하고 있다.


Abstract: As compared with APACHE-II score (0.82 ± 0.02; P < 0.01), combination of CRP (0.83 ± 0.02; P < 0.01) or NT-proBNP (0.83 ± 0.02; P < 0.01) or both (0.84 ± 0.02; P < 0.01) with APACHE-II score did not significantly increase C-index for predicting ICU mortality (all P > 0.05). However, addition of NT-proBNP to APACHE-II score gave IDI of 6.6% (P = 0.003) and NRI of 16.6% (P = 0.007), addition of CRP to APACHE-II score provided IDI of 5.6% (P = 0.026) and NRI of 12.1% (P = 0.023), and addition of both markers to APACHE-II score yielded IDI of 7.5% (P = 0.002) and NRI of 17.9% (P = 0.002). 
 

 

 

그렇다면 이러한 NRI, IDI가 실제로 어떠한 원리로 계산되는지를 알아보자. 아마도 NRI, IDI를 연구에 사용하게 된다면 직접 결과값을 계산하지는 않고 통계 software의 힘을 빌리겠지만 기본적인 원리는 알아두는 것이 이해에 도움이 될 것이다. 먼저 NRI에 대하여 이야기하면 이름 그대로 reclassification에 영향을 미치는지에 관한 통계분석이다. 연구대상자들의 성별, 나이, 고혈압, 당뇨병, 흡연유무 등에 관한 자료와 심혈관질환 발생여부에 관한 자료가 있다고 가정하자. 해당 데이터를 근거로 어떠한 인자들이 심혈관질환 발생과 연관성이 있는지, 해당 인자가 얼마나 연관성이 높은지 분석이 가능하다. 위 자료를 근거로 만든 예측모델 (multivariate binary logistic regression model등)에 각 개별 환자들의 특성 (성별, 나이 및 고혈압등)을 입력하면 거꾸로 각 환자의 심혈관질환 발생여부에 관한 예측확률값이 계산가능하다. 환자들은 결국 event가 있는 사람과 없는 사람으로 나뉘게 될텐데, 보다 정확한 예측모델이라면 event가 발생한 환자들의 예측확률은 높아야 하고, event가 없던 환자에서의 예측확률은 낮아야 한다.

 

Kerr, Kathleen F., et al. "Net reclassification indices for evaluating risk prediction instruments: a critical review." Epidemiology (Cambridge, Mass.) 25.1 (2014): 114-121.
 

위 Table2는 심혈관질환에 대한 Old model과 New model 에서 각 환자들에게서 계산된 확률값에 따라 세가지 군으로 나누고 (0-3%, 3-10%, >10%) 실제 event의 발생유무에 따라 분류한 내용이다. Event가 없던 군 (Nonevents, n=5669)의 경우 New model에서 low risk (<3%)로 분류되었으나 Old model에서 High (>10%) or Intermediate risk (3-10%)로 분류되었던 환자들은 New model의 예측이 Old model보다 정확하다고 볼 수 있을 것이다. Event가 있던 환자들 (Events, n=209)의 경우에는 New model에서 보다 고위험군으로 분류가 된 경우라면 New model이 더 적절하다고 할 수 있겠다. 결국 파란박스안의 환자들은 New model이 Old model보다 reclassification을 정확히 했다고 볼 수 있고, 빨간 상자안의 환자들은 오히려 reclassification이 나빠진 경우이다. 보다 수학적으로 표현하면 아래와 같다.


 Leening, Maarten JG, et al. "Net reclassification improvement: computation, interpretation, and controversies: a literature review and clinician's guide." Annals of internal medicine 160.2 (2014): 122-131.

위에 있던 예제인 Table 2의 NRI를 실제로 계산해보면
 

noneventNRI = [(12+1+1) – (7+1+4)]/5669 = 0.00035 or 0.035 %
eventNRI = [(11+0+23) – (7+1+3)]/209 = 0.11005 or 11.005 %
overallNRI = 0.00035 + 0.11005 = 0.11040 이다.

보통 event, noneventNRI는 %로 표현이 가능하지만 overallNRI (보통 그냥 NRI로 쓴다)의 경우에는 앞의 두 통계값의 덧셈이기 때문에 %로 표현하지 않는 것이 좋다 (두군이 동일하지 않으므로).
 

NRI는 확률값에 따라 군을 나누어 분석을 하게 되는데 해당 군을 나누는 기준 (threshold)은 사실상 명확히 정해진 바가 없다. Cardiovascular risk 와 같이 자주 쓰이는 기준이 있다면 (<5%, 5-10%, >10% 등) 해당 기준을 따르는 것이 좋고, 혹은 실제 환자자료에서의 event의 prevalence에 따라서 연구자가 나누어도 가능하다 (event가 30%였다면 <20%, 20-40%, >40%로 정하는 등). 2집단으로 나눌지, 3 혹은 4집단으로 나눌지도 역시 연구자가 결정하기 나름이나 보통 연구들에서는 3집단으로 구분하는 경우가 가장 많다. 위의 예시는 categorical NRI 값을 구하는 과정인데 환자가 new, old model간 비교에서 reclassification (군간의 이동)이 되지 않으면 NRI 통계값에 전혀 영향을 미치지 않는다. 앞서 언급한 바와 같이 군을 나누는 기준자체 (몇 개의 군으로 나눌지, 군간의 범위)가 연구자 나름이기 때문에 해당설정을 어떻게 하느냐에 따라 categorical NRI통계값이 매번 달라진다는 단점이 있다. 이러한 임의적인 부분에 대한 제한을 피할 수 있는 방법중 하나는 continuous NRI, IDI 방법이 있다.


Continuous NRI (category-free NRI라고도 부른다)는 특별히 기준점에 따라 군을 나누지 않고 일단 event 환자의 new model에서의 확률값이 old model에서보다 증가하면 1점, 감소하면 -1점을 주고 환자수로 나눈다. 마찬가지로 nonevent 환자에서는 new model이 old model보다 확률값이 감소하면 1점, 증가하면 -1점을 준다. 역시 overall NRI는 eventNRI, noneventNRI의 합으로 표시한다. 즉 new model에서 예측이 improve된 환자의 비율에서 improve되지 않은 환자비율을 뺀 것이 continuous NRI이다.




아래표는 cTnl을 고려한 모델과 그렇지 않은 모델간간의 비교결과를 categorical NRI, continuous NRI로 보여준 내용이다. Table내용을 기준으로 continuous NRI를 계산해보면 eventNRI=0.216-0.081=0.135, noneventNRI=0.028-0.027=0.001, continousNRI=0.135+0.001=0.136 이다.



Leistner, David M., et al. "Circulating troponin as measured by a sensitive assay for cardiovascular risk assessment in primary prevention." Clinical chemistry 58.1 (2012): 200-208.
 

Continuous NRI는 앞서 말한 바과 같이 분석시 연구자가 임의로 정하는 부분이 없다는 점과 categorical NRI보다 sensitive하게 유의한 biomarker를 detection한다는 장점이 있으나, 오히려 너무 sensitive해서 실제로는 임상적 의의가 미미한 변수들까지도 continuous NRI 분석시 유의미하게 나오는 경우가 자주 있어 사용에 주의가 필요하다.
 

NRI는 new model에서의 확률값의 변화에 따라 각 환자별로 예측이 좋아졌는지 나빠졌는지에 따라 계산을 했다면 IDI는 new model과 old model에서 얻어진 통계값의 차이 (difference of calculated probability between models)를 각 환자마다 계산하고 모두 더한 값이며 적분에 가까운 개념이다. 같은 한명의 환자라고 할지라도 model간에 계산된 확률값이 크게 차이나면 IDI에 미치는 영향도 더 커지게 된다. 역시 eventIDI, noneventIDI를 계산하고 둘을 더한 값이 IDI이다.


아래는 10%를 threshold로 잡은 two-categorical NRI와 IDI의 예시로 보인 그래프이다. NRI와 IDI의 관계를 어느정도 이해할 수 있을 것이다.




Figure A2. Risk assessment plot of the performance comparisons between reference and new models utilizing simulated data. Pickering, John W., and Zoltan H. Endre. "New metrics for assessing diagnostic potential of candidate biomarkers." Clinical Journal of the American Society of Nephrology (2012): CJN-09590911.
 

지금까지 binary outcome (질환의 유무, event의 유무)을 기준으로 NRI, IDI의 기본 개념과 계산법에 대하여 설명을 하였으나, NRI, IDI는 생존분석(Cox proportional hazard model)에서도 분석이 가능하다. 오히려 최초로 NRI, IDI 방법을 제시한 논문은 생존분석에 관한 내용이었다. Survival analysis (event의 발생 유무 및 event발생시까지의 시간이 포함된 분석) 에서의 NRI, IDI 계산법에 대한 세부적인 내용은 여기서 논할 내용이 아니겠기에 실제 예제논문들을 몇 개 소개하는 것으로 대신하겠다.
 

http://www.ncbi.nlm.nih.gov/pubmed/21867837
http://www.ncbi.nlm.nih.gov/pubmed/24388541
http://www.ncbi.nlm.nih.gov/pubmed/24519407


마지막으로 NRI, IDI가 통계모델간 비교 및 biomarker의 유용성에 대한 분석법으로 논문들에서 자주 사용이 되고 있으나 근본적으로는 AUC와는 다른 접근방법이라는 점과 아직까지 NRI, IDI의 유용성에 대해서는 비판적인 견해를 보이는 경우도 많다는 것에 주의가 필요하다. 다음에는 조만간 통계프로그램을 사용하여 실제로 NRI, IDI를 계산하는 내용에 관하여 글을 올리도록 하겠다.



 

답변

이 게시판은 회원 분들의 활성화를 위하여 정기적, 비정기적으로 연구와 관련된 tip 및 정보를 게시하는 곳입니다. 게시판 글의 작성은 뇌졸중학회 연구활성화위원회에서 맡고 있으며, 연구활동시 도움이 될만한 통계에 관한 도움말, 논문 작성법, 외부 홈페이지 소개 및 노하우 등 연구활동에 관한 전반적인 정보를 제공하고자 합니다. 기본적으로 월1회이상 정기적인 게시물이 작성될 예정이며 간단한 정보 등은 비정기적으로도 게시될 예정입니다. 만약 회원분들 중에서 연구와 관련하여 게시되었으면 하는 내용이 있을 경우에는 rsstrokeorkr@gmail.com 으로 메일을 주시면 가능한 참조하도록 하겠습니다.
번호 제목 작성자 조회 ↓ 등록일
9 9, 10월에 교육자료실에 업로드된 VOD 정보 관리자 667 2016-11-10
8 임상연구에서 사용되는 통계기법이 소개된 홈페이지 관리자 595 2016-11-10
7 임상 연구 설계 및 분석의 첫 걸음 03: 단변량 분석 관리자 1,463 2016-01-04
6 자료분석을 위한 데이터 결합과 변환 기초 관리자 1,482 2015-11-26
5 R에 처음 접근하기 어려운 분들을 위한 EZR 소개 관리자 7,850 2015-09-24
4 임상 연구 설계 및 분석의 첫 걸음 02: 대상 선정과 Databa... 관리자 1,455 2015-08-27
3 통계프로그램 R 소개 및 설치법, Web-based R강좌 소개 관리자 4,445 2015-07-23
2 임상 연구 설계 및 분석의 첫 걸음 01: Research Questio... 관리자 1,984 2015-06-24
1 Net Reclassification Index (NRI) & Integrated Discrimi... 관리자 5,156 2015-05-26

작성 목록

Gets the previous 10 pages. Go to previous page. [1] Go to next page. Gets the next  10 pages.



대한뇌졸중학회
VeriSign