SAS에서 ROC를 그리고 최적 Cut-off 찾는 방법

최근에 SAS를 사용하다보니, 여러가지 기록하고 싶은 것들이 많네요. SAS에서 ROC 커브를 그리고, 최적 Cut-off를 찾는 방법을 기록해두고자 합니다.

이 방법은 첨부한 문서 2개를 조합하여 정리한 것입니다.

09 - ROC Curve Analysis using SAS_20170517 - PhUSE.pdf

jpar-1-1-2.pdf

아, 최적 Cut-off의 기준은 Youden's Index를 사용하였습니다. (해당 Index는 Sensitivity + Specificity - 1 값입니다.)

먼저, ROC 커브를 그리기 위해서는 PROC LOGISTIC 를 사용하면 됩니다. Y변수로는 원하는 반응변수(0, 1를 담고 있는 변수)를 설정하고, X변수로는 다른 모델링 등을 통해 얻은 확률 값을 설정하면 됩니다.

PROC LOGISTIC DATA=dataset OUTEST = outest; MODEL y_var(EVENT = "1") = prob / EXPB OUTROC=rocdata; OUTPUT OUT = roctest P = p ; RUN;

ROC를 그리기 위해  PROC LOGISTIC를 수행한 결과로 저장된 outest와 rocdata를 가지고 최적 cut-off를 찾는 방법은 다음과 같습니다. 기본적으로 cut-off를 찾기 위해서는 PROC LOGISTICT에서 얻은 식에 각 값을 대입하여야 합니다. 그래서 rocdata에 식에 대한 값을 가지고 있는 outest를 merge하여야 합니다.

DATA rocdata; SET rocdata; INDEX =1; RUN; DATA outest (KEEP=INTERCEPT prob INDEX); SET outest; INDEX = 1; RUN; DATA merge; MERGE rocdata outest; BY INDEX; SPEC = 1-_1MSPEC_; YI = (_SENSIT_ + SPEC) - 1; * 기준 index: Youden Index; X_VALUE = (LOG(_PROB_/(1-_PROB_))-INTERCEPT)/&p_var_name.; RUN; PROC SQL noprint; CREATE TABLE cutoff AS SELECT X_VALUE, _PROB_, YI, _SENSIT_, SPEC FROM merge HAVING YI = max(YI) ; QUIT;