평가 창 작업
평가 창 정보
로지스틱 회귀에서 평가 창에는 향상도, ROC 및 오분류 비율이 도표화됩니다. 평가 창을 사용하면 모델이 데이터에 얼마나 적합한지 파악할 수 있습니다.
향상도는 각 백분위수 구간 내에서 캡처된 반응과 모델에 대한 반응의 평균 백분율의 비율입니다. 이와 유사하게 누적 향상도는 현재 백분위수 구간까지의 모든 데이터를 사용하여 계산됩니다.
ROC(Receiver Operating Characteristic) 그래프에는 모델이 False Positive 및 False Negative 분류를
방지할 수 있는 기능이 표시됩니다. False Positive 분류는 관측치가 실제로 이벤트가 아니지만 이벤트로 식별되었음을 의미합니다(I 유형 오류라고도
함). False Negative 분류는 관측치가 실제로 이벤트지만 이벤트가 아닌 것으로 식별되었음을 의미합니다(II 유형 오류라고도 함).
오분류 도표에는 반응 변수의 값 각각에 대해 올바르게 분류된 관측치와 잘못 분류된 관측치의 개수가 표시됩니다. 반응 변수가 이진 반응 변수가 아니면,
로지스틱 회귀 모델은 이벤트가 아닌 모든 레벨을 동일한 것으로 간주합니다. 오분류 개수가 유의할 정도로 많다면 모델이 데이터에 적합하지 않다는 것을
의미할 수 있습니다.
평가 창 사용
ROC
모델의 특이도는 True Negative 비율입니다. False Positive 비율을 계산하려면 1에서 특이도를 뺍니다. False Positive 비율은 레이블이
1 – 특이도이며, ROC 그래프의 X 축입니다. 모델의 민감도는 True Positive 비율입니다. 민감도는 ROC 그래프의 Y 축입니다. 따라서 ROC 그래프에는 False Positive 비율이 변화함에
따라 True Positive 비율이 어떻게 변화하는지가 도표화됩니다.
이상적인 ROC 그래프는 처음에는 기울기가 가파르며, 빠르게 수평을 유지합니다. 즉, 관측치에 대한 오분류 각각에 대해 더 많은 수의 관측치가 올바르게
분류됩니다. False Positive나 False Negative가 하나도 없는 완벽한 모델에서는 ROC 그래프가 (0,0)에서 시작하여 수직 방향으로
(0,1)까지 이동한 후 수평 방향으로 (1,1)까지 이어집니다. 이 인스턴스에서 모델은 오분류가 하나라도 발생하기 전에 모든 관측치를 올바르게 분류합니다.
ROC 그래프에는 ROC 그래프를 해석하는 데 도움을 주는 두 개의 선이 있습니다. 첫 번째 선은 기울기가 1인 기준선 모델입니다. 이 선은 관측치에
대한 올바른 분류 비율과 오분류 비율이 동일한 모델을 의미합니다. 기준선 모델과 거리가 가장 먼 ROC 그래프가 이상적인 ROC 그래프입니다. 관측치를
올바르게 분류할 때보다 잘못 분류할 때가 많은 모델은 이 기준선 모델 아래쪽에 위치합니다. 두 번째 선은 ROC 그래프와 기준선 모델 사이의 Kolmogorov-Smirnov
값 차이가 가장 큰 False Positive 비율에 표시되는 세로 선입니다.