評価ウィンドウの操作
評価ウィンドウについて
ディシジョンツリーの場合、評価ウィンドウには、リフト、ROC、誤分類率がプロットされます。評価ウィンドウを使用して、データに対するモデルの適合度を判定します。
リフトとは、モデルの応答の平均割合に対し、パーセンタイルビン内に捕捉された応答のパーセントの比率です。同様に、累積リフトとは、現在のパーセンタイルビンのすべてのデータを使用して計算されたものです。
受信者操作特性(ROC)チャートは、偽陽性および偽陰性の分類を回避するモデルの能力を示します。偽陽性の分類とは、あるオブザベーションで、実際にはイベントがない(疾患がない:
陰性)ときに、イベントがある(疾患がある: 陽性)と識別されることをいいます(第一種(Type 1)過誤とも呼ばれます)。偽陰性の分類とは、あるオブザベーションで、実際にはイベントがある(疾患がある:
陽性)ときに、イベントがない(疾患がない: 陰性)と識別されることをいいます(第二種(Type II)過誤とも呼ばれます)。
誤分類プロットには、応答変数の値ごとに、正しく分類されたオブザベーションと誤分類されたオブザベーションの数が示されています。応答変数がバイナリ分布でない場合は、ロジスティック回帰分析モデルでは、イベントでないすべての水準が等しいとみなされます。誤分類が著しく多い場合は、モデルがデータに当てはまっていないことを示していることがあります。
評価ウィンドウの使用
ROC
このモデルの特異度は、真の陰性率です。偽陽性率を導出するには、1から特異度を減算します。1 – Specificityというラベルが付けられた偽陽性率は、ROCチャートのX軸です。モデルの感度は、真の陽性率です。これは、ROCチャートのY軸です。したがって、ROCチャートでは、偽陽性率の変化に伴う真の陽性率の変化がプロットされます。
良いROCチャートは、最初に非常に急な勾配があり、すぐに横ばいになります。すなわち、オブザベーションの誤分類より、かなり多い数のオブザベーションが正しく分類されていることがわかります。偽陽性も偽陰性もない完璧なモデルの場合、ROCチャートは(0,0)で開始し、(0,1)に垂直に推移してから、(1,1)で水平になります。この例では、1つの誤分類が発生するまでは、モデルはすべてのオブザベーションを正しく分類しています。
ROCチャートには、ROCチャートの解釈に役立つ2つの線が含まれています。最初の線は、1の勾配を持つベースラインモデルです。この線は、オブザベーションを誤分類するのと同じ比率で正しく分類するモデルを模倣しています。理想的なROCチャートは、ベースラインモデルとROCチャート間の距離を最大化します。オブザベーションを正しく分類するよりも多い比率で誤分類するモデルは、ベースラインモデルの基準に達していません。2番目の線は、偽陽性率の垂直線です。この線では、ROCチャートとベースラインモデルのKolmogorov-Smirnov値間の差異が最大になります。