評価ウィンドウの操作
評価ウィンドウについて
ディシジョンツリーの場合、評価ウィンドウには、リフト、ROC、誤分類率がプロットされます。評価ウィンドウを使用して、データに対するモデルの適合度を判定します。
リフトとは、モデルの応答の平均割合に対し、百分位のビン内に捕捉された応答のパーセントの比率です。同様に、累積リフトとは、現在の百分位のビンのすべてのデータを使用して計算されたものです。
受信者操作特性(ROC)チャートは、偽陽性および偽陰性の分類を回避するモデルの能力を示します。偽陽性の分類とは、あるオブザベーションで、実際にはイベントがない(疾患がない:
陰性)ときに、イベントがある(疾患がある: 陽性)と識別されることをいいます(第一種(Type 1)過誤とも呼ばれます)。偽陰性の分類とは、あるオブザベーションで、実際にはイベントがある(疾患がある:
陽性)ときに、イベントがない(疾患がない: 陰性)と識別されることをいいます(第二種(Type II)過誤とも呼ばれます)。
誤分類プロットには、応答変数の値ごとに、正しく分類されたオブザベーションと誤分類されたオブザベーションの数が示されています。応答変数がバイナリ分布でない場合は、ロジスティック回帰モデルでは、イベントでないすべての水準が等しいとみなされます。誤分類が著しく多い場合は、モデルがデータに当てはまっていないことを示していることがあります。
評価ウィンドウの使用
リフト
デフォルトのリフトチャートには、モデルの累積リフトが表示されます。累積以外のリフトを表示するには、Y軸上の
をクリックした後、リフトを選択します。
をクリックした後、リフトを選択します。
比較においては、リフトチャートは、入力データに関する完全な知識に基づく最良のモデルがプロットされます。
ROC
このモデルの特異度は、真の陰性率です。偽陽性率を導出するには、1から特異度を減算します。1 – 特異度というラベルが付けられた偽陽性率は、ROCチャートのX軸です。モデルの感度は、真の陽性率です。これは、ROCチャートのY軸です。したがって、ROCチャートでは、偽陽性率の変化に伴う真の陽性率の変化がプロットされます。
良いROCチャートは、最初に非常に急な勾配があり、すぐに横ばいになります。すなわち、オブザベーションの誤分類より、かなり多い数のオブザベーションが正しく分類されていることがわかります。偽陽性も偽陰性もない完璧なモデルの場合、ROCチャートは(0,0)で開始し、(0,1)に垂直に推移してから、(1,1)で水平になります。この例では、1つの誤分類が発生するまでは、モデルはすべてのオブザベーションを正しく分類しています。
ROCチャートには、ROCチャートの解釈に役立つ2つの線が含まれています。最初の線は、1の勾配を持つベースラインモデルです。この線は、オブザベーションを誤分類するのと同じ比率で正しく分類するモデルを模倣しています。理想的なROCチャートは、ベースラインモデルとROCチャート間の距離を最大化します。オブザベーションを正しく分類するよりも多い比率で誤分類するモデルは、ベースラインモデルの基準に達していません。2番目の線は、偽陽性率の垂直線です。この線では、ROCチャートとベースラインモデルのKolmogorov-Smirnov値間の差異が最大になります。
誤分類
誤分類プロットには、正しく分類されたオブザベーションと誤分類されたオブザベーションの数が示されています。誤分類が著しく多い場合は、モデルがデータに当てはまっていないことを示していることがあります。
データ内でイベントがあるに対するイベントがないの比率が比較的大きい場合、誤分類プロットに多数の真の陽性率と偽の陽性率が示されていることがあります。この場合は、モデルでほとんどのオブザベーションがイベントがあると予測され、間違って分類されている場合よりも正しく分類されている場合の方が多くなります。
評価
応答ビンの数が10より大きい数に設定されている場合は、評価ウィンドウに予測平均値と観測平均値がプロットされます。このプロットを使用して、データに対するモデルの適合度を判定します。
評価ウィンドウは、評価プロパティに指定された値に基づいてデータをビンに入れます。各ビンで、マウスをラインのいずれかまたは両方の上に置くと、ツールチップを表示できます。