啟用快速成長屬性時,節點分割有部分是由資訊增益率而非資訊增益決定。這一節將說明資訊增益和資訊增益率計算及其優缺點。在這些說明中,會將特性視為分類變數的任何特定測量層級或量值變數的長條。
資訊增益方法會根據可提供最大資訊增益的特性來選擇分割。增益是以位元進行測量。雖然此方法會提供不錯的結果,但偏好以有大量特性的變數進行分割。資訊增益率方法會併入分割的值,判定此分割實際有用的資訊增益部分。因此會選擇具有最大資訊增益率的分割。
資訊增益計算是從決定訓練資料的資訊著手。下列運算式可計算回應值 r 中的資訊:
T 代表訓練資料,而 |T| 是觀測數目。為了確定訓練資料的預期資訊,我們對於每一個可能的回應值加總此運算式:
其中,n 是回應值的總數。此值也稱為訓練資料的熵。
接著,我們考慮變數 X 上有 m 個可能特性的分割 S。下列方程式可計算該分割提供的預期資訊:
在此方程式中,Tj 表示包含第 j 個特性的觀測。
下列方程式可計算分割 S 的資訊增益:
資訊增益率會引進分割資訊值,藉此嘗試更正資訊增益計算。下列方程式可計算分割資訊:
顧名思義,資訊增益率是資訊增益與分割資訊的比率: