Entropy Decomposition Rule by Probability Tree - Part 2

我們再舉兩個有關 Decomposition Rule 例子 ,

這兩個例子都是分解 :
X~(1/5 , 1/5 , 1/5 , 1/5 , 1/5 , 1/5)

其中第一個例子 , 也就是左圖 , 我們將他分解為
Y~(1/5 , 4/5) 及 Z~(1/4 , 1/4 , 1/4 , 1/4)
同樣是 , 圖中左邊的Tree代表Random Variable X , 右邊的Tree從標上4/5的Node截斷成上下兩棵Tree , 分別為Y及Ζ , 於是我們就得到


H(1/5 , 1/5 , 1/5 , 1/5 , 1/5) = H(1/5, 4/5)+ 4/5 H(1/4 , 1/4 , 1/4 , 1/4) ;

也就是

H(X) = H(Y) + 4/5 H(Z) , 其中的 4/5就是我們分解時恰好截斷終點



第二個例子是將 X 分解成用另外四個Random Variable 來表示 , 四個分別為
Y~(1/5 , 4/5)
Z~(1/4 , 3/4)
U~(1/3 , 2/3)
W~(1/2 , 1/2)

則分解過程參照右圖的 Probability Tree , 我們把trunk 中的每個 node截斷 , 可以得到四個subtree , 分別就是 Y Z U W四個 random variable , 於是我們可以得到下式

H(1/5 , 1/5 , 1/5 , 1/5 , 1/5) = H(1/5 , 4/5) + 4/5 H(1/4 , 3/4) + 3/5 H(1/3 , 2/3) + 2/5 H(1/2 , 1/2)

也就是

H(X) = H(Y) + 4/5 H(Z) + 3/5 H(U) + 2/5 H(W)

1 , 4/5 , 3/5 , 2/5 分別就是原Probability Tree的中間那排節點

所以我們將原本 successive choice 轉成我們比較可以了解的 Decomposition Rule , 而這個Rule其中最重要的表現就是從Probability Tree , 當然如果你是眼尖的讀者 , 你幾乎可以想像出這個Rule可以寫成一個通式 , 而這個通式就是用到之前我將 entropy 轉變後的公式

H(X) = log Π P^(-P)

OK , 我最後將 Entropy Decomposition Rule 寫出來 , 然而這個通式將會發現這是機率分布本身存在的一個事實 , 而這個事實我們或許應將他視為當初在設計Entropy Formula時就無法避免必須遵守的:

(Entropy Decomposition Rule)

若令 random variable X ~ P_i and ranom variable Y_i ~ d_i 且
Y_i 的樣本空間個數為 m(i)=m_i > 0

d_i = { d_i1 , d_i2 .........., d _ i m(i) }

我們可以得到下列一般化的Decomposition Rule , 而我刻意將這個Rule從 Entropy中抽離 , 得到一個純粹機率的性質如下 , 而其中 C1 = 1 , 而其餘的 Ci 則各代表在分解過程中那些Probability Tree的Node , 同時也回答了我們最初的提問 , 如何決定這分解過程中的係數 Ci :