[一个硬币两面超上朝下] 这个信息系统用 1 bit 的数据块就可以表示了 不确定(混乱程度)是1 bit

当你把这个bit的数据值确定下来 你就消灭了 1bit 的不确定度 得到了 1 bit 的信息.

0, 1 是 1 bit 的信息位置的两个取值.

当你把 1 bit 的信息位置的两个状态 0, 1 分别赋予 1/2的概率时
S
= Sum[p_i log[2, p_i], i=0..1]
= 1/2 * (-1) + 1/2 * (-1)
= -1
不确定度是 -1. 单位是bit :) 每次确定时信息数据量都是 1 bit.

对于这样一个系统 [一个字符char='C' (只能取'C') 重复有限次'CCCCCCCC']
S
= Sum[p_i log[2, p_i], i='C'..'C']
= 1 * log[2, 1]
= 0

如果系统是[36个字符值 1个字符位置] 那总共有36 个状态 每个状态都由一个 P_i 你可以算出 S > (1 bit).

如果系统是[36个字符值 10个字符位置] 那总共有状态Order[10, 36]个(算一下排列数就可以) 每个有一个概率 P_i 你可以算一下 S > 10 bit. :D

我们简但列举的文化系统中的 E_i 就是一个个取值.

你可以算算我们的文化系统有多少不确定度(熵). 当你得到[无神]这个信息时 你能消灭很大一批不确定性(信息点) 呵呵.

商是一个系统的统计量 一个系统中每个取值(或称为状态)的熵分量不能孤立来看 只能放到系统中去看 (P_i).