信息论初步

信息论初步

1. 自信息量(香农信息量): 一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定义为其发生概率对数的负值

\[I(x) = \log \frac{1}{P(x)} = -\log P(x)\]

log以2为底时，单位为比特(bit)

1. 信息熵: 信息熵是对所有可能发生的事件的信息量的期望值，也就是随机变量的不确定性的度量

\[H(X) = -\sum_{i=1}^{n}P(x_i)\log P(x_i)\]

1. 最大离散熵定理(香农不等式)：对于离散随机变量，当其可能的取值等概分布时，其熵达到最大值。即信源X中包含N个不同离散消息时，信源熵H(X)有

   \[H(X) \leq \log N\]

   广义香农不等式：对于任意一个信源X，其熵H(X)不大于其最大离散熵

   \[\log_2n=H_0\geq H_1\geq H_2\geq\cdots\geq H_m>H_\infty\]

2. 联合自信息量: 两个事件同时发生的信息量

\[I(x,y) = \log \frac{1}{P(x,y)} = -\log P(x,y)\]

1. 条件自信息量: 已知事件Y发生的情况下，事件X发生的信息量

\[I(X|Y) = \log \frac{1}{P(X|Y)} = -\log P(X|Y)\]

1. 条件熵: 已知随机变量Y的条件下，随机变量X的条件熵

\[H(X|Y) = -\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_i,y_j)\log P(x_i|y_j)\]

1. 联合信息熵: 两个随机变量的联合信息熵

\[H(X,Y) = -\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_i,y_j)\log P(x_i,y_j)\]

1. 联合熵与条件熵的关系:

\[H(X,Y) = H(X|Y) + H(Y)\]

1. 互信息量: 两个随机变量之间的互信息量，表示一个随机变量中包含另一个随机变量的信息量

\[I(X;Y) = \sum_{i=1}^{n}\sum_{j=1}^{m}P(x_i,y_j)\log \frac{P(x_i,y_j)}{P(x_i)P(y_j)}\]

1. 冗余度: 表示一个信源在实际发出消息时所包含的多余消息

   \(I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)\) 信源效率: $\eta=\frac{H_\infty}{H_0}$

   信源冗余度: $\rho=1-\eta$