信息是通信系统的源头，无论它是模拟的还是数字的。信息论是研究信息编码以及信息的量化，存储和交流的一种数学方法。

事件发生的条件

如果我们考虑一个事件，则有三个发生条件。

• 如果事件尚未发生，则存在不确定性条件。

• 如果该事件刚刚发生，则有意外的情况。

• 如果该事件已经发生，那么需要时光倒流，这是有一些信息的条件。

这三个事件发生在不同的时间。这些条件的差异有助于我们了解事件发生的概率。

熵

当我们观察到事件发生的可能性时，它会是多么令人惊讶或不确定，这意味着我们正在尝试对事件源中信息的平均含量有所了解。

熵可以定义为每个源符号的平均信息含量的度量。 “信息理论之父”克劳德·香农( Claude Shannon)为它提供了一个公式-

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

其中_pi是从给定的字符流中出现字符编号i的概率， b是所用算法的基础。因此，这也称为香农熵。

观察通道输出后，通道输入周围剩余的不确定性称为条件熵。用$ H(x \ mid y)$表示

相互信息

让我们考虑一个输出为Y而输入为X的通道

令先验不确定性的熵为X = H(x)

(假定在应用输入之前)

要知道输出的不确定性，在输入之后，让我们考虑条件熵，假设Y = y _k

$$ H \ left(x \ mid y_k \ right)= \ sum_ {j = 0} ^ {j-1} p \ left(x_j \ mid y_k \ right)\ log_ {2} \ left [\ frac {1 } {p(x_j \ mid y_k)} \ right] $$

这是$ H(X \ mid y = y_0)的随机变量\：… \：… \：… \：… \：… \：H(X \ mid y = y_k)$分别具有概率$ p(y_0)\：… \：… \：… \：… \：p(y_ {k-1)} $。

输出字母y的$ H(X \ mid y = y_k)$的平均值为-

$ H \ left(X \ mid Y \ right)= \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} H \ left(X \ mid y = y_k \ right)p \ left(y_k \ right )$

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left(x_j \ mid y_k \ right)p \ left (y_k \ right)\ log_ {2} \ left [\ frac {1} {p \ left(x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left(x_j，y_k \ right)\ log_ {2 } \ left [\ frac {1} {p \ left(x_j \ mid y_k \ right)} \ right] $

现在，考虑到两个不确定性条件(在应用输入之前和之后)，我们知道差值，即$ H(x)-H(x \ mid y)$必须表示有关已解决的通道输入的不确定性通过观察通道输出。

这称为通道的互信息。

将互信息表示为$ I(x; y)$，我们可以将整个事情写成等式，如下所示

$$ I(x; y)= H(x)-H(x \ mid y)$$

因此，这是互信息的等式表示。

互信息的属性

这些是相互信息的属性。

• 通道的相互信息是对称的。

  $$ I(x; y)= I(y; x)$$

• 相互信息是非负面的。

  $$ I(x; y)\ geq 0 $$

• 互信息可以用通道输出的熵表示。

  $$ I(x; y)= H(y)-H(y \ mid x)$$

  其中$ H(y \ mid x)$是一个条件熵

• 通道的互信息与通道输入和通道输出的联合熵有关。

  $$ I(x; y)= H(x)+ H(y)-H(x，y)$$

  联合熵$ H(x，y)$定义为

  $$ H(x，y)= \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p(x_j，y_k)\ log_ {2} \ left(\ frac {1} {p \ left(x_i，y_k \ right)} \ right)$$

通道容量

到目前为止，我们已经讨论了相互信息。在信令间隔的瞬间，当最大的平均互信息由离散的无存储信道传输时，最大可靠数据传输速率的概率可以理解为信道容量。

它用C表示，并以每通道使用的位为单位进行度量。

离散无记忆源

独立于先前值的，以连续间隔发射数据的源可以称为离散无记忆源。

该源是离散的，因为不考虑连续的时间间隔，而是以离散的时间间隔。该源是无记忆的，因为它在每个时刻都是最新的，而无需考虑先前的值。