信息是通信系统的源头，无论它是模拟的还是数字的。信息论是研究信息编码以及信息的量化，存储和交流的一种数学方法。

事件发生的条件

如果我们考虑一个事件，则有三个发生条件。

• 如果事件尚未发生，则存在不确定性条件。

• 如果该事件刚刚发生，则有意外的情况。

• 如果该事件已经发生，那么需要时光倒流，这是有一些信息的条件。

因此，这三个发生在不同的时间。这些条件的差异，有助于我们了解事件发生的概率。

熵

当我们观察事件发生的可能性时，无论它会带来多大的意外或不确定，这都意味着我们正在尝试对事件源中信息的平均含量有所了解。

熵可以定义为每个源符号的平均信息含量的度量。信息论之父克劳德·香农( Claude Shannon)给出了一个公式：

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

其中$ p_i $是从给定字符流中出现字符编号i的概率，b是所用算法的基础。因此，这也称为香农熵。

观察通道输出后，通道输入周围剩余的不确定性称为条件熵。用$ H(x \ arrowvert y)$表示

离散无记忆源

独立于先前值的，以连续间隔发射数据的源可以称为离散无记忆源。

该源是离散的，因为不考虑连续的时间间隔，而是以离散的时间间隔。该源是无记忆的，因为它在每个时刻都是最新的，而无需考虑先前的值。

源代码

根据定义，“给定一个离散的无记忆熵源$ H(\ delta)$，任何源编码的平均代码字长度$ \ bar {L} $都以$ \ bar {L} \ geq H为界(\ delta)$”。

用简单的词来说，代码词(例如：单词QUEUE的摩尔斯电码是-.- ..- …-。)始终大于或等于源代码(例如QUEUE)。这意味着代码字中的符号大于或等于源代码中的字母。

通道编码

通信系统中的信道编码，通过控制引入了冗余，从而提高了系统的可靠性。源代码编码减少了冗余以提高系统效率。

通道编码由两个部分组成。

• 将输入数据序列映射到通道输入序列。

• 将通道输出序列反向映射为输出数据序列。

最终目标是使通道噪声的整体影响最小。

映射是由发射机在编码器的帮助下完成的，而逆映射是由接收机在解码器的帮助下完成的。