一个信源输出的符号前后有相关性时，信号输出的熵将减少，这就是一种形式的剩余。 信源的剩余度，也称为多余度，与熵的减少有关。

首先得给出相对熵的定义，一个实际信源输出的熵H(x)与其最大可能的熵Hmax(x)的比值定义为相对熵；

相对熵=H(x)/Hmax(x)

信源最大可能熵与实际熵的差定义为内熵，即

内熵=Hmax(x)-H(x)

相对熵，剩余度（或多余度），内熵都可以表示信源的剩余情况。