一个信源输出的符号前后有相关性时，信号输出的熵将减少，这就是一种形式的剩余。

信源的剩余度，也称为多余度，与熵的减少有关。因此，香农用熵的降低量来定义剩余度。

首先得给出相对熵的定义，一个实际信源输出的熵H(x)与其最大可能的熵Hmax(x)的比值定义为相对熵；

相对熵=H(x)/Hmax(x)

1与相对熵之差定义为剩余度，用E表示

E=剩余度=1-[H(x)/Hmax(x)]。