对于离散信源而言，信源概率空间的概率分别为P(x1),P(x2),P(x3),P(x4)...P(xn)。显然信源这时输出一个消息提供的信息量就等于信源的不确定度。

我们又知道，当概率P越小，x消息出现的概率就越小，一旦出现所获得的信息量就越大。因此，我们定义I(x)=log[1/p(x)],通常称I(x)为消息x的自信息量，它具有随机变量的性质，但自信息量不能表示信源总体的不肯定度。