信息熵是表示信源输出后,每个消息所提供的()。A、总信息量B、平均信息量C、个别信息量D、绝对平均信息量

第1题：

设信源产生符号aj这个事件的概率是Pj ，则对每个信源输出的平均信息量（熵）如何定义？

第2题：

有一个信源，输出0和1的概率分别是0.2和0.8，求： 1）0所携带的信息量是多少？1所携带的信息量是多少？ 2）这个信源的熵是多少？

第3题：

已知某四进制离散等概信源（0，1，2，3），其符号出现概率分别为1/2、1/4、1/8和1/8，且互相独立，信源发送的消息为13201010100201300200100210300101020010030103210，求： （1）消息中实际包含的信息量； （2）用熵的概念计算消息的信息量。

第4题：

如果信源编码速率R＜H（U)，H（U)为信源熵，则不能在再现信源消息。

第5题：

四进制离散信源（0，1，2，3）中各符号出现的概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的，试求： （1）该信源的平均信息量（熵）； （2）该信源发送的某条消息：20102013021300120321010032101002310200201031203 2100120210的总信息量。