信息论与编码理论习题三文档格式.doc
- 文档编号:1503536
- 上传时间:2023-04-30
- 格式:DOC
- 页数:7
- 大小:412KB
信息论与编码理论习题三文档格式.doc
《信息论与编码理论习题三文档格式.doc》由会员分享,可在线阅读,更多相关《信息论与编码理论习题三文档格式.doc(7页珍藏版)》请在冰点文库上搜索。
8.在信息处理中,随着处理级数的增加,输入消息和输出消息之间的平均互信息量趋于。
二.选择题(共10分,每小题2分)
1、有一离散无记忆信源X,其概率空间为,则其无记忆二次扩展信源的熵H(X2)=()
A、1.75比特/符号;
B、3.5比特/符号;
C、9比特/符号;
D、18比特/符号。
2、信道转移矩阵为,其中两两不相等,则该信道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C,下列说法正确的是:
()
A、互信息量一定不大于C
B、交互熵一定不小于C
C、有效信息量一定不大于C
D、条件熵一定不大于C
4、在串联系统中,有效信息量的值()
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P,则其信道容量为:
A、C、
B、D、
三.综合题
1.已知信源
(1)用霍夫曼编码法编成二进制变长码;
(6分)
(2)计算平均码长;
(4分)
(3)计算编码信息率;
(2分)
(4)计算编码后信息传输率;
(5)计算编码效率。
2.一个一阶马尔可夫信源,转移概率为
。
(1)画出状态转移图。
(2)计算稳态概率。
(3)计算马尔可夫信源的极限熵。
(4)计算稳态下,及其对应的剩余度。
3.设离散无记忆信源的概率空间为,通过干扰信道,信道输出端的接收符号集为,信道传输概率如下图所示。
(1)计算信源中事件包含的自信息量;
(2)计算信源的信息熵;
(3)计算信道疑义度;
(4)计算噪声熵;
(5)计算收到消息后获得的平均互信息量。
参考答案:
一.填空
(1)有效性,可靠性,安全性
(2)1.75bit/符号(3),唯一可译码存在(4)唯一可译码(5)W=WP(6)MAXH(Y)(7)等概___log(n)(8)减少
1.
(1)
(2)
(3)
(4)
(5)
2.
解:
(1)
(2)由公式
有
得
(3)该马尔可夫信源的极限熵为:
(4)在稳态下:
对应的剩余度为
3.
(1)
(2)
(3)转移概率:
xy
y1
y2
x1
5/6
1/6
x2
3/4
1/4
联合分布:
2/3
12/15
4/5
3/20
1/20
1/5
49/60
11/60
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 理论 习题