信息论与编码作业答案新超全.docx
- 文档编号:13196900
- 上传时间:2023-06-12
- 格式:DOCX
- 页数:10
- 大小:17.64KB
信息论与编码作业答案新超全.docx
《信息论与编码作业答案新超全.docx》由会员分享,可在线阅读,更多相关《信息论与编码作业答案新超全.docx(10页珍藏版)》请在冰点文库上搜索。
信息论与编码作业答案新超全
信息论与编码作业答案(新)超全
篇一:
信息论与编码姜丹第三版答案
信息论与编码习题参考答案第一章单符号离散信源
信息论与编码作业是74页,的
(1)(5),,,,,还有证明熵函数的连续性、扩展性、可加性
同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量;
(2)“两个5同时出现”这一事件的自信息量;(3)两个点数的各种组合的熵;(4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。
解:
11
样本空间:
N?
c6c6?
6?
6?
36
n12
?
?
I(a)?
?
logP1?
log18?
(2)P2?
2?
?
I(a)?
?
logP2?
log36?
N36
(1)P1?
(3)信源空间:
?
log?
6?
?
log36?
36236
?
H(x)?
15?
2436636836
?
log36+?
log?
?
log?
?
log363623633641036636
?
?
log+?
log?
365366n1136
(5)P3?
3?
?
I(a)?
?
logP3?
log?
N3611
?
H(x)?
如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya),(Xb,Yb),但A,B不能同时落入同一方格内。
(1)若仅有质点A,求A落入任一方格的平均信息量;
(2)若已知A已落入,求B落入的平均信息量;(3)若A,B是可辨认的,求A,B落入的平均信息量。
解:
1
(1)?
A落入任一格的概率:
P(ai)?
?
I(ai)?
?
logP(ai)?
log48
48
?
H(a)P(ai)logP(ai)?
log48?
i?
1
48
(2)?
在已知A落入任一格的情况下,B落入任一格的概率是:
P(bi)?
?
I(bi)?
?
logP(bi)?
log47
?
H(b)P(bi)logP(bi)?
log47?
i?
148
1
47
(3)AB同时落入某两格的概率是P(ABi)?
?
I(ABi)?
?
logP(ABi)
48?
47i?
1
11?
4847
H(ABi)P(ABi)logP(ABi)?
log(48?
47)?
从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:
“你是否是红绿色盲?
”他的回答可能是:
“是”,也可能“不是”。
问这两个回答中各含有多少信息量?
平均每个回答中各含有多少信息量?
如果你问一位女士,则她的答案中含有多少平均信息量?
解:
对于男士:
回答“是”的信息量:
I(my)?
?
logP(my)?
?
log7%?
回答“不是”的信息量:
I(mn)?
?
logP(mn)?
?
log93%?
平均每个回答信息量:
H(m)?
?
P(my)?
logP(my)?
P(mn)?
logP(mn)?
-7%?
log7%-93%?
log93%?
对于女:
回答“是”的信息量:
I(wy)?
?
logP(wy)?
?
%回答“不是”的信息量:
I(mn)?
?
logP(mn)?
?
%
平均每个回答信息量:
H(m)?
?
P(wy)?
logP(wy)?
P(wn)?
logP(wn)?
-%?
%-%?
%?
某一无记忆信源的符号集为{0,1},已知p0?
13
,p1?
23
。
(1)求符号的平均信息量;
(2)由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)
的自信量的表达式;
(3)计算
(2)中序列的熵。
解:
1122
(1)H(x)?
?
p0logp0?
p1logp1log?
?
log?
/symble
3333
12
(2)I(A)?
?
mlogp0?
(1000?
m)logp?
?
mlog?
(1000?
m)logbit
33
(3)H(A)?
1000H(X)?
1000?
?
918bit/sequenceH(A)p0logp0?
i?
1m
1000?
m
?
i?
1
p1logp1?
?
m12(1000?
m)2
log?
log3333
设信源X的信源空间为:
a1a2a3a4a5a6?
X:
[x?
p]:
?
?
p(X)
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
H(X)p(ai)logp(ai)
i?
1
6
2?
bit/symble
可见H(X)?
?
log6?
不满足信源熵的极值性,
这是因为信源熵的最大值是在?
pi?
1的约束条件下求得的,但是本题中
i?
1r
?
p
i?
1
6
i
?
不满足信源熵最大值成立的约束条件,所以H(X)?
log6。
为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。
求传输此图象所需要的信息率(bit/s)。
解:
由于亮度电平等概出现,由熵的极值性:
每个像素的熵是:
H(x0)?
?
p(ai)logp(ai)?
log10?
/pels
i?
110
每帧图像的熵是:
H(X)?
5?
105?
H(x0)?
5?
105106bit/frame
?
所需信息速率为:
R?
r(frame/s)?
H(X)(bit/frame)?
30?
?
106?
?
107bit/s
设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。
证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?
10?
300bit量化
?
每个像素的熵是:
H(x1)?
?
p(bi)logp(bi)?
log300bit/pels
i?
1300
?
H(x1)log300
(x0)log10
?
彩色电视系统每个像素信息量比黑白电视系统大倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高倍左右.
每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。
问每帧图像含有多少信息量?
若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字?
解:
每帧图象所含信息量:
H(X)?
3?
105?
H(x)?
3?
105?
log128?
?
106bit/symble1000
?
?
每个汉字所包含信息量:
H(c)?
?
logp每个汉字所出现概率p?
描述一帧图像需要汉字数n,H(X)?
nH(c)H(X)?
106n105/frame
H(c)?
?
最少需要?
105个汉字
给定一个概率分布(p1,p2,...,pn)和一个整数m,0?
m?
n。
定义qm?
1?
?
p,证明:
ii?
1
m
H(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)。
并说明等式何时成立?
证:
先证明f(x)?
?
xlogx(x?
0)为凸函数,如下:
loge
又x?
0x
loge
?
f?
?
(x)?
(?
xlogx)0即f(x)?
?
xlogx(x?
0)为凸函数。
x?
f?
?
(x)?
(?
xlogx)
又?
H(p1,p2,...,pn)pilogpi?
i?
1m
i?
m?
1
?
plogp
i
n
i
由凸函数的性质,变量函数的平均值小于变量的算术平均值的函数,可得:
?
i?
m?
1
?
pilogpi?
?
(n?
m)
i?
m?
1
n
i?
m?
1
?
f(p)
i
n
n?
m
?
?
(n?
m)f(
i?
m?
1
?
p
n
i
n?
m
)?
?
(n?
m)
i?
m?
1
?
p
n
i
n?
m
log
i?
m?
1
?
p
n
i
n?
m
?
?
qmlog
qmn?
m
即?
?
plogp
i
n
i
?
?
qmlogqm?
qmlog(n?
m)
当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
?
H(p1,p2,...,pn)pilogpi?
m
?
plogp
i
n
i
pilogpi?
qmlogqm?
qmlog(n?
m)
m
i?
1
i?
m?
1
i?
1
m?
H(p1,p2,...,pm,qm)pilogpi?
qmlogqm
i?
1
?
H(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。
解:
n
m
H(p1,p2,...,pn)pilogpi?
H(q1,q2,...,qm)qilogqi
i?
1
i?
1
篇二:
信息论与编码课程大作业
信息论与编码课程大作业
1、以下面方向为题,写一份论文报告:
(题目可以自己定义,只要内容在以
下范围之内)
a)信息理论方法的应用
b)信息率失真函数与有损数据压缩技术
c)信源编码及其发展动态
d)论信源编码与信道编码
e)论现代密码体制
f)论通信与香农三大定理的关系
2、论文格式要求
a)按题目、名字学号、摘要、关键词、正文、结论、参考文献进行书写,格式要统一规范,图表要完备;
b)字体小四、宋体、行距;
c)任意两个同学的论文不能相同,如相同20%以上则视为零分;
3、论文内容要求
1)论文不能写成综述性文章,必须是对技术的探讨与分析,研究并提出自己的论点;
2)论文中要有图形、框图等。
4、大作业分数评定标准
1)符合选题要求10分;
2)格式规范10分;
3)内容论述正确、图表完备、分析深入60分;
4)有自己见解及技术上的创新性20分。
5、期末总成绩评分标准
1)平时成绩40%(由考勤+作业构成);
2)期末大作业成绩60%。
篇三:
2015年最新超全满分电大形成性考核册作业作业参考答案1-4(全)·
10:
39:
55
希望回忆2015-03-3110:
39:
55
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 作业 答案 新超全