信息论与编码精彩试题集与问题详解.docx
- 文档编号:18558436
- 上传时间:2023-08-19
- 格式:DOCX
- 页数:17
- 大小:180.86KB
信息论与编码精彩试题集与问题详解.docx
《信息论与编码精彩试题集与问题详解.docx》由会员分享,可在线阅读,更多相关《信息论与编码精彩试题集与问题详解.docx(17页珍藏版)》请在冰点文库上搜索。
信息论与编码精彩试题集与问题详解
一填空题
1、平均自信息为
表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:
离散无记忆信源,等概率分布时熵最大,最大熵值为
。
3、香农公式为
为保证足够大的信道容量,可采用
(1)用频带换信噪比;
(2)用信噪比换频带。
4、只要
,当N足够长时,一定存在一种无失真编码。
5、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
6、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
7.人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
8.信息的可度量性是建立信息论的基础。
9.统计度量是信息度量最常用的方法。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是0。
14、不可能事件的自信息量是∞。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理:
当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
18、离散平稳有记忆信源的极限熵,
。
19、对于n元m阶马尔可夫信源,其状态空间共有nm个不同的状态。
20、一维连续随即变量X在[a,b]区间内均匀分布时,其信源熵为log2(b-a)。
21、平均功率为P的高斯分布的连续信源,其信源熵,Hc(X)=
。
22、对于限峰值功率的N维连续信源,当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源,当概率密度高斯分布时,信源熵有最大值。
24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值P和信源的熵功率
之比。
25、若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为3。
26、m元长度为ki,i=1,2,···n的异前置码存在的充要条件是:
。
27、若把掷骰子的结果作为一离散信源,则其信源熵为log26。
28.熵是香农信息论最基本最重要的概念。
29.事物的不确定度是用时间统计发生概率的对数来描述的。
30、一副充分洗乱的扑克牌(52张),从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为
。
31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续信道。
32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为无记忆信道。
33、具有一一对应关系的无噪信道的信道容量C=log2n。
34、强对称信道的信道容量C=log2n-Hni。
35、对称信道的信道容量C=log2m-Hmi。
36、对于离散无记忆信道和信源的N次扩展,其信道容量CN=NC。
37、对于N个对立并联信道,其信道容量CN=
。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为加性连续信道。
42、高斯加性信道的信道容量C=
。
43、信道编码定理是一个理想编码的存在性定理,即:
信道无失真传递信息的条件是信息率小于信道容量。
44、信道矩阵
代表的信道的信道容量C=1。
45、信道矩阵
代表的信道的信道容量C=1。
46、高斯加性噪声信道中,信道带宽3kHz,信噪比为7,则该信道的最大信息传输速率Ct=9kHz。
47、对于具有归并性能的无燥信道,达到信道容量的条件是p(yj)=1/m)。
48、信道矩阵
代表的信道,若每分钟可以传递6*105个符号,则该信道的最大信息传输速率Ct=10kHz。
50、求解率失真函数的问题,即:
在给定失真度的情况下,求信息率的极小值。
51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越大,获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。
53、单符号的失真度或失真函数d(xi,yj)表示信源发出一个符号xi,信宿再现yj所引起的误差或失真。
54、汉明失真函数d(xi,yj)=
。
55、平方误差失真函数d(xi,yj)=(yj-xi)2。
56、平均失真度定义为失真函数的数学期望,即d(xi,yj)在X和Y的联合概率空间P(XY)中的统计平均值。
57、如果信源和失真度一定,则平均失真度是信道统计特性的函数。
58、如果规定平均失真度
不能超过某一限定的值D,即:
。
我们把
称为保真度准则。
59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。
60、试验信道的集合用PD来表示,则PD=
。
61、信息率失真函数,简称为率失真函数,即:
试验信道中的平均互信息量的最小值。
62、平均失真度的下限取0的条件是失真矩阵的每一行至少有一个零元素。
63、平均失真度的上限Dmax取{Dj:
j=1,2,···,m}中的最小值。
64、率失真函数对允许的平均失真度是单调递减和连续的。
65、对于离散无记忆信源的率失真函数的最大值是log2n。
66、当失真度大于平均失真度的上限时Dmax时,率失真函数R(D)=0。
69、保真度准则下的信源编码定理的条件是信源的信息率R大于率失真函数R(D)。
70、某二元信源
其失真矩阵D=
,则该信源的Dmax=a/2。
71、某二元信源
其失真矩阵D=
,则该信源的Dmin=0。
72、某二元信源
其失真矩阵D=
,则该信源的R(D)=1-H(D/a)。
73、按照不同的编码目的,编码可以分为三类:
分别是信源编码、信道编码和安全编码。
74、信源编码的目的是:
提高通信的有效性。
76、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加2个概率为0的消息。
80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。
81、对于二元序列0011100000011111001111000001111111,其相应的游程序列是23652457。
85、在实际的游程编码过程中,对长码一般采取截断处理的方法。
88、“冗余变换”即:
将一个冗余序列转换成一个二元序列和一个缩短了的多元序列。
91、信道编码的最终目的是提高信号传输的可靠性。
92、狭义的信道编码即:
检、纠错编码。
93、BSC信道即:
二进制对称信道。
94、n位重复码的编码效率是1/n。
96、任意两个码字之间的最小汉明距离有称为码的最小距dmin,则dmin=
。
97、若纠错码的最小距离为dmin,则可以纠正任意小于等于t=
个差错。
98、若检错码的最小距离为dmin,则可以检测出任意小于等于dmin-1个差错。
99、线性分组码是同时具有分组特性和线性特性的纠错码。
100、循环码即是采用循环移位特性界定的一类线性分组码。
1.信息的基本概念在于它的 不确定性 。
2.按照信源发出的消息在时间和幅度上的分布情况,可将信源分成 离散 信源和连续 信源两大类。
3.按树图法构成的码一定满足 即时码的定义。
4. 有扰离散信道编码定理 称为香农第二极限定理。
5.纠错码的检、纠错能力是指 检测、纠正错误码元的数目 。
6.信道一般指传输信息的物理媒介,分为 有线 信道和 无线 信道。
7.设X的取值受限于有限区间[a,b],则X服从均匀分布时,其熵达到最大;如X的均值为
,方差受限为
,则X服从高斯分布时,其熵达到最大。
8.根据码字所含的码元的个数,编码可分为定长编码和变长编码。
9.在现代通信系统中,信源编码主要用于解决信息传输中的有效性,信道编码主要用于解决信息传输中的可靠性,加密编码主要用于解决信息传输中的安全性。
10.对称DMC信道的输入符号数为n,输出符号数为m,信道转移概率矩阵为pij,则该信道的容量为
。
11.采用m进制编码的码字长度为Ki,码字个数为n,则克劳夫特不等式为
,它是判断唯一可译码存在的充要条件。
12.差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。
13.齐次马尔可夫信源的一步转移概率矩阵为P,稳态分布为W,则W和P满足的方程为W=WP。
14.设某信道输入端的熵为H(X),输出端的熵为H(Y),该信道为无噪有损信道,则该信道的容量为MAXH(Y)。
15.某离散无记忆信源X,其符号个数为n,则当信源符号呈等概_____分布情况下,信源熵取最大值___log(n)。
由m个“0”和(100-m)个“1”构成的序列,序列的自信息量为
比特/符号。
16.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3____个随机错,最多能
纠正__1____个随机错。
17.克劳夫特不等式是唯一可译码___存在___的充要条件。
18.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___I(X;Y)=H(X)-H(X/Y)___。
19_信源___提高通信的有效性,_信道____目的是提高通信的可靠性,_加密__编码的目的是保证通信的安全性。
20.信源编码的目的是提高通信的有效性,信道编码的目的是提高通信的可靠性,加密编码的目的是保证通信的安全性。
21.设信源X包含8个不同离散消息,当且仅当X中各个消息出现的概率为__1/8__时,信
源熵达到最大值,为___3____。
22.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越_小___。
23.信源的冗余度来自两个方面,一是信源符号之间的__相关性__,二是信源符号分布的
__不均匀性__。
24.最大后验概率译码指的是译码器要在已知r的条件下找出可能性最大的发码作为译码估值,即令=maxP(|r)___。
25.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
26.在无失真的信源中,信源输出由H(X)来度量;在有失真的信源中,信源输出由R(D)来度量。
27.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是
;当归一化信道容量C/W趋近于零时,也即信道完全丧失了通信能力,此时Eb/N0为-1.6dB,我们将它称作香农限,是一切编码方式所能达到的理论极限。
28.已知n=7的循环码
,则信息位长度k为3,校验多项式
h(x)=
。
二、判断题
1.可以用克劳夫特不等式作为唯一可译码存在的判据。
()
2.线性码一定包含全零码。
()
3.算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的
编码,是以另外一种形式实现的最佳统计匹配编码。
(×)
4.某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。
(×)
5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。
(×)
6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X,当它是正态分布时具
有最大熵。
()
7.循环码的码集中的任何一个码字的循环移位仍是码字。
()
8.信道容量是信道中能够传输的最小信息量。
(×)
9.香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
(×)
10.在已知收码R的条件下找出可能性最大的发码
作为译码估计值,这种译码方
法叫做最佳译码。
()
11.确定性信源的熵H(0,0,0,1)=1。
(错)
12.信源X的概率分布为P(X)={1/2,1/3,1/6},对其进行哈夫曼编码得到的码是唯一的。
(错)
13.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
(对)
14.非奇异的定长码一定是唯一可译码。
(对)
15.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下,信息率容许压缩的最小值。
(对)
16.信源X的概率分布为P(X)={1/2,1/3,1/6},信源Y的概率分布为P(Y)={1/3,1/2,1/6},则
信源X和Y的熵相等。
(对)
17.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。
(错)
18.对信源符号X={a1,a2,a3,a4}进行二元信源编码,4个信源符号对应码字的码长分别为K1=1,K2=2,K3=3,K3=3,满足这种码长组合的码一定是唯一可译码。
(错)
19.DMC信道转移概率矩阵为
,则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。
(错)
20.设C={000000,001011,010110,011101,100111,101100,110001,111010}是一个二元线性分组码,则该码最多能检测出3个随机错误。
(错)
21.必然事件和不可能事件的自信息量都是0。
错
22.自信息量是
的单调递减函数。
对
23.单符号离散信源的自信息和信源熵都具有非负性。
对
24.单符号离散信源的自信息和信源熵都是一个确定值。
错
25单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。
对
26.自信息量、条件自信息量和联合自信息量之间有如下关系:
对
27.自信息量、条件自信息量和互信息量之间有如下关系:
对
28.当随即变量X和Y相互独立时,条件熵等于信源熵。
对
29.当随即变量X和Y相互独立时,I(X;Y)=H(X)。
错
30、信源熵具有严格的下凸性。
错
31、平均互信息量I(X;Y)对于信源概率分布p(xi)和条件概率分布p(yj/xi)都具有凸函数性。
对
32、m阶马尔可夫信源和消息长度为m的有记忆信源,其所含符号的依赖关系相同。
错
33、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
对
35、一维高斯分布的连续信源,其信源熵只与其均值和方差有关。
错
36、连续信源和离散信源的熵都具有非负性。
错
37、连续信源和离散信源都具有可加性。
对
38、连续信源和离散信源的平均互信息都具有非负性。
对
39、定长编码的效率一般小于不定长编码的效率。
对
40、若对一离散信源(熵为H(X))进行二进制无失真编码,设定长码子长度为K,变长码子平均长度为
,一般
>K。
错
41、信道容量C是I(X;Y)关于p(xi)的条件极大值。
对
42、离散无噪信道的信道容量等于log2n,其中n是信源X的消息个数。
错
43、对于准对称信道,当
时,可达到信道容量C。
错
46、高斯加性信道的信道容量只与信道的信噪有关。
对
47、信道无失真传递信息的条件是信息率小于信道容量。
对
48、最大信息传输速率,即:
选择某一信源的概率分布(p(xi)),使信道所能传送的信息率的最大值。
错
49、对于具有归并性能的无燥信道,当信源等概率分布时(p(xi)=1/n),达到信道容量。
错
50、求解率失真函数的问题,即:
在给定失真度的情况下,求信息率的极小值。
对
51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。
错
52、当p(xi)、p(yj/xi)和d(xi,yj)给定后,平均失真度是一个随即变量。
错
53、率失真函数对允许的平均失真度具有上凸性。
对
54、率失真函数没有最大值。
错
55、率失真函数的最小值是0。
对
56、率失真函数的值与信源的输入概率无关。
错
57、信源编码是提高通信有效性为目的的编码。
对
58、信源编码通常是通过压缩信源的冗余度来实现的。
对
59、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。
错
60、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。
对
61、在编m(m>2)进制的哈夫曼码时,要考虑是否需要增加概率为0的码字,以使平均码长最短。
对
66、对于BSC信道,信道编码应当是一对一的编码,因此,消息m的长度等于码字c的长度。
错
67、等重码和奇(偶)校验码都可以检出全部的奇数位错。
对
68、汉明码是一种线性分组码。
对
69、循环码也是一种线性分组码。
对
70、卷积码是一种特殊的线性分组码。
错
三、名词解释
1.奇异码
包含相同的码字的码称为奇异码。
2.码距
两个等长码字之间对应码元不相同的数目,称为码距。
3.输出对称矩阵
转移概率矩阵的每一列都是第一列的置换(包含同样元素),则该矩阵称为输出对称矩阵。
四、单项选择题
1.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj/xi),(D)
A.数量上不等,单位不同B.数量上不等,单位相同
C.数量上相等,单位不同D.数量上相等,单位相同
2.条件熵和无条件熵的关系是:
(C)
A.H(Y/X)<H(Y)B.H(Y/X)>H(Y)
C.H(Y/X)≤H(Y)D.H(Y/X)≥H(Y)
3.根据树图法构成规则,(D)
A.在树根上安排码字B.在树枝上安排码字
C.在中间节点上安排码字D.在终端节点上安排码字
4.下列说法正确的是:
(C)
A.奇异码是唯一可译码B.非奇异码是唯一可译码
C.非奇异码不一定是唯一可译码D.非奇异码不是唯一可译码
5.下面哪一项不属于熵的性质:
(B)
A.非负性B.完备性
C.对称性D.确定性
6.下面表达式中正确的是(A)。
A.
B.
C.
D.
7.线性分组码不具有的性质是(C)。
A.任意多个码字的线性组合仍是码字
B.最小汉明距离等于最小非0重量
C.最小汉明距离为3
D.任一码字和其校验矩阵的乘积cmHT=0
8.率失真函数的下限为(B)。
A.H(U)B.0C.I(U;V)D.没有下限
9.纠错编码中,下列哪种措施不能减小差错概率(D)。
A.增大信道容量B.增大码长C.减小码率D.减小带宽
10.下列陈述中,不正确的是(D)。
A.离散无记忆信道中,H(Y)是输入概率向量的凸函数
B.满足格拉夫特不等式的码字为惟一可译码
C.一般地说,线性码的最小距离越大,意味着任意码字间的差别越大,则码的检错、
纠错能力越强
D.满足格拉夫特不等式的信源是惟一可译码
11.下列不属于消息的是(B)。
A.文字B.信号C.图像D.语言
12.为提高通信系统传输消息有效性,信源编码采用的方法是(A)。
A.压缩信源的冗余度B.在信息比特中适当加入冗余比特
C.研究码的生成矩阵D.对多组信息进行交织处理
13.最大似然译码等价于最大后验概率译码的条件是(D)。
A.离散无记忆信道B.无错编码
C.无扰信道D.消息先验等概
14.下列说法正确的是(C)。
A.等重码是线性码
B.码的生成矩阵唯一
C.码的最小汉明距离等于码的最小非0重量
D.线性分组码中包含一个全0码字
15.二进制通信系统使用符号0和1,由于存在失真,传输时会产生误码,用符号表示下列事件,u0:
一个0发出u1:
一个1发出v0:
一个0收到v1:
一个1收到
则已知收到的符号,被告知发出的符号能得到的信息量是(A)。
A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)
16.同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为(B)。
A.-log36bitB.log36bitC.-log(11/36)bitD.log(11/36)bit
17.下列组合中不属于即时码的是(A)。
A.{0,01,011}B.{0,10,110}C.{00,10,11}D.{1,01,00}
18.已知某(6,3)线性分组码的生成矩阵
,则不用计算就可判断出下列码中不是该码集里的码是(D)。
A.000000B.110001C.011101D.111111
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 精彩 试题 问题 详解
![提示](https://static.bingdoc.com/images/bang_tan.gif)