4620刘雨萌.docx
- 文档编号:10949646
- 上传时间:2023-05-28
- 格式:DOCX
- 页数:15
- 大小:47.76KB
4620刘雨萌.docx
《4620刘雨萌.docx》由会员分享,可在线阅读,更多相关《4620刘雨萌.docx(15页珍藏版)》请在冰点文库上搜索。
4620刘雨萌
香农理论的应用与实践
学院:
理学与信息科学学院
专业班级:
信息与计算科学10级1班
姓名:
刘雨萌
学号:
20104620
指导老师:
吴慧
2013年6月25日
目录
中文摘要………………………………………………………………………………1
Abstract………………………………………………………………………………1
关键字…………………………………………………………………………………1
Keywords………………………………………………………………………………1
1.关于香农理论…………………………………………………………………1
1.1信息论历史回溯…………………………………………………………1
1.2香农信息定义……………………………………………………………1
1.3香农定理……………………………………………………………1
1.4香农三大定理………………………………………………………………2
1.4.1香农第一定理………………………………………………………2
1.4.2香农第二定理………………………………………………………2
1.4.3香农第三定理………………………………………………………3
1.5香农信息论对信道编码的指导意义………………………………………3
1.6香农信息论对信源编码的指导意义………………………………………3
1.7香农码………………………………………………………………………4
1.7.1香农码的构成………………………………………………………4
1.7.2二元香农码的编码步骤…………………………………………4
2.香农理论的应用与实践……………………………………………………………5
2.1香农理论在传播学的应用…………………………………………………5
2.2香农理论的实践……………………………………………………………5
3.香农理论的发展前景……………………………………………………………6
4.香农理论在现实应用中的局限性………………………………………………6
参考文献………………………………………………………………………………8
附录…………………………………………………………………………………9
香农理论的应用与实践
信息与计算科学专业刘雨萌
指导教师:
吴慧
摘要:
香农于1948年发表的论文《通信的数学理论》,为信息论的诞生和发展奠定了理论基础。
信息论在香农理论的指导下,在信源编码和信道编码进行了研究。
如今,香农理论广泛应用在传播学等方面,为信息论的发展提供了足够的理论支持。
然而,香农理论依然存在许多缺陷,限制了其在信息编码领域的发展。
关键字:
香农理论;应用;发展;局限性
ApplicationAndPracticeofShannonTheory
InformationAndComputingScienceLiuYumeng
TutorWuhui
Abstract:
In1948,Shannonpublishedthepaper"amathematicaltheoryofcommunication",laidthetheoreticalfoundationforthebirthanddevelopmentofinformationtheory.InformationtheoryundertheguidanceofShannonTheory,isstudiedinthesourcecodingandchannelcoding.InformationtheoryundertheguidanceofShannonTheory,isstudiedinthesourcecodingandchannelcoding.However,ShannonTheorystillhasmanydefects,limititsdevelopmentinthefieldofinformationcoding.
Keywords:
ShannonTheory;Application;Growth;Limitations
1.关于香农理论
1.1信息论历史回溯
伴随着科技的进步,社会的发展,社会信息活动也是在不断发展的。
但这种发展,突出地表现为随着信息传递方式的变革而产生的信息革命。
大致认为,人类发展到今天,信息革命已发生了四次,现在正在进行第五次信息革命。
第一次信息革命是以语言的产生、数的观念的形成为特征的; 第二次信息革命是以文字、纸张的产生为特征的; 第三信息革命是以印刷术的发明为特征的; 第四次信息革命是以电信传播技术的发明为特征的; 第五次信息革命是以电子计算机和通讯卫星的出现为特征的。
1.2香农信息定义
表1香农信息定义
压缩理论(研究信息表示的有效性)
有失真信源编码定理
信源编码理论
具体的信源编码
无失真信源编码定理
传输理论(研究信息传输的可靠性)
信道编码定理
信道编码理论
具体的信道编码
保密理论(研究信息的保密性)
保密编码定理
保密编码理论
具体的保密编码
1.3香农定理
香农定理描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系.
在有随机热噪声的信道上传输数据信号时,数据传输率Rmax与信道带宽B,信噪比S/N关系为:
Rmax=B*Log2(1+S/N)。
在信号处理和信息理论的相关领域中,通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个著名的公式,叫做香农(Shannon)定理。
它以比特每秒(bps)的形式给出一个链路速度的上限,表示为链路信噪比的一个函数,链路信噪比用分贝(dB)衡量。
因此我们可以用香农定理来检测电话线的数据速率。
香农定理由如下的公式给出:
C=B*log2(1+S/N)其中C是可得到的链路速度,B是链路的带宽,S是平均信号功率,N是平均噪声功率,信噪比(S/N)通常用分贝(dB)表示,分贝数=10×log10(S/N)。
通常音频电话连接支持的频率范围为300Hz到3300Hz,则B=3300Hz-300Hz=3000Hz,而一般链路典型的平均噪声功率是30dB,即S/N=1000,因此我们有C=3000×log2(1001),近似等于30Kbps,是28.8Kbps调制解调器的极限,因此如果电话网络的信噪比没有改善或不使用压缩方法,调制解调器将达不到更高的速率。
1.4香农三大定理
香农三大定理是信息论的基础理论。
香农三大定理是存在性定理,虽然并没有提供具体的编码实现方法,但为通信信息的研究指明了方向。
香农第一定理是可变长无失真信源编码定理。
香农第二定理是有噪信道编码定理。
香农第三定理是保失真度准则下的有失真信源编码定理。
1.4.1香农第一定理(可变长无失真信源编码定理)
设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN},信源发出K重符号序列,则此信源可发出N^k个不同的符号序列消息,其中第j个符号序列消息的出现概率为PKj,其信源编码后所得的二进制代码组长度为Bj,代码组的平均长度B为:
B=PK1B1+PK2B2+…+PN^kBN^k
当K趋于无限大时,B和H(X)之间的关系为B/K=H(X)(K趋近无穷)
香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义:
将原始信源符号转化为新的码符号,使码符号尽量服从等概分布,从而每个码符号所携带的信息量达到最大,进而可以用尽量少的码符号传输信源信息。
1.4.2香农第二定理(有噪信道编码定理)
有噪信道编码定理。
当信道的信息传输率不超过信道容量时,采用合适的信道编码方法可以实现任意高的传输可靠性,但若信息传输率超过了信道容量,就不可能实现可靠的传输。
设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R 公式: C=B*log2(1+S/N)注: B为信道带宽;S/N为信噪比,通常用分贝(dB)表示。 1.4.3香农第三定理(保失真度准则下的有失真信源编码定理) 保真度准则下的信源编码定理,或称有损信源编码定理。 只要码长足够长,总可以找到一种信源编码,使编码后的信息传输率略大于率失真函数,而码的平均失真度不大于给定的允许失真度,即D'<=D. 设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]},而编码后码的平均失真度D'(W)<=D+a。 1.5香农信息论对信道编码的指导意义 信息传输的可靠性是所有通信系统努力追求的首要目标。 要实现高可靠性的传输,可采取诸如增大发射功率、增加信道带宽、提高天线增益等传统方法,但要实现这些方法往往难度较大,有些场合甚至无法实现。 香农信息论研究的一个主要问题是信道编码问题,信道编码是在著名的信道编码定理指导下发展起来的。 该定理指出: 对信息序列进行适当的编码后可以提高信道传输的可靠性,对应的编码方法即为信道编码。 香农信道编码定理(香农第二定理)作为一个存在性定理,为寻找这种确实存在的好码指明了方向。 1.6香农信息论对信源编码的指导意义 信息传输的有效性是通信系统追求的另一个重要目标。 有效性是指在一定时间内传输尽可能多的信息量,或利用每一个传送符号来携带尽可能多的信息量,需要对信源进行高效率的编码,尽量消除信源中的多余度。 香农信息论研究在保证信息传输可靠性或传输错误概率小于某一个给定值的条件下,如何有效地利用信道的传输能力;研究在给定信源编码速率的条件下,信源编码的最小失真是多少。 香农信息论为我们寻找切实可行的和有效的信源编码与译码方法提供了理论依据和有价值的改进方向。 香农信息论讨论的多余度是统计多余度。 这种统计多余度包括信源中前后符号间相关性带来的多余度和信源符号分布不均匀导致的多余度。 统计多余度在各种信源中是普遍存在的,如何在无失真或限定失真的条件下对信源进行高效压缩编码是香农信息论研究的重点。 香农第一定律和香农第三定理分别从理论上给出了无失真信源编码与限失真信源编码的压缩极限,对于压缩编码的研究具有重要的理论指导意义。 香农信息论对信源统计多余度的透彻分析为各种具体压缩编码方法的研究提供了明确的思路。 香农信息论是从通信系统的最优化角度来研究新型的传递和出来问题的。 其最大特点是将概率统计的观点和方法引入到通信理论研究中,揭示了通信系统中传输的对象是信息,并对信息给出了科学和定量的描述,指出通信系统设计的中心问题是在噪声干扰下系统如何有效而可靠地传递信息,实现这一目标的途径是编码,而且从理论上证明了编码方法可以达到的最佳性能极限。 1.7香农码 1.7.1香农码的构成 选择每个码字的长度 满足关系式: (1) 或 式中 表示大于等于 的整数,按式 (1)选择的码长所构成的码称为香农码。 香农码满足克拉夫特不等式,所以一定存在对应码字的长度的唯一的可译码。 只有当信源符号的概率分布使不等式 (1)做吧的等号成立时,编码效率才能达到最高。 1.7.2二元香农码的编码步骤: ①将 个信源符号按概率递减的方式进行排列: ②按式①计算出每个信源符号的码长 。 ③为了编成唯一可译码,计算第 个信源符号的累加概率: ④将累加概率 用二进制数表示。 ⑤取 对应二进制数的小数点后 位构成该信源符号的二进制码字。 2.香农理论的应用与实践 2.1香农理论在传播学的应用 传播学(CommunicationStudies)是一门研究传播与交流过程的学科,通常被定义为“跨越一定时间与空间的符号共享”。 当传播学研究的起点和范围确定以后,传播学必须依靠某个科学原理作为其理论研究的科学依据。 这个科学原理必须具备了解释和包容传播运动规律的宽度是,传播学理论以及传播学研究才能证明自己的科学性。 传播学在寻找着自然科学和技术理论的支持,香农理论便成为了其首选依据。 香农在信号处理和信息理论等相关领域的研究中,通过计算信号在经过一段距离如何衰减以及一个给定信号能加载多少数据之后,得到了一个公式: 。 其中,C是可得到的链路速度,B是链路的带宽,S是平均信号功率,N是平均噪声功率,信噪比(S/N)通常用分贝(dB)表示,分贝数=10×log10(S/N)。 这就是香农定理。 香农定理用数学公式计量了信息(比特)的流量,具备典型的工程学意义。 香农区别了信息传播的三个层次: A层,传播符号能够被准确发射(技术问题);B层,被发射的符号如何能够准确传递意图中的意义(语义学问题);C层被接受的意义如何有效地以意图中的方式影响行为(效果或行为问题)。 这种理论被后世应用于信息传播理论的研究。 从香农定理到编码与解码理论,已经建立起现代传播学理论的框架和模型,并基本解决了信息在传播过程中的定理和定性问题。 随着时间的推移,虽然数字技术背景下显现出来的信息传播问题,已经在信息传播的过程中极大地图片了现有传播学理论的边界,传播学理论急切地需要新内容,但是,香农理论作为传播学研究的基本范式,对于信道带宽的信息路径、对于信息流量的控制计量依然散发物理技术的悠长魅力。 2.2香农理论的实践 设信源共有7个信源符号,其分布概率如下图所示,试对改信源进行香农编码。 表2信源及香农编码过程 信源符号 概率 累加概率 对应的二进制数 码长 码字 0.20 0 0.000 2.34 3 000 0.19 0.2 0.0011… 2.41 3 001 0.18 0.39 0.0110… 2.48 3 011 0.17 0.57 0.1001… 2.56 3 100 0.15 0.74 0.1011… 2.74 3 101 0.10 0.89 0.1110… 3.34 4 1110 0.01 0.99 0.1111110… 6.66 7 1111110 程序及结果见附录 3.香农理论的发展前景 因为香农理论的局限性,香农理论在很多方面的发展受到制约。 例如在点对点通信中,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在50年代研究了twowaychannel,但未得出意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究。 香农理论的发展主要为网络信息论(目前中继信道比较活跃)、联合信源信道编码、多描述问题、高斯分布的码书的设计等,这些都是尚未解决的问题。 4.香农理论在现实应用中的局限性 香农理论是针对通信问题的,对于现实中的信息问题并不一定非常适用,后人将他的信息论称为狭义信息论。 香农理论的局限性主要体现在对信息的可靠性和完备想的忽视。 香农理论的局限性主要表现在: (1)香农理论经考虑了随机不确定性,而未考虑到信息表示中集合的局限性和信息的模糊性等不确定性。 (2)香农理论没有考虑语义和语用,许多学者认为这是香农理论的局限性的主要根源。 国内的钟义信就提出了包括语义信息、语法信息和语用信息全信息理论。 (3)香农理论没有考虑信息的可靠性问题。 现实中许多信息是不可靠的,而信息的可靠性却是信息价值的前提,是信息的主要指标。 而香农理论仅考虑了信息的不确定性,而忽略了信息的可靠性。 (4)香农理论忽略了信息并不完全发送的情况,没有考虑信息的完备性问题。 现实中很多信息都是不完备的、片面的,需要融合。 在没有更加完备信息的场合下,可以认为不完备的信息相对于完备的信息而言是不可靠的。 (5)在香农理论中一些简单的心得并联和串联可以合为一个信道,但是香农理论没有考虑信息复杂的多重传递,忽略了转换过程中,信息的表现发生改变,从而导致多重不确定性。 现实中的信息往往需要经过这种多重传递,导致不确定性。 (6)香农理论以通信为研究对象,其传输的信号本身是确定的,然而现实中却存在许多不确定性问题。 在通信中,定义信息为消除不确定性的东西无可厚非,但是面对本身不确定的信息,我们如果去消除其不确定性,只会导致信息失真,这是舍本逐末的。 信息的可靠性比确定性更加重要,现实中,人们也是宁可选择不确定,但是可靠的消息,也不会选择不可靠而确定的消息。 (7)香农理论中的条件相对而言是简单的,而且多数是以条件概率来表示的。 然而现实中许多种的信息的条件是比较复杂的。 (8)香农理论用先验概率来表示已知的信息,然而,现实中,许多已知的信息并不是可以用先验概率来表示,比如可能包含未知数,可能是某个约束条件,可能是某个规律,甚至可能是完全未知的。 (9)香农理论由于不考虑语义,没有考虑到信息可能本身都是不相容的,自相矛盾的。 现实中,有大量的信息可能是不一致和矛盾的。 香农理论没有考虑信息的可靠性,而信息的可靠性是一个非常重要的指标。 在通信中,由于消息是确定的,因此,不确定性的消除与可靠性的增加有一定的联系。 实际上,我们要消除不确定性是很容易的事情,而香农理论的消除不确定性是以保证信息的可靠性和完备性为基础的,对信息多重不确定性的忽视是信息论的局限性的重要的根源。 对信息可靠性的忽视也是香农理论无法广泛应用的重要原因。 鉴于所有的信息都很难可靠和完备,所以我们可以将可靠性和完备性问题总归为信息的相对性问题。 实际上,现实中人们很难得出完全可靠的信息,只有权宜地采用相对可靠的信息,当有更加可靠的信息的时候,人们会利用更可靠的信息取代先验的信息。 参考文献: [1]冯桂,林其伟,陈东华.信息论与编码技术.清华大学出版社.2001. [2]王勇.信息论的局限性及其根源分析. [3]XX百科.香农定理. [4]XX百科.香农三大定理. [5]刘俭云.对香农定理与传播学理论构建关联的再讨论.电化教育研究.2009.05-0030-04. 附录: 2.2香农理论的实践 程序: N=input('N=');%输入信源符号的个数 s=0; l=0; H=0; fori=1: N p(i)=input('p=');%输入信源符号概率分布矢量,p(i)<1 s=s+p(i) H=H+(-p(i)*log2(p(i)));I(i)=-log2(p(i));%计算信源信息熵 end ifabs(s-1)>0, error('不符合概率分布') end fori=1: N-1 forj=i+1: N ifp(i) m=p(j); p(j)=p(i); p(i)=m; end end end%按概率分布大小对信源排序 fori=1: N a=-log2(p(i)); ifmod(a,1)==0 w=a; else w=fix(a+1); end%计算各信源符号的码长 l=l+p(i)*w;%计算平均码长 end l=l; n=H/l;%计算编码效率 P (1)=0 fori=2: N P(i)=0; forj=1: i-1 P(i)=P(i)+p(j); end end%计算累加概率 fori=1: N forj=1: w W(i,j)=fix(P(i)*2); P(i)=P(i)*2-fix(P(i)*2); end end%将累加概率转化为L(i)位二进制码字 disp(W)%显示码字 disp(l)%显示平均码长 disp(n)%显示编码效率 disp(I)%显示自信息量 运行结果: >>n n= 0.20000.19000.18000.17000.15000.10000.0100 >>I I= 2.32192.39592.47392.55642.73703.32196.6439 >>l l= 3333347 >>P P= 00.20000.39000.57000.74000.89000.9900 >>W W= '000''001''011''100''101''1110''1111110'
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 4620 刘雨萌
![提示](https://static.bingdoc.com/images/bang_tan.gif)