多媒体通信技术信息压缩标准.pptx
- 文档编号:18903798
- 上传时间:2024-02-10
- 格式:PPTX
- 页数:85
- 大小:4.50MB
多媒体通信技术信息压缩标准.pptx
《多媒体通信技术信息压缩标准.pptx》由会员分享,可在线阅读,更多相关《多媒体通信技术信息压缩标准.pptx(85页珍藏版)》请在冰点文库上搜索。
第3章多媒体信息压缩编码标准宁晓燕2016年秋季学期目录3.2视频压缩编码标准3.1静止图像压缩编码标准23.3音频压缩编码标准3/66静止图像压缩编码标准3.1静止图像压缩编码标准3.1.1JPEGJPEG是JointPhotographicExpertsGroup(联合图像专家小组)的缩写,这个专家组开发的算法称为JPEG算法,并且成为国际上的彩色、灰度、静止图像的第一个国际标准,因此又称为JPEG标准。
JPEG定义了4种运行模式,其中一种是基于DPCM的无损压缩算法,另外三种是基于DCT的有损压缩算法使用有损压缩算法时,在压缩比为25:
1的情况下,压缩后还原得到的图像和原始图像相比较,非图像专家难以找到它们之间的区别,因此得到了广泛的应用。
例如在V-CD和DVD-Video电视图像压缩技术中,就使用JPEG的有损压缩算法来取消空间方向上的冗余数据。
43.1静止图像压缩编码标准无损方式,采用一维或者二维的空间域DPCM和熵编码。
由于输入图像已经是数字化的,经空间域的DPCM之后,预测误差值也是一个离散量,因此可以不再量化而实现无损编码;顺序(Sequential)方式,其基本算法是将图像分成88的块,然后进行DCT、量化和熵编码(霍夫曼编码或者算术编码);渐进(Progressive)方式,所采用的算法与顺序方式类似,不同的是扫描过程,它通过多次扫描的方法来对一幅图像进行数据压缩。
扫描过程采取由粗到细逐步累加的方式进行。
先传送部分DCT系数信息(例如低频系数、或所有系数的近似值),使接收端尽快获得一个“粗略”的图像,然后再将剩余频带的系数(或所有系数的低比特位数据)渐次传送,最终形成清晰的图像;分层(Hierachical)方式,这种模式是以图像分辨率为基准进行图像编码的。
在此方式中,首先将输入图像的分辨率逐层降低,形成一系列分辨率递减的图像。
先对分辨率最低的底层图像进行编码,然后,将经过内插的低层图像作为上一层图像的预测值,在对预测误差进行编码,以此类推,直至顶层。
53.1静止图像压缩编码标准无损压缩编码方式在传真机、静止画面的电话电视会议应用中,根据其特点JPEG采用DPCM(差分脉冲编码调制)无损压缩编码方案,其编码过程如下图所示。
其中的无失真熵编码可以采用霍夫曼编码或者算术编码。
63.1静止图像压缩编码标准基于DCT的有损压缩编码方式基于DCT的JPEG压缩算法是有损压缩,它利用了人的视觉系统的特性,使用量化和无损压缩编码相结合来去掉视角的冗余信息和数据本身的冗余信息。
有损压缩编码大致分成三个步骤:
(1)使用正向离散余弦变换(ForwardDiscreteCosineTransform,FDCT)把空间域表示的图变换成频率域表示的图。
(2)使用加权函数对DCT系数进行量化,这个加权函数对于人的视觉系统是最佳的。
(3)使用哈夫曼可变字长编码器对量化系数进行编码。
73.1静止图像压缩编码标准8/663.1静止图像压缩编码标准JPEG压缩编码基本原理基于DCT编码的JPEG压缩算法可由如下的几个步骤实现:
1、颜色模式转换及采样;2、正向离散余弦变换(FDCT);3、量化(Quantization);4、编码:
(1)Z字形编码(ZigzagScan);
(2)使用差分脉冲编码调制(DPCM)对直流系数(DC)进行编码;(3)使用行程长度编码(RLE)对交流系数(AC)进行编码;(4)熵编码译码或者叫做解压缩的过程与压缩编码过程相反。
93.1静止图像压缩编码标准1、颜色模式转换及采样JPEG的图片使用的是YCrCb颜色模型,而不是计算机上最常用的RGB。
YCrCb模型更适合图形压缩。
因为人眼对图片上的亮度Y的变化远比色度C的变化敏感。
从RGB转换成YCrCb:
Y0.299R+0.587G+0.114BCr(0.500R-0.4187G-0.0813B)+128Cb(-0.1687R-0.3313G+0.500B)+128常用的采样格式有4:
1:
1和1:
1:
11:
1:
1采样就是保留所有的YCrCb值,相当于每个像素点用1个Y样本、1个Cr样本、1个Cb样本表示。
而4:
1:
1采样是指对于一个22像素的数据块,取4个亮度Y样本、1个红色差Cr样本、1个蓝色差Cb样本。
10RGBYCbCr3.1静止图像压缩编码标准3.1静止图像压缩编码标准2、正向离散余弦变换(FDCT)DCT要求输入数据是一个88的矩阵,且每个矩阵元素具有8bit精度。
12如上图所示,对每个图像块做离散余弦变换。
通过DCT变换可以把能量集中在矩阵左上角少数几个系数上。
P(i,j)经DCT变换之后得到T(i,j),其中T(0,0)是直流系数,称为DC系数,其他为交流系数,称为AC系数。
3.1静止图像压缩编码标准3、量化为了达到压缩数据的目的,DCT系数需做量化。
量化是对经过FDCT变换后的频率系数进行量化,这是一个多到一映射的过程。
量化的目的是减小非0系数的幅度以及增加0值系数的数目,将信号幅值由连续量变成离散量,在一定的主观保真的前提下,丢掉那些对视觉效果影响不大的信息。
量化是图像质量下降的最主要原因。
对于有损压缩算法,JPEG算法使用如图4所示的均匀量化器进行量化,量化步距是量化表的元素,它由系数所在的位置和每种颜色分量的色调值来确定。
3.1静止图像压缩编码标准因为人眼对亮度信号比对色差信号更敏感,因此使用了两种量化表:
如表1所示的色度量化值(针对Cr,Cb)和表2所示的亮度量化值(针对Y)。
此外,由于人眼对低频分量的图像比对高频分量的图像更敏感,因此图中左上角的量化步距要比右下角的量化步距小。
表1色度量化值表2亮度量化值注意:
JPEG文件中量化表中的64个值是按z字形顺序排列的3.1静止图像压缩编码标准量化的计算公式:
量化值(i,j)T(i,j)量化矩阵(i,j)在解码过程中,逆量化公式为:
T(i,j)量化值(i,j)量化矩阵(i,j)效果图经量化后,源图像(左)与IDCT运算后得到的图像(右)会产生一定的失真,失真程度视量化等级而定。
3.1静止图像压缩编码标准3.1静止图像压缩编码标准3.1.2JPEG2000虽然JPEG标准是一个非常成功的标准,但在一些新的应用如高清图像、数字图书馆、高精确彩色图像、多媒体和因特网的应用、无线、医学图像等方面,JPEG表现出不足,因此弥补JPEG对连续色调静止图像的无损压缩和近无损压缩效率不高的缺陷,最终提出了JPEG2000标准。
该标准采用了先进的压缩技术并在可伸缩压缩图像及灵活性方面有许多先进的特征,其系统功能比JPEG标准优越,尤其JPEG2000采用的是离散小波变换(DWT)替代了JPEG中采用的离散余弦变换(DCT),并采用了最新的编码算法来支持灵活性,这样许多应用只需用单一码流提供。
JPEG2000可广泛应用于通信、图像处理、信号处理、信息理论和多媒体等领域中。
17JPEG2000性能特点1、高压缩率JPEG2000压缩性能比JPEG提高了3050%,同时,使用JPEG2000的系统稳定性好,运行平稳,抗干扰性好,易于操作。
2、可伸缩性编码JPEG2000支持类似于分层方式的空间分辨率可伸缩性和信噪比可伸缩性编码。
后者意味着可以在已编码流的不同点截断,以获得信噪比不同的重建图像。
这是JPEG2000一个极其重要的特征,它可以先传输图像的轮廓,然后逐步传输数据,不断提高图像质量,让图像由朦胧到清晰显示,而不必像现在的JPEG那样,由上到下慢慢显示,这在网络传输中有重大意义。
3.1静止图像压缩编码标准3、支持ROI编码在有些应用中,图像的某个区域比其他区域(背景)具有更高的重要性,这个重要区域称为感兴趣区ROI(RegionofInterest)。
JPEG2000支持对ROI进行比背景质量更高的编码。
3.1静止图像压缩编码标准用户可以任意指定图像上感兴趣区域的压缩质量,还可以选择指定的部分先解压缩,从而使重点突出。
这种方法的优点在于它结合了接收方对压缩的主观需求,实现了交互式压缩。
JPEG2000关键技术JPEG2000与传统JPEG最大的不同在于它放弃了JPEG所采用的以离散余弦变换为主的区块编码方式,转而采用以小波变换为主的多解析编码方式。
余弦变换是经典的谱分析工具,它考察的是整个时域过程的频域特征或整个频域过程的时域特征,因此对于平稳过程,它有很好的效果,但对于非平稳过程,它却有诸多不足。
图像的压缩率越高,频率信息被丢弃的越多。
小波变换是现代谱分析工具,它既能考察局部时域过程的频域特征,又能考察局部频域过程的时域特征,因此即使对于非平稳过程,处理起来也得心应手。
它能将图像变换为一系列小波系数,这些系数可以被高效压缩和存储。
此外,小波的粗略边缘可以更好地表现图像,因为它消除了DCT压缩普遍具有的方块效应。
3.1静止图像压缩编码标准小波变换压缩编码示例小波变换是时间(空间)频率的局部化分析,它通过伸缩平移运算对信号(函数)逐步进行多尺度细化,最终达到高频处时间细分,低频处频率细分,能自动适应时频信号分析的要求,从而可聚焦到信号的任意细节。
小波压缩效果示例(压缩比50:
1)3.1静止图像压缩编码标准22/66小波变换多尺度分解示意图23/66根据实际需要决定码流的组织结构24多分辨率多分辨率25多分辨率多分辨率26多分辨率多分辨率27多分辨率多分辨率28多级量化多级量化29多级量化多级量化30多级量化多级量化31/66EZW嵌入式码流解码效果示意图32/66JPEGJPEG2000压缩比为0.25bpp时两种压缩标准图像恢复质量对比33/66JPEGJPEG2000压缩比为0.125bpp时两种压缩标准图像恢复质量对比Original(979KB)JPEG(6.21KB)JPEG2000(1.83KB)3.1静止图像压缩编码标准35/66视频压缩编码国际标准36/6637/6638/6639/663.2视频压缩编码国际标准3.2.1MPEG系列标准MPEG是MovingPictureExpertsGroup的英文缩写,其含义是活动图像专家组。
MPEG-1是1993年8月正式通过的技术标准,其全称为“适用于约1.5Mbit/s以下数字存储媒体的运动图像及伴音的编码”。
MPEG-2的正式名称是“ISO/IEC13818:
运动图像和相关声音信息的一般编码方法”,其第一版草案制定于1992年,1994年正式颁布成为国际标准。
MPEG-2是针对标准数字电视和高清数字电视在各种应用下的压缩方案和系统层的详细规定,也是国际主流的SDTV和HDTV的编码标准。
MPEG-4是1999年1月公布了该标准的V1.0版本,同年12月公布了V2.0版本。
该标准主要应用于超低速系统之中。
403.2视频压缩编码国际标准例如多媒体Internet、视频会议和视频电视等个人通信、交互式视频游戏和多媒体邮件、基于网络的数据业务、光盘等交互式存储媒体、远程视频监视及无线多媒体通信。
特别是它能够满足基于内容的访问和检索的多媒体应用,并且其编码系统是开放的,可随时加入新的有效算法模块MPEG-7是2000年11月颁布的称为“多媒体内容描述接口”的标准。
定义该标准的目的是指定出一系列的标准描述符来描述各种媒体信息。
这种描述与多媒体信息的内容有关,这样将便于用户进行基于内容和对象的视听信息的快速搜索。
可见MPEG-7与其他MPEG标准的不同之处在于它只提供了与内容有关的描述符,并不包括具体的视音频压缩算法,而且还未形成与内容提交有关的所有标准的总框架。
MPEG-21的全称为“多媒体框架”。
该标准的目的在于为多媒体用户提供透明而有效的电子交易和使用环境。
413.2视频压缩编码国际标准MPEG-1MPEG-1标准是由三个部分构成,第一部分是系统部分,编号为11172-1。
它描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统。
第二部分为视频部分,主要规定了图像压缩编码方法,编号为11172-2。
42第三部分为音频部分,主要规定了数字伴音压缩编码,编号为11172-3。
可见MPEG-1标准的基本任务就是将视频与其伴音统一起来进行数据压缩,使其码率可以压缩到1.5Mbit/s左右,同时具有可接收的视频效果和保持视音频的同步关系。
MPEG-1视频编视频编/解码原理解码原理3.2视频压缩编码国际标准MPEG-2
(1)MPEG-2标准的内容。
MPEG-2全部标准公分为9个部分,其中的核心部分如下。
13818-1系统:
定义规范的系统编码,包括复合视频和音频数据的复用结构以及重放同步序列所需表示定时信息的方法;13818-2视频:
定义视频数据的编码表示方法和重建图像所要求的解码过程;13818-3音频:
定义音频数据的编码方法;13818-4兼容性:
定义编码码流是否符合MPEG-2码流的兼容性测试方法;13818-5软件:
描述MPEG-2标准的前3部分的软件实现方法;13818-6数字存储媒体-命令与控制:
描述交互式多媒体网络中服务器与用户间的会话信令集433.2视频压缩编码国际标准MPEG-2
(2)档次与等级44档次(Profile)说明简单档次(SimpleProfile)使用最少的编码工具集主档次(MainProfile)增加了双向预测方法信噪比可伸缩档次(SNRScalableProfile)增加了可伸缩性空间可伸缩档次(SpatiallyScalableProfile)增加了可伸缩性高级档次(HighProfile)应用于图像质量、比特率要求更高的场合MPEG-2标准的档次及说明标准的档次及说明3.2视频压缩编码国际标准MPEG-2
(2)档次与等级45MPEG-2标准的等级及说明标准的等级及说明级别(level)分辨率最大码率低级(Lowlevel)35224030,352288254Mbit/s主级(Mainlevel)72048030,7205762515Mbit/s1440高级(High-1440level)144010803060Mbit/s高级(Highlevel)192010803080Mbit/s3.2视频压缩编码国际标准档次和等级的若干组合构成MPEG-2视频编码标准在某种特定应用下的子集,对某一输入格式的视频,采用特定集合的压缩编码工具,便可产生规定速率范围内的编码码流。
共有20种可能的档次和等级的组合,在实现MPEG-2标准时,可以根据应用需要,选择适当的档次与等级。
下面的四种技术规范是最常用的。
MPML:
主档/主级,可用于数字视频广播(DVB)、数字视盘(DVD)、数字有线电视和交互式电视等。
SPML:
简单档/主级,可用于数字有线电视和数字录像机。
MPHL:
主档/高级,用于全数字HDTV。
SSPHL1440:
空间可伸缩档/1440高级,用于HDTV。
463.2视频压缩编码国际标准视频部分MPEG-2的视频标准是在MPEG-1的基础上进行了重大的改进和扩充,主要体现在以下几方面:
1.设置了“按帧编码”和“按场编码”两种模式MPEG-1标准中支持逐行扫描,但在MPEG-2标准中考虑到电视信号隔行扫描的特性,专门设置了“按场编码”模式,同时对运动补偿算法和DCT方式进行了扩充,细分为“按帧运动补偿”和“按场运动补偿”,从而显著地提高了压缩编码的效率。
2.引入“可分级型”的概念在MPEG-2中视频图像编码是即分“档次”,又分“等级”的。
“档次”是按编码难易程度来进行划分的。
从图像格式的难易程度观察,每个档次又划分为四个“等级”,不同等级的相关参数不同。
3.规定了三种色差取样格式4.扩展DCT扫描方式5.采用更精细的量化6.可分级编码模式473.2视频压缩编码国际标准MPEG-4MPEG-4的正式名称是“ISO/IEC14496信息技术:
音视频对象通用编码算法”MPEG-4标准由相互联系的16个部分组成,其核心部分简述如下。
14496-1系统:
定义规范的系统编码,主要是复合音/视频数据的复用结构和实时应用中重放同步序列所需表示定时信息的方法。
编码器端的音/视频对象(AudioVideoObject,AVO)被分别编码,与场景描述信息和其他同步控制信息和成比特流;接收端按场景描述信息合成场景。
AVO数据解复用后交给相应解码器处理,解码器从AVO解码形式中恢复期数据,进行必要的操作以重建原始AVO,然后进行组合。
14496-2视频:
定义视频数据的编码表示和重建图像所要求的解码过程。
14496-3音频:
定义音频数据的编码要求14496-6多媒体集成传输框架(DMIF):
对不同传输媒体提供共同的接口和服务。
通过对编码比特流进行打包,使压缩码流适合于在不同的信道传输。
483.2视频压缩编码国际标准MPEG-4MPEG-4标准的新功能与之前的视频编码标准相比,MPEG-4标准还提供了一些全新的功能。
1.基于内容的交互性基于内容的操作与比特流编辑:
支持无需编码就可进行基于内容的操作与比特流编辑。
例如,使用者可在图像或者比特流中选择某一具体的对象,然后改变它的某些特性。
自然与合成数据的混合编码:
提供将自然视频图像与合成数据(如文本,图形)等进行有效合成,同时支持各类交互性操作。
增强的时间域随机存取:
MPEG-4提供有效的随机存取方式,在有限的时间间隔内,可按帧或任意形状的对象,对音/视频序列进行随机存取。
493.2视频压缩编码国际标准MPEG-4是基于内容的压缩编码方法引入视频对象VO(ViedoObject)和视频对象平面VOP(VideoObjectPlane)概念它首先根据内容将图像分割成不同的视频对象VO,例如在会议电视系统中常见的视频图像是以讲话的人为前景,此外还有背景,因而在视频对象的划分中经常将人作为前景视频对象,而将其余部分视为背景视频对象。
其中前景视频对象中包含了重要的边界和轮廓信息,因此在编码过程中应尽可能地保留这部分信息,而对人们不太关心的背景视频对象,则可以采用大比例的压缩策略,甚至可以不传输,仅在接收端用其他背景代替。
503.2视频压缩编码国际标准在MPEG-4中是根据人眼感兴趣的一些特征,如纹理、运动、形状等,对视频图像进行分割,如图像的背景、画面上的对象(对象1、对象2,),然后将各对象从场景中截取出来,每个对象所截取的图像区域不同,它们各自的形状也不同。
通常将这些区域称为视频对象平面VOP。
如图所示。
可见这幅图像包含了3个对象:
VOP0(背景)、VOP1(树)和VOP2(人)。
图中指出了这三个对象在场景中组成的逻辑关系。
513.2视频压缩编码国际标准MPEG-4标准的新功能2.高压缩率提高了编码效率:
在同等码率下,MPEG-4能提供更好的主、客观图像质量。
对多个并发数据流的编码:
MPEG-4提供对同一场景的有效多视角编码、多伴音声道编码及有效的视听同步。
在足够的观察视点条件下,MPEG-4可以有效得描述三维自然景物3.灵活多样的存取抗误码特性:
MPEG-4采用多种抗误码技术,如选择前向纠错,错误掩盖等,能够有效地抵抗传输信道所造成的各类丢包或误码。
基于内容的可伸缩性:
可伸缩性表示图像中的各个对象具有不同的优先级,较为重要的对象使用较高的空间或时间分辨率表示。
对于极低比特率的视频应用来说,尺度可伸缩性也提供了自适应可用资源的能力。
523.2视频压缩编码国际标准MPEG-4所针对的应用领域非常广泛,既可用于高码率下的高清晰数字电视广播,又可用于低码率的无线通信或多媒体通信系统。
MPEG-4针对不同的媒体内容和场景描述定义了4个类:
视频类、音频类、图形类和场景描述类,不同分类在选用时时相互独立的。
为满足不同应用需求,MPEG-4也制定了不同的音/视频对象编码工具作为可选的工具集。
在实现MPEG-4标准时,可以根据应用环境的需求,选择适当的工具子集。
与MPEG-2类似,MPEG-4也采用了档次和等级的形式。
档次就是针对特定的应用确定要采用的编码工具,它是MPEG-4所提供的所有工具集的一个子集。
不同类的码流句法结构不同,并且视频、音频和图形类中支持的对象类型也各不相同。
533.2视频压缩编码国际标准每个档次包括一个或多个等级,用以限制计算复杂度。
核心的视频框架下主要包含以下6个档次。
SimpleVisualProfile:
提供针对矩形视频对象的编码功能,具有最低的复杂度,适合应用于计算能力较差的移动网络终端设备。
AdvancedSimpleVisualProfile:
提供矩形视频对象高效编码功能,并且支持交织视频方式,适合应用于对质量要求较高的移动网络。
SimpleScalableVisualProfile:
在SimpleProfile的基础上增加了对象的时域和空域可伸缩编码功能,应用于提供多级服务质量,如Internet和软件解码。
CoreVisualProfile:
在SimpleProfile的基础上增加了任意形状对象编码和时域可扩展编码功能,适用于相对简单的内容交互应用,如Internet多媒体应用。
MailVisualProfile:
在CoreProfile基础上增加了Sprite对象编码功能,适于交互和娱乐质量广播,DVD应用等。
N-BitVisualProfile:
在CoreProfile基础上增加了具有不同像素深度(412bit)视频对象编码功能,适用于监控应用。
543.2视频压缩编码国际标准3.2.2H.26x系列标准1.H.261标准为了满足会议电视和可视电话的需要,1988年CCITT通过了“p64bit/s(p=1,2,30)”视频编码标准H.261建议,被称为视频压缩编码的一个里程碑。
从此,ITU-T、ISO等公布的基于波形的一系列视频编码标准的编码方法都是基于H.261中的混合编码方法。
(1)图像格式不同的国家采用不同的彩电制式,因此,视频传输是不可能直接互通的。
H.261采用一种公共中间格式(CommonIntermediateFormat,CIF),不论何种彩色格式,发送方先把自己国家的彩电制式转换成CIF格式,经H.261编码后再有CIF格式转换到接收方彩电制式。
5556/66视频编码图像格式一览表3.2视频压缩编码国际标准3.2视频压缩编码国际标准采用CIF及QCIF格式时,视频信号的结构采用下图所示的图像、块组(GroupofBlock,GOB)、宏块(MacroBlock,MB)和块(Block,B)4级结构。
每帧CIF图像由12个GOB组成,每个GOB由33个MB组成,每个MB由4个Y(亮度)块、1个Cr块和1个Cb块组成,每个块由88像素构成。
一帧QCIF图像由3个GOB构成。
57H.261数据结构数据结构3.2视频压缩编码国际标准每帧CIF图像由12个GOB组成,每个GOB由33个MB组成,每个MB则是由6个块(B)构成,其中包含4个亮度块和2个色度块(4个Y块、1个Cr块和1个Cb块),每个块由88像素构成。
58亮度块与色块亮度块与色块H.261数据结构数据结构3.2视频压缩编码国际标准图像层是由帧首和12个块组层构成。
其中帧首包括一个20比特帧起始码和其他标志信息,如帧数、视频格式(CIF/QCIF)等。
块组层是由GOB首和33个宏块构成,其中GOB首中包含16bit块组编号、块组量化步长等标志信号。
宏块层是由宏块首和其后面的6个数据块构成,MB首包括宏块地址、类型信息、运动矢量数据和编码块图样等信息。
块层是由DCT系数(TCOEFT)和块结束符(EOB)组成。
每块包含88个数据。
一帧QCIF图像由3个GOB构成。
593.2视频压缩编码国际标准60H.261的视频信源编码原理的视频信源编码原理3.2视频压缩编码国际标准2.H.263标准H.263与H.261的区别H.263标准是一种甚低码率通信的视频编码方案。
所谓甚低码率视频编码技术是指压缩编码后的码率低于64kbit/s的各种压缩编码方案.它是以H.261为基础,其编码原理和数据结构都与H.261相似,但存在下列区别:
1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 通信 技术 信息 压缩 标准