大工18春《多媒体技术》辅导资料五.docx
- 文档编号:14375601
- 上传时间:2023-06-22
- 格式:DOCX
- 页数:17
- 大小:391.53KB
大工18春《多媒体技术》辅导资料五.docx
《大工18春《多媒体技术》辅导资料五.docx》由会员分享,可在线阅读,更多相关《大工18春《多媒体技术》辅导资料五.docx(17页珍藏版)》请在冰点文库上搜索。
大工18春《多媒体技术》辅导资料五
多媒体技术辅导资料五
主题:
第三讲多媒体设备(第2节)
学习时间:
2018年4月30日--5月6日
内容:
第三讲多媒体设备
第二节多媒体功能卡
一、声卡
1)什么是声卡?
声卡也称音频卡(audiocard),它是处理音频信号的计算机插卡。
2)声卡的发展简史
在声音卡开发方面,新加坡Creative公司所生产的声霸卡(SoundBlaster,SB)在市场上最有影响。
自1989年起,Creative公司在美国Comdex展览会上,首次推出所研制的适用于PC机的声音卡SoundBlaster,从而引起轰动。
之后它又推出了一系列深受用户欢迎的计算机声音系统产品:
SoundBlasterpro,SoundBlaster16,SoundBlasterAWE32,等等。
SB系列卡有如下功能特点:
•立体声或单声道声音采样(ADC)和重放(DAC);
•采样速率从4~44kHz程序可调;
•功能强大的FM音乐合成芯片(128种音色);
•MIDI接口和游戏杆端口;
•CD-ROM驱动器及接口;
•可选择多种声源(麦克风CD唱机、线路输入);
•内带的混声器芯片可以控制各种数字与模拟音量;
•音箱输出接口带有功放。
另外,随SB系列卡还配带有丰富的软件,主要是:
•声音编辑(录制、播放、修改声音);
•文本到声音转换(读文本);
•多媒体制作(制作多媒体演示系统);
•调频电子琴(将计算机变成一台功能齐全的电子琴);
•乐曲文件播放(MIDI和CMF两乐曲文件);
•软件开发工具(供二次开发使用)。
3)声卡的分类
声卡大致可分为以下几类:
•ISA声卡
•PCI声卡
•软声卡
值得一提的是,目前很多PC机主板上集成的AC’97软声卡能提供相当不错的音质。
通过性能日益强大的CPU的支持,AC’97CODEC只需更新驱动就可以不断地提升性能,扩展功能,可以提供高于95dB的专业音质回放和多达26种环境音效。
4)音乐设备数字接口
MIDI是MusicalInstrumentDigitalInterface的简称,意思是音乐设备数字接口。
它是一种电子乐器之间、电子乐器与电脑之间的统一交流协议。
在一些游戏和娱乐软件中您可以发现很多MID、RMI扩展名的文件,其实它们就是在电脑上最常用的MIDI格式文件。
可能您已经发现,一首4分钟左右长度的MIDI文件容量只有百余K字节,而同样长度的音乐文件(*.WAV)则高达40MB左右。
为什么MIDI文件会如此小巧玲珑呢?
其实MIDI文件并不像WAV、MP3文件那样记录乐曲每一时刻的声音变化,它只是将要演奏的乐曲信息表述下来。
譬如在某一时刻,使用何种乐器,以什么音符开始,以什么音调结束,加以什么伴奏等等,它并不包含任何可供回放的声音信息。
在进行声音回放时,需要通过声卡进行回放处理。
目前主要的合成手段有:
FM合成和波表合成。
前者多用于以前的ISA声卡;波表合成是现在最先进的声音合成方法,它的合成原理要比FM合成复杂得多。
5)PCI声卡的主要性能指标
①复音数量
声卡中“32”、“64”的含义是指声卡的复音数(音色),而不是声卡上的DAC(数模变换)和ADC(数模变换)的转换位数(bit)。
它代表了声卡能够同时发出多少种声音。
复音数越大,音色就越好,播放MIDI时可以听到的声部越多、越细腻。
如果一首MIDI乐曲中的复音数超过了声卡的复音数,则将丢失某些声部,但一般不会丢失主旋律。
②采样位数
是将声音从模拟信号转化为数字信号的二进制位数,即进行A/D、D/A转换的精度。
常见的有8位、12位、16位和24位(DVD音频采样标准)。
位数越高,采样精度越高。
③采样频率
即每秒采集声音样本的数量。
标准的采样频率有三种:
11.025KHz(语音)、22.05KHz(音乐)和44.1KHz(高保真),有些高档声卡能提供5KHz—48KHz的连续采样频率。
采样频率越高,记录声音的波形就越准确,保真度就越高,但采样产生的数据量也越大,要求的存储空间也越多。
④波表合成方式
波表合成技术是将各种真实乐器所能发出的所有声音录制下来,存储为一个波表文件。
播放时,根据MIDI文件纪录的乐曲信息,从波表中找出对应的声音信息,进行加工合成后播放出来。
中、低档ISA声卡主要采用软件波表。
最早出现的波表合成技术,需要CPU完成声音合成,占用了相当的系统资源。
高档的ISA声卡主要采用硬件波表合成方式。
在声卡上集成了音色库内存,价格昂贵。
PCI声卡采用DSL(DownLoadableSample,可供下载的采样音色库)波表合成。
该方式依靠声卡自己的音频处理芯片对内存中的音色库进行合成,从而大大降低了CPU占用率。
同时,这种音色库可以随时更新,并利用DLS音色编辑软件进行修改。
⑤波表库容量
波表库容量通常是2MB、4MB、8MB,而像SBLive!
声卡甚至可以扩展到32MB。
⑥三维音效
早期声卡的音频只是“平面”或“2D”的。
而随着技术的发展,人们对声音效果的要求越来越高,要求能真实地模拟现实世界中可分辨的空间位置(上/下,左/右、前/后、远/近等),于是出现了3D音效声卡。
在新一代的立体音效合成技术方面,HRTF扮演主要的角色.首先介绍一下什么是HRTF?
HRTF(Head_RelatedTransferFunction)是“头部相关转换函数”的英文缩写,它也是实现三维音效比较重要的一个因素。
简单讲,HRTF是一种音效定位算法,它的实际作用在于用数字和算法欺骗我们的耳朵,使我们认为自己处了在真实的声音环境中。
6)3D音效API
对于3D音效声卡,其声音处理的算法是非常重要的,它往往决定了产品定位和音频效果的好坏。
目前有不少音频技术公司和声卡厂商开发出各种各样的算法和技术,并提供自己的编程接口,即API。
所谓API就是编程接口的意思,其中包含了许多关于声音定位与处理的指令与规范。
它的性能将直接影响三维音效的表现力。
如今比较流行的API有DirectSound3D、A3D和EAX等。
而下面分别给予介绍。
①Aureal3D(A3D)
A3D是由傲锐公司开发的一种突破性的新的互动3D音效技术,使用这一技术的应用程序可以根据用户的输入而决定音效的变化,产生围绕听者的3D定位音效,带来真实的听觉体验。
A3D原本是为美国航天局宇航员培训计划开发的,其关键技术是基于HRTF的理论和算法,并采用了独特的波形寻迹功能。
A3D技术包含“环绕”和“互动”两部分内容,允许只用一对普通的音箱或耳机,产生环绕立体声。
②DirectSound3D(DS3D)
由Microsoft开发,创立了在三维空间定位音频文件的标准方式。
与应用于图形领域的D3D相比,作为3D音频应用的DS3D知名度略逊一些,但它却拥有D3D没有的优点——具有扩展能力。
它提供了可以同时控制多达32个音频文件的指令工具。
由于DS3D与MSDirectX的接口一致性和扩展能力非常好,因此习惯用Windows9x平台的程序员和用户们很容易接受和应用它。
DS3D仅仅是一个API,具体的3D算法要硬件厂家自己去实现,并且还可以在DS3DAPI的基础上通过改进和扩充提供更加丰富的功能。
③EAX
EAX(EnvironmentalAudioExtensions,环境音效扩展集)是创新公司开发的一套公开的、基于DS3D的扩展API。
运用其子公司E-mu为好莱坞开发的专业音效技术,通过调节混响、合成、原音的音频参数,实时地再现多声道声音的混响、回声、变调及延时等多种3D音效。
其中:
EAX1.0标准在DS3D的基础上提供了混响效果;
EAX2.0又加入了声波穿越障碍物(occlusion)和声波的衍射现象(obstruction)等高级环境音效;
EAX3.0则提供了更为强大的开发工具并公开了环境的全部参数,使开发和创建特别音效更为容易和直观。
作为一个开放的音频接口,只要硬件厂家愿意,都可以给自己的PCI声卡产品开发相应的驱动程序实现EAX。
④Qsound(Q3D)
是由Qsound实验室推出的一种可升级的环绕音频技术,兼容众多的3D音效。
最新的Q3D2.0标准支持混响功能,还提供了对四声道音效的良好支持。
Q3D技术由于无需硬件加速而被广泛应用于游戏机和电子娱乐市场。
⑤SRS
即声音补偿系统,是由SRS实验室开发的一种三维空间立体声扩展技术,可以同DS3D、EAX、A3D等3D音效相结合共同发挥效力。
SRS音效主要由特殊的硬件电路来实现,但也有纯软件版本,广泛应用于声卡、汽车音响、多媒体音箱以及家庭影院中,只须一对音箱就能使人完全置身于广大而又逼真的三维空间声场中。
二、视频卡
视频卡通常是指视频采集(VideoCapture)卡。
根据不同的应用、适用环境和技术指标,目前有多种规格的视频采集卡。
这里主要介绍以PC机为硬件环境的视频采集卡。
a.视频卡的接口和功能
1)接口
视频采集卡的接口包括视频与PC机的接口和与模拟视频设备的接口。
目前PC视频采集卡通常采用32位的PCI总线接口,它插到PC机主板的扩展槽中,以实现采集卡与PC机的通讯与数据传输。
采集卡至少要具有一个复合视频接口(VideoIn)以便与模拟视频设备相连。
高性能的采集卡一般具有一个复合视频接口和一个S-Video接口。
一般的采集卡都支持PAL和NTSC两种电视制式。
需要注意的是视频采集卡一般不具备电视天线接口和音频输入接口,不能用视频采集卡直接采集电视射频信号,同时也不能直接采集到模拟视频中的伴音信号。
要采集伴音,PC机上必需要装有声卡,视频采集卡通过PC机上的声卡获取数字化的伴音并把伴音与采集到的数字视频同步到一起。
2)功能
在PC上通过视频采集卡可以接收来自视频输入端的模拟视频信号,对该信号进行采集、量化成数字信号,然后压缩编码成数字视频序列。
大多数视频采集卡都具备硬件压缩的功能,在采集视频信号时首先在卡上对视频信号进行压缩,然后才通过PCI接口把压缩的视频数据传送到主机上。
一般的PC视频采集卡采用帧内压缩的算法把数字化的视频存储成AVI文件,高档一些的视频采集卡能直接把采集到的数字视频数据实时压缩成MPEG-1、MPEG-2和MPEG-4格式的文件。
由于模拟视频输入端可以提供不间断的信息源,视频采集卡要采集模拟视频序列中的每帧图像,并在采集下一帧图像之前把这些数据传入PC系统。
因此,实现实时采集的关键是每一帧所需的处理时间。
如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间,则要出现数据的丢失,也即丢帧现象。
采集卡都是把获取的视频序列先进行压缩处理,然后再存入硬盘,也就是说视频序列的获取和压缩是在一起完成的,免除了再次进行压缩处理的不便。
3)驱动和应用程序
视频采集卡一般都配有硬件驱动程序以实现PC机对采集卡的控制和数据通讯。
根据不同的采集卡所要求的操作系统环境,各有不同的驱动程序。
只有把采集卡插入了PC机的主板扩展槽并正确安装了驱动程序以后才能正常工作。
采集卡一般都配有采集应用程序以控制和操作采集过程。
也有一些通用的采集程序,数字视频编辑软件如AdobePremiere等也带有采集功能,但这些应用软件都必须与采集卡硬件配合使用。
也即只有采集卡硬件正常安装和驱动以后才能使用。
b.C-Cube公司的视频处理芯片
1)JPEG编码器CL550
CL550用了40多万只晶体管集成了JPEG压缩编码所需的DCT/逆向DCT单元、量化器、可变长编码器(VariableLengthCoder)等单元。
压缩率可以通过修改量化表和VLC表的内容来改变。
当执行JPEG的有损压缩算法时,可按不同的图像质量、存储器容量、带宽等应用环境来设置不同的压缩比。
压缩比可以在8:
1到100:
1之间任意选择。
CL550专用芯片上还提供有数字视频接口和直接与系统总线相连的接口,视频接口支持8位灰度、RGB、CMYK及YUV数字信号的输入和输出。
CL550内部功能结构如图3.12所示。
图3.12CL550框图
在图像压缩编码工作方式时,图像的每个象素数据经过像素总线接口(PBI)输入到CL550处理器。
PBI完成的功能包括:
以行扫描为主序的视频数据到以8*8像素点阵为主序的JPEG格式数据转换;视频数据的格式化;YUV至RGB彩色空间的转换;图像有效处理区域的控制。
数字化的图像数值在输入到CL550器件内部的缓冲单元块存储(blockstorageunit)后,按照所选择的彩色空间的格式以独立分量的形式存储。
然后,各个分量单独地进和到后续的JPEG流水线处理过程中,每个分量的8*8像素点阵数据DCT首先由单元处理,之后DCT系数矩阵根据用户编程选择的量化表,由量化单元进行量化处理。
在CL550器件内部的量化矩阵存储区中,可同时存储4个。
64字长的量化系数矩阵,分别适用于不同的彩色分量。
量化后的矩阵被Z形扫描顺序扫描处理,其中的交流分量(AC)在输入到FIFO之前,已经补零计数单元编码(行程编码)。
FIFO存储区为零计娄单元和哈夫曼编码单元之间的缓冲区。
哈夫曼编码单元将在FIFO存储区中的已进行行程编码的数据取出,首先对直流系数(DC)进行DPCM计算,而后再同时对直流系数DC和交流系数AC两部分共同完成哈夫曼编码查表处理。
哈夫曼编码的结果最终作为JPEG压缩后的数据传送到主机总线接口(HBI),成为最终的处理结果。
图像解码过程与编码过程相反,JPEG标准格式的压缩数据输入到哈夫曼解码单元解码,又返回FIFO区域等待进行下一步处理。
游程编码解码单元从FIFO区域中读出解码后的数据,生成交流系数AC值,并进行Z形扫描生成8*8点阵格式。
而生成的DC值另做处理,然后进行逆量化和逆DCT,处理的结果输入到输出缓冲区中,而后,像素总线接口取出这里的视频像素数据,按照一定的视频同步时序,输出到像素数据总线,供显示设备使用。
CL550提供了快速的图像压缩解压缩运算,它利用其内部的320阶流水线处理结构,将JPEG算法的每一操作运算都分解安排到流水线的每阶中。
CL550-30处理器可以工作在29.41MHz的时钟频率,这就使得流水线处理可以在每秒内完成109次运算,当以这样的处理速度应用于JPEG算法时,每秒可压缩14.7M的图像像素点。
CL550-10每秒也可压缩5M图像像素数据CL550-35每秒可压缩17.5M的图像像素数据。
C-Cube公司基于CL550推出的静态图像压缩板系列产品,可运行的基本环境包括80386(33Mhz主频)CPU,ISA或EISA总线结构,VGA显示卡(8位、16位或24位),Windows3.10,4MBRAM,50MB以上硬盘。
另外,这些产品可支持多种图像文件格式。
许多公司围绕CL-550设计各种图像板以满足多媒体系统的应用,如多媒体信息系统、图像处理、扫描仪、数字摄像机、电视电话、彩色传真等。
2)MPEG解码器
MPEG算法的编码和解码过程是一种非镜像对称算法,其解码过程要比编码过程相对简单一些,因此用硬件实现MPEG算法首先推出的是MPEG解码器。
C-Cube公司推出CL450(包括CL450,CL450e,CL450i等系列产品)及CL680解码器就是其中较好的产品。
CL450包括RISC处理器、Huffman解码器、DRAM控制器、视频显示控制器等单元,3条总线是主机总线、DRAM总线、像素总线。
CL450完全遵从MPEG标准,能实现RGB和YUV格式的相互转换,支持NTSC和PAL制式,能完成SIF分辨率(352*240,30Hz或352*288,25Hz)的实时解码,并支持视频和音频的同步,可全部或部分显示解码后图像。
CL450功能框图如图3.13所示。
图3.13CL450解码器框图
主机接口直接连接到680*0处理器上,也可很容易地连接80*86处理器。
主机通过主机接口提供已压缩的数据,FIFO接收编码后的数据,由DRAM控制器写到4Mbits的局部DRAM的帧缓冲区中,视频显示单元从帧缓冲区中读出解码后的数据,并反它送到彩色空间转换器中(如有必要),然后输出像素数据到视频总线。
CL450通过执行宏码(microcode),完成高层次功能。
宏码由C-Cube和硬件提供,并且把它作为产品的一部分。
在CL450完全操作之前,宏码必须由软件装入CL450中,C-Cube公司提供的源码供用户在其目标系统中修改和编译。
应用程序可用两种方式操作CL450,它们是寄存器操作方式和宏命令操作方式CL450产品主要面向低成本应用,例如CD-I系统、视频游戏、交互式鑫媒体系统、交互式电视等。
c.视霸卡
1992年,Creative公司推出的视霸卡(VideoBlaster),是具有良好性能的计算机视频处理功能卡。
VideoBlaster允许在标准VGA屏幕上的可移动和可改变尺寸窗口中展示全活动视频,通过Creative的开发软件和一系列影像处理及多媒体操作软件,VideoBlaster可用于多媒体展示、捕捉和编辑数字化视频及静止图像。
VideoBlaster以Chips公司的82C9001A为控制芯片和Philips公司的数字视频处理芯片为主要组成,可将模拟的视频信号采样转换为数字信号进行处理。
它采用混叠技术(overlay)与PC机图形、文本混合,集成显示在VGA显示器上,用户可用VideoBlaster创作多媒体演示。
该卡的结构如图3.14所示,对其中3个主要功能模块即视频信号输入及信号转换模块,视频信号控制处理模块,视频信号显示模块,分别介绍如下。
图3.14VideoBlaster结构框图
1)视频信号输入
TDA8707将输入模拟信号以采样率13.5MHz转变为数字信号,该芯片还提供Video的自动增益控制、箝位和输入选择等电路,SAA9051是视频信号解码器,将离散视频信号解码成亮度信号(Y)和色差信号(U,V),并提出行场同步处理以及色调、亮度信号频率响应控制。
SAA9057是时钟发生器,用于同步锁存输入信号和产生必要的系统时钟。
2)视频信号输出
SAA9060将从VRAM读出数字亮度信号(Y)和色差信号(U,V),转化为模拟信号(Y,Y-B,Y-R),TDA4680将其转化为模拟RGB信号,并提供亮度,饱和度、对比度、RGB增益等控制。
74HCT4053是模拟信号二路选择器,Video信号和VGA信号在此混叠,用于显示控制。
3)视频信号窗口控制
图像显示系统的核心芯片是82C9001A,通过对其控制状态寄存器编程,提供一系列功能,如:
扫描速率转换和实时动态图像窗口显示控制、窗口位置控制、输入分辨率控制、输出放大因子选择等。
82C9001A有48个寄存器,分别是CPU接口寄存器、通用I/O控制寄存器、视频获取寄存器和显示窗口控制寄存器,对寄存器采取索引访问方式。
从结构图可以看出,82C9001A提供3方面接口电路;窗口获取接口,信号获取与9051提供的行场信号同步,信号处理后送入VRAM;与AT总线接口,接受CPU控制信号和I/O读写,内存读写信号;与VGA接口,使显示与VGA的行场同步信号同步,并接受VGATTLVideo数据用于显示方式控制。
VideoBlaster提供以下功能:
•采集三路视频信号,切换显示。
•支持NTSC,PAL,S-VHS和RGB视频格式标准。
•支持图形混叠。
•支持输入缩放、输入剪裁。
•支持显示剪辑、显示摇移。
•提供色调、饱和度、亮度和对比度控制。
•软件支持PCX,TIF,BMP,MMP,GIF和TAG文件格式。
•端口地址,软件可选。
•软件可选IRQ。
•具有接近真彩色效果的YUV格式视频缓冲区。
•具有系统内存之外的内存映像缓存器VRAM。
•音响混频与伴音演播控制。
•具有JPEG的压缩/解压缩功能。
•支持Microsoft的数字化Video软件。
为了使用和掌握视频卡功能特点,进行编程控制,了解视频卡数据流的概念十分重要。
从视频信号到VGA的数据流简图如图3.15所示。
图中各部分标示说明如下:
3个视频信号通过源信号选择逻辑决定哪一个补捕俘进入视频缓冲器。
对视频进行裁剪、缩放、冻结等处理。
YUV格式的捕俘地址决定视频进入视频缓冲器的某一位置。
视频缓冲器的数据通过混频器,其中视频输入和VGA输入补混合。
视频和VGA的区域的选择取决于裁剪窗口和彩色调配键。
对补选择的显示区域进行摇移、缩放等显示控制。
对最终的显示进行饱和度、亮度、对比度等方面的调节。
从捕获静止图像到动态画面,VideoBlaster系列产品的VideoBlaster,VideoBlasterFS200,VideoBlasterSE,VideoBlasterSE100及VideoBlasterRT300的功能日趋成熟,迎合了目前市场上对视频卡的不同需求。
图3.15VideoBlaster数据流简图
先进先出队列(FIFO)不对报文进行分类,按报文到达接口的先后顺序让报文进入队列,在队列的出口让报文按进队的顺序出队,先进的报文将先出队,后进的报文将后出队。
三、3D图形加速卡
3D图形加速卡用来真实再现三维空间的物体,使得整个画面效果更接近于现实生活中的所见到的景象。
在屏幕上处理三维图像的计算过程非常复杂,20世纪90年代以前3D图形加速卡用在工作站上,到90年年代末期很多微机所配置的显卡基本上都具有图形加速卡的功能。
1)3D图形加速卡的相关术语
①画面刷新率
画面刷新率(FrameRate)即显示器上图形画面的更新速度,单位为FPS(帧每秒)。
其值越高,画面越流畅。
②材质3D贴图
材质3D贴图(TextureMapping)也称为材质3D映像,其真正含意就是将某种质料(纹理)的对象(其实是图形),对映在某个立体对象上。
比如,有1个悬空的立方体,将蒙娜利莎的图形,投影在这个立方体的6个面,这个投影的蒙娜利莎图形其实就是种材质(texture)投影到一个物体的表面。
如果你还是不了解,请想象一下,拿蒙娜利莎的画像当包装纸,来包一个大型魔术方块时,蒙娜利莎被扭曲的模样吧!
③Mip贴图
Mip贴图(MipMapping)是依据不同精度的要求,而使用不同版本的材质图样进行贴图。
例如:
在3D游戏中离物体近时会看到非常细腻的物体表面,而远离物体时则相应显得粗糙,这样既和实际视觉的效果一致,同时可以提升图形处理的整体效率。
④凹凸贴图
凹凸贴图(BumpMapping)是一种在3D场景中模拟粗糙表面的技术。
将深度的变化保存到一张贴图中,然后再对3D模型进行标准的混合贴图处理,即可得到具有凹凸感的表面效果。
⑤视频材质贴图
视频材质贴图(VideoTextureMapping)是目前最好的材质贴图效果。
具有此种功能的图形加速卡,采用高速的图像处理方式,将一段连续的图像以材质的方法处理,然后贴到3D物体的表面上去。
⑥平面着色
平面着色(FlatShading)是根据光线照到物体的表面后,每个点对光线的反射明暗度显示图像。
三维模型用小平面表示,不进行平滑处理。
⑦体着色
体着色(GouraudShading)根据光线照到物体的表面(平面或曲面)后,每个点对光线的反射明暗度显示图像。
三维模型用小平面表示,但进行平滑处理。
⑧透明
透明(AlphaBlending或TeXtureTransparency)就是设定物体的透明程度。
简单地说,透过位于观测点(屏幕)前面的物体,可以隐约看到被遮挡在后面的物体。
⑨雾化Fogging
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 大工 18 辅导资料