1、1计算机和电视合为一体，是多媒体信息系统应用的一个实例，将提高家庭自动化程度，而并不是意味着新一代信息系统的产生。通过这种方式，将改变人们长久依赖被动接收信息的情况。将交互式手段融入到人们的日常生活中。交互可以增加对信息的注意力和理解力，延长信息在头脑中保留的时间。而在单向的信息空间中，这种接收的效果和作用就很差。借助于交互活动，人们可以获得所关心的内容，获取更多的信息；用户也可以找出想看的电视节目，可以快速跳过不感兴趣的部分，可以对某些所关心的内容进行编排等，从而改变现在观看电视节目的方法。5有人说，多媒体是界面技术，即人机接口技术，你同意吗？为什么？多媒体技术包括人机接口技术，但不仅仅是人
2、机接口技术。而人机接口技术也不仅仅在多媒体领域得到应用。人机接口技术的目的是让一般用户利用计算机完成他们在某一工作领域中的任务。随着多媒体技术及其相关技术的不断发展，人机交互的接口已经开始向更加自然，更加人性化的方向发展。例如多模态接口，它将手势识别、语音识别、自然语言理解甚至面部表情识别等综合应用于人机交互。当然，人机交互接口不仅仅是一个人机界面的问题，对于媒体的理解和人机通信过程可以看成是一种智能的行为，它与人类的智能活动有着密切的关系。而多媒体技术的涵盖面更加宽泛，包括多媒体数据模型、多媒体数据压缩技术、多媒体内容处理与检索技术、多媒体表现与同步技术、多媒体人机交互接口技术、多媒体通信与
3、分布处理技术等等。略为全面的，多媒体技术可以定义为：以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。2第2章 媒体及媒体技术1为什么说媒体具有不同的抽象层次？对媒体的抽象层次和性质进行小结。在获得媒体语义的过程中，抽象起着十分重要的作用，这种抽象是复杂的，而且与任务有关。通常包括若干抽象层，每一个抽象层都包含着与具体的任务和问题域有关的模型。从接近具体感官的信息表示层到接近符号的信息表示层，信息的抽象程度递增，而数据量则递减。语义就是在从感官数据到符号数据的抽象过程中逐步形成的。对
4、不同媒体来说，媒体的语义是处于不同层次上的。抽象的程度不同，语义的重点也就不同。2媒体的空间含义是指什么？媒体的时间含义是指什么？媒体的时空综合是指什么？什么是媒体的时空“上下文”？多媒体信息的空间意义有两种解释。第一种是指表现空间，尤其是指显示空间的安排，目前在大多数研究中指的都是这一类。第二种空间意义是把环境中各种表达信息的媒体按相互的空间关系进行组织，全面整体地反映信息的空间结构，而不仅仅是零散的信息片断。媒体的时间也有两种含义。一是表现所需的时间，这是所有媒体都需要的。第二种时间意义即同媒体的空间一样，媒体的时间也可以包含媒体在时间坐标轴上的相互关系。媒体的时间关系存在于同步、实时等许
5、多方面。空间和时间组成了一个三维的时空坐标系统。时间与空间的联系构成了媒体的时空“上下文”。3媒体的结合为什么会产生“感觉相乘”的效果？试举几个例子对此加以说明。多媒体的作用在很大程度上是媒体之间结合产生的影响。这种结合可以是低层次的，如在显示窗口中提供多种媒体信息片断，并将视觉、听觉相互结合，造成一种比较适合的媒体表现环境；也可以是高层次的，由各种媒体组成完全沉浸的虚拟空间，但应该如何结合现在还缺乏理论上的指导。媒体之间可以相互支持，也可以相互干扰。如果媒体之间是相互支持的关系，则这种媒体结合所产生的效果就是“感觉相乘”效应。“感觉相乘”的例子很多，比如以视听并举的方式传递信息，比仅仅依靠观
6、察或者解说能产生更好的效果；为了追求更强的沉浸感，虚拟现实环境的构建往往需要综合考虑视觉、听觉、触觉甚至嗅觉等多种感觉。4什么是媒体的语义？什么是隐喻？各种媒体的信息在最低层次上都是二进制位流。如果仅仅作为信息的简单通道，系统不必了解媒体的语义，但如果要多媒体系统具有对媒体进行选择、合成等方面的能力，就必须赋予它媒体的语义知识，从而使得系统能在媒体之上对媒体进行比较、选择和合成。媒体被赋予的媒体的语义知识即为媒体的语义。在与多媒体系统交互的过程中，人所依据的是关于这种交互的概念模型，也称心智模型（Mental Model）。这种概念模型的建立往往需要培训和经验，不易于被用户所接受。一种较好的方
7、法是模拟人对其他事物的知识和技能，把它们挪到多媒体系统中使用，媒体的多样性为这种模拟提供了一个很好的基础，这种模拟，就是隐喻技术。5研究声音心理学对声音的处理会带来哪些好处？试举例加以说明。说明掩蔽、临界频带、相位对声音的影响。各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。纸张的沙沙声、鼓掌声、咳嗽声等往往会掩盖说话声和音乐声。一般说来，在掩蔽音条件下，要3听清被测量的测验音，就必须提高测验音的强度。由于声音的掩蔽效果，可以欺骗人的听觉。在频率的某一临界区里，各种声音强度是相互作用的，合成声音的响度由这些频率共同决定，但在临界区内不会改变。如果超出临界区，声音的响度不
8、再相互作用，随频率而变。这个临界区就是临界频带，其宽度视其中心频率而定。从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。当两个声音相同而相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到加强。相位的确定对于多声道声音系统的设计非常重要，它可以应用在回声的消除、会议系统的声音设计上等。6声音的数字化过程是怎样的？什么是声音的符号化？声音在真实世界是模拟的，时间和幅度上是连续的，声音的数字化主要包括采样、量化、编码等步骤。波形声音可以把音乐、语音都进行数字化并表示出来，但这并没有将它看成音乐和语音。对声音的抽象化（即符号化）表示包括两种类型，一种是
9、音乐、一种是语音。声音的符号化即将声音转变为符号序列的过程。7声音的三维化处理所基于的原理是什么？双工理论的作用在何时体现得较为明显、何时又会失效？耳廓模型的建立是为了达到什么样的目标？声音的三维化处理基于的原理是双工理论。人耳对声音定位的特性，通过大脑的综合作用后，对有差别的声音信号进行了相对于空间位置的定位。很显然，如果按此方法使用计算机向人耳提供不同的声音，人的大脑也会综合出声音的位置信息。双工理论过于简单，这一理论实际上是处于一个较理想的状态下，即无反射、无折射和单频率等，但实际上人耳所处的环境比双工理论描述的环境要复杂得多。按照双工理论，人耳应没有在垂直平面的定位能力，不能够区分前后
10、，因为在这些情况下两耳间声音的到达时间差ITD和两耳间声音的强度差IID都几乎为零；而实际上，人耳确实具有这方面的能力，这就是耳廓的作用。耳廓模型的建立，主要为了模拟出人耳的听觉特性，具体来讲，就是模拟如何解析声源的本身信号特征、声源的空间三维位置、声源所处的环境这3个因素。建立正确的耳廓模型有利于创造三维的虚拟听觉空间。8视觉心理学对视觉信息的处理辅助体现在哪些地方？如何利用这些心理学特性？虽然光的物理特性与心理知觉有关，但并不是线性的。把物理波的强度加倍，感受到的亮度却并不加倍。对光的色调和亮度的感觉不仅和它的频率与强度有关，而且还和它出现的背景有关，和同时出现的周围光有关。即使是最简单的
11、物理因素也要受到神经系统的复杂分析，从而产生出复杂的心理知觉反应。将物理性质和心理知觉区分开来，就是十分重要的。在多媒体信息系统的设计过程中，充分考虑视觉心理学特性，能提供更好的人机交互方式。9试完整地推导出单视点坐标系中、两眼坐标系中三维空间的一点P（x,y,z）投影到z=0平面上的二维坐标。以视点为投影中心，将三维物体的点投影于显示器的投影平面上，便在该平面上产生三维物体的像。下图所示是投影的示意，其中投影中心在坐标系的A点，其坐标为A（0，0，.d），d为视点到投影平面的距离，也就是人眼到显示器的距离。P（x,y,z）是三维空间中一点，P在z=0平面上的投影坐标为Q（X,Y,0），设点P
12、、Q在y=0上的投影分别为M、N，M、N在x=0上的投影分别为R、O。4根据相似三角形原理有： ARAOANAMPNQM.即， zddARAOyY.从而有Y = y/（1+z / d），同理有X = x/（1+z / d）。投影变换原理10如何测定手腕的转动？人体的转动和头部的转动如何测定？为了测量手部的转动，需要两个发射器，测量出两个发射器t1、t2的空间坐标，就可以根据三角函数确定转动的角度：tg（.）=（Yt1.Yt2）/（Xt1.Xt2）tg（.）=（Zt1.Zt2）/（Yt1.Yt2）tg（r）=（Xt1.Xt2）/（Zt1.Zt2）人体的转动和头部的转动可用类似的方法测定。区别在于
13、发射器t1、t2安装的位置不同。11通过系统制造出力的反馈效果和触觉效果可用于何处？试举例说明。通过力感反馈装置，可以直接提供力的反馈，提供使人感受到的物理力。例：虚拟手术中，手术刀的力反馈装置，能使虚拟手术的实施者受训训练人员更加准确的实施手术；驾驶、射击、格斗等游戏中，力反馈装置的引入，能大大提高玩家的沉浸感。触觉反馈能够让人体区别出不同物体的质感和纹理结构。触觉反馈可以在商品虚拟展示、数字娱乐等多个领域得到应用。12上网搜索有关数据手套、数据头盔、数据服装等设备及技术的有关内容，写出该设备的介绍性报告。略。5第3章 多媒体数据压缩1如何衡量一种数据压缩方法的好坏？多媒体数据存在哪些类型的
14、冗余？评价一种数据压缩技术的性能好坏主要有3个关键的指标：压缩比、图像质量、压缩和解压的速度。希望压缩比要大，即压缩前后所需的信息存储量之比要大；恢复效果要好，尽可能地恢复原始数据；实现压缩的算法要简单，压缩、解压速度快，尽可能地做到实时压缩解压。除此之外还要考虑压缩算法所需要的软件和硬件。一般而言，多媒体数据中存在的数据冗余类型主要有以下几种。（1）空间冗余在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。（2）时间冗余时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其他帧图像中的物体或场
15、景重构出来。音频的前后样值之间也同样有时间冗余。（3）信息熵冗余信源编码时，当分配给第i个码元类的比特数b（yi）= .lgpi时，才能使编码后单位数据量等于其信源熵，即达到其压缩极限。但实际中各码元类的先验概率很难预知，比特分配不能达到最佳。实际单位数据量dH（S），即存在信息冗余熵。（4）视觉冗余人眼对于图像场的注意是非均匀的，人眼并不能察觉图像场的所有变化。事实上人类视觉的一般分辨能力为26灰度等级，而一般图像的量化采用的是28灰度等级，即存在着视觉冗余。（5）听觉冗余人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。（6）其他冗余
16、包括结构冗余、知识冗余等。2数据压缩技术可分为几大类？每类有何主要特点？根据解码后数据与原始数据是否完全一致进行分类，压缩方法可被分为有失真编码和无失真编码两大类。有失真压缩法压缩了熵，会减少信息量，而损失的信息是不能再恢复的，因此这种压缩法是不可逆的。无失真压缩法去掉或减少了数据中的冗余，但这些冗余值是可以重新插入到数据中的，因此冗余压缩是可逆的过程。有失真压缩法的冗余压缩取决于初始信号的类型、前后的相关性、信号的语义内容等。由于允许一定程度的失真，可用于对图像、声音、动态视频等数据的压缩。如采用混合编码的JPEG标准，它对自然景物的灰度图像，一般可压缩几倍到十几倍，而对于自然景物的彩色图像
17、，压缩比将达到几十倍甚至上百倍。采用ADPCM编码的声音数据，压缩比通常也能做到4181。压缩比最为可观的是动态视频数据，采用混合编码的DVI多媒体系统，压缩比通常可达5011001。无失真压缩法不会产生失真，从信息语义角度讲，无失真编码是泛指那种不考虑被压缩信息的性质的编码和压缩技术，它是基于平均信息量的技术，并把所有的数据当作比特序列，而不是根据压缩信息的类型来优化压缩。也就是说，平均信息量编码忽略被压缩信6息语义内容。在多媒体技术中一般用于文本、数据的压缩，它能保证百分之百地恢复原始数据。但这种方法压缩比较低，如LZW编码、行程编码和霍夫曼（Huffman）编码的压缩比一般为2151。3
18、DPCM、ADPCM编码的基本原理是什么？DCT变换编码是如何压缩数据的？DPCM和ADPCM是两种典型的预测编码。预测编码是根据原始的离散信号之间存在着一定关联性的特点，利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预测值的差（预测误差）进行编码。如果预测比较准确，那么误差信号就会很小（通常采用均方误差最小）。这样一来，在同等精度要求的条件下，就可以用比较少的数码进行编码，达到压缩数据的目的。DCT变换编码压缩数据有3个步骤：变换、变换域采样和量化。把信号映射到另一个域，使信号在变换域里容易进行压缩，变换后的样值更独立和有序。在变换编码系统中，用于量化一组变换样值的比特总数是固
19、定的，它总是小于对所有变换样值用固定长度均匀量化进行编码所需的总数，所以量化使数据得到压缩，是变换编码中不可缺少的一步。为了取得满意的结果，某些重要系数的编码位数比其他的要多，某些系数干脆就被忽略了。在对量化后的变换样值进行比特分配时，要考虑使整个量化失真最小。4Huffman编码有何特点？行程编码是如何编码的？Huffman编码是一种对统计独立信源能达到最小平均码长的编码方法，即最佳码，它完全依据字符出现概率来构造，各码字长度严格按照所对应符号出现概率的大小逆序排列，具有即时性和惟一可译性。行程编码有多种编码方式，对于0出现较多，1较少出现（或反之）的信源数据，可以对0的持续长度（或1的持续
20、长度）进行编码，1（或0）保持不变。而对于0、1交替出现的数据，可以分别对0的持续长度和1的持续长度编码。这种编码适合于0、1成片出现的数据的压缩。为了保证解压缩时保持颜色同步，所有的数据行以白色行程代码字集开始。如果实际的扫描线从黑色行程开始，那么假设起始有白色的0行程。黑色或白色行程由规定的代码字来定义。代码字有两种类型：结束代码字和组成代码字。每个行程由0个或更多的组成代码字和一个确定的结束代码字来表示。在063范围内的行程由相应的结束代码字编码。642623（2560+63）范围内的行程首先由组成代码字编码，它表示最接近、但不大于所要求的行程，后再跟结束代码字。行程大于或等于2624时
21、，首先由组成代码2560编码。如果行程的剩余部分仍大于2560，则产生附加的组成代码2560，直到行程的剩余部分少于2560，再按前述方法编码。如果一行的行程总量不等于图像宽度域中的值，则被认为是不可恢复的错误。5常见的声音压缩标准有哪些？它们分别采用什么压缩方法？常见的声音压缩标准有：（1）电话质量的语音压缩标准国际上从ITU-T最初的G.711使用 PCM编码标准开始，已制定了一系列的语音压缩编码的标准。这些压缩标准中充分利用了线性预测技术、矢量量化技术和综合分析技术，典型的标准和算法有G.721采用ADPCM、码本激励线性预测编码（CELP）、短时延码本激励线性预测编码（LD-CELP）
22、、长时线性预测规则码激励（RPE-LTP）、矢量和激励线性预测编码（VSELP）等。下表为ITU建议的用于电话质量的语音压缩标准。7ITU建议的用于电话质量的语音压缩标准标准说 明G.711采用PCM，采样速率为8kHz，量化位数为8bit，对应的比特流速率为64kbit/s。使用了非线性量化技术G.721将64kbit/s的比特流转换成32kbit/s的流，基于ADPCM；每个数值差分用4位编码，采样率为8kHzG.723一种以24kbit/s运行的基于ADPCM的有损压缩标准G.728采用LD-CELP压缩技术；比特率为16kbit/s，带宽限于3.4kHz；音质与G.721标准相当（2）
23、调幅广播质量的音频压缩标准调幅广播质量音频信号的频率范围是50Hz7kHz，又称“7kHz音频信号”，当使用16kHz的抽样频率和14bit的量化位数时，信号速率为224kbit/s。采用G.722标准进行压缩。（3）高保真立体声音频压缩标准目前国际上比较成熟的高保真立体声音频压缩标准为“MPEG音频”。6常用的图像和视频压缩标准有哪些？静止图像压缩标准有JPEG标准和JPEG 2000标准等，其中JPEG的压缩方法包括：（1）JPEG的无损预测编码算法（2）JPEG的基于DCT的有损编码算法而JPEG 2000的压缩改用以离散小波变换算法为主的多解析编码方式，还将彩色静态画面采用的JPEG编
24、码方式、2值图像采用的JBIG（Joint Binary Image Group）编码方式及低压缩率采用JPEGLS统一起来，成为对应各种图像的通用编码方式。视频压缩标准有MPEG压缩标准、H.26L视频编码标准等。MPEG压缩标准中，MPEG-1是以两个基本技术为基础的。一是基于1616子块的运动补偿，可以减少帧序列的时域冗余度。二是基于DCT的压缩技术，减少空域冗余度。MPEG-2标准的压缩编码系统编码有两种方法，其编码输出包括传送流和程序流两种定义流。传送流和协议ISO/IEC11172-1系统定义的流相似；程序流是一种用来传送和保存一道程序的编码数据或其数据的数据流。MPEG-4采用基
25、于内容的压缩编码，将一幅图像按照内容分块，如图像的场景、画面上的物体被分割成不同的子块，将感兴趣的物体从场景中截取出来，进行编码处理。H.26L是一种高效的压缩方法，它集中了以往标准的优点，并吸收了标准制定中积累的经验。H.26L提供包传输网中处理包丢失所需的工具。H.26L在系统层面上提出了一个新的概念，在视频编码层（Video Coding Layer，VCL）和网络适配层（Network Adaptation Layer，NAL）之间进行概念性分割，前者是视频内容的核心压缩内容的表述，后者是通过特定类型网络进行传送的表述。这样的结构便于信息的封装和对信息进行更好的优先级控制。7JPEG标
26、准的基本系统中压缩过程有哪几步？每步是如何工作的？JPEG基本系统只采用顺序工作方式，其编码的简化框图如下图所示。有损压缩编码框图8压缩过程如下： 块准备。块准备是将一帧图像分成88的数据块。假设一个彩色图像由3种分量：光亮度Y和两个色差U和V表示，图像的大小为480行，每一行有640个像素。如果假设色度分解为411，则亮度分量就是一个640480的数值矩阵，色差分量是一个320240的数值矩阵。 DCT变换。JPEG将源数据图像分成88大小的子块后，进行DCT变换。 量化。为了达到压缩数据的目的，DCT系数需作量化。JPEG的量化采用线性均匀量化器。 DCT系数的编码。JPEG中对DC系数采
27、用DPCM编码，即对相邻块之间的DC系数的差值进行编码。 熵编码。JPEG建议使用两种基于统计特性的熵编码：Huffman编码和自适应二进制算术编码。可任选一种编码对第一个字节进行编码，第二个幅值字节不进行编码，仍然直接传送。8MPEG标准中减少时间冗余量的方法有哪些？为了减少时间冗余量，MPEG将1/30s的时间间隔的帧序列电视图像，以3种类型的图像格式表示：内码帧（I）、预测帧（P）和插补帧（B）。帧间的信息用运动补偿的方法确定。运动补偿有两种算法，分别是运动补偿预测法和运动补偿插补法。（a） 运动补偿预测法画面上的运动部分在帧与帧之间必然有连续性，预测法根据这一特性，将当前的图像画面看作是前面某时刻图像的位移，位移的幅度和方向在图像画面的各处可有不同。因此，利用反映运动的位移信息和前面某时刻的图像，可以预测出当前的图像。（b）运动补偿插补法用插补的方法进行运动的补偿，可以大幅度地压缩运动图像的信息。在时域中插补运动补偿是一个多分辨率技术，可以以1/10s或1/15s的时间间隔取出参考子图，然后对这两个参考子图之间的图像，按照运动的规律得到1/30s时间间隔的各个插补子图。只要对参考子图及反映运动规律的信息进行编码，就可以得到帧率为30帧/秒的全运动视频图像。9
