1、基于稀疏表示的单帧图像超分辨率研究基于稀疏表示的单帧图像超分辨率研究摘要 超分辨率重建是信号处理领域一项富有挑战性的课题，图像超分辨率为恢复成像系统丢失的信息提供了可能，这一技术的发展与应用将会缓解成像系统硬件高昂费用的压力，还能在应用高分辨率图像的场合为人们提方便。本文讨论了单帧图像超分辨重建技术的算法模型和基本原理，对其中几个比较经典的超分辨算法的原理、具体实现方法和性能特点进行详细分析和讨论。分别讨论了双三次插值方法、基于邻域嵌入的方法(NESR)和基于稀疏表示的图像超分辨率重建算法(SCSR)，对重建结果进行对比分析。实验表明SCSR法相比较于其他两种方法的效果更好。关键词 超分辨率重
2、建 稀疏表示 单帧图像Research on single-frame super-resolution image based on sparse representationAbstract Image super resolution based on sparse representation is a challenging problem in signal processing, which offers the possibility to recover the lost high frequency information. The development and empl
3、oyment of this technology will help relieve the pressure of expensive costs for imaging system, and provide conveniences for people when they demand high resolution image .Therefore, the research objective of this thesis is single-frame super-resolution image reconstruction technology, especially sp
4、arse representation based image super-resolution reconstruction.This article discusses the basic principles of the single-frame algorithm model and super-resolution image reconstruction techniques, the principles of which a few more classic super-resolution algorithm, the specific implementation met
5、hods and performance characteristics are analyzed and discussed in detail by comparing cubic interpolation, based on neighborhood embedding method (NESR) and sparse representation based super-resolution image reconstruction algorithm (SCSR) be super-resolution reconstruction, reconstruction results
6、were analyzed. Experiments show better results in comparison SCSR wears the other two methods.Keyword Super-resolution reconstruction sparse representation single-frame image.第 1 章 引言1.1 论文的背景及意义 无论是大地测量、交通监控、精密测量还是医学计算机辅助诊断对图像的分辨率都提出了越来越高的要求。 遥感图像应用领域往往需要获得某一地区的高分辨率图像。通过使用卫星拍摄到的同一地区的多帧图像进行超分辨处理，得到清
7、晰可靠的图像，以便进行精准的分析和识别。 现今监控设备广泛应用于交通岗、银行、超市、居民楼，为人民生活的安全提供了层层保障。然而，限于监控设备的硬件能力、拍摄环境复杂、拍摄距离远等情况，往往不能得到足够分辨率的图像。当发生异常情况，超分辨率重建就会显示它的威力，利用现有的低分辨率图像获得高分辨图像，并将其用于侦察，能协助公安机关破获案件、打击犯罪，并能够在威慑不法分子方面起到积极作用。 近年来，随着计算机技术的迅猛发展，受益于计算机辅助诊断，医疗技术水平也得以不断提高。计算机辅助减轻了大量的人力资源，并在一定程度上降低了假阳率和假阴率，有效地提高了诊断的可靠性，为患者带来福音。虽然医学图像常常
8、具有较高的分辨率，然而，这个分辨率是指图像所含像素多，图像大，所获得的图像会因采集、存储、传输处理而存在模糊、噪声或者分辨率不足的问题。超分辨率重构可以帮助医生获得感兴趣区域的清晰图像，帮助医生获得更详尽的信息，从而使医生能够快速准确地分析病情，因此超分辨率分析也在计算机辅助诊断方面也具有很大的价值。超分辨率分析在计算机诊断领域的应用，不仅能大大改进医疗技术，也能为病人减轻疾苦做出贡献。 在军事方面的应用。军事侦察、夜视、CCD红外成像获得的图像经常存在分辨率低的问题，这里便是超分辨率重建的用武之地。超分辨重建获得的高清图像能为我军提供可靠的战地信息，为祖国的安全防卫工作贡献力量。 图像的超分
9、辨分析还可用于数字电视等显示设备的研发。由于远距离传输、图像压缩等必然会造成图像的分辨率损失，通过对低分辨率视频的超分辨重构，可以获取高分辨率的图像，改善图像的视觉效果。另外，液晶显示器高清画面的呈现也离不开超分辨技术，目前的LCD超分辨技术也取得了一定的成果。 由于图像超分辨技术不需要改变现有物理设备就能获得满足实际需要的高分辨率图像，与传统的提高图像分辨率的方法相比，不但改善了采用传统软件方法提高图像分辨率的效果而且避免由硬件升级所消耗的成本。目前，图像超分辨率技术已引起更懂研究者的关注。1.2 超分辨率研究现状 图像超分辨率重建方法的发展历程主要包括三个阶段:插值重建、多帧重建和基于学习
10、的方法重建(基于稀疏表示的方法属于此类)。它们对于超分辨率重建问题的解决，给出了自己的思路，且有各自的优点和缺点，如下所述:1.插值重建方法从己知的离散的样本点估计未知的中间值的过程叫做插值。插值在图像处理中的表现形式就是图像的放大。在单帧图像的插值方法中，最近邻插值1、双线性插值2和双三次插值3三种方法被广泛应用。还有基于他们的改进方法如分类插值法4，结合图像特征处理的插值法5，利用视频变换工具进行的插值法等。在这类方法中，待插值点的像素值是依据图像退化模型，对待插值点周围已知像素信息进行加权而得。该类方法的算法时间复杂度较低，但是由于大量信息的丢失使重建出来的高分辨率图像在边缘处过于平滑，
11、而且缺少足够的细节信息。尤其在高放大倍数的情况下，该现象更为明显。2.多帧重建方法在基于插值重建的方法之后，出现了利用同一场景下的多幅低分辨率图像来解决超分辨率问题的方法，这类方法被称为基于多帧重建的方法。该类方法主要包括:最大后验概率法（Maximum a Posteriori, MAP)、迭代反投影法(Iterative Back Projection, IBP)、凸集投影法(Projection onto Convex Sets, POCS),混合MAP/POCS6法和滤波法等。相对于插值重建的方法，该类方法能够较多地运用图像的先验信息，获得更多的图像细节。然而在实际应用中，获得同一场景
12、下的多幅低分辨率图像数据存在一定的难度，同时该类方法的处理结果中包含有一些伪信息，且随着放大因子的增大该类方法的处理效果急剧下降。因此，研究人员和学者开始寻找新的解决超分辨率问题的方法。3.基于学习的方法基于学习的超分辨率算法是通过训练给定图像数据库，计算待恢复图像(测试数据库)与训练数据库之间的关系，并构造最优约束，来获得高低分辨率图像之间关系的一种方法。如果图像分辨率需要提高，基于学习的方法可以提供更多的高频细节信息，因此该方法为相对理想的超分辨率重建方法。(1)基于样本学习的超分辨率方法 Freeman于2002年在文献7中首先提出了基于样本的超分辨方法。该方法的主要思想是通过马尔可夫随
13、机场建立高分辨率图像相邻块之间的概率模型、高低分辨率图像之间的概率转移模型，完成学习过程，然后再对需要重建的图像中每一块寻找最优马尔科夫位置，即找到对应的高分辨率图块，进而得到一幅完整的高分辨率图像。该方法对较大放大倍数的超分辨仍然可以胜任，但此方法需要精心选取训练样本，而且还没有良好的去除噪声的能力。(2)邻域嵌入式的学习方法2004年Chang等人 提出邻域嵌入的超分辨法8,9通过流型学习估测高低分辨率图像流型之间的关系。该算法把低分辨率图像块的局部几何空间映射到高分辨率空间，然后组合邻域图像块来获得高分辨率图像块。这一方法可以利用小的训练集、少的数据获得更多的高分辨图像块。然而，或者因为
14、过拟合或者因为欠拟合，固定数目的k近邻来重构图像经常造成图像模糊。1.3 本文的结构本文主要是是对单帧图像超分辨率重建进行研究。在第一章中介绍此篇论文的背景和意义以及国内外研究现状。第二章主要介绍单帧图像超分辨率重建的理论和方法：基于插值重建的图像超分辨率算法；基于学习的图像超分辨率算法。第三章是论文的重点部分，主要通过仿真实验的方式来探究几个常用的算法得出结果的优劣并进行分析，得出哪种方法可以取得更好的效果。第 2 章 单帧图像超分辨率重建方法成像过程中由于系统衍射、截止频率、欠采样等原因，图像将不可避免地发生降质，这会导致图像分辨率的降低。成像系统通过感光元件采集图像。根据传统理论，如果满
15、足奈圭斯特采样定理，就可以无失真地重构原始图像。然而，由于物理器件的体积限制，无法满足感光元件个数的需求。感光元件的不足导致无法满足采样定理，所以图像成像为欠采样过程，这就导致了图像降质，造成图像分辨率降低。在成像过程中，由传输通道混入的图像噪声也是图像降质的一个重要因素。另外，在图像采集时若成像设备移动、抖动或所拍摄的物体在做高速运动，均有可能造成图像模糊，使得图像质量降低。数字图像涉及的各个领域几乎都需要更高分辨率的图像，图像的超分辨重建就是图像降质的逆过程。成像过程是一个低通的过程，截止频率以上的信息全部丢失，单幅图像的超分辨需要估计截止频率以上的信息，从而增加图像的细节信息，达到提高分
16、辨率的目的。本章首先介绍图像超分辨算法模型，然后介绍几种单帧图像超分辨算法以及图像超分辨率算法性能评价指标，最后对几种算法的特点进行分析和总结。2.1 单帧超分辨率算法模型在图像超分辨率重建算法中，首先要建立高分辨率图像之间的关系。一般来说，在单帧图像超分辨图像重建算法中，几何扭曲可以忽略不计，因此可以将图像获取过程中的退化现象模拟为原始高分辨率图像经过光学模糊、下采样和噪声干扰等一系列过程，用数学表达式表示如式(2-1)所示: （2-1）其中，X表示原始的高分辨率图像，Y表示经过退化后的低分辨率图像，D表示下采样因子，B表示模糊因子，n表示噪声。单帧图像超分辨算法模型如图2-1所示。从图2-
17、1可以看出，图像超分辨重建就是利用信号处理方法求解图像退化的逆过程，即利用获得的低分辨率图像Y，通过超分辨率算法估计出满足需要的高分辨率图像图2-1 单帧图像超分辨率算法模型框图2.2 现有的单帧图像超分辨率算法本节按照现有单帧图像超分辨算法的算法思想和分类方法，对其中几个比较经典的算法进行分类介绍。2.2.1基于学习的图像超分辨率算法基于学习的超分辨率重建技术首先利用高分辨图像训练库和图像退化模型获得一个高低分辨率的图像训练集，然后通过一定的学习算法获得高低分辨率图像之间的映射关系，最后利用优化算法对待重建的低分辨率图像进行优化，估计出相应的高分辨率图像。1.基于样例的方法。Freeman等
18、人最早提出基于样例的图像超分辨率算法10。他们通过实验发现仅仅利用图像的局部信息不能估计出所期望的高分辨率图像细节，而马尔可夫随机场能统计出图像中每个像素关于它的一组邻近像素的条件分布。因此，他们提出将马尔可夫网络模型用来学习高分辨率图像块与低分辨率图像块间的对应关系，然后利用与待重建的低分辨率图像块邻域内最相关的N个图像块进行高分辨率图细节信息的预测，从而获得需要的高分辨率图像。该方法主要包括两个阶段:样本库的训练和高分辨率图像重建。2.经典的邻域嵌入法11。基于邻域嵌入的图像超分辨率方法起源于局部线性嵌入的方法，假定高低分辨率图像块在独立的特征空间内具有相似的局部几何流形，也就是说图像块的
19、几何特征向量可以由其特征空间中相邻的几个特征线性加权得到。为了保证算法重建的准确性以及重建图像的局部特性和平滑性，在训练集构成和图像重时，对图像进行分块时有一定的重叠。基于邻域嵌入的训练集构造过程如图2-2所示。图2-2 基于邻域嵌入的训练集构造2.2.2基于插值重建的图像超分辨率算法经典的插值方法包括最近邻插值、双线性插值和双三次插值方法。它们的处理方法简单且快速，其他的超分辨率算法是在这三种算法的基础上进行改进，或者是以它们的处理结果作为算法的初始值进行进一步的处理，本文所研究的基于稀疏表示的图像超分辨率算法也是将双三次插值结果作为算法的初始图像。1.最近邻插值法最近邻域插值是最简单的插值
20、算法。是将图像中未知的高分辨率的像素点映射到对应的低分辨率的图像中去，然后将距离它最近的低分辨率像素点的值作为未知像素点的值。对于一维数据的最近邻插值，两个点可以确定一个中间点，以此类推，二维最近邻域插值需要四个像素点。下面说明最近邻域插值的运算关系。其核函数表达式如下: （2-2）其中，s是高分辨率图上的未知点到已知点之间的距离。2.双线性插值法双线性插值方法是利用离投影点最近的四个点进行加权平均(线性插值)，得到对应的高分辨图像的未知像素值。具体地，该方法需要首先在一个一维方向进行一次线性插值，然后再从剩余的那个方向进行一次线性插值，共完成两次线性插值。每次计算一个未知像素点，一维线性插值
21、需要两个己知点，则双线性插值需要四个己知点。双线性插值的一维线性插值核函数为: （2-3）其中，s是未知点的投影到己知点之间的距离。由上图可见，双线性插值结果比最近邻插值结果更平滑。因为最近邻插值实际并没有进行插值，只是简单地复制了未知点周围的信息，而双线性插值有效地利用了未知点邻域信息，通过线性插值估计出该点的像素。3.双三次插值法双三次插值需要先在一个一维的方向进行立方插值，然后需要在另外一个方向上进行一次立方插值。每次计算一个未知像素点，一维的立方插值需要四个，那么二维的双立方插值需要十六个点。一维的立方插值的核函数表达式如下： （2-4）其中参数a可以有不同的取值，一般取在正负1之间。
22、三种插值方法中，最近邻域和双线性插值计算复杂度相对较低，在多数场合能满足实时运算的需求，因此它们被广泛应用。但是，不如人意的是，这两种方法对分辨率的提高贡献很小，尤其是无法得到足够的高频信息，而使得恢复出来的图像仍然存在较大的失真。这三种方法中，双立方插值最适合增强高频部分的细节信息，它的不足就是其计算复杂度比较大。尽管双立方插值的能提供更多的细节信息，不过，它仍然存在与前两种方法相同的问题，尤其是需要高分辨率的场合，它无法给出足够多的细节信息。插值方法或者出现锯齿效应或者出现边缘模糊现象。最近邻插值边缘阶梯锯齿图像失真非常明显，双线性插值边缘阶梯锯齿图像失真较为明显，有一定的边缘模糊，双立方
23、插值边缘阶梯失真较弱，边缘模糊非常明显。2.3 本章小结基于插值重建的超分辨率算法和基于学习的超分辨率方法从不同方面对图像超分辨率重建问题进行求解。本章将这两类方法统称为单帧图像超分辨率算法，并从单帧图像超分辨率算法的模型出发，对现有的一些单帧图像超分辨算法进行了分类介绍，并对其各自的特点进行分析。最后对图像超分辨率算法的算法性能评价指标进行简要概括。传统的插值重建方法计算简单容易实现，应用也较为广泛。但是在高放大倍数的情况下，由于图像原始信息的大量丢失，会使得重建出来的高分辨率图像在边缘处常常过于平滑，而且缺少足够的细节信息。基于学习的超分辨率算法，在进行高分辨图像重建之前，利用训练库，对图
24、像的先验信息进行了学习，所以能获得更多的图像细节信息，获得更好的图像重建质量。然而在基于学习一类的超分辨率算法中，近邻数目选择不当，会使重建出来的高分辨率图像细节和边缘模糊，从而影响图像的重建质量。针对这一问题，基于稀疏表示的图像超分辨率重建算法给出了很好的解决办法，本文将在下一章中对该算法进行详细地分析与讨论。第 3 章 基于稀疏表示的图像超分辨率重建算法基于稀疏表示的图像超分辨率算法12是在现有基于学习的超分辨率算法的基础上，将稀疏表示理论引入训练集的学习和高分辨率图像重建过程中。本章在对该算法的学习和研究基础上，对该算法的理论基础和关键技术进行详细介绍，然后通过仿真实验，对该算法的特点和
25、可以改进的两个方面进行分析和讨论。3.1 基于稀疏表示的图像超分辨率重建算法与其它的基于学习的超分辨重建方法一样，基于稀疏表示的图像超分辨率重建算法包括过完备字典构建和高分辨率图像重建两个阶段。该算法在字典构建和图像重建过程中均涉及到稀疏表示系数的求解，因此，本节将对图像的稀疏表示理论模型、过完备字典构建和高分辨率图像重建方法进行介绍。3.1.1 图像的稀疏表示理论模型图像的稀疏表示指的是，图像或图像信号可以利用过完备原子库中一系列合适的原子进行线性组合来近似逼近。由于该线性组合用到的原子数目远远小于原子库中原子的总数目，因此，这个原子库是过完备的。图像的稀疏表示原理如下:给定图像信号Y和过完
26、备字典D，可以利用D中一系列合适的基线性组合来表示Y。其中的数学关系可表示为式(3-1)。 （3-1）其中，是稀疏表示系数，表示0范数，由于利用表达式（3-1）求解是一个NP难的问题，实际计算中采用吧式（3-1）的求解过程转化为凸优化问题，如式（3-2）所示： （3-2）其中，是正则化参数。3.1.2 过完备字典构建基于稀疏表示的图像超分辨率重建算法的第一步是利用图像训练库来获得过完备的稀疏表示字典。过完备字典的训练是通过提取图像训练库中的高低分辨率图像块信息，并利用K一奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。图3-1给出了基于稀疏表示的图像超分辨率重建算
27、法中字典训练的具体过程。图3-1 基于稀疏表示的图像超分辨率重建算法的字典训练过程如图3-1所示，基于稀疏表示的图像超分辨率重建算法进行字典训练所用的技术包括训练样本的提取方法和进行字典训练的K-SVD算法。1.训练样本的提取在基于稀疏表示的图像超分辨率重建算法中，对图像的处理是分块进行的，训练样本由图像训练库中的高分辨图像随机抽取而来，通常训练样本数要远远大于字典中的原子个数。为了获得一个具有广泛适用性的字典，应尽可能选择较多的自然高分辨率图像作为图像训练库，且图像训练库中的图像信息种类要尽可能多。在具体的字典训练过程中，低分辨率图像是由高分辨图像退化而来，常常需要提取低分辨率图像的多种特征
28、，并将其特征进行分块与对应的高分辨图像块组成一个向量进行字典的训练。由于图像的一阶、二阶梯度能有效地表达图像的特征，且提取算法简单，因此常用它们来表示图像的特征。图像的一阶、二阶梯度滤波器算子可用式(3-3)表示。 (3-3)其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像的特征。然后将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练算法的输入。这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率图像块间的兼容性。2.K-SVD字典训练法K-SVD算法是基于稀疏表示的图像超分辨率重建算法中字典训练过程的核心算法。K-SVD算法又被称为广义K
29、一均值聚类算法，它与K-均值聚类算法有很大的联系，当K-SVD算法中的每个信号只用一个原子来近似表示时，K-SVD算法就退化为K一均值聚类算法。它的主要思想是:求解输入样例在当前字典中的稀疏表示以及字典更新这两个过程的不断交替，根据稀疏表示结果对字典的每一列进行更新。假设有N个训练样本输出，用表示过完备词典，Y=表示训练样本集合，A=表示训练样本的稀疏表示系数集合，则K-SVD字典训练算法可以等价为求解式（3-4） （3-4）其中，T为稀疏表示系数中非零数目的上限值。3.1.3 图像重建过程图3-2 基于稀疏表示的图像超分辨率重建算法的高分辨率重建过程基于稀疏表示的图像超分辨率重建算法在经过字
30、典训练之后，通过将己知的低分辨率图像在训练得到的高低分辨率字典中进行稀疏表示和重建，从而估计出期望的高分辨率图像。基于稀疏表示的图像超分辨率重建算法的高分辨率图像重建过程如图3-2所示。首先将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始值，接着提取该初始图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为Y，然后利用式(3-5)在低分辨率字典中获得y得稀疏表示系。 （3-5）其中，P为重叠区域，w为重叠区域中已重建出来的像素值，是一个常数，用来调整已重建出来的像素值对待重建块重建的影响。然后根据高低分辨率图像块在局部具有相似的几何流形这一特性，
31、可认为高低分辨率图像块对在训练集中的稀疏表示系数是一致的，因此将获得的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用式(3-6)估计出相应的高分辨率图像块。 （3-6）利用上述方法，可以获得高分辨率图像的初始估计值。但是，由式(3-5)得到的高分辨率图像并不能精确地代表实际的高分辨率图像，且式(3-5)不能很好地体现高分辨率图像退化成低分辨率图像的过程，同时低分辨率图像中可能存在干扰(如噪声等)。因此在算法的最后，基于稀疏表示的图像超分辨率重建算法运用后向投影滤波器来减小高分辨率图像的重建误差。后向投影滤波器用数学式表达为式(3-7): （3-7）其中，S表示
32、采样因子，H表示模糊算子，c为常数。在实际计算中，常采用梯度下降法来求解式(3-7)，如式(3-8)所示: （3-8）其中，X表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长。3.2 图像超分辨率重建算法仿真实验实验方法如下:将测试图像库中20幅高分辨率测试图像模拟图像退化过程获得相应的低分辨率图像，然后对一各低分辨率图像分别采用双三次插值、基于邻域嵌入的方法(NESR)和基于稀疏表示的图像超分辨率重建算法(SCSR)进行超分辨率重建，对重建结果进行对比分析。（a)黄色花图 （b)小狗图（c)神庙图 （d)lena图图3-3测试图像中的部分图像其中，测试图像的退化过程为:首先将测试的高分辨图像进行下采样
