CN103632357B - 一种基于光照分离的图像超分辨率增强方法 - Google Patents

Abstract

本发明公开了一种基于光照分离的图像超分辨率增强方法，该方法先对参考图像进行光照分离处理，然后利用大量参考图像学习图像低频信息和高频信息之间的对应关系，最后利用这种对应关系获取待增强图像的高频信息，得到高分辨率图像。本发明充分考虑了外界光线变化对图像处理的影响，极大地提升了超分辨率图像增强的效果；对于同一个场景的图像，只需要一个光线下的图像，极大地降低了学习样本库的规模；同时由于样本库的规模的降低，训练得到的先验知识库的规模也有所降低，因此在进行高维数据检索时，可节省时间，提高运算效率。

Description

一种基于光照分离的图像超分辨率增强方法

技术领域

本发明属于图像信息处理技术领域，具体地说，涉及一种基于光照分离的图像超分辨率增强方法，即一种基于光照分离的由低分辨率图像恢复高分辨图像的超分辨率处理方法。

背景技术

随着互联网和信息处理技术的快速发展，人们对图像分辨率的要求越来越高。但是由于受到物理成像条件和采集环境的限制，采集到的图像分辨率有时会很低，图像的视觉效果难以满足人们的需要。

超分辨率图像增强方法利用图像本身的性质和相邻图像块的关联信息，通过一定的算法处理，在不增加硬件投入的情况下从低分辨率低质量输入图像中估计出高分辨率高质量图像，使图像分辨率超过光学硬件设备的分辨率，获得图像潜在的细节信息，增强图像的可用性。这种方法一经提出，便引起了许多学者的广泛重视和关注。Harris[请参考文献J.LHarris.DiffractionandResolvingPower.JournalofOpticalSocietyofAmerican，Vol.54，No.7，pp.931-936，1964]从理论上证明，两个不同的物体不会产生同样的图像，因此，在无噪声条件下获取的任何图像只与一个物体相对应。这样，根据一个物体的低分辨率图像对该物体的细节增强存在可能。经过科研人员的后续研究，超分辨率图像增强方法已经取得较多结果，其可行性已经不容质疑。

超分辨率图像增强方法在视觉监控、公共安全、遥感、医学成像和高清晰度电视等多个领域有着广泛的应用前景。在卫星遥感方面，由于成像条件与成像设备的分辨率都有一定限制，一般来说很难获得高清晰度的图像，因此，从已获取的低分辨率图像来生成高分辨率图像具有十分重要的意义；在视频传输***中，通过扩大图像和增加细节，可以从视频序列中得到超分辨率静态图像，把普通视频信号转化成高清晰度电视信号；在公共安全领域，处理由于运动、散焦、环境等引起的低质量图像，获取高质量图像；在生物特征识别领域，可以用超分辨率图像复原方法来得到高分辨率的人脸图像，这种高分辨率人脸图像用于人脸识别，可大大提高识别精度。

超分辨率增强方法已经成为国际上图像处理领域近十年来最为活跃的研究课题之一。超分辨率增强方法大致可以分为两个方向：基于重构的方法和基于学习的方法。基于重构的超分辨率增强方法的主要思想是利用多帧重复拍照图像的冗余信息，重构出超分辨率图像，消除和降低混频效应。基于重构的超分辨率增强方法需要建立符合实际情况的成像模型和降质模型，并需要对图像序列进行精确的亚像素运动估计，这在实际处理中都非常困难。基于学习的超分辨率增强方法是在基于重构的方法遇到困难的情况下发展起来的，虽然起步较晚，但目前看来能够弥补基于重构的方法的很多不足，基于学习的超分辨率增强方法结合智能技术的发展，针对特定类型的图像，有效利用先验知识，能有效提高空间分辨率，是值得进一步研究的方向，本发明就是属于基于学习的超分辨率领域，以解决该领域中的关键问题。

基于学习的超分辨率增强方法最早由***-梅隆实验室的Baker等[请参考文献S.Baker，andT.Kanade.LimitsonSuper-resolutionandHowtoBreakThem.Proc.ofComputerVisionandPatternRecognition，pp.372-379，2000]提出，他们提出一种基于先验知识进行增强的方法，利用机器学习算法去训练指定类别图像，将得到的先验知识用于超分辨率增强。麻省理工学院Freeman等[请参考文献W.T.Freeman，T.R.Jones，andE.C.Pasztor.Example-BasedSuper-Resolution.IEEEComputerGraphicsandApplications，Vol.22，No.2，PP.56-65，2002]提出了基于样本的方法，利用马尔可夫网络来学习训练库中低分辨率图像与高分辨率图像块之间的关系，用学习到的关系来预测输入低分辨率图像的细节信息。Bishop等[请参考文献C.M.Bishop，A.Blake，andB.Marthi.Super-ResolutionEnhancementofVideo.Proc.ofthe9thInternationalConferenceonArtificialIntelligenceandStatistics，pp.410-414，2003]利用一个图像块数据库来获取自然图像的中频段和高频段之间的关系，并用已被增强的超分辨率图像的一部分作为当前图像增强的训练集，从而添加了附加的高频信息。Joshi等[请参考文献M.V.Joshi，S.Chaudhuri，andR.Panuganti.ALearning-BasedMethodforImageSuper-ResolutionfromZoomedObservations.IEEETransactionsonSystems，ManandCybernetics，Vol.35，No.3，pp.527-537，2005]提出一种融合不同尺寸的图像进行分辨率增强的方法。基于学习的超分辨率增强方法需要从大规模先验数据库中搜索匹配的信息，需要的计算资源非常大，以往的研究工作中缺乏这方面的研究，致使消耗时间长，影响了该方法的应用。

基于学习的超分辨率增强方法的基本思路是，利用大量参考图像学习图像低频信息和高频信息之间的对应关系，利用这种对应关系获取待增强图像的高频信息，得到高分辨率图像。该方法通常分两个步骤，离线训练过程和在线增强过程，其中，离线训练过程是利用统计学习的方法，分析由大量高分辨率图像和低分辨率图像构成的图像参考库，建立低分辨率图像中的低频信息和高频信息之间的对应关系，构建知识库，其处理过程如图1所示；在线增强过程中，对输入图像分块，为每个图像块提取搜索特征矢量，在知识库中搜索最匹配的高频信息，经过融合后得到高分辨率图像，其处理过程如图2所示。

在上述已有的图像增强方法中，没有考虑图像光线的影响，但在实际应用中，由于光线变化导致获取的同一场景的图像变化多样，在某一光线条件下研制的图像先验知识库和特征表示方法，在另一光线条件下不能很好地应用，这就大大限制了基于学习的超分辨率图像增强方法的应用范围。因此，迫切需要一种不受光线变化影响的图像增强方法，利用有限的训练样本，在增强图像细节的同时，保持图像的光照的延续性。本发明在已有处理方法的基础上，增加了光照分离的处理环节，能够有效的解决上述现有技术中存在的问题。

发明内容

为了解决上述现有技术中存在的问题，本发明提出一种基于光照分离的图像超分辨率增强方法。该方法包括以下步骤：

步骤1，建立含有多幅高分辨率图像的训练图像库；

步骤2，对所述训练图像库中的每一幅高分辨率图像进行光照分离处理，得到光照不变图像和光照图像；

步骤3，对所述步骤2得到的所述光照不变图像进行降质处理得到对应的低分辨率图像；

步骤4，对所述高分辨率图像与所述步骤3得到的相应的低分辨率图像进行求差，得到高频信息图像；

步骤5，针对所述步骤3得到的低分辨率图像和所述步骤4得到的高频信息图像，将所述低分辨率图像和所述高频信息图像分成多个重叠的高频信息图像块和低分辨率图像块，根据图像块的对应位置，建立多个高-低分辨率图像块对，并分别对高频信息图像块和低分辨率图像块提取高频特征向量和低频特征向量，将提取得到的高频特征向量和低频特征向量对组成先验知识库；

步骤6，将待增强的低分辨率图像扩大到增强后的尺寸；

步骤7，利用光照分离处理方法，对扩大后的低分辨率图像进行光照预处理，得到光照不变图像和光照图像；

步骤8，将所述步骤7中得到的光照不变图像分成多个重叠的图像块，并对每一图像块提取与所述步骤5中提取的特征相同的特征向量；

步骤9，基于所述步骤8提取得到的特征向量在所述先验知识库中查询得到与所述步骤8提取得到的特征向量最匹配的多个特征向量，从而根据所述特征向量或者所述特征向量之间的对应关系获取对应的高频信息图像块；

步骤10，将所述步骤9得到的高频信息图像块与所述步骤7中得到的光照不变图像叠加融合，得到光照不变的高分辨率图像；

步骤11，对所述步骤7中得到的光照图像与所述光照不变的高分辨率图像进行图像融合，得到增强后的高分辨率图像。

本发明方法应用领域广泛，特别是在公安、监控、遥感等领域，由于现有技术受到采集条件的限制，采集到的图像有时会存在分辨率不高、模糊等问题，因此极大地限制了图像的实际使用价值，而本发明方法可有效地提升图像的分辨率，增强图像的数据价值。

附图说明

图1为现有技术中超分辨率增强方法的离线训练过程流程图；

图2为现有技术中超分辨率增强方法的在线增强过程流程图；

图3显示了根据本发明一实施例的图像超分辨率增强方法的离线训练过程；

图4显示了根据本发明一实施例的图像超分辨率增强方法的在线增强过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

超分辨率的定义是由低分辨率图像重建高分辨率图像。给定单幅低分辨率图像，按照设定方案分割成有重叠的图像块，利用先验知识库，估计每一图像块的高分辨率图像块，然后经过融合得到增强的高分辨率图像。低分辨率图像中缺乏描述细节高频信息，因此，增强的目的也就是利用先验知识库，获取高频信息，将高频信息与低分辨率图像叠加从而产生增强的图像。

本发明针对现有技术中的方法受光线影响偏大的问题，在处理过程中增加了光照分离的环节，利用图像中光照不变的信息为依据，获取高频信息，最后再增加光照信息，还原真实场景。本发明方法分为两个过程：离线训练过程和在线增强过程。前一个过程一般离线进行，构建有效的先验知识库；后一个过程在线进行，针对输入的图像，快速获得增强的图像。本发明在离线训练过程和在线增强过程中，均增加了光照分离的处理过程，以降低光照对超分辨率图像增强的影响。

图3显示了根据本发明一实施例的图像超分辨率增强方法的离线训练过程。所述离线训练过程的目的是构建一先验知识库，在本发明中，所述先验知识库由一组高分辨率的图像集训练得到。

如图3所示，本发明图像超分辨率增强方法的离线训练过程包括以下几个步骤：

步骤1，建立含有多幅高分辨率图像的训练图像库；

步骤2，对所述训练图像库中的每一幅高分辨率图像进行光照分离处理，得到光照不变图像和光照图像；

考虑到光照变化对图像的影响通常是全局的，其决定了图像色度和亮度的基本基调。Land[请参考文献E.H.Land.AnAlternativeTechniquefortheComputationoftheDesignatorintheRetinexTheoryofColorVision.Proc.ofNationalAcademyofScience：NationalAcademyofScience，UAS，83，pp：3078-3080，1986]提出一个关于人类视觉***如何调节感知到物体的颜色和亮度的模型Retinex算法，其实质上是一种基于光照补偿的图像处理算法，可以在灰度动态范围压缩，边缘增强和颜色恒定性三方面达到平衡。通过该算法，可以分离反应外界光线的光照图像和反应物体反射本质的光照不变图像。本发明就是利用该算法对高分辨率图像进行光照分离处理，得到光照不变图像和光照图像的。

步骤3，对所述步骤2得到的所述光照不变图像进行降质处理得到对应的低分辨率图像；

该步骤中，所述降质处理可采用现有技术中的多种方法，比如可先采用高斯平滑，然后进行降采样，最后利用插值方法得到同尺寸但是分辨率低的图像。

步骤4，对所述高分辨率图像与所述步骤3得到的相应的低分辨率图像进行求差，得到高频信息图像；

步骤5，针对所述步骤3得到的低分辨率图像和所述步骤4得到的高频信息图像，采用相同的图像分块策略，将所述低分辨率图像和所述高频信息图像分成多个重叠的高频信息图像块和低分辨率图像块，根据图像块的对应位置，建立多个高-低分辨率图像块对，并分别对高频信息图像块和低分辨率图像块提取高频特征向量和低频特征向量，将提取得到的高频特征向量和低频特征向量对组成先验知识库；

该步骤中，所述高频特征向量一般直接由高频信息图像块中相应的图像信息构成，而所述低频特征向量可以由相应低分辨率图像块的灰度特征、梯度特征构成，也可以由图像块的统计特征构成，如直方图等，所述高频特征向量和低频特征向量构成了相应图像块的搜索向量。

本发明超分辨率增强方法的目的在于恢复高分辨率图像具备的而低分辨率图像缺乏的高频信息。因此，训练图像中真正有价值的是低分辨率图像和原始高分辨率图像的差值信息即高频信息图像，以及差值信息与低分辨率图像之间的对应关系。上述离线训练过程正是通过先验知识库建立了这种关系。

图4显示了根据本发明一实施例的图像超分辨率增强方法的在线增强过程。如图4所示，所述在线增强过程包括以下几个步骤：

步骤6，将待增强的低分辨率图像，比如通过插值方法，扩大到增强后的尺寸；

步骤7，利用光照分离处理方法，对扩大后的低分辨率图像进行光照预处理，得到光照不变图像和光照图像；

步骤8，对于所述步骤7中得到的光照不变图像，按照同训练过程中相同的方法分成多个重叠的图像块，并对每一图像块提取与所述步骤5中提取的特征相同的特征向量；

步骤9，基于所述步骤8提取得到的特征向量在所述先验知识库中查询得到与所述步骤8提取得到的特征向量最匹配的多个特征向量，从而根据所述特征向量或者所述特征向量之间的对应关系获取对应的高频信息图像块；

该步骤中的特征向量匹配方法，可采用传统的向量相似度计算方法，比如根据欧式距离、加权欧式距离、马氏距离等进行向量相似度计算。

步骤10，将所述步骤9得到的高频信息图像块与所述步骤7中得到的光照不变图像叠加融合，得到光照不变的高分辨率图像；

该步骤中的图像叠加融合方法可采用像素级的融合方法，比如现有技术中的均值、加权求和等图像融合方法。

步骤11，对所述步骤7中得到的光照图像与所述光照不变的高分辨率图像进行图像融合，得到增强后的高分辨率图像。

本发明方法所取得的优点有如下几个方面：

1)提升超分辨率图像增强的效果

本发明能够充分考虑外界光线变化对图像处理的影响，从而极大地提升了超分辨率图像增强的效果。

2)降低学习的样本库

本发明对于同一个场景的图像，只需要一个光线下的图像，从而极大地降低了学习样本库的规模。

3)提高计算效率

本发明由于样本库的规模的降低，训练得到的先验知识库的规模也有所降低，因此在进行高维数据检索时，可节省时间，提高运算效率。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于光照分离的图像超分辨率增强方法，其特征在于，该方法包括以下步骤：

步骤1，建立含有多幅高分辨率图像的训练图像库；

步骤2，对所述训练图像库中的每一幅高分辨率图像进行光照分离处理，得到光照不变图像和光照图像；

步骤3，对所述步骤2得到的所述光照不变图像进行降质处理得到对应的低分辨率图像；

步骤4，对所述经光照分离后的光照不变高分辨率图像与所述步骤3得到的相应的低分辨率图像进行求差，得到高频信息图像；

步骤5，针对所述步骤3得到的低分辨率图像和所述步骤4得到的高频信息图像，将所述低分辨率图像和所述高频信息图像分成多个重叠的高频信息图像块和低分辨率图像块，根据图像块的对应位置，建立多个高-低分辨率图像块对，并分别对高频信息图像块和低分辨率图像块提取高频特征向量和低频特征向量，将提取得到的高频特征向量和低频特征向量对组成先验知识库；

步骤6，将待增强的低分辨率图像扩大到增强后的尺寸；

步骤7，利用光照分离处理方法，对扩大后的低分辨率图像进行光照预处理，得到光照不变图像和光照图像；

步骤8，将所述步骤7中得到的光照不变图像分成多个重叠的图像块，并对每一图像块提取与所述步骤5中提取的特征相同的特征向量；

步骤9，基于所述步骤8提取得到的特征向量在所述先验知识库中查询得到与所述步骤8提取得到的特征向量最匹配的多个特征向量，从而根据所述特征向量或者所述特征向量之间的对应关系获取对应的高频信息图像块；

步骤10，将所述步骤9得到的高频信息图像块与所述步骤7中得到的光照不变图像叠加融合，得到光照不变的高分辨率图像；

步骤11，对所述步骤7中得到的光照图像与所述光照不变的高分辨率图像进行图像融合，得到增强后的高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤3中，依次采用高斯平滑、降采样以及插值得到所述低分辨率图像。

3.根据权利要求1所述的方法，其特征在于，所述低分辨率图像与所述光照不变图像同尺寸。

4.根据权利要求1所述的方法，其特征在于，步骤5中，所述高频特征向量直接由高频信息图像块中相应的图像信息构成。

5.根据权利要求1所述的方法，其特征在于，步骤5中，所述低频特征向量由相应低分辨率图像块的灰度特征、梯度特征或统计特征构成。

6.根据权利要求5所述的方法，其特征在于，所述统计特征为直方图。

7.根据权利要求1所述的方法，其特征在于，所述步骤6中通过插值方法扩大待增强的低分辨率图像。

8.根据权利要求1所述的方法，其特征在于，所述步骤9中，采用向量相似度计算方法对特征向量进行匹配。

9.根据权利要求8所述的方法，其特征在于，所述向量相似度计算方法为根据欧式距离、加权欧式距离或马氏距离进行向量相似度计算。

10.根据权利要求1所述的方法，其特征在于，所述步骤10和所述步骤11中，采用像素级的融合方法对图像进行融合。