CN107424121B - 一种基于分数阶微分的模糊图像超分辨率重构方法 - Google Patents

一种基于分数阶微分的模糊图像超分辨率重构方法 Download PDF

Info

Publication number
CN107424121B
CN107424121B CN201710524404.4A CN201710524404A CN107424121B CN 107424121 B CN107424121 B CN 107424121B CN 201710524404 A CN201710524404 A CN 201710524404A CN 107424121 B CN107424121 B CN 107424121B
Authority
CN
China
Prior art keywords
frame
input image
original reference
reference frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710524404.4A
Other languages
English (en)
Other versions
CN107424121A (zh
Inventor
陈长宝
杜红民
侯长生
孔晓阳
王茹川
郭振强
郧刚
王磊
王莹莹
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Baotong Information Security Assessment Co ltd
Original Assignee
Zhongyuan Smart City Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan Smart City Design Research Institute Co ltd filed Critical Zhongyuan Smart City Design Research Institute Co ltd
Priority to CN201710524404.4A priority Critical patent/CN107424121B/zh
Publication of CN107424121A publication Critical patent/CN107424121A/zh
Application granted granted Critical
Publication of CN107424121B publication Critical patent/CN107424121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于分数阶微分的模糊图像超分辨率重构方法,包括以下步骤:步骤1,对原始图像集依次做高斯模糊和下采样处理,获得输入图像序列;步骤2,从输入图像序列中选取任意一帧输入图像进行双三次插值放大,得到原始参考帧;步骤3,采用自适应分数阶微分算法对输入图片序列中每帧输入图像和原始参考帧做图像增强处理;步骤4,通过SIFT匹配,计算每帧输入图像与原始参考帧间的运动矩阵,寻找原始参考帧上的点在每帧输入图像上的对应点;步骤5,计算原始参考帧上的点与每帧输入图像上对应点间的残差,通过残差反迭代投影修正,不断调整原始参考帧上的点的像素值,直至满足预设条件时停止。

Description

一种基于分数阶微分的模糊图像超分辨率重构方法
技术领域
本发明涉及一种图像超分辨率重构方法,具体的说,涉及了一种基于分数阶微分的模糊图像超分辨率重构方法。
背景技术
随着计算机技术和机器视觉技术的发展,关于图像超分辨率的该方法有了长足的发展,并在许多领域有着重要的应用,如多媒体、安防监控和医学领域。
目前,图像超分辨率算法主要可分为三类:基于插值理论的方法、基于学习的方法,以及基于重构和增强理论的方法;其中,基于插值理论的方法计算量小、速度快、但是会伴随着大量的信息丢失和模糊,在模糊图像的超分辨率中无法正常完成目标。基于学习的图像超分辨率效果虽然较好,但是其对外部数据库的依赖较大,在没有良好且充足的数据库的情况下不能有效达成目的,其运算量也使其应用受到限制。而现有的基于重建或增强的方法大多对于模糊图像的超分辨率都没有足够的鲁棒性。
为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足,从而提供了一种基于分数阶微分的模糊图像超分辨率重构方法。
为了实现上述目的,本发明所采用的技术方案是:一种基于分数阶微分的模糊图像超分辨率重构方法,包括以下步骤:
步骤1,对原始图像集依次做高斯模糊和下采样处理,获得输入图像序列;
步骤2,从输入图像序列中选取任意一帧输入图像进行双三次插值放大,得到原始参考帧;
步骤3,采用自适应分数阶微分算法对输入图片序列中每帧输入图像和原始参考帧做图像增强处理;
步骤4,通过SIFT匹配,计算每帧输入图像与原始参考帧间的运动矩阵,寻找原始参考帧上的点在每帧输入图像上的对应点;
步骤5,计算原始参考帧上的点与每帧输入图像上对应点间的残差,通过残差反迭代投影修正,不断调整原始参考帧上的点的像素值,直至满足预设条件时停止。
基于上述,步骤3中所述的自适应分数阶微分算法包括以下步骤:
步骤3.1,以0.01为步长,分别对图像做0.01~0.99阶分数阶微分增强,并分别计算增强后的清晰度指标,选取清晰度指标的最大值A和最小值B,计算此二值的几何平均值
Figure BDA0001338245920000021
步骤3.2,选取与此几何平均值
Figure BDA0001338245920000022
最接近的清晰度指标,将此清晰度指标所对应的分数阶微分阶数作为自适应分数阶微分阶数。
基于上述,步骤4中所述的SIFT匹配计算运动矩阵具体包括以下步骤:
步骤4.1,计算每帧输入图像的SIFT特征点,并寻找该SIFT特征点在原始参考帧上的对应点;
步骤4.2,根据SIFT特征点在每帧输入图像上的坐标信息以及其对应点在原始参考帧上的坐标信息,使用RANSAC法计算每帧输入图像的SIFT特征点与其对应点的仿射矩阵,每帧输入图像的所有SIFT特征点与其对应点的仿射矩阵即为每帧输入图像和原始参考帧的运动矩阵。
基于上述,步骤5具体包括以下步骤:
步骤5.1,根据每帧输入图像与原始参考帧间的运动矩阵确定原始参考帧上的点在每帧输入图像上的对应点位置;
步骤5.2,利用标准差为1,大小为5×5的高斯模板生成高斯点扩散函数,计算原始参考帧上的点在当前帧输入图像上的对应点的理想像素值,计算所述对应点的理想像素值与实际像素值的差值作为残差值;
步骤5.3,将所述残差值域预设阈值进行比较,若该残差在预设阈值内,则返回步骤5.1和步骤5.2,继续进行当前原始参考帧上下一个点的修正,若该残差在预设阈值外,则继续执行步骤5.4,进行原始参考帧的迭代修正;
步骤5.4,将所述残差值的绝对值减去预设阈值,恢复所述残差值的正负号,而后乘以高斯点扩散函数,得到5×5窗口,将窗口中的像素值加到原始参考帧的对应点周围窗口上;
步骤5.5,当前帧输入图像与原始参考帧上的点均计算了残差值后,开始使用下一帧输入图像继续修正原始参考帧,直至使用输入图像序列的所有帧输入图像均修正过原始参考帧后完成一次迭代修正,进入下一次迭代修正;
步骤5.6、当所有的残差值都在预设阈值内,或者迭代次数达到了预设次数时停止迭代修正。
基于上述,对于多通道的彩色图像,依次在各个通道中进行原始参考帧的迭代修正。
基于上述,清晰度指标的计算公式为:
Figure BDA0001338245920000031
其中,k(x,y)为(x,y)位置的像素值,k(x,y+1)为(x,y+1)位置的像素值,k(x+1,y)为(x+1,y)位置的像素值,m为图像中像素的行数,n为图像中像素的列数。
本发明相对现有技术具有突出的实质性特点和显著的进步,具体的说,(1)与基于学习的图像超分辨率算法相比,尤其是基于深度学习的SRCNN卷积神经网络超分辨率算法相比,本发明利用分数阶微分增强算子有效弥补了图像超分辨率过程中的高频信息减少,同时避免了对于外部训练数据库的依赖,在实现方法和理论上有较高的自由度和适应性;(2)与现有的基于重建的图像超分辨率方法相比,本发明引入的分数阶微分增强算子立足于增强图片纹理信息,提高算法对于模糊图像的适应性;引入的SIFT匹配过程立足于增加重建过程的精度,从而获得了较好的重建结果。
具体实施方式
下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。
一种基于分数阶微分的模糊图像超分辨率重构方法,包括以下步骤:
步骤1,对原始图像集依次做高斯模糊和下采样处理,获得输入图像序列;
步骤1.1,生成不同大小(如3×3、5×5),不同标准差(如0.1、0.5、0.9)的高斯滤波器,用所述高斯滤波器对原始图像集中图像做高斯滤波,得到模糊图像集;
步骤1.2,对模拟图像集中的每帧图像做0.5倍降采样,得到4幅彼此间各有差异的低分辨率图像,所有低分辨率图像即构成输入图像序列;
步骤2,从输入图像序列中选取任意一帧输入图像进行双三次插值放大,返回的两倍放大的图像作为原始参考帧;
步骤3,采用自适应分数阶微分算法对输入图片序列中每帧输入图像和原始参考帧做图像增强处理;优选的,本发明采用的分数阶微分卷积窗由Tiansi算子改进而来,将8向同性的5×5算子改进为16向同性,从而可以获得更好的处理效果;
步骤4,通过SIFT匹配,计算每帧输入图像与原始参考帧间的运动矩阵,寻找原始参考帧上的点在每帧输入图像上的对应点;
步骤5,计算原始参考帧上的点与每帧输入图像上对应点间的残差,通过残差反迭代投影修正,不断调整原始参考帧上的点的像素值,直至满足预设条件时停止,此时的原始参考帧就是最终要获得的高分辨率图片。
具体的,图像的增强可以有效提升其纹理细节信息,对于模糊图像的超分辨率来讲,一个预先的增强可以很好地帮助后续超分辨过程中恢复图像质量。由于不同阶数的分数阶窗处理效果各异,为了自适应地增强图像,我们选取一定方式自动确定增强时所使用的参数;
图像评价的清晰度指标又被称为图像平均梯度,可以有效地评价图像的微小细节,一幅大小为m×n的图像的清晰度指标为:
Figure BDA0001338245920000051
其中,k(x,y)为(x,y)位置的像素值,k(x,y+1)为(x,y+1)位置的像素值,k(x+1,y)为(x+1,y)位置的像素值,m为图像中像素的行数,n为图像中像素的列数。
图像清晰度越高,就可以认为图像边缘细节越多,当清晰度过高时,图像会出现过曝现象;
因此本发明中采用步骤3中的自适应分数阶微分算法,具体包括以下步骤:
步骤3.1,以0.01为步长,分别对每帧图像做0.01~0.99阶分数阶微分增强,并分别计算增强后的清晰度指标,选取清晰度指标的最大值A和最小值B,计算此二值的几何平均值
Figure BDA0001338245920000052
步骤3.2,选取与此几何平均值
Figure BDA0001338245920000053
最接近的清晰度指标,将此清晰度指标所对应的分数阶微分阶数作为自适应分数阶微分阶数。
具体的,步骤4中所述的SIFT匹配计算运动矩阵具体包括以下步骤:
步骤4.1,计算每帧输入图像的SIFT特征点,并寻找该SIFT特征点在原始参考帧上的对应点;
步骤4.2,根据SIFT特征点在每帧输入图像上的坐标信息以及其对应点在原始参考帧上的坐标信息,使用RANSAC法计算每帧输入图像的SIFT特征点与其对应点的仿射矩阵,每帧输入图像的所有SIFT特征点与其对应点的仿射矩阵即为每帧输入图像和原始参考帧的运动矩阵。
具体的,步骤5具体包括以下步骤:
步骤5.1,根据每帧输入图像与原始参考帧间的运动矩阵确定原始参考帧上的点在每帧输入图像上的对应点位置;
步骤5.2,利用标准差为1,大小为5×5的高斯模板生成高斯点扩散函数,计算原始参考帧上的点在当前帧输入图像上的对应点的理想像素值,计算所述对应点的理想像素值与实际像素值的差值作为残差值;
步骤5.3,将所述残差值域预设阈值进行比较,若该残差在预设阈值内,则返回步骤5.1和步骤5.2,继续进行当前原始参考帧上下一个点的修正,若该残差在预设阈值外,则继续执行步骤5.4,进行原始参考帧的迭代修正;
步骤5.4,将所述残差值的绝对值减去预设阈值,恢复所述残差值的正负号,而后乘以高斯点扩散函数,得到5×5窗口,将窗口中的像素值加到原始参考帧的对应点周围窗口上;
步骤5.5,当前帧输入图像与原始参考帧上的点均计算了残差值后,开始使用下一帧输入图像继续修正原始参考帧,直至使用输入图像序列的所有帧输入图像均修正过原始参考帧后完成一次迭代修正,进入下一次迭代修正;
步骤5.6、当所有的残差值都在预设阈值内,或者迭代次数达到了预设次数时停止迭代修正。
需要注意的是,对于多通道的彩色图像,依次在各个通道中进行原始参考帧的迭代修正。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (4)

1.一种基于分数阶微分的模糊图像超分辨率重构方法,其特征在于,包括以下步骤:
步骤1,对原始图像集依次做高斯模糊和下采样处理,获得输入图像序列;
步骤2,从输入图像序列中选取任意一帧输入图像进行双三次插值放大,得到原始参考帧;
步骤3,采用自适应分数阶微分算法对输入图片序列中每帧输入图像和原始参考帧做图像增强处理;
步骤3.1,以0.01为步长,分别对图像做0.01~0.99阶分数阶微分增强,并分别计算增强后的清晰度指标,选取清晰度指标的最大值A和最小值B,计算此二值的几何平均值
Figure DEST_PATH_IMAGE002
清晰度指标的计算公式为:
Figure DEST_PATH_IMAGE004
其中,k(x,y)为(x,y)位置的像素值,k(x,y+1)为(x,y+1)位置的像素值,k(x+1,y)为(x+1,y)位置的像素值,m为图像中像素的行数,n为图像中像素的列数;
步骤3.2,选取与此几何平均值
Figure DEST_PATH_IMAGE002A
最接近的清晰度指标,将此清晰度指标所对应的分数阶微分阶数作为自适应分数阶微分阶数;
步骤4,通过SIFT匹配,计算每帧输入图像与原始参考帧间的运动矩阵,寻找原始参考帧上的点在每帧输入图像上的对应点;
步骤5,计算原始参考帧上的点与每帧输入图像上对应点间的残差,通过残差反迭代投影修正,不断调整原始参考帧上的点的像素值,直至满足预设条件时停止。
2.根据权利要求1所述的基于分数阶微分的模糊图像超分辨率重构方法,其特征在于,步骤4中所述的SIFT匹配计算运动矩阵具体包括以下步骤:
步骤4.1,计算每帧输入图像的SIFT特征点,并寻找该SIFT特征点在原始参考帧上的对应点;
步骤4.2,根据SIFT特征点在每帧输入图像上的坐标信息以及其对应点在原始参考帧上的坐标信息,使用RANSAC法计算每帧输入图像的SIFT特征点与其对应点的仿射矩阵,每帧输入图像的所有SIFT特征点与其对应点的仿射矩阵即为每帧输入图像和原始参考帧的运动矩阵。
3.根据权利要求1所述的基于分数阶微分的模糊图像超分辨率重构方法,其特征在于,步骤5中具体包括以下步骤:
步骤5.1,根据每帧输入图像与原始参考帧间的运动矩阵确定原始参考帧上的点在每帧输入图像上的对应点位置;
步骤5.2,利用标准差为1,大小为5×5的高斯模板生成高斯点扩散函数,计算原始参考帧上的点在当前帧输入图像上的对应点的理想像素值,计算所述对应点的理想像素值与实际像素值的差值作为残差值;
步骤5.3,将所述残差值与 预设阈值进行比较,若该残差在预设阈值内,则返回步骤5.1和步骤5.2,继续进行当前原始参考帧上下一个点的修正,若该残差在预设阈值外,则继续执行步骤5.4,进行原始参考帧的迭代修正;
步骤5.4,将所述残差值的绝对值减去预设阈值,恢复所述残差值的正负号,而后乘以高斯点扩散函数,得到5×5窗口,将窗口中的像素值加到原始参考帧的对应点周围窗口上;
步骤5.5,当前帧输入图像与原始参考帧上的点均计算了残差值后,开始使用下一帧输入图像继续修正原始参考帧,直至使用输入图像序列的所有帧输入图像均修正过原始参考帧后完成一次迭代修正,进入下一次迭代修正;
步骤5.6、当所有的残差值都在预设阈值内,或者迭代次数达到了预设次数时停止迭代修正。
4.根据权利要求3所述的基于分数阶微分的模糊图像超分辨率重构方法,其特征在于,对于多通道的彩色图像,依次在各个通道中进行原始参考帧的迭代修正。
CN201710524404.4A 2017-06-30 2017-06-30 一种基于分数阶微分的模糊图像超分辨率重构方法 Active CN107424121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710524404.4A CN107424121B (zh) 2017-06-30 2017-06-30 一种基于分数阶微分的模糊图像超分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710524404.4A CN107424121B (zh) 2017-06-30 2017-06-30 一种基于分数阶微分的模糊图像超分辨率重构方法

Publications (2)

Publication Number Publication Date
CN107424121A CN107424121A (zh) 2017-12-01
CN107424121B true CN107424121B (zh) 2021-01-12

Family

ID=60426790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710524404.4A Active CN107424121B (zh) 2017-06-30 2017-06-30 一种基于分数阶微分的模糊图像超分辨率重构方法

Country Status (1)

Country Link
CN (1) CN107424121B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949332B (zh) * 2017-12-20 2021-09-17 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
CN108648143B (zh) * 2018-04-17 2022-03-29 中国科学院光电技术研究所 一种利用序列图像的图像分辨率增强方法
CN108564548B (zh) * 2018-04-19 2022-06-24 南京信息工程大学 一种自适应的非整数步长分数阶微分图像纹理增强方法
CN113920027B (zh) * 2021-10-15 2023-06-13 中国科学院光电技术研究所 一种基于双向投影的序列图像快速增强方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020177138A1 (en) * 2000-11-15 2002-11-28 The United States Of America , Represented By The Secretary, Department Of Health And Human Services Methods for the indentification of textual and physical structured query fragments for the analysis of textual and biopolymer information
CN102800071B (zh) * 2012-06-20 2015-05-20 南京航空航天大学 序列图像pocs超分辨率重建方法
CN103034982B (zh) * 2012-12-19 2015-07-08 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN103136734B (zh) * 2013-02-27 2016-01-13 北京工业大学 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法
CN103247047A (zh) * 2013-04-23 2013-08-14 重庆交通大学 一种基于分数阶偏微分的图像边缘检测方法
US9813622B2 (en) * 2015-07-27 2017-11-07 Futurewei Technologies, Inc. Color corrected high resolution imaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
分数阶偏微分方程在图像处理中的应用;周尚波等;《计算机应用》;20170210;第37卷(第2期);546-552页 *
基于分数阶微分和SIFT算法的图像匹配方法研究;孙奇等;《SEMICONDUCTOR OPT0ELECTRONICS》;20161231;第37卷(第6期);890-893,898页 *
基于改进POCS_MAP算法的遥感影像超分辨率重建;罗航;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215;第2013年卷(第12期);I140-183页 *

Also Published As

Publication number Publication date
CN107424121A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
Wang et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data
Anwar et al. Densely residual laplacian super-resolution
CN108961186B (zh) 一种基于深度学习的老旧影片修复重制方法
CN108932693B (zh) 基于人脸几何信息的人脸编辑补全方法及装置
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
Song et al. Joint face hallucination and deblurring via structure generation and detail enhancement
CN107292842B (zh) 基于先验约束和离群值抑制的图像去模糊方法
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN108346133B (zh) 一种面向视频卫星超分辨率重建的深度学习网络训练方法
Wang et al. Improved scheme of estimating motion blur parameters for image restoration
CN106169173B (zh) 一种图像插值方法
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN106169174B (zh) 一种图像放大方法
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN109741258B (zh) 基于重建的图像超分辨率方法
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN110895790B (zh) 基于后验降质信息估计的场景图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230619

Address after: 450000 Henan Zhengzhou City Henan Free Trade Experimental Zone Zhengzhou Section (Zhengdong) Shangdu Road North Station South Road West 2 Building 1 Unit 5 Floor 501

Patentee after: Henan Baotong Information Security Assessment Co.,Ltd.

Address before: 451162 Room 202, building 5, west of South section of Xingang Avenue, HANGGANG District, Zhengzhou City, Henan Province

Patentee before: ZHONGYUAN SMART CITY DESIGN RESEARCH INSTITUTE CO.,LTD.

TR01 Transfer of patent right