CN102831583A - 基于分形分析的图像视频超分辨率与增强方法 - Google Patents
基于分形分析的图像视频超分辨率与增强方法 Download PDFInfo
- Publication number
- CN102831583A CN102831583A CN2012102739377A CN201210273937A CN102831583A CN 102831583 A CN102831583 A CN 102831583A CN 2012102739377 A CN2012102739377 A CN 2012102739377A CN 201210273937 A CN201210273937 A CN 201210273937A CN 102831583 A CN102831583 A CN 102831583A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- fractal
- super
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种基于分形分析的图像视频超分辨率与增强方法,步骤:读取一幅图像或视频中的某一帧,记为I,计算I的梯度Gradori;对I进行基于内插的超分辨率处理,得到高分辨率图像的估计值H';计算H'的梯度Gradest;分别通过Gradori和Gradest计算I和H'对应像素的分形维数Dori,Dest和分形长度Lori,Lest;通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GradH;以H'和GradH为约束,重新估计出高分辨率图像本发明以图像的像素为分形集,以像素对应的梯度为分形集的测度计算出图像局部分形维数和长度,并根据分形维数的尺度不变性,对超分辨率问题进行约束;通过引入分形长度的尺度不变性这一约束,可以用于图像和视频的画质增强,尤其是纹理增强上。
Description
技术领域
本发明涉及的是一种图像和视频处理技术领域的***,具体是一种基于分形分析的图像视频超分辨率与增强方法。
背景技术
随着科技的进步,越来越多以图像和视频为载体的信息以数字的形式呈现在我们面前,例如电影电视节目、游戏以及照片等等,为我们的生活带来乐趣和精神享受。但是相比传统的基于胶片的成像手段,客观上数字成像技术在图像分辨率上有所下降。不仅如此,由于拍摄过程中的干扰,传输带宽的限制,成像设备的落后以及保存不善等原因,图像和视频在显示过程中质量下降,人眼的视觉感受也相应地受到影响。在这些不良影响之中,图像分辨率的下降对视觉的影响尤为明显。
分辨率下降导致图像的细节丢失,图像变得模糊且过于平滑。为了得到更高的分辨率,很多针对图像和视频的超分辨率算法被提出。这些方法可以被分为两类。一类是基于信号内插的算法,例如传统的双线性内插算法,以及Xiangjun Zhang和XiaolinWu在《IEEE Transaction on Image Processing》第17卷第6期的第887页至第896页发表的“Image interpolation by adaptive2-d autoregressive modeling andsoft-decision estimation”提出的方法就是这类方法的代表。但是由于这类方法往往是基于信号分段线性的假设,所以不能很好地对图像的边缘和纹理部分进行插值。为了改进传统内插算法的结果,基于图像统计特性的算法,即第二类算法被提出。这类算法以内插算法的结果为初始值,以图像的统计特征作为高分辨率图像的先验知识,得到了更好的超分辨率结果。R.Fattal在《ACM Transaction on Graphics》第26卷第3期的第95页至第102页发表的“Image upsampling via imposed edge statistics”所提出的方法就属于这类算法。但是这类算法的问题在于对于算法中的参数设定没有依据,往往需要手动调节或是基于统计方法进行训练。此外,这类方法对于图像的亮度没有约束,导致处理结果有过增强的危险。
上述的两类方法都存在缺乏理论依据,没有良好模型作为基础的缺点。为了更好的进行图像和视频超分辨率增强,本发明提出一种基于分形分析的图像及视频超分辨率方法。
发明内容
本发明针对现有技术存在的上述不足,提供一种基于分形分析的图像及视频超分辨率方法,该方法是根据分形维数和分形长度的定义,以分形维数和长度的尺度不变性为基础的超分辨率方法,本发明参数可以根据图像性质自适应调节,超分辨率结果结合尺度增强与纹理增强。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第一步、读取一幅图像或视频中的某一帧,记为I。计算I的梯度Gradori。
第二步、对I进行基于内插的超分辨率处理,得到高分辨率图像的估计值H'。
第三步、计算H'的梯度Gradest。
第四步、分别通过Gradori和Gradest计算I和H'对应像素的分形维数Dori,Dest和分形长度Lori,Lest。
第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GradH。
本发明的原理是,以图像的像素点集为分形集,以像素对应的梯度为分形集的测度计算出图像中以对应像素点为中心的块的分形维数和长度,并根据分形维数的尺度不变性,对超分辨率问题进行约束,结合传统的内插算法,分别对高分辨率图像给出亮度域和梯度域的先验,有此得到超分辨率结果。此外,通过引入分形长度的尺度不变性这一约束,本发明提出的模型及方法还可以用于图像和视频的画质增强,尤其是纹理增强上。
附图说明
图1是双线性内插示意图;
图2是本发明方法的***流程图;
图3是本发明算法中图像处理过程的示意图;
图4是本发明灰度图像超分辨率结果的比较图;
图5是本发明彩色图像超分辨率结果的比较图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例:
第一步、读取一幅图像或视频中的某一帧,记为I。计算I的梯度Gradori。
所述的计算梯度,是指对I中每个像素点(x,y)。计算
对于灰度图,只需对I的亮度通道计算梯度。对于彩色图,需要将RGB三通道映射到HSV色彩空间,只对V通道计算梯度。
第二步、对I进行基于内插的超分辨率处理,得到高分辨率图像的估计值H'。
所述基于内插的超分辨率处理,是指包括,但不限于双线性,双矩形内插在内的超分辨率处理。
以双线性内插为例。如图1所示,已知位于Q11,Q12,Q21,Q22位置的像素值,需要在位置P进行插值,插值过程如下。
1)通过下式计算位于R1,R2位置的像素值
2)通过下式计算位于P位置的像素值
第三步、计算H'的梯度Gradiest。
所述的计算梯度,是指对H'中每个像素点(x,y)。计算
对于灰度图,只需对H'的亮度通道计算梯度。对于彩色图,需要将RGB三通道映射到HSV色彩空间,只对V通道计算梯度。
第四步、分别通过Gradori和Gradest计算I和H'对应像素的分形维数Dori,Dest和分形长度Lori,Lest。
所述计算分形维数和分形长度是指如下过程:
对于图像中的以坐标(x,y)为中心的块Br(x,y),其中r为块的半径,通过下式计算(x,y)上的分形维度
其中,所述||·||表示范数,*表示卷积运算,Gr表示,但不限于如下表示,以半径r为参数的高斯核,如下式所示。
其中,σ为控制方差的参数。本实施例选取σ=0.5,但本说明所述权利不限于如此取值。
分形维数D(x,y)的计算涉及求极限的过程,所述求极限由符号表示,为了方便计算,(x,y)对应点的分形长度和分形维数通过如下线性拟合过程得到
其中,所述|·|表示取绝对值,∑表示求和,所述|·|表示取绝对值,∑表示求和,上式表示最小均方误差下对分形长度和分形维数进行估价。
第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GradH。
所述步骤是指通过保持高分辨率图像的分形维度和分形长度与低分辨率图像的对应维度和长度相等,实现对高分辨率图像梯度的估计。过程如下式所述。
其中α为分形维数不变因子,该因子使得超分辨率图像Br(x,y)内信号的分形维数与原始低分辨率图对应区域内信号的分形维数保持不变,从而对Br(x,y)区域内信号的梯度进行锐化;β为分形长度不变因子,该因子使得超分辨率图像Br(x,y)内信号的分形长度与原始低分辨率图对应区域内信号的分形长度保持不变,从而对Br(x,y)区域内信号的梯度的动态范围进行增强;该方法的依据在于分形信号的维数和长度对于尺度变换应该保持不变。
其中表示最终的超分辨率图像,G表示模糊核。λ为拉格朗日权重。表示由GradH估计出的高分辨率图像沿水平和垂直方向进行差分运算的结果。本实施例选取λ=0.5,G为尺寸为5乘5,方差为1.2的高斯核,但本说明所述权利不限于如此取值。
实施例中的画质增强效果如图3、图4所示,图3中原始图像、预处理结果、最终处理结果示意图(对应放大图如第二行所示);图4为黑白图像增强效果示意图(左图为原图)。
实施效果
依据上述步骤,对常用的300张超分辨率实验用图像(来自伯克利BSD300数据库,尺寸为481*321)进行4倍放大。所有实验均在PC计算机上实现,该PC计算机的主要参数为:中央处理器CoreTM2Duo CPU E66002.40GHz,内存3GB。
软件平台:MATLAB。
增强结果为:
平均用时32.571秒每帧。
***流程如图2、3所示。
本实施例获得的超分辨率结果如图4、5所示,图4为黑白图像增强效果示意图(左图为原图)。图5为彩色图像增强效果示意图(左图为原图)
与现有技术相比,本发明不同于对算法中使用的参数取定值,而是根据图像本身的性质采用分形分析的方法自适应地选择参数。不仅如此,由于引入了分形长度的尺度不变约束,使得图像在超分辨率的同时实现了纹理部分的增强。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。
Claims (7)
3.根据权利要求1或2所述的基于分形分析的图像视频超分辨率与增强方法,其特征是,第二步中:所述基于内插的超分辨率处理,是指双线性,双矩形内插在内的超分辨率处理。
5.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法,其特征是,第四步中:分别通过Gradori和Gradest计算I和H'对应像素的分形维数Dori,Dest和分形长度Lori,Lest,具体如下:
对于图像中的以坐标(x,y)为中心的块Br(x,y),其中r为块的半径,通过下式计算(x,y)上的分形维度
μ(Br(x,y))表示对Br(x,y)区域内的信号计算一种由上式定义的测度;
其中,所述||·||表示范数,*表示卷积运算,Gr表示以半径r为参数的高斯核,如下式所示:
其中,σ为控制方差的参数;
所述表示在Br(x,y)区域内进行积分;log表示取自然对数;分形维数D(x,y)的计算涉及求极限的过程,所述求极限由符号表示,为了方便计算,(x,y)对应点的分形长度和分形维数通过如下线性拟合过程得到:
其中,所述|·|表示取绝对值,∑表示求和,上式表示最小均方误差下对分形长度和分形维数进行估价。
6.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法,其特征是,第五步中:通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GrdH,是指通过保持高分辨率图像的分形维度和分形长度与低分辨率图像的对应维度和长度相等,实现对高分辨率图像梯度的估计,具体过程如下:
其中α为分形维数不变因子,该因子使得超分辨率图像Br(x,y)内信号的分形维数与原始低分辨率图对应区域内信号的分形维数保持不变,从而对Br(x,y)区域内信号的梯度进行锐化;β为分形长度不变因子,该因子使得超分辨率图像Br(x,y)内信号的分形长度与原始低分辨率图对应区域内信号的分形长度保持不变,从而对Br(x,y)区域内信号的梯度的动态范围进行增强;该方法的依据在于分形信号的维数和长度对于尺度变换应该保持不变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210273937.7A CN102831583B (zh) | 2012-08-02 | 2012-08-02 | 基于分形分析的图像视频超分辨率与增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210273937.7A CN102831583B (zh) | 2012-08-02 | 2012-08-02 | 基于分形分析的图像视频超分辨率与增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102831583A true CN102831583A (zh) | 2012-12-19 |
CN102831583B CN102831583B (zh) | 2014-12-10 |
Family
ID=47334700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210273937.7A Active CN102831583B (zh) | 2012-08-02 | 2012-08-02 | 基于分形分析的图像视频超分辨率与增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102831583B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500445A (zh) * | 2013-09-22 | 2014-01-08 | 华南理工大学 | 一种彩***的超分辨率处理方法 |
CN105354801A (zh) * | 2015-10-13 | 2016-02-24 | 苏州汉基视测控设备有限公司 | 一种基于hsv色彩空间的图像增强方法 |
CN112435160A (zh) * | 2020-11-06 | 2021-03-02 | 上海航天控制技术研究所 | 一种基于生成式对抗网络的深度图超分辨率方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030182246A1 (en) * | 1999-12-10 | 2003-09-25 | Johnson William Nevil Heaton | Applications of fractal and/or chaotic techniques |
CN101261677A (zh) * | 2007-10-18 | 2008-09-10 | 周春光 | 人脸和虹膜混合识别的新方法——特征提取层融合 |
-
2012
- 2012-08-02 CN CN201210273937.7A patent/CN102831583B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030182246A1 (en) * | 1999-12-10 | 2003-09-25 | Johnson William Nevil Heaton | Applications of fractal and/or chaotic techniques |
CN101261677A (zh) * | 2007-10-18 | 2008-09-10 | 周春光 | 人脸和虹膜混合识别的新方法——特征提取层融合 |
Non-Patent Citations (2)
Title |
---|
YOUNG CHEUL WEE ET AL.: "A Novel Fast Fractal Super Resolution Technique", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 * |
杨晓 等: "一种改进的基于序列的超分辨率图像重建算法", 《电脑知识与技术》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500445A (zh) * | 2013-09-22 | 2014-01-08 | 华南理工大学 | 一种彩***的超分辨率处理方法 |
CN103500445B (zh) * | 2013-09-22 | 2016-05-04 | 华南理工大学 | 一种彩***的超分辨率处理方法 |
CN105354801A (zh) * | 2015-10-13 | 2016-02-24 | 苏州汉基视测控设备有限公司 | 一种基于hsv色彩空间的图像增强方法 |
CN105354801B (zh) * | 2015-10-13 | 2019-11-08 | 苏州汉基视测控设备有限公司 | 一种基于hsv色彩空间的图像增强方法 |
CN112435160A (zh) * | 2020-11-06 | 2021-03-02 | 上海航天控制技术研究所 | 一种基于生成式对抗网络的深度图超分辨率方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102831583B (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102006484B (zh) | 图像处理装置和图像处理方法 | |
CN109462747B (zh) | 基于生成对抗网络的dibr***空洞填充方法 | |
US9870600B2 (en) | Raw sensor image and video de-hazing and atmospheric light analysis methods and systems | |
US9922443B2 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
CN102722875B (zh) | 一种基于视觉注意和质量可变的图像超分辨率重建方法 | |
US20160063684A1 (en) | Method and device for removing haze in single image | |
CN102436671B (zh) | 一种基于深度值非线性变换的虚拟视点绘制方法 | |
CN103136734A (zh) | POCS超分辨率图像重建时边缘Halo效应的抑制方法 | |
CN103914820A (zh) | 一种基于图像分层增强的图像去雾方法及*** | |
Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
CN101499164B (zh) | 一种基于单张低分辨率图像的图像插值重构方法 | |
US20150071545A1 (en) | Image Enhancement Using Self-Examples and External Examples | |
CN108022223A (zh) | 一种基于对数映射函数分块处理融合的色调映射方法 | |
US8233748B2 (en) | Image-resolution-improvement apparatus and method | |
CN113724164B (zh) | 一种基于融合重构制导滤波的可见光图像噪声去除方法 | |
CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
CN107451976A (zh) | 一种图像处理方法及装置 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
CN106169174A (zh) | 一种图像放大方法 | |
CN103761724A (zh) | 基于超现实亮度对比度传递算法的可见光与红外视频融合方法 | |
CN115713469A (zh) | 基于通道注意力和形变生成对抗网络的水下图像增强方法 | |
CN102831583B (zh) | 基于分形分析的图像视频超分辨率与增强方法 | |
Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |