CN110322404B - 一种图像增强方法及*** - Google Patents

一种图像增强方法及*** Download PDF

Info

Publication number
CN110322404B
CN110322404B CN201910599238.3A CN201910599238A CN110322404B CN 110322404 B CN110322404 B CN 110322404B CN 201910599238 A CN201910599238 A CN 201910599238A CN 110322404 B CN110322404 B CN 110322404B
Authority
CN
China
Prior art keywords
resolution
image
module
enhancement
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910599238.3A
Other languages
English (en)
Other versions
CN110322404A (zh
Inventor
张焕芹
秦翰林
延翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Rongjun Technology Co ltd
Original Assignee
Shanghai Rongjun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Rongjun Technology Co ltd filed Critical Shanghai Rongjun Technology Co ltd
Priority to CN201910599238.3A priority Critical patent/CN110322404B/zh
Publication of CN110322404A publication Critical patent/CN110322404A/zh
Application granted granted Critical
Publication of CN110322404B publication Critical patent/CN110322404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像增强方法及***，该方法包括：对输入图像I进行超分辨率得到图像I'，然后对图像I'进行平稳小波变换，得到低通子带L；对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，然后对细节子带Hh、Hv与Hd分别进行增强，接着进行超分辨率；将低通子带L及超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像该***包括：第一超分辨率模块、第一平稳小波变换模块、第二平稳小波变换模块、细节子带增强模块、第二超分辨率模块以及逆平稳小波变换模块。本发明的基于改进的FSRCNN的图像增强方法及***，得到的增强图像细节清晰、对比度较高、视觉效果良好、客观评价指标较优，实时性好。

Description

一种图像增强方法及***
技术领域
本发明涉及一种图像增强技术领域，特别涉及一种图像增强方法及***。
背景技术
图像增强的目的是增强图像的视觉效果，从而图像的超分辨率也可以纳入广义的图像增强技术。由于红外成像技术的特点，红外图像普遍存在对比度低、边缘模糊和细节突出不明显的问题，因此就需要图像增强技术来提高红外图像的质量。
目前，市场上适用的红外图像增强方法主要两类，基于空域的图像增强方法和基于变换域的图像增强方法。
空域图像增强算法是直接对图像中的像素进行处理，从根本上说是以图像的灰度映射变换为基础的，所用的映射变换类型取决于增强的目的。空域图像增强算法主要包括灰度变换、直方图均衡化(HE)、平滑和锐化等。其中，直方图均衡化算法因其具有较低的计算复杂度和有效的对比度增强能力被广泛应用。然而，这种方法容易导致过度增强、细节信息丢失和图像噪声放大，特别是对于红外图像。所以，为了解决上述缺点，研究者们提出了多种基于直方图均衡方法的改进算法。学者提出了一种保持图像亮度的双直方图均衡算法(Brightness preserving Bi-Histogram Equalization，BBHE)，该算法根据图像的平均灰度将输入图像分割成两个子图像，并分别对这两个子灰度直方图进行均衡处理，从在一定程度上保持增强前后的亮度。学者提出了一种等面积二元子图像直方图均衡化算法(DSIHE)，DSIHE使用与BBHE相同的策略来提高全局对比度，但唯一的区别是选择中值强度作为分离阈值，与BBHE相比，DSIHE在保持输入图像的平均信息量方面具有更好的性能。学者提出的平台直方图均衡化(Plateaus Histogram Equalization，PE)算法，该算法减少直方图均衡化过程中的噪声放大过均衡效应，特别是对于红外图像。学者提出了对比度受限的自适应直方图均衡算法(Contrast Limited Adaptive Histogram Equalisation，CLAHE)，该算法将输入图像分成多个不重叠的子块，并对每个子块的直方图进行裁剪和重新分配，以限制对比度，同时引入双线性插值来防止块效应的产生，但是该算法计算复杂。为了减少算法的计算复杂程度，学者提出了一种基于子块重叠局部直方图均衡算法的优化算法。
变换域增强方法首先将图像空间中的图像以某种形式转换到其他空间中，然后利用该空间的特有性质进行图像增强处理，最后再转换到原来的图像空间中，从而得到增强后的图像。常见的变化有小波变换、傅里叶变换和离散余弦变换等等。小波变换是一种新发展起来的数学工具，是一种多分辨率分析方法，它有很好的频域和时域特性，可以弥补傅里叶变换不能描述时间变化的频率特性的不足。因此小波既可以很好的处理图像的平坦区域，又可以有效地表示图像信号的边缘部分，这使得小波变换的应用比较频繁。近年来，研究者们提出了一系列基于小波变换的图像增强算法，在图像处理领域取得了很好的效果。学者提出采用小波变换实现红外图像对比度和峰值信噪比增强，该方法是先用小波变换将图像分为高频域与低频域，然后在高低频域用阈值滤波消除噪声突出细节，低频域用奇异值分解处理方法来增强对比度和图像质量，最后，经过小波逆变换和小波重构得到最终的增强图像。学者提出了基于平稳多小波变换的红外图像噪声抑制方法，该方法结合多小波和平稳小波变换在去噪方面的优点，对噪声抑制有着很好的作用。
除此之外，一些新兴的图像增强方法也相继提出并且取得了良好的效果，如多尺度分析方法、基于模糊理论的增强方法、基于人类视觉特性增强方法等，这些算法的处理效果明显优于空间域、频域的增强方法，但是这些算法也存在一定的弊端，比如空间复杂度和时间复杂度较高，不能满足***的实时性的要求等。
发明内容
本发明针对上述现有技术中存在的问题，提出一种图像增强方法及***，得到的增强图像细节清晰、对比度较高、视觉效果良好、客观评价指标较优，实时性好，是一种有效可行的图像增强技术。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种图像增强方法，包括：
S11：对输入图像I进行超分辨率，得到图像I'，然后对图像I'进行平稳小波变换，得到低通子带L；
S12：对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，然后对细节子带Hh、Hv与Hd分别进行增强，接着对增强后的细节子带Hh、Hv与Hd进行超分辨率；
S13：将所述低通子带L以及超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
其中，所述S11与S12不分先后顺序，可以先进行S11，也可以先进行S12，也可以两者同时进行。
较佳地，所述S11中的超分辨率和/或所述S12中的超分辨率为基于FSRCNN深度卷积网络的超分辨率。
较佳地，所述S11具体包括：
S111：将输入图像I扩展到目标分辨率，记为Y；
S112：利用第一层卷积层的卷积核，提取Y中的块，并转换成一组高维向量，每个维度代表一种特征映射；
S113：将所述S112中得到的高维向量通过第二卷积层映射成另一具有高分辨率图像特征的高维向量，得到高分辨率块对应的特征向量；
S114：利用第三层卷积层合成所述S113中得到的高维向量，生成一个高分辨率图像I'，并计算损失函数。
较佳地，所述S111中的将输入图像I扩展到目标分辨率的方法为通过双立方插值。
较佳地，所述第一卷积层的卷积核数量为64个，第二卷积层的卷积核数量为32个，第三卷积层的卷积核数量为1个；或者，
所述第一卷积层的卷积核数量为128个，第二卷积层的卷积核数量为64个，第三卷积层的卷积核数量为1个。
较佳地，所述S114中的损失函数为均方误差。
较佳地，所述第一卷积层对应的公式为：
F1(Y)＝max(0,W1*Y+B1)；
所述第二卷积层对应的公式为：
F2(Y)＝max(0,W2*F1(Y)+B2)；
所述第三卷积层对应的公式为：
F3(Y)＝W2*F2(Y)+B3；
其中，W1表示第一层卷积层的卷积核，B1表示第一卷积层的增益，W2表示第二卷积层的卷积核，B2表示第二卷积层的增益，W3表示第三卷积层的卷积核，B3表示第三卷积层的增益。
较佳地，所述S12中的对细节子带Hh、Hv与Hd分别进行增强包括：对细节子带Hh、Hv与Hd分别进行对比度增强，然后再进行非线性增强。
较佳地，所述S12中的对比度增强为CLAHE对比度增强，公式分别为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于该阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
较佳地，所述S12中的非线性增强的具体公式为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于该阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
本发明还提供一种图像增强***，包括：第一超分辨率模块、第一平稳小波变换模块、第二平稳小波变换模块、细节子带增强模块、第二超分辨率模块以及逆平稳小波变换模块；其中，
所述第一超分辨率模块与所述第一平稳小波变换模块相连；所述第一超分辨率模块用于对输入图像I进行超分辨率，得到图像I'，所述第一平稳小波变换模块用于对第一超分辨率模块得到的图像I'进行平稳小波变换，得到低通子带L；
所述第二平稳小波变换模块与细节子带增强模块相连，第二超分辨率模块与所述细节子带增强模块相连；所述第二平稳小波变换模块用于对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，所述细节子带增强模块用于对所述第二平稳小波变换模块得到的细节子带Hh、Hv与Hd分别进行增强，所述第二超分辨率模块用于对所述细节子带增强模块得到的增强后的细节子带Hh、Hv与Hd进行超分辨率；
所述逆平稳小波变换模块分别与所述第一平稳小波变换模块以及所述第二超分辨率模块相连；所述逆平稳小波变换模块用于将所述第一平稳小波变换模块得到的低通子带L以及所述第二超分辨率模块得到的超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
相较于现有技术，本发明具有以下优点：
(1)本发明提供的图像增强方法及***，通过对经过平稳小波变换分解后的细节子带进行超分辨率，能够有效提升图像的细节信息；
(2)本发明提供的图像增强方法及***，通过显著性强的平稳小波变换，能够对图像进行多尺度多方向分解，很好地表示图像的细节信息，有利于红外图像的细节增强；
(3)本发明提供的图像增强方法及***，对含有噪声的红外图像增强问题，增强图像细节清晰、对比度较高，视觉效果较好，客观评价指标较优，实时性好，是一种有效可行的红外图像增强技术。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的实施例的图像增强方法的流程图；
图2为本发明的实施例使用的输入图像的源图像；
图3a为采用现有的Bicubic图像增强算法对源图像进行增强后得到的图像；
图3b为采用现有的SRCNN图像增强算法对源图像进行增强后得到的图像；
图3c为采用现有的FSRCNN图像增强算法对源图像进行增强后得到的图像；
图3d为采用现有的VDSR图像增强算法对源图像进行增强后得到的图像；
图3e为采用本发明的实施例的图像增强算法对源图像进行增强后得到的图像；
图4为本发明的实施例的图像增强***的结构示意图。
标号说明：1-第一超分辨率模块，2-第一平稳小波变换模块，3-第二平稳小波变换模块，4-细节子带增强模块，5-第二超分辨率模块，6-逆平稳小波变换模块。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
结合图1，本实施例对本发明的基于改进的FSRCNN的图像增强算法进行详细描述，如图1所示，其包括：
S11：对输入图像I进行超分辨率，得到图像I'，然后对图像I'进行平稳小波变换，得到低通子带L；
S12：对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，然后对细节子带Hh、Hv与Hd分别进行增强，接着对增强后的细节子带Hh、Hv与Hd进行超分辨率，得到高分辨率细节子带；
S13：将S11中得到的低通子带L以及S12中超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
其中，S11与S12不分先后顺序，可以先进行S11，也可以先进行S12，也可以两者同时进行。
上述实施例的图像增强方法，通过对经过平稳小波变换分解后的细节子带进行超分辨率，能够有效提升图像的细节信息；通过显著性强的平稳小波变换，能够对图像进行多尺度多方向分解，很好地表示图像的细节信息，有利于红外图像的细节增强。
较佳实施例中，S11中的超分辨率以及S12中的超分辨率为基于改进的FSRCNN深度卷积网络的超分辨率，是将低分辨率图像扩展为高分辨率图像后再送入FSRCNN深度卷积网络。
具体地，S11中的超分辨率具体包括：
S111：将输入图像I扩展到目标分辨率，记为Y；
S112：利用第一层卷积层的卷积核，提取Y中的块，并转换成一组高维向量，每个维度代表一种特征映射；
S113：将S112中得到的高维向量通过第二卷积层映射成另一具有高分辨率图像特征的高维向量，得到高分辨率块对应的特征向量；
S114：利用第三层卷积层合成S113中得到的高维向量，生成一个高分辨率图像I'，并计算损失函数。
具体地，S12中的超分辨率具体包括：对低分辨率图像进行多次卷积和反卷积获得高分辨率图像。
较佳实施例中，S111中的将输入图像I扩展到目标分辨率的方法为通过双立方插值。
较佳实施例中，第一卷积层的卷积核数量为64个(或128)个，卷积核大小为9×9；第二卷积层的卷积核数量为32个(或64)个，卷积核大小为1×1(或5×5，9×9)；第三卷积层是重构层，其卷积核数量为1个，卷积核大小为。训练时，先将高分辨率图像下采样得到低分辨率图像，再双立方插值恢复到原大小，作为网络输入，而将原图像用于计算损失函数。
较佳实施例中，第一卷积层对应的公式为：
F1(Y)＝max(0,W1*Y+B1)；
第二卷积层对应的公式为：
F2(Y)＝max(0,W2*F1(Y)+B2)；
第三卷积层对应的公式为：
F3(Y)＝W2*F2(Y)+B3；
其中，W1表示第一层卷积层的卷积核，B1表示第一卷积层的增益，W2表示第二卷积层的卷积核，B2表示第二卷积层的增益，W3表示第三卷积层的卷积核，B3表示第三卷积层的增益。
较佳实施例中，S114中的损失函数为均方误差，公式为：
其中，X表示标准参考高分辨率图像。
较佳实施例中，S12中的对细节子带Hh、Hv与Hd分别进行增强包括：对细节子带Hh、Hv与Hd分别进行对比度增强，然后再进行非线性增强。
较佳实施例中，S12中的对比度增强为CLAHE对比度增强，公式分别为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于该阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
较佳实施例中，S12中的非线性增强的具体公式为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于该阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
本发明实施例还提供一种图像增强***，如图4所示，其包括：相互连接的第一超分辨率模块1以及第一平稳小波变换模块2，还包括：依次连接的第二平稳小波变换模块3、细节子带增强模块4以及第二超分辨率模块5，还包括：分别与第一平稳小波变换模块2以及第二超分辨率模块5相连的逆平稳小波变换模块6。其中，第一超分辨率模块1用于对输入图像I进行超分辨率，得到图像I'，第一平稳小波变换模块2用于对第一超分辨率模块得到的图像I'进行平稳小波变换，得到低通子带L；第二平稳小波变换模块3用于对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，细节子带增强模块4用于对第二平稳小波变换模块3得到的细节子带Hh、Hv与Hd分别进行增强，第二超分辨率模块5用于对细节子带增强模块4得到的增强后的细节子带Hh、Hv与Hd进行超分辨率；逆平稳小波变换模块6用于将第一平稳小波变换模块2得到的低通子带L以及第二超分辨率模块5得到的超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
上述图像增强***实施例中各模块具体实现可以采用上述图像增强方法对应步骤的技术，在此不再赘述。
进一步的，在本发明其他实施例中，也可以提供一种计算机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述实施例中所述的图像增强方法。
本发明实施例的图像增强效果可以通过仿真实验具体说明：
利用现有的方法以及本发明实施例的方法分别对图2的源图像进行仿真，得到如图3a—3e所示的增强图像。其中图3a是基于Bicubic法的增强结果图，图3b是基于SRCNN法的增强结果图，3c是基于FSRCNN法的增强结果图，3d是基于VDSR法的增强结果图，3e是基于本发明实施例的方法的增强结果图，从图3的增强结果图可见，本发明实施例的增强图像不仅整体对比度得到了改善，目标物体的边缘以及表面纹理也非常清晰。
此外，为了更好地说明本发明的优越性和先进性，将采用常用的6个典型的图像增强客观评价指标来评价利用本发明实施例获得的增强结果与别的方法获得的增强结果的客观质量。2种评价指标分别为：PSNR与SSIM，PSNR与SSIM值越大说明增强图像质量越好。实验图像的客观评价指标如表1所示。
表1
由表1可以看出，本发明实施例增强结果得到的2项客观评价指标均优于其它方法，因此本发明能够有效提高图像的清晰度和细节信息。
综上，本发明实施例提出的图像增强方法及***得到的增强图像视觉效果良好、细节信息丰富、对比度高，效率高。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述***的技术方案实现所述方法的步骤流程，即，所述***中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (6)

1.一种图像增强方法，其特征在于，包括：
S11：对输入图像I进行超分辨率，得到图像I'，然后对图像I'进行平稳小波变换，得到低通子带L；
S12：对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，然后对细节子带Hh、Hv与Hd分别进行增强，接着对增强后的细节子带Hh、Hv与Hd进行超分辨率；
S13：将所述低通子带L以及超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
其中，所述S11与S12不分先后顺序；
所述S11中的超分辨率具体包括：
S111：将输入图像I扩展到目标分辨率，记为Y；
S112：利用第一层卷积层的卷积核，提取Y中的块，并转换成一组高维向量，每个维度代表一种特征映射；
S113：将所述S112中得到的高维向量通过第二卷积层映射成另一具有高分辨率图像特征的高维向量，得到高分辨率块对应的特征向量；
S114：利用第三层卷积层合成所述S113中得到的高维向量，生成一个高分辨率图像I'，并计算损失函数；
所述S12中的对细节子带Hh、Hv与Hd分别进行增强包括：对细节子带Hh、Hv与Hd分别进行对比度增强，然后再进行非线性增强；
所述S12中的对比度增强为CLAHE对比度增强，公式分别为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率；
所述S12中的非线性增强的具体公式为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
2.根据权利要求1所述的图像增强方法，其特征在于，所述S11中的超分辨率和/或所述S12中的超分辨率为基于FSRCNN深度卷积网络的超分辨率。
3.根据权利要求1所述的图像增强方法，其特征在于，所述第一层卷积层的卷积核数量为64个，第二卷积层的卷积核数量为32个，第三层卷积层的卷积核数量为1个；或者，
第一卷积层的卷积核数量为128个，第二卷积层的卷积核数量为64个，第三层卷积层的卷积核数量为1个。
4.根据权利要求1所述的图像增强方法，其特征在于，所述S114中的损失函数为均方误差。
5.根据权利要求1所述的图像增强方法，其特征在于，所述第一层卷积层对应的公式为：
F1(Y)＝max(0,W1*Y+B1)；
所述第二卷积层对应的公式为：
F2(Y)＝max(0,W2*F1(Y)+B2)；
所述第三层卷积层对应的公式为：
F3(Y)＝W2*F2(Y)+B3；
其中，W1表示第一层卷积层的卷积核，B1表示第一层卷积层的增益，W2表示第二卷积层的卷积核，B2表示第二卷积层的增益，W3表示第三层卷积层的卷积核，B3表示第三层卷积层的增益。
6.一种图像增强***，其特征在于，包括：第一超分辨率模块、第一平稳小波变换模块、第二平稳小波变换模块、细节子带增强模块、第二超分辨率模块以及逆平稳小波变换模块；其中，
所述第一超分辨率模块与所述第一平稳小波变换模块相连；所述第一超分辨率模块用于对输入图像I进行超分辨率，得到图像I'，所述第一平稳小波变换模块用于对第一超分辨率模块得到的图像I'进行平稳小波变换，得到低通子带L；
所述第二平稳小波变换模块与细节子带增强模块相连，第二超分辨率模块与所述细节子带增强模块相连；所述第二平稳小波变换模块用于对输入图像I进行平稳小波变换得到细节子带Hh、Hv与Hd，所述细节子带增强模块用于对所述第二平稳小波变换模块得到的细节子带Hh、Hv与Hd分别进行增强，所述第二超分辨率模块用于对所述细节子带增强模块得到的增强后的细节子带Hh、Hv与Hd进行超分辨率；
所述逆平稳小波变换模块分别与所述第一平稳小波变换模块以及所述第二超分辨率模块相连；所述逆平稳小波变换模块用于将所述第一平稳小波变换模块得到的低通子带L以及所述第二超分辨率模块得到的超分辨率后的细节子带Hh、Hv与Hd进行逆平稳小波变换得到增强后的图像
所述第一超分辨率模块体包括：
S111：将输入图像I扩展到目标分辨率，记为Y；
S112：利用第一层卷积层的卷积核，提取Y中的块，并转换成一组高维向量，每个维度代表一种特征映射；
S113：将所述S112中得到的高维向量通过第二卷积层映射成另一具有高分辨率图像特征的高维向量，得到高分辨率块对应的特征向量；
S114：利用第三层卷积层合成所述S113中得到的高维向量，生成一个高分辨率图像I'，并计算损失函数；
S12中的对细节子带Hh、Hv与Hd分别进行增强包括：对细节子带Hh、Hv与Hd分别进行对比度增强，然后再进行非线性增强；
所述S12中的对比度增强为CLAHE对比度增强，公式分别为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率；
所述S12中的非线性增强的具体公式为：
其中，v＝2.5s/t·M，s是变换域中的系数幅度，M是最大系数幅度的大小，t·M表示大于阈值的系数将被线性放大的阈值，参数b，c，t均为增强参数，分别调节最大增益点的高度、出现位置以及曲线整体斜率。
CN201910599238.3A 2019-07-04 2019-07-04 一种图像增强方法及*** Active CN110322404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599238.3A CN110322404B (zh) 2019-07-04 2019-07-04 一种图像增强方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599238.3A CN110322404B (zh) 2019-07-04 2019-07-04 一种图像增强方法及***

Publications (2)

Publication Number Publication Date
CN110322404A CN110322404A (zh) 2019-10-11
CN110322404B true CN110322404B (zh) 2023-08-04

Family

ID=68122726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599238.3A Active CN110322404B (zh) 2019-07-04 2019-07-04 一种图像增强方法及***

Country Status (1)

Country Link
CN (1) CN110322404B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785532B (zh) * 2021-01-12 2022-11-18 安徽大学 基于加权直方图分布伽玛校正的奇异值均衡图像增强算法
CN113066035A (zh) * 2021-03-19 2021-07-02 桂林理工大学 一种基于双线性插值和小波变换的图像质量增强方法
CN113837975A (zh) * 2021-09-05 2021-12-24 桂林理工大学 基于双三次插值和奇异值分解的图像增强方法
CN116580290B (zh) * 2023-07-11 2023-10-20 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和***
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228000B2 (en) * 2002-03-15 2007-06-05 Ricoh Co., Ltd. Image data generation with reduced amount of processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和***
CN109636716A (zh) * 2018-10-29 2019-04-16 昆明理工大学 一种基于小波系数学习的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN110322404A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110322404B (zh) 一种图像增强方法及***
Liu et al. Multi-level wavelet-CNN for image restoration
JP4203980B2 (ja) データ処理方法及び装置、並びに記録媒体
CN110276726B (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
CN109685728B (zh) 基于局部时频域变换的数字图像处理方法
CN111583123A (zh) 一种基于小波变换的融合高低频信息的图像增强算法
Sharma et al. From pyramids to state‐of‐the‐art: a study and comprehensive comparison of visible–infrared image fusion techniques
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
CN104680485A (zh) 一种基于多分辨率的图像去噪方法及装置
Krommweh et al. Tetrolet shrinkage with anisotropic total variation minimization for image approximation
Wang et al. New image restoration method associated with tetrolets shrinkage and weighted anisotropic total variation
Huang et al. Two-step approach for the restoration of images corrupted by multiplicative noise
Lyu et al. A nonsubsampled countourlet transform based CNN for real image denoising
CN106097274A (zh) 一种自适应分数阶微分图像增强算法
CN104182939A (zh) 一种医疗影像图像细节增强方法
Deng Guided wavelet shrinkage for edge-aware smoothing
CN103745443B (zh) 提高图像质量的方法和设备
CN111192204A (zh) 一种图像增强方法、***和计算机可读存储介质
Vyas et al. Review of the application of wavelet theory to image processing
CN110175959B (zh) 一种台风云图增强方法
Thai et al. Performance evaluation of high dynamic range image tone mapping operators based on separable non-linear multiresolution families
CN115131226B (zh) 一种基于小波张量低秩正则化的图像复原方法
Qi et al. Subband adaptive image deblocking using wavelet based convolutional neural networks
Ngocho et al. Single image super resolution with guided back-projection and LoG sharpening
Suryanarayana et al. Image resolution enhancement using wavelet domain transformation and sparse signal representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant