CN111028182B - 图像锐化方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像锐化方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111028182B
CN111028182B CN201911361074.7A CN201911361074A CN111028182B CN 111028182 B CN111028182 B CN 111028182B CN 201911361074 A CN201911361074 A CN 201911361074A CN 111028182 B CN111028182 B CN 111028182B
Authority
CN
China
Prior art keywords
image
sharpened
sharpening
target
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911361074.7A
Other languages
English (en)
Other versions
CN111028182A (zh
Inventor
张玉梅
樊鸿飞
张文杰
李果
贺沁雯
许道远
豆修鑫
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911361074.7A priority Critical patent/CN111028182B/zh
Publication of CN111028182A publication Critical patent/CN111028182A/zh
Application granted granted Critical
Publication of CN111028182B publication Critical patent/CN111028182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供了一种图像锐化方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，该方法包括：对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值；根据该图像梯度值，确定待锐化图像的目标锐化强度；根据目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。该方式通过计算待锐化图像的图像梯度值，实现了对诸如离焦模糊图像的锐化强度的自适应调节，使得锐化后的目标图像的边缘清晰且显示效果自然，与现有技术中的基于高频信息的锐化方式相比，提高了锐化效果。

Description

图像锐化方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像锐化方法、装置、电子设备及计算机可读存储介质。
背景技术
图像锐化是指补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，主观视觉效果更好。
现有的图像锐化方法主要采用传统图像锐化算法，如USM(Unsharp Mask)锐化算法，通过增强图像的高频信息来实现边缘增强。然而对于有离焦模糊的图像(即离焦模糊图像)来说，高频信息较少，传统图像锐化算法对这类图像的锐化效果不佳，处理后的图像边缘不够清晰。
发明内容
本发明的目的在于提供一种图像锐化方法、装置、电子设备及计算机可读存储介质，以提高锐化效果。
本发明实施例提供了一种图像锐化方法，包括：
对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值；
根据所述图像梯度值，确定所述待锐化图像的目标锐化强度；
根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像。
进一步地，对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值的步骤，包括：
采用索贝尔算子、普利维特算子或拉普拉斯算子对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值。
进一步地，根据所述图像梯度值，确定所述待锐化图像的目标锐化强度的步骤，包括：
根据所述图像梯度值所属的目标梯度区间，确定所述待锐化图像的目标锐化强度；其中，所述目标锐化强度与所述目标梯度区间的中位数呈负相关。
进一步地，根据所述图像梯度值所属的目标梯度区间，确定所述待锐化图像的目标锐化强度的步骤，包括：
将所述图像梯度值分别与预设的多个梯度阈值进行比较，得到所述图像梯度值所属的目标梯度区间；
在预设的梯度区间与锐化强度的对应关系中查找所述目标梯度区间，得到所述待锐化图像的目标锐化强度。
进一步地，根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像的步骤，包括：
将所述目标锐化强度对应的目标锐化系数和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像；其中，所述残差网络模型用于根据输入的锐化系数对输入的图像进行锐化处理。
进一步地，所述残差网络模型包括输入层、与所述输入层分别连接的第一卷积层和第二卷积层、与所述第一卷积层连接的残差计算层、与所述残差计算层连接的第三卷积层，以及与所述第二卷积层和所述第三卷积层均连接的求和计算单元；
将所述目标锐化强度对应的目标锐化系数和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像的步骤，包括：
所述输入层将所述目标锐化系数和所述待锐化图像输入所述第一卷积层；
所述第一卷积层、所述残差计算层和所述第三卷积层，依次对所述待锐化图像进行第一卷积处理、残差计算处理和第二卷积处理，得到第一特征图；
所述第三卷积层将所述第一特征图和所述目标锐化系数输入所述求和计算单元；
所述输入层还将所述待锐化图像输入所述第二卷积层；
所述第二卷积层对所述待锐化图像进行第三卷积处理，得到第二特征图；
所述第二卷积层将所述第二特征图输入所述求和计算单元；
所述求和计算单元对所述第一特征图乘以所述目标锐化系数得到的乘积结果与所述第二特征图进行相加处理，得到所述待锐化图像锐化后的目标图像。
进一步地，在将所述目标锐化强度和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像之前，所述方法还包括：
获取训练图像；
对所述训练图像进行模糊处理，得到输入图像；
利用所述训练图像、所述输入图像和预设的基础锐化系数，对待训练的残差网络模型进行训练，得到训练完成的所述残差网络模型。
本发明实施例还提供了一种图像锐化装置，包括：
计算模块，用于对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值；
确定模块，用于根据所述图像梯度值，确定所述待锐化图像的目标锐化强度；
锐化模块，用于根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像。
本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像锐化方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的图像锐化方法。
本发明实施例提供的图像锐化方法、装置、电子设备及计算机可读存储介质中，该方法包括：对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值；根据该图像梯度值，确定待锐化图像的目标锐化强度；根据目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。该方式通过计算待锐化图像的图像梯度值，实现了对诸如离焦模糊图像的锐化强度的自适应调节，使得锐化后的目标图像的边缘清晰且显示效果自然，与现有技术中的基于高频信息的锐化方式相比，提高了锐化效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像锐化方法的流程示意图；
图2为本发明实施例提供的另一种图像锐化方法的流程示意图；
图3为本发明实施例提供的一种残差网络模型的结构示意图；
图4为本发明实施例提供的一种训练残差网络模型的流程示意图；
图5为本发明实施例提供的一张待锐化图像；
图6为图5所示的待锐化图像锐化后的目标图像；
图7为本发明实施例提供的一种图像锐化装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前传统图像锐化方法主要通过增强图像高频信息来实现图像的锐化，对于离焦模糊图像来说，锐化强度难以判定，而锐化强度太低会造成边缘不够清晰，锐化强度太高会造成图像失真，导致锐化效果不佳。基于此，本发明实施例提供的一种图像锐化方法、装置、电子设备及计算机可读存储介质，在对离焦模糊图像进行锐化时，通过自适应锐化强度调节对原始图像进行合理强度的锐化，可以使锐化后的图像边缘清晰且显示效果自然。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像锐化方法进行详细介绍。
本发明实施例提供了一种图像锐化方法，该方法可以由具有图像处理能力的电子设备执行，该电子设备可以但不限于为以下中的任一种：台式电脑、笔记本电脑、平板电脑和智能手机等。
参见图1所示的一种图像锐化方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：
步骤S102，对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值。
上述待锐化图像可以是电子设备自身拍摄得到的，也可以是通过数据传输得到的，本发明实施例对此不做限定。本发明实施例提供的方法特别适用于离焦模糊图像。图像梯度值是图像中灰度值变化情况的度量工具，能够表征图像边缘的清晰度；图像梯度值越大，图像边缘的清晰度越高。
可选地，可以采用索贝尔(Sobel)算子、普利维特(Prewitt)算子或拉普拉斯(Laplace)算子等梯度算子对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值。不同梯度算子的卷积因子不同，因此所利用的信息也不同，例如，Sobel算子利用的是像素点上下、左右邻点灰度加权差；Prewitt算子利用的是像素点上下、左右邻点灰度差。
步骤S104，根据上述图像梯度值，确定待锐化图像的目标锐化强度。
由于图像梯度值能够表征图像边缘的清晰度，而图像边缘的清晰度与图像的锐化强度成负相关，即图像边缘的清晰度越高，图像的锐化强度越低，基于此，上述步骤S104可以通过如下过程实现：根据图像梯度值所属的目标梯度区间，确定待锐化图像的目标锐化强度；其中，目标锐化强度与目标梯度区间的中位数呈负相关。
具体实现时，可以先将图像梯度值分别与预设的多个梯度阈值进行比较，得到该图像梯度值所属的目标梯度区间；然后在预设的梯度区间与锐化强度的对应关系中查找该目标梯度区间，得到待锐化图像的目标锐化强度。
图像的锐化强度可以根据实际情况分为任意N个档位，则相应梯度阈值的个数为N-1个。需要说明的是，上述梯度阈值的大小和个数，以及梯度区间与锐化强度的对应关系可以根据经验值或实际情况设定，这里不做限定。例如，设定四个梯度阈值：T0、T1、T2和T3，四个梯度阈值可以将图像梯度值分为五个梯度区间：[0，T0)、[T0，T1)、[T1，T2)、[T2，T3)以及[T3，∞)，五个梯度区间对应五档锐化强度，梯度区间与锐化强度的对应关系可以为：[0，T0)对应高档锐化强度、[T0，T1)对应中高档锐化强度、[T1，T2)对应中档锐化强度、[T2，T3)对应中低档锐化强度、[T3，∞)对应低档锐化强度。另外，锐化强度还可以量化为具体的数值，这里可以称之为锐化系数α，例如，五档锐化强度对应的锐化系数，从低到高依次可以为0.5、1.0、1.3、1.6、2.0。
步骤S106，根据上述目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。
可选地，可以将上述目标锐化强度对应的目标锐化系数和待锐化图像输入预先训练好的残差网络模型，得到该残差网络模型输出的目标图像；其中，该残差网络模型用于根据输入的锐化系数对输入的图像进行锐化处理。
上述残差网络模型可以但不限于为卷积神经网络模型，卷积神经网络模型所采用的卷积神经网络是一种前馈神经网络，它由一个或多个卷积层和全连通层组成，同时也包括关联权重和池化层(pooling layer)。与其他深度学习结构相比，卷积神经网络在图像处理方面能够给出更好的结果。
通过使用预先训练好的残差网络模型，对待锐化图像进行目标锐化强度的锐化处理，进一步提高了图像的锐化效果，使得所得到的目标图像的边缘更加清晰自然。
本发明实施例中，对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值；根据该图像梯度值，确定待锐化图像的目标锐化强度；根据目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。该方式通过计算待锐化图像的图像梯度值，实现了对诸如离焦模糊图像的锐化强度的自适应调节，使得锐化后的目标图像的边缘清晰且显示效果自然，与现有技术中的基于高频信息的锐化方式相比，提高了锐化效果。
为了便于理解，本发明实施例还提供了一种图像锐化方法的具体实现过程。参见图2所示的另一种图像锐化方法的流程示意图，该方法包括以下步骤S202至步骤S208：
步骤S202，采用Sobel算子对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值。
Sobel算子包含两组3×3的矩阵(也即Sobel卷积因子)，分别为横向及纵向。在采用Sobel算子求取图像梯度值时，可以先根据Sobel卷积因子计算待锐化图像在x(横向)/y(纵向)上的卷积，也即将横向/纵向的Sobel卷积因子分别与待锐化图像作平面卷积，得到Gx/Gy，然后根据Gx和Gy计算图像梯度值G，相应公式如下：
其中，表示横向的Sobel卷积因子，/>表示纵向的Sobel卷积因子，A表示待锐化图像。
步骤S204，将上述图像梯度值分别与预设的四个梯度阈值进行比较，得到该图像梯度值所属的目标梯度区间。
步骤S206，在预设的梯度区间与锐化强度的对应关系中查找上述目标梯度区间，得到待锐化图像的目标锐化强度。
具体实现时，上述图像梯度值可以记为G，四个梯度阈值可以记为T0、T1、T2和T3，则当0≤G＜T0时，图像边缘比较不清晰，目标锐化强度为高档锐化强度，目标锐化系数α可以为2.0；当T0≤G＜T1时，目标锐化强度为中高档锐化强度，目标锐化系数α可以为1.6；当T1≤G＜T2时，目标锐化强度为中档锐化强度，目标锐化系数α可以为1.3；当T2≤G＜T3时，目标锐化强度为中低档锐化强度，目标锐化系数α可以为1.0；当G≥T3时，图像边缘比较清晰，目标锐化强度为低档锐化强度，目标锐化系数α可以为0.5。
步骤S208，将上述目标锐化强度对应的目标锐化系数和待锐化图像输入预先训练好的残差网络模型，得到该残差网络模型输出的目标图像。
本实施例提供了一种残差网络模型，如图3所示，该残差网络模型包括输入层、与输入层分别连接的第一卷积层和第二卷积层、与第一卷积层连接的残差计算层(如Residual Body)、与残差计算层连接的第三卷积层，以及与第二卷积层和第三卷积层均连接的求和计算单元；其中，残差计算层由多个残差块构成。该残差网络模型的上路(包括第一卷积层、残差计算层和第三卷积层)训练的是锐化前和锐化后图像的残差，通过调节输入的目标锐化系数α的数值来调节对待锐化图像的锐化强度。
基于上述残差网络模型，上述步骤S208的过程可以如下：输入层将目标锐化系数和待锐化图像输入第一卷积层；第一卷积层、残差计算层和第三卷积层，依次对待锐化图像进行第一卷积处理、残差计算处理和第二卷积处理，得到第一特征图；第三卷积层将第一特征图和目标锐化系数输入求和计算单元；输入层还将待锐化图像输入第二卷积层；第二卷积层对待锐化图像进行第三卷积处理，得到第二特征图；第二卷积层将第二特征图输入求和计算单元；求和计算单元对第一特征图乘以目标锐化系数得到的乘积结果与第二特征图进行相加处理，得到待锐化图像锐化后的目标图像。
本实施例中，通过对待锐化图像进行梯度计算来自适应确定图像的锐化强度；通过将残差网络模型训练出的残差(第一特征图)乘以α来调节图像锐化强度，对于离焦模糊图像可以实现自适应强度锐化，锐化后的目标图像边缘清晰自然。
另外，本发明实施例还提供了一种训练残差网络模型的过程，参见图4所示的一种训练残差网络模型的流程示意图，通过以下步骤训练得到残差网络模型：
步骤S402，获取训练图像。
上述训练图像可以为包括多个图像的数据集，该数据集可以采用已有的高清数据集，例如，公开数据集DIV2K。
步骤S404，对上述训练图像进行模糊处理，得到输入图像。
具体实现时，可以对训练图像进行高斯模糊处理，高斯模糊处理时的模糊核尺寸(kernel size)可以设置为3，高斯模糊处理时的西格玛(sigma)参数可以设置为0.8。这样就构造出了高斯模糊的数据集(即输入图像)。
步骤S406，利用上述训练图像、输入图像和预设的基础锐化系数，对待训练的残差网络模型进行训练，得到训练完成的残差网络模型。
具体实现时，输入图像(如高斯模糊的数据集)作为残差网络模型的输入，残差网络模型的输出为边缘清晰的图像，通过比较输出的图像与训练图像来调节残差网络模型内的相关参数，使得输出的图像逐渐逼近训练图像，从而完成残差网络模型的训练。
需要说明的是，训练时采用的是基础锐化系数，当推断时的锐化系数(目标锐化系数)小于基础锐化系数时，锐化强度降低，反之则锐化强度升高。基础锐化系数的大小与后续采用该残差网络模型进行推断时的锐化系数的设置是正相关的，例如，当基础锐化系数为1时，五档锐化强度对应的锐化系数可以为0.5、1.0、1.3、1.6、2.0；当基础锐化系数为2时，五档锐化强度对应的锐化系数可以为1.0、2.0、2.6、3.2、4.0。
还需要说明的是，上述残差网络模型可以直接在该图像锐化方法所应用的电子设备上完成训练过程，也可以在其他设备上训练完成后部署在该电子设备上。
本实施例还提供了上述图像锐化方法的效果验证图，图5为一张待锐化图像，图6为图5所示的待锐化图像锐化后的目标图像，从图5可以看出该待锐化图像存在一定的离焦模糊，如图5上半部分的山石树木处；从图6可以看出，与图5相比，锐化后的目标图像的图像边缘变得更加清晰自然。
对应于上述的图像锐化方法，本发明实施例还提供了一种图像锐化装置，参见图7所示的一种图像锐化装置的结构示意图，该装置包括：
计算模块72，用于对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值；
确定模块74，用于根据图像梯度值，确定待锐化图像的目标锐化强度；
锐化模块76，用于根据目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。
本发明实施例中，计算模块72对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值；确定模块74根据该图像梯度值，确定待锐化图像的目标锐化强度；锐化模块76根据目标锐化强度对待锐化图像进行锐化处理，得到锐化后的目标图像。该方式通过计算待锐化图像的图像梯度值，实现了对诸如离焦模糊图像的锐化强度的自适应调节，使得锐化后的目标图像的边缘清晰且显示效果自然，与现有技术中的基于高频信息的锐化方式相比，提高了锐化效果。
可选地，上述计算模块72具体用于：采用索贝尔算子、普利维特算子或拉普拉斯算子对待锐化图像进行梯度计算，得到待锐化图像的图像梯度值。
可选地，上述确定模块74具体用于：根据图像梯度值所属的目标梯度区间，确定待锐化图像的目标锐化强度；其中，目标锐化强度与目标梯度区间的中位数呈负相关。
进一步地，上述确定模块74还用于：将图像梯度值分别与预设的多个梯度阈值进行比较，得到图像梯度值所属的目标梯度区间；在预设的梯度区间与锐化强度的对应关系中查找目标梯度区间，得到待锐化图像的目标锐化强度。
可选地，上述锐化模块76具体用于：将目标锐化强度对应的目标锐化系数和待锐化图像输入预先训练好的残差网络模型，得到残差网络模型输出的目标图像；其中，残差网络模型用于根据输入的锐化系数对输入的图像进行锐化处理。
进一步地，上述残差网络模型包括输入层、与输入层分别连接的第一卷积层和第二卷积层、与第一卷积层连接的残差计算层、与残差计算层连接的第三卷积层，以及与第二卷积层和第三卷积层均连接的求和计算单元；上述锐化模块76还用于：通过输入层将目标锐化系数和待锐化图像输入第一卷积层；通过第一卷积层、残差计算层和第三卷积层，依次对待锐化图像进行第一卷积处理、残差计算处理和第二卷积处理，得到第一特征图；通过第三卷积层将第一特征图和目标锐化系数输入求和计算单元；通过输入层还将待锐化图像输入第二卷积层；通过第二卷积层对待锐化图像进行第三卷积处理，得到第二特征图；通过第二卷积层将第二特征图输入求和计算单元；通过求和计算单元对第一特征图乘以目标锐化系数得到的乘积结果与第二特征图进行相加处理，得到待锐化图像锐化后的目标图像。
可选地，上述装置还包括与锐化模块76连接的训练模块，训练模块用于：获取训练图像；对训练图像进行模糊处理，得到输入图像；利用训练图像、输入图像和预设的基础锐化系数，对待训练的残差网络模型进行训练，得到训练完成的残差网络模型。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
参见图8，本发明实施例还提供一种电子设备100，包括：处理器80，存储器81，总线82和通信接口83，所述处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。
其中，存储器81可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory，简称NVM)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线82可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器81用于存储程序，所述处理器80在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中，或者由处理器80实现。
处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的图像锐化方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种图像锐化方法，其特征在于，包括：
对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值；
根据所述图像梯度值，确定所述待锐化图像的目标锐化强度；其中，所述图像梯度值是图像中灰度值变化情况的度量工具，所述图像梯度值用于表征所述待锐化图像边缘的清晰度，所述待锐化图像边缘的清晰度与所述目标锐化强度成负相关；
根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像；
根据所述图像梯度值，确定所述待锐化图像的目标锐化强度的步骤，包括：
根据所述图像梯度值所属的目标梯度区间，确定所述待锐化图像的目标锐化强度；其中，所述目标锐化强度与所述目标梯度区间的中位数呈负相关；
根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像的步骤，包括：
将所述目标锐化强度对应的目标锐化系数和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像；其中，所述残差网络模型用于根据输入的锐化系数对输入的图像进行锐化处理；
所述残差网络模型包括输入层、与所述输入层分别连接的第一卷积层和第二卷积层、与所述第一卷积层连接的残差计算层、与所述残差计算层连接的第三卷积层，以及与所述第二卷积层和所述第三卷积层均连接的求和计算单元；
将所述目标锐化强度对应的目标锐化系数和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像的步骤，包括：
所述输入层将所述目标锐化系数和所述待锐化图像输入所述第一卷积层；
所述第一卷积层、所述残差计算层和所述第三卷积层，依次对所述待锐化图像进行第一卷积处理、残差计算处理和第二卷积处理，得到第一特征图；
所述第三卷积层将所述第一特征图和所述目标锐化系数输入所述求和计算单元；
所述输入层还将所述待锐化图像输入所述第二卷积层；
所述第二卷积层对所述待锐化图像进行第三卷积处理，得到第二特征图；
所述第二卷积层将所述第二特征图输入所述求和计算单元；
所述求和计算单元对所述第一特征图乘以所述目标锐化系数得到的乘积结果与所述第二特征图进行相加处理，得到所述待锐化图像锐化后的目标图像。
2.根据权利要求1所述的方法，其特征在于，对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值的步骤，包括：
采用索贝尔算子、普利维特算子或拉普拉斯算子对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值。
3.根据权利要求1所述的方法，其特征在于，根据所述图像梯度值所属的目标梯度区间，确定所述待锐化图像的目标锐化强度的步骤，包括：
将所述图像梯度值分别与预设的多个梯度阈值进行比较，得到所述图像梯度值所属的目标梯度区间；
在预设的梯度区间与锐化强度的对应关系中查找所述目标梯度区间，得到所述待锐化图像的目标锐化强度。
4.根据权利要求1所述的方法，其特征在于，在将所述目标锐化强度和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像之前，所述方法还包括：
获取训练图像；
对所述训练图像进行模糊处理，得到输入图像；
利用所述训练图像、所述输入图像和预设的基础锐化系数，对待训练的残差网络模型进行训练，得到训练完成的所述残差网络模型。
5.一种图像锐化装置，其特征在于，包括：
计算模块，用于对待锐化图像进行梯度计算，得到所述待锐化图像的图像梯度值；
确定模块，用于根据所述图像梯度值，确定所述待锐化图像的目标锐化强度；其中，所述图像梯度值是图像中灰度值变化情况的度量工具，所述图像梯度值用于表征所述待锐化图像边缘的清晰度，所述待锐化图像边缘的清晰度与所述目标锐化强度成负相关；
锐化模块，用于根据所述目标锐化强度对所述待锐化图像进行锐化处理，得到锐化后的目标图像；
所述确定模块具体用于：根据所述图像梯度值所属的目标梯度区间，确定所述待锐化图像的目标锐化强度；其中，所述目标锐化强度与所述目标梯度区间的中位数呈负相关；
所述锐化模块具体用于：将所述目标锐化强度对应的目标锐化系数和所述待锐化图像输入预先训练好的残差网络模型，得到所述残差网络模型输出的目标图像；其中，所述残差网络模型用于根据输入的锐化系数对输入的图像进行锐化处理；
所述残差网络模型包括输入层、与所述输入层分别连接的第一卷积层和第二卷积层、与所述第一卷积层连接的残差计算层、与所述残差计算层连接的第三卷积层，以及与所述第二卷积层和所述第三卷积层均连接的求和计算单元；所述锐化模块还用于：所述输入层将所述目标锐化系数和所述待锐化图像输入所述第一卷积层；所述第一卷积层、所述残差计算层和所述第三卷积层，依次对所述待锐化图像进行第一卷积处理、残差计算处理和第二卷积处理，得到第一特征图；所述第三卷积层将所述第一特征图和所述目标锐化系数输入所述求和计算单元；所述输入层还将所述待锐化图像输入所述第二卷积层；所述第二卷积层对所述待锐化图像进行第三卷积处理，得到第二特征图；所述第二卷积层将所述第二特征图输入所述求和计算单元；所述求和计算单元对所述第一特征图乘以所述目标锐化系数得到的乘积结果与所述第二特征图进行相加处理，得到所述待锐化图像锐化后的目标图像。
6.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一项所述的方法。
CN201911361074.7A 2019-12-24 2019-12-24 图像锐化方法、装置、电子设备及计算机可读存储介质 Active CN111028182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911361074.7A CN111028182B (zh) 2019-12-24 2019-12-24 图像锐化方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911361074.7A CN111028182B (zh) 2019-12-24 2019-12-24 图像锐化方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111028182A CN111028182A (zh) 2020-04-17
CN111028182B true CN111028182B (zh) 2024-04-26

Family

ID=70213465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911361074.7A Active CN111028182B (zh) 2019-12-24 2019-12-24 图像锐化方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111028182B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643190B (zh) * 2020-04-27 2024-07-16 北京金山云网络技术有限公司 图像锐化方法和装置
CN113096014B (zh) * 2021-03-31 2023-12-08 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质
CN114627030B (zh) * 2022-05-13 2022-09-20 深圳深知未来智能有限公司 一种自适应的图像锐化方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203232A (ja) * 2002-01-08 2003-07-18 Noritsu Koki Co Ltd 画像処理装置、画像処理プログラム、および画像処理プログラムを記録した記録媒体
CN101103375A (zh) * 2004-11-19 2008-01-09 惠普开发有限公司 产生并显示在空间上偏移的子帧
CN103700077A (zh) * 2013-12-30 2014-04-02 北京理工大学 一种基于人眼视觉特性的自适应图像增强方法
WO2014056766A1 (en) * 2012-10-12 2014-04-17 Sony Corporation Image enhancement apparatus and method
CN104992423A (zh) * 2015-07-14 2015-10-21 厦门美图之家科技有限公司 一种基于梯度的图像锐化处理方法、***及拍摄终端
CN105260986A (zh) * 2015-10-13 2016-01-20 武汉大学 一种抗模糊的图像放大方法
CN105894459A (zh) * 2015-12-10 2016-08-24 乐视云计算有限公司 基于梯度值及梯度方向的图像锐化方法及装置
JP2017102724A (ja) * 2015-12-02 2017-06-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN109727207A (zh) * 2018-12-06 2019-05-07 华南理工大学 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109934785A (zh) * 2019-03-12 2019-06-25 湖南国科微电子股份有限公司 图像锐化方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI330036B (en) * 2006-10-27 2010-09-01 Quanta Comp Inc Apparatus for sharpening an image, and method thereof
CN102484673B (zh) * 2009-08-19 2015-12-16 日本电气株式会社 图像处理方法、图像处理装置以及程序

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203232A (ja) * 2002-01-08 2003-07-18 Noritsu Koki Co Ltd 画像処理装置、画像処理プログラム、および画像処理プログラムを記録した記録媒体
CN101103375A (zh) * 2004-11-19 2008-01-09 惠普开发有限公司 产生并显示在空间上偏移的子帧
WO2014056766A1 (en) * 2012-10-12 2014-04-17 Sony Corporation Image enhancement apparatus and method
CN103700077A (zh) * 2013-12-30 2014-04-02 北京理工大学 一种基于人眼视觉特性的自适应图像增强方法
CN104992423A (zh) * 2015-07-14 2015-10-21 厦门美图之家科技有限公司 一种基于梯度的图像锐化处理方法、***及拍摄终端
CN105260986A (zh) * 2015-10-13 2016-01-20 武汉大学 一种抗模糊的图像放大方法
JP2017102724A (ja) * 2015-12-02 2017-06-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN105894459A (zh) * 2015-12-10 2016-08-24 乐视云计算有限公司 基于梯度值及梯度方向的图像锐化方法及装置
CN109727207A (zh) * 2018-12-06 2019-05-07 华南理工大学 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109934785A (zh) * 2019-03-12 2019-06-25 湖南国科微电子股份有限公司 图像锐化方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Non-Local Hierarchical Residual Network for Single Image Super-Resolution;Furui Bai等;2019 IEEE International Conference on Image Processing (ICIP);20190925;全文 *

Also Published As

Publication number Publication date
CN111028182A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028182B (zh) 图像锐化方法、装置、电子设备及计算机可读存储介质
CN103942758B (zh) 基于多尺度融合的暗通道先验图像去雾方法
CN110889812B (zh) 一种多尺度融合图像特征信息的水下图像增强方法
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN103279931B (zh) 基于透射率的去雾图像去噪方法
CN108038833B (zh) 一种梯度相关性检测的图像自适应锐化方法和存储介质
CN112819702B (zh) 图像增强方法、装置、电子设备及计算机可读存储介质
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
CN110675334A (zh) 一种图像增强方法及装置
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN104517110A (zh) 一种二维码图像的二值化方法及***
CN112967273B (zh) 图像处理方法、电子设备及存储介质
CN109214996B (zh) 一种图像处理方法及装置
CN104715221B (zh) 一种超低对比度二维码的解码方法及***
CN112150371B (zh) 图像降噪方法、装置、设备及存储介质
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN117710365B (zh) 缺陷管道图像的处理方法、装置及电子设备
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
US9305338B1 (en) Image detail enhancement and edge sharpening without overshooting
Shukla et al. Generalized fractional derivative based adaptive algorithm for image denoising
Kumar et al. A generic post-processing framework for image dehazing
US20180144445A1 (en) Image processor
Das et al. Histogram equalization techniques for contrast enhancement: a review
CN111915497B (zh) 一种图像黑白增强方法、装置、电子设备和可读存储介质
CN110895789B (zh) 一种人脸美颜方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant