CN110211057B - 一种基于全卷积网络的图像处理方法、装置和计算机设备 - Google Patents

一种基于全卷积网络的图像处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN110211057B
CN110211057B CN201910402733.0A CN201910402733A CN110211057B CN 110211057 B CN110211057 B CN 110211057B CN 201910402733 A CN201910402733 A CN 201910402733A CN 110211057 B CN110211057 B CN 110211057B
Authority
CN
China
Prior art keywords
image
input image
low
resolution
linear relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910402733.0A
Other languages
English (en)
Other versions
CN110211057A (zh
Inventor
王树朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN201910402733.0A priority Critical patent/CN110211057B/zh
Publication of CN110211057A publication Critical patent/CN110211057A/zh
Application granted granted Critical
Publication of CN110211057B publication Critical patent/CN110211057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于全卷积网络的图像处理方法、装置和计算机设备，所述方法包括：降低第一输入图像的分辨率，得到第一低分辨率输入图像并输入到全卷积网络中，得到低分辨率输出图像；分别将第一输入图像和第一低分辨率输入图像转换为第二输入图像和第二低分辨率输入图像；利用上采样方法，由第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到处理图像与第二低分辨率输入图像之间的第一线性关系；由第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。本方法可无缝对接现有已经训练的网络框架，具有通用性，在不影响图像处理的质量的同时有极高的加速比。

Description

一种基于全卷积网络的图像处理方法、装置和计算机设备
技术领域
本申请涉及图片处理技术领域，特别是涉及一种基于全卷积网络的图像处理方法、装置和计算机设备。
背景技术
深度学习技术促进了诸多图像处理的发展，如图像识别，目标检测等，基于深度学习技术的图像超分辨率重建、去雾、HDR、细节增强等图像处理取得了尤为可喜的效果，但是深度学习技术需要处理更多的数据、更深的网络进而导致更慢的处理速度；由于深度学习的处理速度慢，导致其应用有很大的局限性，例如在手机端的图像处理大都采用传统的图像处理技术，其效果明显逊色于基于深度学习技术的图像处理。
因此，现有技术有待改进。
发明内容
基于此，有必要针对上述技术问题，提供一种在保证图像处理质量的同时提高深度学习效率的基于全卷积网络的图像处理方法、装置和计算机设备。
一种基于全卷积网络的图像处理方法，所述方法包括：
A、降低第一输入图像的分辨率，得到第一低分辨率输入图像；
B、将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
C、分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
D、利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
E、通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
可选的，所述步骤C包括：
将所述第一输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二输入图像；
将所述第一低分辨率输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二分辨率输入图像。
所述第二输入图像与所述低分辨率输出图像为局部近线性关系；所述第二低分辨率输入图像与所述低分辨率输出图像为局部近线性关系。
可选的，所述步骤E中通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系的方法包括：
采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
可选的，所述步骤A包括：
采用图像缩放算法降低所述高分辨率图像的分辨率。
可选的，所述联合上采样***为引导滤波或双边滤波。
一种基于全卷积网络的图像处理装置，所述装置包括：
降低分辨率模块，用于降低第一输入图像的分辨率，得到第一低分辨率输入图像；
全卷积网络模块，用于将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
通道转换模块，用于分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
低分辨率图像处理模块，用于利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
图像输出模块，用于通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
可选的，所述图像输出模块还包括：第二线性关系生成单元；
所述第二线性关系生成单元，用于采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
A、降低第一输入图像的分辨率，得到第一低分辨率输入图像；
B、将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
C、分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
D、利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
E、通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
A、降低第一输入图像的分辨率，得到第一低分辨率输入图像；
B、将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
C、分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
D、利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
E、通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
上述一种基于全卷积网络的图像处理方法、装置和计算机设备，所述方法包括：降低第一输入图像的分辨率，得到第一低分辨率输入图像并输入到全卷积网络中，得到低分辨率输出图像；分别将第一输入图像和第一低分辨率输入图像转换为第二输入图像和第二低分辨率输入图像；利用上采样方法，由第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到处理图像与第二低分辨率输入图像之间的第一线性关系；由第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。本方法可无缝对接现有已经训练的网络框架，具有通用性，在不影响图像处理的质量的同时有极高的加速比，还可以再集成现有的图像处理网络，训练后得到与之相当图像处理效果。
附图说明
图1为本发明一种基于全卷积网络的图像处理方法的流程示意图；
图2为本发明一种基于全卷积网络的图像处理方法的原理框图；
图3为本发明一个实施例的示意图；
图4为本发明种基于全卷积网络的图像处理方法的结构框图；
图5为本发明一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参阅图1和图2，一种基于全卷积网络的图像处理方法，所述方法包括：
S1、降低第一输入图像的分辨率，得到第一低分辨率输入图像。
未处理的图像是RAW图像镜头传感器直接采集的图像，获取到的RAW图片为四通道图片，将RAW图像作为第一输入图像，相对于降低分辨率后的第一低分辨率输入图像，所述第一输入图像为高分辨率图像，若深度学习直接处理高分辨率图像需要处理的数据繁多，会耗时很久，因此，本方法先降低所述输入图像的分辨率。
可选的，所述步骤S1中降低所述第一输入图像的分辨率的步骤包括：
采用图像缩放算法降低所述第一输入图像的分辨率。
可选的，所述图像缩放算法包括：最邻近插值算法、双线性插值法、双三次插值算法。
优选的，采用双三次插值算法降低所述第一输入图像的分辨率，用双三次插值算法得到的第一低分辨率输入图像可以得到相较于其他两种图像缩放插值算法细节更优的图像。
假设第一输入图像g1的大小为640×640，缩放后的第一低分辨率输入图像g2的大小为320×320，g1的每个像素点未知，g2未知；要得到g2中的每个像素点（x2,y2）的值，需要先找到g2的每个像素点对应于g1的像素（x1,y1），由距离（x1,y1）最近的16个像素点作为计算g2的（x2,y2）处的像素值参数，通过函数求出16个像素点的权重，（x2,y2）的值就等于16个像素点的加权叠加。
S2、将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
可选的，所述全卷积网络包括：超分辨率重建网络、图像去噪、图像去雾、图像去雨、细节增强网络和夜景增强等现有的图像处理网络，全卷积网络构成了图像到图像的端到端学习，这些网络仅仅包含Conv的标准模块，没有全连接类层；本发明的应用可以无缝对接集成任何已训练的网络结构，具有极强的通用性，不仅限于列出的几种图像处理网络。
根据需要选择全卷积网络中的一种或多种图像处理网络对第一低分辨率输入图像进行处理，例如，需要对所述第一低分辨率输入图像进行超分辨率处理，则选择全卷积网络中的超分辨率重建网络，将第一低分辨率输入图片输入到超分辨率重建网络，得到超分后的低分辨率输出图像；例如，需要对所述第一低分辨率输入图像进行去雨处理和去噪处理，则将第一低分辨率输入图像输入到图像去噪网络，得到去噪处理后的图像，再将去噪后的图像输入到图像去雨网络，在图像去雨网络的输出层可以得到经过去噪网络和去雨网络的低分辨率输出图像。
由于全卷积网络是对第一低分辨率输入图像进行处理，与直接处理原图相比，处理低分辨率输入图像的耗时大大减小。
S3、分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像。
在步骤S1中，通过第一输入图像得到第一低分辨输入图像。所述第一低分辨率输入图像与第一输入图像都是RAW图像，通道数相同，通道数为4；在步骤S2中，所述第一低分辨率输入图像由全卷积网络处理得到低分辨率输出图像，所述低分辨率输出图像为RGB三通道图像。
因此，需要将所述第一低分辨率输入图像和所述第一输入图像转换为RGB三通道图像，可以采用传统的通道转换方法实现，例如通过python实现、通过彩色插值法实现。
利用现有的通道转换方法可以实现将所述第一输入图像转换为RGB三通道的第二输入图像，将所述第一低分辨率输入图像转换为RGB三通道的第二低分辨率输入图像。
优选的，所述步骤S3包括：
将所述第一输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二输入图像；
将所述第一低分辨率输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二分辨率输入图像。
本申请提供一种不同于传统通道转换方法的引导网络作为通道转换网络，所述引导网络包括卷积网络中的部分卷积层，所述引导网络可以保证全卷积网络的输入与输出之间的通道数相同，引导网络可以对RAW图像进行去噪、去马赛克以及特征提取，提供更好的特征，使得输入和输出图像尽可能满足局部近线性关系。
引导网络由卷积层构成，需要预先使用本发明提出的框架对引导网络进行端到端的训练，训练后才能使用，同样的，本发明提供的方法可以实现端到端训练未训练过的网络，再集成使用，进一步提高图像处理质量。
例如在去雨应用中，第一低分辨输入图像和低分辨率输出图像并不能满足近线性关系，对引导网络进行端到端的联合训练，添加训练后的引导网络，引导网络所提取的特征与通过全卷积网络得到的低分辨率输出图像之间会有更好的近线性关系；第一输入图像经过引导网络可以得到经过去噪、去马赛克及特征提取后的RGB三通道图像，即得到第二输入图像。
S4、利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系。
可选的，所述上采样方法包括：引导滤波或双边滤波。
引导滤波是一种图像滤波技术，通过一张引导图，对目标图进行滤波处理，使得最后的输出图像大体上与目标图像相似，但是纹理部分与引导图像相似，其得到的输出图像与目标图像存在线性关系。
在一个实施例中，所述低分辨输出图像是第一低分辨率输入图像经过超分辨率处理后得到的，引导滤波假设第二低分辨率输入图像和低分辨输出图像之间在局部区域存在近线性关系，将第二低分辨率输入图像作为目标图像、低分辨率输出图像作为引导图，输入到引导滤波中得到处理图像，通过引导滤波计算出所述处理图像与第一低分辨率输入图像之间的第一线性关系。
所述第一线性关系可采用最小二乘的方法进行计算，见公式（1）：
（1）
式中O1代表处理图像，I1代表第二低分辨率输入图像，a,b是线性关系式的参数，在图像局部块内通过最小二乘法方式可以直接计算出第一线性关系的参数a和b，每个像素点都具体有一个a和b。
S5、通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像；
所述步骤S5中通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系的方法包括：
采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
在全卷积网络应用中，全卷积网络的输入与输出之间会存在局部近线性关系，对于相同的应用，第一低分辨率输入与输出之间的局部近线性关系第一输入图像与输出图像之间的近线性关系是近似相同的，因此可以通过在低分辨率图像中计算这种关系，直接将这种近线性关系作用到输入图像得到输出图像。
由第二低分辨率输入图像的每个像素点都有一个a和b，其对应的第二输入图像的每个像素点有A和B，可以得到第二输入图像和输出图像之间的第二线性关系可以表示为公式（2）
（2）
公式（2）中，O2代表输出图像，I2代表第二输入图像将公式（2）应用到输入图像，可以得到超分辨处理后的输出图像。
一个实施例中，请参阅图3，采用一种基于全卷积网络的图像处理方法对未处理图像进行去雨处理，对镜头sensor获取的640×640大小的未处理图像，即第一输入图像100进行降低分辨率处理，得到第一低分辨率输入图像101，将第一低分辨率输入图像101输入到去雨网络，得到低分辨率输出图像201；
将第一低分辨率输入图像101输入到引导网络得到第二低分辨输入图像，将第二低分辨率输入图像和低分辨率输出图像201输入引导滤波器，得到处理图像，以及处理图像和第二低分辨输入图像之间的第一线性关系；
将第一输入图像100输入到引导网络，得到第二输入图像，由所述第一线性关系得到第二线性关系，即第二输入图像与输出图像之间的线性关系，将所述第二输入图像输入到引导滤波器，根据所述第二输入图像和所述第二线性关系得到输出图像。
经过实际测量，输入图像大小为640X640时，通过去雨网络直接处理输入图像耗时15.2784s，采用本申请的方法，耗时：4.0742s，得到的成像效果与直接使用去雨网络处理输入图像的成像效果相当，在近乎的相同的去雨质量下可以取得3.75的加速比；
在其他的处理网络中，加速比会有所不同，例如，通过去雨网络直接处理大小为640×640的输入图像耗时15.3972s，采用本申请的方法，耗时：3.8844s，在近乎相同的去雾质量下取得的加速比是3.96；经过实际测量，本发明提供的一种基于全卷积网络的图像处理方法相对于传统方法可以取得近4倍的加速比。
通过集成几种不同的网络应用验证本发明的通用性，一个实施例中，当集成图像超分辨率重建应用，原始的EDSR网络超分后图像的评估指标PSNR与SSIM分别是(26.4101/0.8168)，而采用本发明所提框架指标分别是(26.5781/0.8303)，且在视觉上可以得到无差异性效果。
一个实施例中，当集成HDR应用时，采用本发明所提供的框架在视觉上可以得到无差异性效果。
在一个实施例中，基于一种基于全卷积网络的图像处理方法，本发明还提供了一种基于全卷积网络的图像处理装置，请参阅图4，所述装置包括：
降低分辨率模块501，用于降低第一输入图像的分辨率，得到第一低分辨率输入图像；
全卷积网络模块502，用于将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
通道转换模块503，用于分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
低分辨率图像处理模块504，用于利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
图像输出模块505，用于通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
可选的，所述通道转换模块503还包括引导网络单元；
所述引导网络单元，用于将所述第一输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二输入图像；
将所述第一低分辨率输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二分辨率输入图像。
可选的，所述图像输出模块505还包括第二线性关系生成单元；
所述第二线性关系生成单元，用于采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非均匀纹理的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
降低第一输入图像的分辨率，得到第一低分辨率输入图像；
将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
降低第一输入图像的分辨率，得到第一低分辨率输入图像；
将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述一种基于全卷积网络的图像处理方法、装置和计算机设备，所述方法包括：降低第一输入图像的分辨率，得到第一低分辨率输入图像并输入到全卷积网络中，得到低分辨率输出图像；分别将第一输入图像和第一低分辨率输入图像转换为第二输入图像和第二低分辨率输入图像；利用上采样方法，由第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到处理图像与第二低分辨率输入图像之间的第一线性关系；由第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像。本方法可无缝对接现有已经训练的网络框架，具有通用性，在不影响图像处理的质量的同时有极高的加速比，还可以再集成现有的图像处理网络，训练后得到与之相当图像处理效果。

Claims (8)

1.一种基于全卷积网络的图像处理方法，其特征在于，所述方法包括：
A、降低第一输入图像的分辨率，得到第一低分辨率输入图像；
B、将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
C、分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
D、利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
所述由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系包括：
将所述第二低分辨率输入图像作为目标图像、所述低分辨率输出图像作为引导图，输入到引导滤波中得到处理图像，通过引导滤波计算出所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
E、通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像；
所述通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系包括：
采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
2.根据权利要求1所述的方法，其特征在于，所述步骤C包括：
将所述第一输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二输入图像；
将所述第一低分辨率输入图像输入到由卷积层构成的引导网络中，得到与所述低分辨率输出图像通道相同的第二分辨率输入图像。
3.根据权利要求1所述的方法，其特征在于，所述第二输入图像与所述低分辨率输出图像为局部近线性关系；所述第二低分辨率输入图像与所述低分辨率输出图像为局部近线性关系。
4.根据权利要求1所述的方法，其特征在于，所述步骤A包括：
采用图像缩放算法降低所述第一输入图像的分辨率。
5.根据权利要求1所述的方法，其特征在于，所述上采样方法为引导滤波或双边滤波。
6.一种基于全卷积网络的图像处理装置，其特征在于，所述装置包括：
降低分辨率模块，用于降低第一输入图像的分辨率，得到第一低分辨率输入图像；
全卷积网络模块，用于将所述第一低分辨率输入图像输入到全卷积网络中，得到低分辨率输出图像；
通道转换模块，用于分别将所述第一输入图像和所述第一低分辨率输入图像转换为与所述低分辨率输出图像通道相同的第二输入图像和第二低分辨率输入图像；
低分辨率图像处理模块，用于利用上采样方法，由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
所述由所述第二低分辨率输入图像和低分辨率输出图像得到处理图像，计算得到所述处理图像与所述第二低分辨率输入图像之间的第一线性关系包括：
将所述第二低分辨率输入图像作为目标图像、所述低分辨率输出图像作为引导图，输入到引导滤波中得到处理图像，通过引导滤波计算出所述处理图像与所述第二低分辨率输入图像之间的第一线性关系；
图像输出模块，用于通过第一线性关系得到第二输入图像与输出图像之间的第二线性关系，通过第二线性关系和第二输入图像得到输出图像；
所述图像输出模块还包括：第二线性关系生成单元；
所述第二线性关系生成单元，用于采用双线性插值法对所述第一线性关系中的参数进行放大得到第二线性关系的参数；
其中，第二线性关系的参数与第一线性关系的参数相对应，第二线性关系的第二输入图像与第一线性关系的第二低分辨率输入图像相对应；第二线性关系的输出图像与第一线性关系的处理图像相对应。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910402733.0A 2019-05-15 2019-05-15 一种基于全卷积网络的图像处理方法、装置和计算机设备 Active CN110211057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910402733.0A CN110211057B (zh) 2019-05-15 2019-05-15 一种基于全卷积网络的图像处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910402733.0A CN110211057B (zh) 2019-05-15 2019-05-15 一种基于全卷积网络的图像处理方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN110211057A CN110211057A (zh) 2019-09-06
CN110211057B true CN110211057B (zh) 2023-08-29

Family

ID=67787254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910402733.0A Active CN110211057B (zh) 2019-05-15 2019-05-15 一种基于全卷积网络的图像处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN110211057B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488916B (zh) * 2019-09-12 2023-12-26 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN110766610B (zh) * 2019-10-28 2023-06-09 维沃移动通信有限公司 一种超分辨率图像的重建方法及电子设备
CN113766090B (zh) * 2020-06-02 2023-08-01 武汉Tcl集团工业研究院有限公司 一种图像处理方法、终端以及存储介质
CN111709879B (zh) * 2020-06-17 2023-05-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备
CN113744167B (zh) * 2021-09-02 2024-04-30 厦门美图之家科技有限公司 一种图像数据转换方法及装置
CN117097993B (zh) * 2023-10-20 2024-05-28 荣耀终端有限公司 图像处理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN108288270A (zh) * 2018-02-05 2018-07-17 南京邮电大学 一种基于通道修剪与全卷积深度学习的目标检测方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028538A1 (en) * 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN108288270A (zh) * 2018-02-05 2018-07-17 南京邮电大学 一种基于通道修剪与全卷积深度学习的目标检测方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Liu risheng等.Deep Layer Prior Optimization for Single Image Rain Streaks Removal.IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings.2018,第1408-1412页. *

Also Published As

Publication number Publication date
CN110211057A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
CN108109109B (zh) 一种超分辨率图像重构方法、装置、介质及计算设备
US20210279509A1 (en) Method and System For Processing Images Using Cross-Stage Skip Connections
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
Yue et al. Recaptured screen image demoiréing
CN114298900A (zh) 图像超分方法和电子设备
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
Liu et al. Learning noise-decoupled affine models for extreme low-light image enhancement
US9811892B1 (en) Separating sub-band image data for processing and merging with unprocessed image data
CN112837254B (zh) 一种图像融合方法、装置、终端设备及存储介质
CN115004220A (zh) 用于原始低光图像增强的神经网络
WO2024055458A1 (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
Liu et al. Hierarchical similarity learning for aliasing suppression image super-resolution
CN115760638A (zh) 一种基于深度学习的端到端去模糊超分辨率的方法
US20220343468A1 (en) Image processing method, electronic device and computer-readable storage medium
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备
CN113674149A (zh) 一种基于卷积神经网络的新型超分辨率重建方法
CN112150384A (zh) 一种基于残差网络与动态卷积网络模型融合的方法及***
CN111242087A (zh) 物体识别方法及装置
Shi et al. Region-adaptive demosaicking with weighted values of multidirectional information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant