CN114140346A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN114140346A
CN114140346A CN202111348360.7A CN202111348360A CN114140346A CN 114140346 A CN114140346 A CN 114140346A CN 202111348360 A CN202111348360 A CN 202111348360A CN 114140346 A CN114140346 A CN 114140346A
Authority
CN
China
Prior art keywords
image
noise
feature
processed
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111348360.7A
Other languages
English (en)
Inventor
程剑杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Jizhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jizhi Digital Technology Co Ltd filed Critical Shenzhen Jizhi Digital Technology Co Ltd
Priority to CN202111348360.7A priority Critical patent/CN114140346A/zh
Priority to PCT/CN2021/143563 priority patent/WO2023082453A1/zh
Publication of CN114140346A publication Critical patent/CN114140346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像处理方法及装置。该方法包括：获取待处理图像；确定待处理图像对应的天气类型；根据天气类型，获取待处理图像中与天气类型对应的环境噪声特征；根据环境噪声特征，得到待处理图像的非噪声图像特征，以及，根据环境噪声特征、非噪声图像特征和待处理图像，生成待处理图像对应的去噪图像。可见，本公开可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。

Description

一种图像处理方法及装置
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
当室外环境出现大雾、大雨、大雪等极端天气时，室外摄像监控设备所拍摄到的图像会存在场景不清晰、图像细节丢失的问题，限制了极端天气下图像识别和视频监控在交通监控、目标跟踪、自主导航等领域的应用。
现有的基于深度学习和物理建模的图像增强算法，只能解决某一种极端天气条件下的图像质量退化，比如只能实现图像去雨，或者只能实现图像去雾，而不能够使用同一种技术框架解决更多天气条件下的图像质量退化；并且，在极端天气下所拍摄的图像进行去噪恢复的过程中，常常会出现场景不清晰、图像细节丢失的问题，即导致出现难以彻底地去除图像中的雨线、雾气、雪花等噪声，图像恢复质量较差的问题。
发明内容
有鉴于此，本公开实施例提供了一种图像处理方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中图像恢复质量较差的问题。
本公开实施例的第一方面，提供了一种图像处理方法，所述方法包括：
获取待处理图像；
确定所述待处理图像对应的天气类型；
根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；
根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
本公开实施例的第二方面，提供了一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像；
类型确定模块，用于确定所述待处理图像对应的天气类型；
特征获取模块，用于根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；
图像生成模块，用于根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
本公开实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例可以先获取待处理图像；然后，可以确定所述待处理图像对应的天气类型；接着，可以根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；紧接着，可以根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。由于本实施例可以针对不同的天气类型获取该天气类型对应的环境噪声特征，并可以根据该天气类型对应的环境噪声特征对待处理图像进行去噪处理，以及，可以利用非噪声图像特征对去噪后的区域进行图像还原恢复；因此，本实施例所提供的方法可以将各种天气类型所导致的噪声从待处理图像中去除，以及，能够实现在去除各种天气类型所导致的噪声的同时还可以恢复图像细节信息，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的图像处理方法的流程图；
图3是本公开实施例提供的Resnet18的网络架构示意图；
图4是本公开实施例提供的图像增强模型的网络架构示意图；
图5是本公开实施例提供的噪声特征提取模块的网络架构示意图；
图6是本公开实施例提供的特征聚合密集卷积模块的网络架构示意图；
图7是本公开实施例提供的图像处理装置的框图；
图8是本公开实施例提供的计算机设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种图像处理方法和装置。
在现有技术中，由于现有的基于深度学习和物理建模的图像增强算法，只能解决某一种极端天气条件下的图像质量退化，比如只能实现图像去雨，或者只能实现图像去雾，而不能够使用同一种技术框架解决更多天气条件下的图像质量退化；并且，在极端天气下所拍摄的图像进行去噪恢复的过程中，常常会出现场景不清晰、图像细节丢失的问题，即导致出现难以彻底地去除图像中的雨线、雾气、雪花等噪声，图像恢复质量较差的问题。
为了解决上述问题。本发明提供了一种图像处理方法，在本方法中，由于本实施例可以针对不同的天气类型获取该天气类型对应的环境噪声特征，并可以根据该天气类型对应的环境噪声特征对待处理图像进行去噪处理，以及，可以利用非噪声图像特征对去噪后的区域进行图像还原恢复；因此，本实施例所提供的方法可以将各种天气类型所导致的噪声从待处理图像中去除，以及，能够实现在去除各种天气类型所导致的噪声的同时还可以恢复图像细节信息，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。
举例说明，本发明实施例可以应用到如图1所示的应用场景。在该场景中，可以包括终端设备1和服务器2。
终端设备1可以是硬件，也可以是软件。当终端设备1为硬件时，其可以是具有采集图像、存储图像功能且支持与服务器2通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、数码照像机、监控器、录像机和台式计算机等；当终端设备1为软件时，其可以安装在如上该的电子设备中。终端设备1可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1上可以安装有各种应用，例如图像采集应用、图像存储应用、即时聊天应用等。
服务器2可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器2可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器2可以是硬件，也可以是软件。当服务器2为硬件时，其可以是为终端设备1提供各种服务的各种电子设备。当服务器2为软件时，其可以是为终端设备1提供各种服务的多个软件或软件模块，也可以是为终端设备1提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
终端设备1与服务器2可以通过网络进行通信连接。网络可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near Field Communication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
具体地，用户可以通过终端设备1确定待处理图像，以及选择需要对该待处理图像中由于天气原因所导致的噪声进行去噪处理。服务器2接收到该待处理图像后，服务器2可以先确定所述待处理图像对应的天气类型。然后，服务器2可以根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征。接着，服务器2可以根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、和所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。最后，服务器2可以将该去噪图像向终端设备1发送，以便终端设备1向用户展示该去噪图像。这样，由于本实施例可以针对不同的天气类型获取该天气类型对应的环境噪声特征，并可以根据该天气类型对应的环境噪声特征对待处理图像进行去噪处理，以及，可以利用非噪声图像特征对去噪后的区域进行图像还原恢复；因此，本实施例所提供的方法可以将各种天气类型所导致的噪声从待处理图像中去除，以及，能够实现在去除各种天气类型所导致的噪声的同时还可以恢复图像细节信息，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。
需要说明的是，终端设备1和服务器2以及网络的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
需要注意的是，上述应用场景仅是为了便于理解本公开而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2是本公开实施例提供的一种图像处理方法的流程图。图2的一种图像处理方法可以由图1的终端设备或服务器执行。如图2所示，该图像处理方法包括：
S201：获取待处理图像。
在本实施例中，待处理图像可以理解为需要对由于天气原因所导致的噪声进行去噪处理的图像或视频帧。例如，可以将在极端天气(比如大雾、大雨、大雪等)下所拍摄的图像或视频的视频帧作为待处理图像。作为一种示例，终端设备可以提供一个页面，用户可以通过该页面上传图像，并点击预设按键，以触发对该图像中由于天气原因所导致的噪声进行去噪处理，此时，便可以将该图像作为待处理图像。
S202：确定所述待处理图像对应的天气类型。
由于不同天气所导致的噪声的特点是不相同的，例如不同天气类型所导致的噪声的形状、分布方式是不相同的。举例来说，在一种实现方式中，天气类型可以包括雨、雪、雾；若天气类型为雨，则该天气类型所导致的噪声为雨线，而雨线的形状为线条状，雨线的分布方式可以包括雨线的方向和雨线的密度，其中，雨线的密度可以根据雨线的密集程度分为大密度、中密度、小密度等三类，雨线的方向可以理解为雨线对应的雨水落下方向；若天气类型为雪，则该天气类型所导致的噪声为雪花，而雪花的形状为片状，雪花的分布方式可以包括雪花的方向和雪花的密度，其中，雪花的密度可以根据雪花的密集程度分为大密度、中密度、小密度等三类，雪花的方向可以理解为雪花对应的雪花落下方向；若天气类型为雾，则该天气类型所导致的噪声为雾气，而雾气的分布方式可以包括雾气的浓度，而雾气分布位置为随机位置。因此，获取到待处理图像后，可以先确定待处理图像对应的天气类型，以便后续可以根据不同天气类型对应的噪声的特点进行环境噪声特征的提取。
在本实施例中，可以利用图像处理算法对待处理图像进行天气类型分类处理，以确定待处理图像对应的天气类型。当然，还可以利用神经网络对待处理图像进行天气类型分类处理，以确定待处理图像对应的天气类型。需要说明的是，本实施例还可以采用其它分类方式对待处理图像进行天气类型分类，在此不再一一赘述。
S203：根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征。
为了将待处理图像中由于天气原因所导致的噪声去除，可以先根据待处理图像的天气类型对应的噪声特点，获取所述待处理图像中与该天气类型对应的环境噪声特征，以便后续可以根据与该天气类型对应的环境噪声特征去除该天气类型对应的噪声。可以理解的是，一天气类型对应的环境噪声特征可以理解为能够反映该天气类型对应的环境噪声在所述待处理图像中的分布情况的特征，例如，一天气类型对应的环境噪声特征可以包括在待处理图像中该天气类型对应的噪声的形状、分布密度、分布浓度、分布区域等情况；需要说明的是，环境噪声特征的特征形式可以为特征图，当然也可以为特征矩阵的形式，在本实施例中对此不进行限定。
也就是说，在本实施例中，确定待处理图像的天气类型后，可以先根据该天气类型对应的噪声特点，在待处理图像中提取与该天气类型对应的噪声特点相关的噪声分布情况信息。然后，可以根据该噪声分布情况信息生成该天气类型对应的环境噪声特征。
举例说明，假设待处理图像的天气类型为雨，则可以提取待处理图像中的雨线的形状、雨线的方向、雨线的密度、雨线的位置等雨线的分布情况信息，并可以根据待处理图像中的雨线的分布情况信息生成雨线噪声特征，可以理解的是，若所述天气类型为雨，则所述环境噪声特征为雨线噪声特征。
继续举例说明，假设待处理图像的天气类型为雪，则可以提取待处理图像中的雪花的形状、雪花的方向、雪花的密度、雪花的位置等雪花的分布情况信息，并可以根据待处理图像中的雪花的分布情况信息生成雪花噪声特征，可以理解的是，若所述天气类型为雪，所述环境噪声特征为雪花噪声特征。
继续举例说明，假设待处理图像的天气类型为雾，则可以提取待处理图像中的雾气的浓度、雾气的位置等雾气的分布情况信息，并可以根据待处理图像中的雾气的分布情况信息生成雾气噪声特征，可以理解的是，若所述天气类型为雾，所述环境噪声特征为雾气噪声特征。
S204：根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、和所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
在本实施例中，在获取到环境噪声特征后，可以将待处理图像中除环境噪声特征对应的区域以外的区域作为非噪声图像区域，并可以对非噪声图像区域进行特征提取，得到非噪声图像特征。可以理解的是，非噪声图像特征为能够反映待处理图像中非噪声图像区域的细节的特征，例如，非噪声图像特征可以包括非噪声图像区域的纹理特征、边缘特征、颜色特征、形状特征、空间特征等特征信息。
然后，可以利用环境噪声特征对待处理图像中天气类型对应的噪声去除；例如，可以利用环境噪声特征，确定待处理图像中天气类型对应的噪声的位置，以及，将噪声的位置所对应的像素点的像素值调整为预设初始值。需要说明的是，由于环境噪声特征是基于天气类型对应的噪声特点所提取的，因此，所获取到的环境噪声特征能够更加清晰地反映待处理图像中天气类型对应的噪声(比如雨线、雾气、雪花)的物理特征，故利用利用环境噪声特征对待处理图像中天气类型对应的噪声去除，可以提高待处理图像中天气类型对应的噪声的去除效果。还需要强调的是，由于实施例中是针对不同天气类型对应的噪声特点所提取的环境噪声特征，因此，本实施例所提供的方法可以兼容去除多种天气类型所导致的噪声，即针对每一种天气类型所导致的噪声均可以采用本实施例所提供的方法进行去除，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题。
接着，可以利用待处理图像的非噪声图像特征，对去除噪声后的区域进行图像细节信息的恢复还原。需要说明的是，由于非噪声图像特征包括了待处理图像中非噪声图像区域的细节的特征，即非噪声图像特征能够更加清晰地反映待处理图像中非噪声图像区域的物理特征；因此，可以利用非噪声图像特征计算去除噪声后的区域与非噪声图像区域之间的特征联系，从而可以根据非噪声图像特征对去除噪声后的区域进行图像细节的还原，得到待处理图像对应的去噪图像，例如，根据非噪声图像特征计算去除噪声后的区域中像素点的目标像素值，并将去除噪声后的区域中像素点的像素值调整为目标像素值。这样，便可以提高去除噪声后的待处理图像的图像细节恢复程度，从而可以减少去除噪声后的待处理图像的失真程度，进而提高了待处理图像对应的去噪图像的清晰程度。
可见，本公开实施例与现有技术相比存在的有益效果是：本公开实施例可以先获取待处理图像；然后，可以确定所述待处理图像对应的天气类型；接着，可以根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；紧接着，可以根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。由于本实施例可以针对不同的天气类型获取该天气类型对应的环境噪声特征，并可以根据该天气类型对应的环境噪声特征对待处理图像进行去噪处理，以及，可以利用非噪声图像特征对去噪后的区域进行图像还原恢复；因此，本实施例所提供的方法可以将各种天气类型所导致的噪声从待处理图像中去除，以及，能够实现在去除各种天气类型所导致的噪声的同时还可以恢复图像细节信息，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。
接下来，将介绍S202的一种实现方式，即如何利用神经网络对待处理图像进行天气类型的分类。在本实施例中，S202“确定所述待处理图像对应的天气类型”可以包括以下步骤：
将所述待处理图像输入已训练的天气类型分类模型，得到所述待处理图像对应的天气类型。
在本实施例中，所述天气类型分类模型可以为基于样本图像以及样本图像对应的天气类型标签进行训练所得到的残差网络。在一种实现方式中，所述残差网络可以为如图3所示的Resent18网络。本实施例中，可以预先设置有若干组训练样本，每组训练样本包括样本图像和该样本图像对应的天气类型标签。利用预设的训练样本对残差网络进行训练的方式可以为：将每组训练样本中的样本图像输入残差网络中，得到该样本图像对应的预测天气类型，接着，根据该样本图像对应的天气类型标签和该预测天气类型确定损失值，紧接着，利用该损失值对该残差网络的网络参数进行调整，直至该残差网络满足训练条件，例如该残差网络的网络参数拟合，或者训练次数满足预设训练阈值，便可以得到已训练的天气类型分类模型。举例来说，假设预设的天气类型包括雨、雾、雪，则将待处理图像输入已训练的天气类型分类模型后，可以得到待处理图像的天气类型为雨、雾、雪中的一种。
接下来，将介绍S203的一种实现方式，即如何获取所述待处理图像中与所述天气类型对应的环境噪声特征。在本实施例中，S203“根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征”可以包括以下步骤：
S203a：根据所述天气类型，确定所述天气类型对应的图像增强模型；其中，所述图像增强模型包括噪声特征提取模块。
在本实施例的一种实现方式中，可以针对不同天气类型分别设置不同的图像增强模型。需要说明的是，不同的天气类型所对应的图像增强模型的模型网络架构均是相同的，区别仅在于不同的天气类型所对应的图像增强模型的训练样本是不相同。举例来说，假设天气类型“雨”对应的图像增强模型的训练样本中的样本图像为存在雨线噪声的图像，样本图像对应的样本去噪图像为去除雨线噪声且恢复图像细节的图像；假设天气类型“雪”对应的图像增强模型的训练样本中的样本图像为存在雪花噪声的图像，样本图像对应的样本去噪图像为去除雪花噪声且恢复图像细节的图像；假设天气类型“雾”对应的图像增强模型的训练样本中的样本图像为存在雾气噪声的图像，样本图像对应的样本去噪图像为去除雾气噪声且恢复图像细节的图像。可以理解的是，不同的天气类型所对应的图像增强模型的模型网络架构均是相同的，但是不同的天气类型所对应的图像增强模型的模型网络参数可能是不相同的；需要强调的是，由于后续介绍的实现方法均是针对网络架构层面的实现方式进行介绍的，因此，后续介绍的实现方式适用于所有天气类型对应的图像增强模型。当然，在本实施例的另一种实现方式中，所有天气类型可以设置同一个图像增强模型，即所有天气类型均对应同一个图像增强模型，可以理解的是，在本实现方式中，该图像增强模型是基于所有天气类型对应的样本图像以及样本图像对应的去噪图像训练得到的。需要说明的是，在本实施例中，将主要以针对不同天气类型分别设置不同的图像增强模型的情况进行举例说明。
在针对不同天气类型分别设置不同的图像增强模型的情况下，获取到待处理图像的天气类型后，可以根据该天气类型，在所有已训练的图像增强模型中确定该天气类型对应的图像增强模型。作为一种示例，每种天气类型对应的图像增强模型均设置有与天气类型对应的类型标识，因此，在获取到待处理图像的天气类型后，可以根据该天气类型对应的类型标识，在所有已训练的图像增强模型中确定类型标识与该天气类型对应的类型标识相同的图像增强模型。
S203b：将所述待处理图像输入所述噪声特征提取模块，得到所述待处理图像中与所述天气类型对应的环境噪声特征。
在本实施例中，如图4所示，图像增强模型可以包括噪声特征提取模块。在获取到待处理图像后，可以先利用图像增强模型，获取待处理图像中与天气类型对应的环境噪声特征，以便后续利用该环境噪声特征进行噪声去除。
在一种实现方式中，如图4所示，噪声特征提取模块可以为多尺度特征提取网络模块(Feature Block)。该噪声特征提取模块提取环境噪声特征的过程可以定义为F0＝H0(I0)，I0表示待处理图像，H0表示Feature Block的特征计算函数，F0为得到的环境噪声特征。
为了能够提取不同形状、不同分布方式的噪声的特征(比如不同方向、不同大小的雨线噪声特征，不同浓度的雾气噪声特征，不同方向、不同大小的雪花噪声特征)，所述噪声特征提取模块可以包括N个膨胀卷积层和聚合卷积层，其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且N为大于1的正整数。需要说明的是，由于每个膨胀卷积层的卷积核膨胀尺寸均不相同，因此，每个膨胀卷积层在卷积计算的过程中所采集的相邻像素之间的间隔像素数量不同，从而每个膨胀卷积层的感受野的大小也会不一样，进而每个膨胀卷积层所提取的第一噪声特征也会不相同(比如，尺寸大小不相同，所包含的图像特征信息也不相同)；这样可以提取到不同尺度的第一噪声特征，比如不同大小的雨线、不同浓度的雾气，在训练过程中能够聚合更多的上下文空间信息，并且训练的参数更少，使得模型更容易训练达到拟合。
具体地，在本实现方式中，可以先将所述待处理图像分别输入所述N个膨胀卷积层，得到N个第一噪声特征，其中，每个第一噪声特征的尺寸大小不相同。然后，可以利用所述聚合卷积层对所述N个第一噪声特征进行聚合处理，得到所述待处理图像中与所述天气类型对应的环境噪声特征，由于不同尺度的第一噪声特征所包含的图像特征信息不相同，使得利用所述N个第一噪声特征进行聚合得到环境噪声特征的过程中，可以聚合更多的上下文空间信息，以及使得聚合得到的环境噪声特征中的信息更加丰满，从而可以使得待处理图像中的噪声的特征的提取有显著的提高，即使得所获取到的环境噪声特征能够更加清晰地反映待处理图像中天气类型对应的噪声。
接下来将结合图5对S203b的具体实现方式进行举例说明。如图5所示，噪声特征提取模块可以包括4个膨胀卷积层和3个聚合卷积层；具体地，4个膨胀卷积层包括第一膨胀卷积层(Conv 3*3DF＝1)、第二膨胀卷积层(Conv 3*3DF＝2)、第三膨胀卷积层(Conv 3*3DF＝3)和第四膨胀卷积层(Conv 3*3DF＝4)，所述聚合卷积层包括第一聚合卷积层(Conv 1*1DF＝1)、第二聚合卷积层(Conv1*1DF＝1)和第三聚合卷积层(Conv 1*1DF＝1)；其中，第一膨胀卷积层为卷积核为3*3、DF＝1(DF＝1代表卷积计算的过程中所采集的相邻像素之间没有间隔)的卷积层，第二膨胀卷积层为卷积核为3*3、DF＝2(DF＝2代表卷积计算的过程中所采集的相邻像素之间的间隔数量为一个像素)的卷积层，第三膨胀卷积层为卷积核为3*3、DF＝3(DF＝3代表卷积计算的过程中所采集的相邻像素之间的间隔数量为两个像素)的卷积层，第四膨胀卷积层为卷积核为3*3、DF＝4(DF＝4代表卷积计算的过程中所采集的相邻像素之间的间隔数量为三个像素)的卷积层，第一聚合卷积层、第二聚合卷积层和第三聚合卷积层均为卷积核为1*1、DF＝1的卷积层。具体地，将待处理图像分别输入第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层和第四膨胀卷积层，得到四个第一噪声特征。将第一膨胀卷积层、第二膨胀卷积层输出的2个第一噪声特征输入第一聚合卷积层，得到第一子聚合特征；将第三膨胀卷积层、第四膨胀卷积层输出的2个第一噪声特征输入第二聚合卷积层，得到第二聚合子特征；将第一子聚合特征和第二子聚合特征输入第三聚合卷积层，得到所述待处理图像中与所述天气类型对应的环境噪声特征。需要说明的是，本示例中采用卷积核为1*1的卷积层来聚合不同尺度的特征，经过3次特征聚合得到的特征信息(即环境噪声特征)更加丰满，对于天气图像的环境噪声特征提取有显著的提高。
接下来，将介绍S204的一种实现方式，即如何生成待处理图像对应的去噪图像。在本实施例中，S204“根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像”可以包括以下步骤：
S204a：将所述环境噪声特征输入所述卷积层，得到第一特征图。
在本实施例中，如图4所示，所述图像增强模型还包括卷积层。在获取到环境噪声特征后，将所述环境噪声特征输入所述卷积层进行卷积处理，得到第一特征图。
S204b：将所述第一特征图输入所述编码网络层，得到P个下采样特征图和P个非噪声图像特征，其中，P为大于1的正整数。
在本实施例中，如图4所示，所述图像增强模型还包括编码网络层。所述编码网络层可以包括P个级联的编码网络模块，且每个编码网络模块均包括一特征聚合密集卷积模块和最大池化层；在一种实现方式中，如图4所示，一个编码网络模块可以包括一个特征聚合密集卷积模块和一个最大池化层，比如，特征聚合密集卷积模块可以为图4中的FJDB(Feature Joint Dense Block)，最大池化层可以为图4中的Maxpooling。
在本实施例中，在编码阶段中，可以将第一特征图输入所述编码网络层，利用编码网络层的P个级联的编码网络模块对第一特征进行特征提取，得到P个下采样特征图和P个非噪声图像特征；需要说明的是，编码网络层的P个级联的编码网络模块可以理解为下采样卷积层，P个级联的编码网络模块所输出的特征图的尺寸是不相同的，且排序越在后面的编码网络模块所输出的特征图的尺寸越小。其中，下采样特征图可以理解为相同尺度的特征的相加之和，下采样特征图可以用于去除天气原因所导致的噪声；非噪声图像特征为在池化阶段(即编码网络模块进行特征提取阶段)通过池化索引(Pooling Indices)所记录到的该阶段所丢失的图像细节，非噪声图像特征可以用于通过在上采样阶段(即后续的解码阶段)中指导恢复编码网络模块进行特征提取阶段中所丢失的细节特征。
具体地，可以将所述第一特征图输入第1个编码网络模块中的特征聚合密集卷积模块，得到第1个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征。可以将第i-1个编码网络模块输出的下采样特征图输入第i个编码网络模块中的特征聚合密集卷积模块，得到第i个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征；i为大于1且小于或等于P的正整数。
作为一种示例，如图4所示，所述编码网络层可以包括3个级联的编码网络模块，分别为第一编码网络模块、第二编码网络模块和第三编码网络模块；且每个编码网络模块均包括一特征聚合密集卷积模块(即FIDB)和一个最大池化层(Maxpooling)。第一特征图F1输入第一编码网络模块，第一编码网络模块输出一下采样特征图F2和一非噪声图像特征；将第1个编码网络模块输出的下采样特征图F2输入第2个编码网络模块中的特征聚合密集卷积模块，得到第2个编码网络模块中的最大池化层输出的一下采样特征图F3和一非噪声图像特征；将第2个编码网络模块输出的下采样特征图F3输入第3个编码网络模块中的特征聚合密集卷积模块，得到第3个编码网络模块中的最大池化层输出的一下采样特征图F4和一非噪声图像特征。
S205c：将所述P个下采样特征图和所述P个非噪声图像特征输入解码网络层，得到去噪特征图；
在本实施例中，如图4所示，所述图像增强模型还包括解码网络层。所述解码网络层包括P个级联的解码网络模块，且每个解码网络模块均包括一特征聚合密集卷积模块和上采样最大池化层；在一种实现方式中，如图4所示，一个解码网络模块可以包括一个特征聚合密集卷积模块和一个上采样最大池化层，比如，特征聚合密集卷积模可以为图4中的FIDB(Feature Joint Dense Block),上采样最大池化层可以为图4中的UpMaxpooling。其中，每个解码网络模块均对应一个编码网络模块，解码网络模块的输入包括与其对应的编码网络模块所输出的下采样特征图和一非噪声图像特征。
在本实施例中，在解码阶段总，可以将待处理图像、P个下采样特征图和P个非噪声图像特征输入解码网络层的P个级联的解码网络模块，以便所述P个级联的解码网络模块利用所述P个下采样特征图对待处理图像进行天气类型对应的噪声去除，以及，利用所述P个非噪声图像特征，以及图像细节信息的恢复还原，得到去噪特征图。需要说明的是，解码网络层的P个级联的解码网络模块可以理解为上采样卷积层，P个级联的解码网络模块所输出的特征图的尺寸是不相同的，且排序越在后面的解码网络模块所输出的特征图的尺寸越大。可见，本实施例通过将编码网络层和解码网络层集成在一起，从而能够计算长期的空间特征依赖关系。其中采用了池化索引(Pooling Indices)来记录下采样阶段(即编码阶段)和上采样阶段(即解码阶段)的图像细节信息的丢失和补充，编码阶段的每一个最大池化层(Maxpooling)都对应一个上采样最大池化层(UpMaxpooling)，并由最大池化层(Maxpooling)通过池化索引来指导最大池化层(UpMaxpooling)进行上采样，这样就能够在上采样阶段恢复更多的图像细节。
具体地，可以将第P个编码网络模块输出的一下采样特征图输入第1个解码网络模块中的特征聚合密集卷积模块，以及，将所述第P个编码网络模块输出的一非噪声图像特征输入所述第1个解码网络模块中的上采样最大池化层，得到所述上采样最大池化层输出的一上采样特征图。可以将第P-j个编码网络模块输出的一下采样特征图以及第j个解码网络模块中上采样最大池化层输出的一上采样特征图，输入第1+j个解码网络模块中的特征聚合密集卷积模块；以及，将所述第P-j个编码网络模块输出的一非噪声图像特征输入所述第1+j个解码网络模块中的上采样最大池化层，得到所述第1+j个解码网络模块中上采样最大池化层输出的一上采样特征图；j为等于或大于1且小于P的正整数。可以将第P个解码网络模块中上采样最大池化层输出的上采样特征图作为去噪特征图。
作为一种示例，如图4所示，所述编码网络层可以包括3个级联的编码网络模块，分别为第一编码网络模块、第二编码网络模块和第三编码网络模块；所述解码网络层可以包括3个级联的解码网络模块，分别为第一解码网络模块、第二解码网络模块和第三解码网络模块。可以将第3个编码网络模块输出的一下采样特征图F4输入第1个解码网络模块中的特征聚合密集卷积模块，以及，将所述第3个编码网络模块输出的一非噪声图像特征输入所述第1个解码网络模块中的上采样最大池化层，得到所述上采样最大池化层输出的一上采样特征图F5。可以将第2个编码网络模块输出的一下采样特征图F3以及第1个解码网络模块中上采样最大池化层输出的一上采样特征图F5，输入第2个解码网络模块中的特征聚合密集卷积模块；以及，将所述第2个编码网络模块输出的一非噪声图像特征输入所述第2个解码网络模块中的上采样最大池化层，得到所述第2解码网络模块中上采样最大池化层输出的一上采样特征图F6。可以将第1个编码网络模块输出的一下采样特征图F2以及第2个解码网络模块中上采样最大池化层输出的一上采样特征图F6，输入第3个解码网络模块中的特征聚合密集卷积模块；以及，将所述第1个编码网络模块输出的一非噪声图像特征输入所述第3个解码网络模块中的上采样最大池化层，得到所述第3解码网络模块中上采样最大池化层输出的一上采样特征图F7，可以将第3个解码网络模块中上采样最大池化层输出的上采样特征图F7作为去噪特征图。
S206d：将所述去噪特征图、所述第一特征图、所述环境噪声特征和所述待处理图像输入所述输出层，得到所述待处理图像对应的去噪图像。
在本实施例中，如图4所示，所述图像增强模型还包括输出层。将去噪特征图、第一特征图、环境噪声特征和所述待处理图像输入所述输出层，得到所述待处理图像对应的去噪图像，例如输出层可以将去噪特征图、第一特征图、环境噪声特征和待处理图像相融合，得到待处理图像对应的去噪图像。
在一种实现方式中，如图4所示，所述输出层包括第一输出层和第二输出层，其中，第一输出层包括卷积核大小为1*1的卷积层(1*1Conv)和一卷积层(Conv)，第二输出层包括一卷积层(Conv)和一激活函数层(比如Tanh函数层，即Tanh)。其中，第一输出层的输入为去噪特征图和第一特征图，第一输出层的输出为第一输出特征图；第二输出层的输入为第一输出特征图和环境噪声特征F0的融合特征，第二输出层的输出为第二输出特征图；接着，可以将第二输出特征图与待处理图像进行融合，得到待处理图像对应的去噪图像。
需要说明的是，在上述实施例所提及的特征聚合密集卷积模块均包括M个膨胀卷积层、密集连接网络模块和全连接层。其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且M为大于1的正整数。
所述M个膨胀卷积层用于根据特征图(比如第一特征图、下采样特征图、上采样特征图)生成M个第二噪声特征，其中，每个第二噪声特征的尺寸大小不相同；具体地，可以将特征图分别输入M个膨胀卷积层，得到M个第二噪声特征。例如，如图6所示，一个特征聚合密集卷积模块可以包括3个膨胀卷积层，三个膨胀卷积层分别为第一子膨胀卷积层(Conv 3*3DF＝1)、第二子膨胀卷积层(Conv 3*3DF＝2)和第三子膨胀卷积层(Conv 3*3DF＝3)；其中，第一子膨胀卷积层为卷积核为3*3、DF＝1(DF＝1代表卷积计算的过程中所采集的相邻像素之间没有间隔)的膨胀卷积层，第二子膨胀卷积层为卷积核为3*3、DF＝2(DF＝2代表卷积计算的过程中所采集的相邻像素之间的间隔数量为一个像素)的膨胀卷积层，第三子膨胀卷积层为卷积核为3*3、DF＝3(DF＝3代表卷积计算的过程中所采集的相邻像素之间的间隔数量为两个像素)的膨胀卷积层；本实施例采用三种卷积核膨胀尺寸的膨胀卷积来聚合不同尺度的特征信息(即特征图)，其中，尺寸为3*3的卷积核能够很好的提取雨线、雾气、雪花等噪声特征。另外，在编码阶段和解码阶段保持特征图的通道数一致，即编码网络层和解码网络层中所输出的特征图的通道数是相同的。可见，本实施了利用卷积核膨胀尺寸不同的膨胀卷积，并将不同尺度的特征聚合在一起，可以提高所提取的特征所包含的图像信息更加丰富；需要说明的是，对于雨线、雪花、雾气这种形状大小不规则且会随着风向随时变化的噪声特征而言，采用多尺度聚合特征的技术手段会使得提取噪声特征的效果更好，比如会比采用单一大小卷积核的卷积提取到的特征更丰富，从而可以使得获取到的环境噪声特征能够更加清晰地反映待处理图像中天气类型对应的噪声(比如雨线、雾气、雪花)的物理特征，进而可以提高待处理图像对应的去噪图像的清晰程度。其中，在一种实现方式中，特征聚合密集卷积模块的输入可以是不同尺度的特征块，输出是不改变尺寸的特征块。
所述密集连接网络模块用于对所述M个第二噪声特征进行卷积计算处理以及数据筛选处理，得到多个卷积特征图。在一种实现方式中，如图6所示，密集连接网络模块包括多个密集连接模块，且每个密集连接模块包括一个卷积层(Conv)和一个激活函数层(比如ReLu函数层，即ReLu)。
所述全连接层用于对所述M个第二噪声特征和所述多个卷积特征图进行聚合处理，得到聚合特征。在一种实现方式中，如图6所示，所述全连接层包括一concat函数层(即Concat)和一卷积核为1*1的卷积层(1*1Conv)。
结合图6举例说明，如图6所示，假设密集连接网络模块包括3个密集连接模块，分别为第一密集连接模块、第二密集连接模块和第三密集连接模块，其中，M个第二噪声特征进行融合后所得到的融合特征可以作为第一密集连接模块的输入，M个第二噪声特征进行融合后所得到的融合特征和第一密集连接模块所输出的卷积特征图可以作为第二密集连接模块的输入，M个第二噪声特征进行融合后所得到的融合特征、第一密集连接模块所输出的卷积特征图和第二密集连接模块所输出的卷积特征图可以作为第三密集连接模块的输入；M个第二噪声特征进行融合后所得到的融合特征、第一密集连接模块所输出的卷积特征图、第二密集连接模块所输出的卷积特征图、第三密集连接模块所输出的卷积特征图可以作为全连接层的输入，可以将全连接层所输出的特征图与输入M个膨胀卷积层的特征图(比如第一特征图、下采样特征图、上采样特征图)相融合(即进行聚合处理)，得到聚合特征。
可见，本实施例M个尺度不同的第二噪声特征进行融合后，将M个第二噪声特征进行融合后所得到的融合特征输入一个密集连接网络模块，然后通过全连接层中的Concat层将所有阶段的特征聚合，这样能够使编码阶段中所得到的下采样特征图和非噪声图像特征中的特征信息更加细节的刻画，并能够在解码阶段中去除雨线、雾气、雪花等噪声信息(即噪声特征)后恢复更多的图像细节，从而实现减少待处理图像对应的去噪图像的失真程度。
还需要说明的是，所述图像增强模型的损失函数可以为平均绝对误差函数。需要说明的是，在本实施例中，由于雨线、雾气、雪花等噪声信息(即噪声特征)比较稀疏，并且本实施例刻画的是经过去处雨线、雾气、雪花等噪声信息之后的预测去噪图像f(x)与真实无噪声图像Y的相差程度，因此本实施例可以选择对稀疏特征比较敏感的MAE(Mean AbsoluteError，平均绝对误差)函数作为训练的损失函数。这样，在利用损失函数确定用于模型训练的输入图像对应的损失值后，可以利用损失值对图像增强模型的模型参数进行调整，直至满足训练完成条件，例如训练次数达到预设次数或者图像增强模型的模型参数拟合。
在一种实现方式中，MAE函数如下公式所示：
Figure BDA0003355055770000201
上式中，
Figure BDA0003355055770000202
代表图像增强模型所输出的预测去噪图像；H、W、C分别代表图像增强模型的输入图像的高度、宽度、通道数；Yi，j，k代表真实无噪声图像；i、j、k分别代表图像的高度、宽度、通道数；L代表损失值。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图7是本公开实施例提供的图像处理装置的示意图。如图7所示，该图像处理装置包括：
图像获取模块701，用于获取待处理图像；
类型确定模块702，用于确定所述待处理图像对应的天气类型；
特征获取模块703，用于根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；
图像生成模块704，用于根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
在一些实施例中，所述类型确定模块702，用于：
将所述待处理图像输入已训练的天气类型分类模型，得到所述待处理图像对应的天气类型；
其中，所述天气类型分类模型为基于样本图像以及样本图像对应的天气类型标签进行训练所得到的残差网络。
在一些实施例中，所述特征获取模块703，用于：
根据所述天气类型，确定所述天气类型对应的图像增强模型；其中，所述图像增强模型包括噪声特征提取模块；
将所述待处理图像输入所述噪声特征提取模块，得到所述待处理图像中与所述天气类型对应的环境噪声特征；其中，所述环境噪声特征为反映所述天气类型对应的环境噪声在所述待处理图像中的分布情况的特征。
在一些实施例中，所述噪声特征提取模块包括N个膨胀卷积层和聚合卷积层，其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且N为大于1的正整数；
所述所述特征获取模块703，具体用于：
将所述待处理图像分别输入所述N个膨胀卷积层，得到N个第一噪声特征，其中，每个第一噪声特征的尺寸大小不相同；
利用所述聚合卷积层对所述N个第一噪声特征进行聚合处理，得到所述待处理图像中与所述天气类型对应的环境噪声特征。
在一些实施例中，所述图像增强模型还包括卷积层、编码网络层、解码网络层和输出层；
所述图像生成模块704，用于：
将所述环境噪声特征输入所述卷积层，得到第一特征图；
将所述第一特征图输入所述编码网络层，得到P个下采样特征图和P个非噪声图像特征；其中，P为大于1的正整数；
将所述P个下采样特征图和所述P个非噪声图像特征输入解码网络层，得到去噪特征图；
将所述去噪特征图、所述第一特征图、所述环境噪声特征和所述待处理图像输入所述输出层，得到所述待处理图像对应的去噪图像。
在一些实施例中，所述编码网络层包括P个级联的编码网络模块，且每个编码网络模块均包括一特征聚合密集卷积模块和最大池化层；
所述图像生成模块704，具体用于：
将所述第一特征图输入第1个编码网络模块中的特征聚合密集卷积模块，得到第1个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征；
将第i-1个编码网络模块输出的下采样特征图输入第i个编码网络模块中的特征聚合密集卷积模块，得到第i个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征；i为大于1且小于或等于P的正整数。
在一些实施例中，所述解码网络层包括P个级联的解码网络模块，且每个解码网络模块均包括一特征聚合密集卷积模块和上采样最大池化层；
所述图像生成模块704，具体用于：
将第P个编码网络模块输出的一下采样特征图输入第1个解码网络模块中的特征聚合密集卷积模块，以及，将所述第P个编码网络模块输出的一非噪声图像特征输入所述第1个解码网络模块中的上采样最大池化层，得到所述上采样最大池化层输出的一上采样特征图；
将第P-j个编码网络模块输出的一下采样特征图以及第j个解码网络模块中上采样最大池化层输出的一上采样特征图，输入第1+j个解码网络模块中的特征聚合密集卷积模块；以及，将所述第P-j个编码网络模块输出的一非噪声图像特征输入所述第1+j个解码网络模块中的上采样最大池化层，得到所述第1+j个解码网络模块中上采样最大池化层输出的一上采样特征图；j为等于或大于1且小于P的正整数；
将第P个解码网络模块中上采样最大池化层输出的上采样特征图作为去噪特征图。
在一些实施例中，所述特征聚合密集卷积模块包括M个膨胀卷积层、密集连接网络模块和全连接层；其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且M为大于1的正整数；
所述M个膨胀卷积层用于根据特征图生成M个第二噪声特征，其中，每个第二噪声特征的尺寸大小不相同；
所述密集连接网络模块用于对所述M个第二噪声特征进行卷积计算处理以及数据筛选处理，得到多个卷积特征图；
所述全连接层用于对所述M个第二噪声特征和所述多个卷积特征图进行聚合处理，得到聚合特征。
在一些实施例中，所述图像增强模型的损失函数为平均绝对误差函数。
在一些实施例中，所述天气类型包括以下至少一种：雨、雪、雾；
若所述天气类型为雨，所述环境噪声特征为雨线噪声特征；若所述天气类型为雪，所述环境噪声特征为雪花噪声特征；若所述天气类型为雾，所述环境噪声特征为雾气噪声特征。
根据本公开实施例提供的技术方案，图像处理装置包括：图像获取模块，用于获取待处理图像；类型确定模块，用于确定所述待处理图像对应的天气类型；特征获取模块，用于根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；图像生成模块，用于根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。由于本实施例可以针对不同的天气类型获取该天气类型对应的环境噪声特征，并可以根据该天气类型对应的环境噪声特征对待处理图像进行去噪处理，以及，可以利用非噪声图像特征对去噪后的区域进行图像还原恢复；因此，本实施例所提供的方法可以将各种天气类型所导致的噪声从待处理图像中去除，以及，能够实现在去除各种天气类型所导致的噪声的同时还可以恢复图像细节信息，从而可以实现能够使用同一种技术框架解决更多天气条件下的图像质量退化问题以及提高了图像去噪、增强的效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图8是本公开实施例提供的计算机设备8的示意图。如图8所示，该实施例的计算机设备8包括：处理器801、存储器802以及存储在该存储器802中并且可以在处理器801上运行的计算机程序803。处理器801执行计算机程序803时实现上述各个方法实施例中的步骤。或者，处理器801执行计算机程序803时实现上述各装置实施例中各模块/模块的功能。
示例性地，计算机程序803可以被分割成一个或多个模块/模块，一个或多个模块/模块被存储在存储器802中，并由处理器801执行，以完成本公开。一个或多个模块/模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序803在计算机设备8中的执行过程。
计算机设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备8可以包括但不仅限于处理器801和存储器802。本领域技术人员可以理解，图8仅仅是计算机设备8的示例，并不构成对计算机设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器801可以是中央处理模块(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器802可以是计算机设备8的内部存储模块，例如，计算机设备8的硬盘或内存。存储器802也可以是计算机设备8的外部存储设备，例如，计算机设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器802还可以既包括计算机设备8的内部存储模块也包括外部存储设备。存储器802用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器802还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块、模块完成，即将装置的内部结构划分成不同的功能模块或模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块、模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块、模块的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。上述***中模块、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块/模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
确定所述待处理图像对应的天气类型；
根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；
根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述待处理图像对应的天气类型，包括：
将所述待处理图像输入已训练的天气类型分类模型，得到所述待处理图像对应的天气类型；
其中，所述天气类型分类模型为基于样本图像以及样本图像对应的天气类型标签进行训练所得到的残差网络。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征，包括：
根据所述天气类型，确定所述天气类型对应的图像增强模型；其中，所述图像增强模型包括噪声特征提取模块；
将所述待处理图像输入所述噪声特征提取模块，得到所述待处理图像中与所述天气类型对应的环境噪声特征；其中，所述环境噪声特征为反映所述天气类型对应的环境噪声在所述待处理图像中的分布情况的特征。
4.根据权利要求3所述的图像处理方法，其特征在于，所述噪声特征提取模块包括N个膨胀卷积层和聚合卷积层，其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且N为大于1的正整数；
所述将所述待处理图像输入所述噪声特征提取模块，得到所述待处理图像中与所述天气类型对应的环境噪声特征，包括：
将所述待处理图像分别输入所述N个膨胀卷积层，得到N个第一噪声特征，其中，每个第一噪声特征的尺寸大小不相同；
利用所述聚合卷积层对所述N个第一噪声特征进行聚合处理，得到所述待处理图像中与所述天气类型对应的环境噪声特征。
5.根据权利要求3所述的图像处理方法，其特征在于，所述图像增强模型还包括卷积层、编码网络层、解码网络层和输出层；
所述根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像，包括：
将所述环境噪声特征输入所述卷积层，得到第一特征图；
将所述第一特征图输入所述编码网络层，得到P个下采样特征图和P个非噪声图像特征；其中，P为大于1的正整数；
将所述P个下采样特征图和所述P个非噪声图像特征输入解码网络层，得到去噪特征图；
将所述去噪特征图、所述第一特征图、所述环境噪声特征和所述待处理图像输入所述输出层，得到所述待处理图像对应的去噪图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述编码网络层包括P个级联的编码网络模块，且每个编码网络模块均包括一特征聚合密集卷积模块和最大池化层；
所述将所述第一特征图输入所述编码网络层，得到P个下采样特征图和P个非噪声图像特征，包括：
将所述第一特征图输入第1个编码网络模块中的特征聚合密集卷积模块，得到第1个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征；
将第i-1个编码网络模块输出的下采样特征图输入第i个编码网络模块中的特征聚合密集卷积模块，得到第i个编码网络模块中的最大池化层输出的一下采样特征图和一非噪声图像特征；i为大于1且小于或等于P的正整数。
7.根据权利要求6所述的图像处理方法，其特征在于，所述解码网络层包括P个级联的解码网络模块，且每个解码网络模块均包括一特征聚合密集卷积模块和上采样最大池化层；
所述将所述P个下采样特征图和所述P个非噪声图像特征输入解码网络层，得到去噪特征图，包括：
将第P个编码网络模块输出的一下采样特征图输入第1个解码网络模块中的特征聚合密集卷积模块，以及，将所述第P个编码网络模块输出的一非噪声图像特征输入所述第1个解码网络模块中的上采样最大池化层，得到所述上采样最大池化层输出的一上采样特征图；
将第P-j个编码网络模块输出的一下采样特征图以及第j个解码网络模块中上采样最大池化层输出的一上采样特征图，输入第1+j个解码网络模块中的特征聚合密集卷积模块；以及，将所述第P-j个编码网络模块输出的一非噪声图像特征输入所述第1+j个解码网络模块中的上采样最大池化层，得到所述第1+j个解码网络模块中上采样最大池化层输出的一上采样特征图；j为等于或大于1且小于P的正整数；
将第P个解码网络模块中上采样最大池化层输出的上采样特征图作为去噪特征图。
8.根据权利要求6或7所述的图像处理方法，其特征在于，所述特征聚合密集卷积模块包括M个膨胀卷积层、密集连接网络模块和全连接层；其中，每个膨胀卷积层的卷积核膨胀尺寸均不相同，且M为大于1的正整数；
所述M个膨胀卷积层用于根据特征图生成M个第二噪声特征，其中，每个第二噪声特征的尺寸大小不相同；
所述密集连接网络模块用于对所述M个第二噪声特征进行卷积计算处理以及数据筛选处理，得到多个卷积特征图；
所述全连接层用于对所述M个第二噪声特征和所述多个卷积特征图进行聚合处理，得到聚合特征。
9.根据权利要求3-7中任一所述的图像处理方法，其特征在于，所述图像增强模型的损失函数为平均绝对误差函数。
10.根据权利要求1-7中任一所述的图像处理方法，其特征在于，所述天气类型包括以下至少一种：雨、雪、雾；
若所述天气类型为雨，所述环境噪声特征为雨线噪声特征；若所述天气类型为雪，所述环境噪声特征为雪花噪声特征；若所述天气类型为雾，所述环境噪声特征为雾气噪声特征。
11.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
类型确定模块，用于确定所述待处理图像对应的天气类型；
特征获取模块，用于根据所述天气类型，获取所述待处理图像中与所述天气类型对应的环境噪声特征；
图像生成模块，用于根据所述环境噪声特征，得到所述待处理图像的非噪声图像特征，以及，根据所述环境噪声特征、所述非噪声图像特征和所述待处理图像，生成所述待处理图像对应的去噪图像。
12.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。
CN202111348360.7A 2021-11-15 2021-11-15 一种图像处理方法及装置 Pending CN114140346A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111348360.7A CN114140346A (zh) 2021-11-15 2021-11-15 一种图像处理方法及装置
PCT/CN2021/143563 WO2023082453A1 (zh) 2021-11-15 2021-12-31 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111348360.7A CN114140346A (zh) 2021-11-15 2021-11-15 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN114140346A true CN114140346A (zh) 2022-03-04

Family

ID=80393231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111348360.7A Pending CN114140346A (zh) 2021-11-15 2021-11-15 一种图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN114140346A (zh)
WO (1) WO2023082453A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565540A (zh) * 2022-04-30 2022-05-31 深圳市巨力方视觉技术有限公司 基于多路对照图像去噪用机器视觉集成***
CN116258647A (zh) * 2023-02-20 2023-06-13 阿里云计算有限公司 图像去噪方法，天气图像修复方法及计算设备
CN116310598A (zh) * 2023-05-16 2023-06-23 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197487B (zh) * 2023-09-05 2024-04-12 东莞常安医院有限公司 一种免疫胶体金诊断试纸条自动识别***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062780B (zh) * 2017-12-29 2019-08-09 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN110717863B (zh) * 2019-08-16 2023-07-04 天津大学 一种基于生成对抗网络的单图像去雪方法
CN111970510B (zh) * 2020-07-14 2023-06-02 浙江大华技术股份有限公司 视频处理方法、存储介质及计算装置
CN112801888A (zh) * 2021-01-06 2021-05-14 杭州海康威视数字技术股份有限公司 图像处理方法、装置、计算机设备及存储介质
CN113436101B (zh) * 2021-06-28 2023-11-10 杭州电子科技大学 基于高效通道注意力机制的龙格库塔模块去雨的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565540A (zh) * 2022-04-30 2022-05-31 深圳市巨力方视觉技术有限公司 基于多路对照图像去噪用机器视觉集成***
CN116258647A (zh) * 2023-02-20 2023-06-13 阿里云计算有限公司 图像去噪方法，天气图像修复方法及计算设备
CN116258647B (zh) * 2023-02-20 2023-11-28 阿里云计算有限公司 图像去噪方法，天气图像修复方法及计算设备
CN116310598A (zh) * 2023-05-16 2023-06-23 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置
CN116310598B (zh) * 2023-05-16 2023-08-22 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置

Also Published As

Publication number Publication date
WO2023082453A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN114140346A (zh) 一种图像处理方法及装置
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
JP5985622B2 (ja) オプティカルフローを決定するためのコンテンツ適応型システム、方法、及び装置
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN115293992B (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
CN114612987A (zh) 一种表情识别方法及装置
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、***、装置及介质
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN113033448B (zh) 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络***、方法、设备及存储介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN116757962A (zh) 一种图像去噪方法、装置
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN110852250A (zh) 一种基于最大面积法的车辆排重方法、装置及存储介质
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114926348B (zh) 一种去除低照度视频噪声的装置和方法
CN114758203A (zh) 用于高光谱图像分类的残差密集视觉转换方法和***
Srinivasan et al. An Efficient Video Inpainting Approach Using Deep Belief Network.
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN114821216A (zh) 图片去网纹神经网络模型建模、使用方法及相关设备
Gao et al. CP-Net: Channel attention and pixel attention network for single image dehazing
CN116310660B (zh) 一种增强样本的生成方法及装置
CN114399814B (zh) 一种基于深度学习的遮挡物移除和三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221230

Address after: 518054 cable information transmission building 25f2504, no.3369 Binhai Avenue, Haizhu community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Xumi yuntu Space Technology Co.,Ltd.

Address before: No.103, no.1003, Nanxin Road, Nanshan community, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Jizhi Digital Technology Co.,Ltd.

TA01 Transfer of patent application right