CN113628145B - 一种图像清晰化方法、***、设备及存储介质 - Google Patents

一种图像清晰化方法、***、设备及存储介质 Download PDF

Info

Publication number
CN113628145B
CN113628145B CN202110992016.5A CN202110992016A CN113628145B CN 113628145 B CN113628145 B CN 113628145B CN 202110992016 A CN202110992016 A CN 202110992016A CN 113628145 B CN113628145 B CN 113628145B
Authority
CN
China
Prior art keywords
image
pixel points
rain
data
outdoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110992016.5A
Other languages
English (en)
Other versions
CN113628145A (zh
Inventor
张世辉
桑榆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110992016.5A priority Critical patent/CN113628145B/zh
Publication of CN113628145A publication Critical patent/CN113628145A/zh
Application granted granted Critical
Publication of CN113628145B publication Critical patent/CN113628145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像清晰化方法、***、设备及存储介质。属于计算机视觉处理技术领域，首先对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据。其次，对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像。再对所述户外清晰图像进行图像分解处理，得到图像阴影区域，最终利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。实现了去除户外图像中的雨、雪、雾、阴影等因素。

Description

一种图像清晰化方法、***、设备及存储介质
技术领域
本发明涉及计算机视觉处理技术领域，特别是涉及一种图像清晰化方法、***、设备及存储介质。
背景技术
户外图像中各类天气对应的影响图像视觉效果的因素均会对视觉任务产生影响，例如反映晴天的因素即阴影会阻碍目标识别任务的进行，雾天对应的因素即雾会导致目标跟踪任务的失败，雨天和雪天对应的因素即雨和雪会影响自动驾驶的行驶策略。因此，从视觉***中将上述因素去除是十分必要的。然而，已有的图像清晰化方法在先验知识、精确度及适用范围等方面存在限制。特别是已有的图像清晰化方法由于没有针对包含多种因素的户外图像进行建模，导致这类方法都是针对某种特定反映天气类型的因素如雨、雪、雾、阴影等分别进行设计和处理的。而包含多种因素的户外图像在实际生活中也更加普遍，例如雨加雪天气会同时存在雨和雪两种反映天气类型的因素，大雨天气的户外图像中会包含雨和雾两种因素，当大雨天气存在光源时往往户外图像中会同时存在雨、雾、阴影三种因素。因此，若户外图像中同时存在多种影响天气类型的因素时，已有图像清晰化方法的效果往往不够理想。鉴于此，本发明研究如何基于户外图像信息设计较为通用的能够同时去除雨、雪、雾、阴影的图像清晰化方法，从而为相关视觉***的实际应用提供依据。
发明内容
本发明的目的是提供一种图像清晰化方法、***、设备及存储介质，用以去除户外图像中的雨、雪、雾、阴影等因素对图像的影响。
为实现上述目的，本发明提供了如下方案：
一方面，本发明提供一种图像清晰化方法，包括：
对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；
对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像；
对所述户外清晰图像进行图像分解处理，得到图像阴影区域；
利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
可选的，所述全局大气光值数据的获取方法包括：
利用最大类间差法对所述户外图像进行二值化分割处理，得到所述户外图像的天空区域和非天空区域；
计算所述天空区域的像素点的个数以及天空区域所有像素点中具有的最大亮度值；
计算所述非天空区域的像素点的个数以及非天空区域的所有像素点中具有的最大亮度值；
根据所述天空区域的像素点的个数以及所述非天空区域的像素点的个数计算总的像素点的个数；
计算所述天空区域的像素点的个数占所述总的像素点的个数的比值，得到天空区域的最大亮度值的权值；
计算所述非天空区域的像素点的个数占所述总的像素点的个数的比值，得到非天空区域的最大亮度值的权值；
根据所述天空区域的最大亮度值的权值、非天空区域的最大亮度值的权值、天空区域所有像素点中具有的最大亮度值以及非天空区域的所有像素点中具有的最大亮度值计算所述全局大气光值数据。
可选的，所述透射图数据的获取方法包括：
利用DehazeNet网络模型提取户外图像的特征图；
根据所述特征图的透射率计算所述透射图数据；
所述根据所述特征图的透射率计算所述透射图数据的计算公式如下：
其中，t(x)表示透射图数据，[W1,W2,W3,W4,B1,B2,B3,B4]表示DehazeNet网络模型的参数，max(·)和min(·)最大局部极值和最小局部极值，O(x)表示有雨雪图像，tmax(x)表示DehazeNet网络模型输出的特征图的透射率最大值，tmin(x)表示DehazeNet网络模型输出的特征图的透射率最小值。
可选的，所述雨雪层数据的获取方法包括：
利用RSLONet网络模型处理所述户外图像，得到第一特征图；
对所述第一特征图进行卷积处理以及LSTM处理，得到第二特征图；
对所述第二特征图进行通道注意力和像素注意力处理，得到所述雨雪层数据。
在一些实施例中，所述对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像的计算公式如下：
其中，C(x)表示户外清晰图像，A表示全局大气光值数据，S(x)表示雨雪层数据，t(x)表示透射图数据。
可选的，所述对所述户外清晰图像进行图像分解处理，得到图像阴影区域的步骤包括：
根据所述户外清晰图像各个像素点的RGB数值建立线性方程组；
对所述线性方程组进行正交分解，得到户外清晰图像对应的不受光照影响的图像；
对所述不受光照影响的图像中的像素点进行分类，将具有相同反射率的像素点归为同一类；
对分类后的像素点进行高斯混合建模，得到所述图像阴影区域。
在一些实施例中，所述利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像的步骤包括：
提取所述图像阴影区域中所有的阴影边界点；
计算每个阴影边界点与其3×3邻域内各个像素点的亮度差值；
将与每个阴影边界点亮度差值最大的像素点的RGB三通道数值赋值给对应的每个阴影边界点，得到所述最终清晰化图像。
另一方面，本发明提出了一种图像清晰化***，包括：
预处理单元，用于对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；
初步清晰化单元，用于对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像；
阴影区域提取单元，用于对所述户外清晰图像进行图像分解处理，得到图像阴影区域；
最终清晰化单元，用于利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
另一方面，本发明提出了一种图像清晰化处理设备，包括：存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，在所述计算机程序被所述处理器执行时实现如所述图像清晰化方法的步骤。
另一方面，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如所述图像清晰化方法的步骤。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种图像清晰化方法、***、设备及存储介质。其中，图像清晰化方法的具体处理流程包括对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像；对所述户外清晰图像进行图像分解处理，得到图像阴影区域；利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。相较于传统的只能针对一种特定的天气进行图像清晰化处理的方法而言，本发明利用上述公开的步骤对图像进行清晰化处理可以去除图像中的雨、雪、雾以及阴影等因素，能够适应多种天气类型下的图像处理工作。并且，若户外图像中同时存在多种天气类型的影响因素时，传统单一的图像清晰化方法的图像清晰化效果往往不够理想，而本申请提供的图像清晰化方法则能够去除图像中的雨、雪、雾以及阴影等因素，从而为相关视觉***的实际应用提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本发明的主旨。
图1为本发明实施例1的图像清晰化方法流程示意图；
图2为本发明实施例1提供的各种天气类型下的户外图像；
图3为本发明实施例1提供的RSLONet网络模型结构示意图；
图4为本发明实施例1提供的雨天的阴影图像和晴天的阴影图像示意图；
图5为本发明实施例1提供的有阴影的图像和分解后的图像示意图；
图6为本发明实施例2提供的图像清晰化***结构示意图；
图7为本发明实施例3提供的图像清晰化设备的结构框图；
图8本发明实施例4提供的计算机可读存储介质的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本发明对根据本发明的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。
本发明中使用了流程图用来说明根据本发明的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本发明的目的是提供一种图像清晰化方法、***、设备及存储介质，用以去除户外图像中的雨、雪、雾、阴影等因素对图像的影响。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提出了一种图像清晰化方法，该方法具体包括以下步骤：
步骤S1：对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据。
图2显示了雨、雪、雾以及阴影在户外图像中的的分布特性。其中，图2中的(a)图像为有雨图像，(b)图像为有雪图像，(c)图像为有雾图像，(d)图像为有阴影图像。根据分析雨、雪、雾以及阴影在户外图像中的分布特性可知，除了阴影在户外图像中呈现连续分布外，雨、雪、雾都呈现出离散状分布的特点。而由雨和雪的光学特性可知，户外图像中的雨和雪一般呈现出透明或白色，而透明或白色不会遮挡户外图像中的背景信息，因此可将有雨雪的户外图像分解为包含雨雪信息的雨雪层数据以及包含背景层信息的背景层数据。基于此，有雨雪图像可以用函数表示为：
O(x)＝B(x)+S(x)
其中，O(x)表示为有雨雪图像的数据信息，B(x)表示为有雨雪图像的背景层数据，S(x)表示为有雨雪图像的雨雪层数据。
而根据有雾图像中的光线散射规律可以得到有雾图像的函数表示：
I(x)＝J(x)t(x)+A(1-t(x))
其中，I(x)表示有雾图像的数据信息，t(x)表示有雾图像的透射图数据，J(x)表示无雾图像的数据信息，A表示全局大气光值数据。分析上述有雨雪图像和有雾图像的成像原理可知，去雨雪的目标是根据有雨雪图像的数据信息O(x)计算出有雨雪图像的背景层数据B(x)，即无雨雪图像的数据信息；而去雾的目标是根据有雾图像的数据信息I(x)计算出无雾图像的数据信息J(x)。
若户外图像中同时包含雨、雪、雾等反映天气类型的因素时，那此时的有雨雪图像的数据信息O(x)和有雾图像的数据信息I(x)是等价的关系，有雨雪图像的背景层数据B(x)和无雾图像的数据信息J(x)也是等价的关系，此时将上述两个函数即有雨雪图像的函数以及有雾图像的函数合并在一起可以得到清晰化图像的函数表达式：
其中，C(x)表示户外清晰图像，A表示全局大气光值数据，S(x)表示雨雪层数据，t(x)表示透射图数据。
因此在对户外图像进行预处理的步骤中需要获取全局大气光值数据、透射图数据以及雨雪层数据。
在一些可选的实施例中，全局大气光值数据的获取步骤包括：
步骤S111：利用最大类间差法对所述户外图像进行二值化分割处理，得到所述户外图像的天空区域和非天空区域。
步骤S112：计算所述天空区域的像素点的个数以及天空区域所有像素点中具有的最大亮度值。
步骤S113：计算所述非天空区域的像素点的个数以及非天空区域的所有像素点中具有的最大亮度值。
步骤S114：根据所述天空区域的像素点的个数以及所述非天空区域的像素点的个数计算总的像素点的个数。
步骤S115：计算所述天空区域的像素点的个数占所述总的像素点的个数的比值，得到天空区域的最大亮度值的权值。
步骤S116：计算所述非天空区域的像素点的个数占所述总的像素点的个数的比值，得到非天空区域的最大亮度值的权值。
步骤S117：根据所述天空区域的最大亮度值的权值、非天空区域的最大亮度值的权值、天空区域所有像素点中具有的最大亮度值以及非天空区域的所有像素点中具有的最大亮度值计算所述全局大气光值数据。
其中，根据所述天空区域的最大亮度值的权值、非天空区域的最大亮度值的权值、天空区域所有像素点中具有的最大亮度值以及非天空区域的所有像素点中具有的最大亮度值计算所述全局大气光值数据的计算公式如下：
其中，A表示述全局大气光值数据，N表示总的像素点的个数，n表示天空区域的像素点的个数，Asky表示天空区域所有像素点中具有的最大亮度值，Anonsky表示非天空区域的所有像素点中具有的最大亮度值。
在一些可选的实施例中，透射图数据的获取步骤包括：
步骤S121：利用DehazeNet网络模型提取户外图像的特征图。
步骤S122：根据所述特征图的透射率计算所述透射图数据。
其中，根据所述特征图的透射率计算所述透射图数据的计算公式如下：
其中，t(x)表示透射图数据，[W1,W2,W3,W4,B1,B2,B3,B4]表示DehazeNet网络模型的参数，max(·)和min(·)最大局部极值和最小局部极值，O(x)表示有雨雪图像，tmax(x)表示DehazeNet网络模型输出的特征图的透射率最大值，tmin(x)表示DehazeNet网络模型输出的特征图的透射率最小值。
在一些可选的实施例中，雨雪层数据的获取步骤包括：
步骤S131：利用RSLONet网络模型处理所述户外图像，得到第一特征图。
如图3所示，RSLONet(Rain Snow Layer ObtainedNetwork)网络模型由长短时记忆结构(Long Short-Term Memory,LSTM)、通道注意力(Channel Attention Mechanism,CAM)和像素注意力(PixelAttention Mechanism,PAM)构成。所要获取的雨雪层数据需要包含户外图像中全部的雨雪信息且不包含户外图像的背景信息，但由于雨雪在户外图像中呈现离散分布的特性，这使得仅提取户外图像中的雨雪层数据十分困难。为了能够充分提取户外图像中的雨雪层数据，本发明在RSLONet网络模型引入LSTM，通过LSTM对雨雪层数据进行多次提取，从而保证RSLONet网络模型能够输出包含全部的雨雪层数据。但是利用LSTM对雨雪层数据进行多次提取也会使得最终提取的雨雪层数据中包含一定的户外图像的背景信息，而背景信息会严重影响后续步骤中对户外图像中雨雪的去除。为此，本发明引入CAM和PAM，通过CAM和PAM为雨雪层数据分配较大的权重，为背景信息分配较小的权重，从而实现对雨雪层数据中的背景信息的过滤。
在利用RSLONet网络模型处理所述户外图像之前，需要对RSLONet网络模型进行训练。其训练过程需要获取训练样本经RSLONet网络模型得到的雨雪层数据与训练样本对应的Ground Truch之间的误差。根据所述误差构造损失函数，当损失函数的数值最小化时得到训练好的RSLONet网络模型。其中，由所述误差构造的损失函数的表达式如下：
其中，N表示训练样本个数，Tn(x)表示第n个训练样本，Θ表示RSLONet网络模型的参数，G(Tn(x),Θ)表示RSLONet网络模型对第n个训练样本Tn(x)输出的雨雪层数据，Yn表示第n个训练样本Tn(x)对应的GroundTruch。
步骤S132：对所述第一特征图进行卷积处理以及LSTM处理，得到第二特征图；
步骤S133：对所述第二特征图进行通道注意力和像素注意力处理，得到所述雨雪层数据。
如图3所示，将户外图像输入至RSLONet网络模型后，先进行一次3×3的卷积处理，得到16维的第一特征图，然后该特征图再经过4次3×3的卷积处理和LSTM处理得到32维的第二特征图。此时32维的第二特征图中包含全部的雨雪层数据信息，将第二特征图经过一次卷积处理后输入至CAM和PAM模块，RSLONet网络模型包含4个连续的CAM和PAM模块，各CAM和PAM模块分别将第2、3、4以及5个LSTM的输出与各CAM和PAM模块的输入的第二特征图在通道上进行连接，第4个CAM和PAM模块将输出的特征图进行3×3的卷积处理后得到所述雨雪层数据。
步骤S2：对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像。
通过上述步骤S1的叙述可知，通过清晰化图像函数对户外图像处理可可得到去除雨、雪和雾的户外清晰图像，其中，清晰化图像函数表达式如下：
其中，C(x)表示户外清晰图像，A表示全局大气光值数据，S(x)表示雨雪层数据，t(x)表示透射图数据。
步骤S3：对所述户外清晰图像进行图像分解处理，得到图像阴影区域。
图4和图5分别显示了有阴影的户外图像和处理后得到的图像阴影区域，其中图4中的(a)图像为雨天的阴影图像，(b)图像为晴天的阴影图像，图5中的(a)图像为有阴影图像，(b)为分解后的图像。具体的对各种阴影图像进行处理的步骤包括：
步骤S31：根据所述户外清晰图像各个像素点的RGB数值建立线性方程组。
步骤S32：对所述线性方程组进行正交分解，得到户外清晰图像对应的不受光照影响的图像。
步骤S33：对所述不受光照影响的图像中的像素点进行分类，将具有相同反射率的像素点归为同一类。
步骤S34：对分类后的像素点进行高斯混合建模，得到所述图像阴影区域。
利用图像分解处理得到图像阴影区域只是本实施例提供的一种优选的实施方式，并不应认定为是对本发明的具体限定。本领域技术人员可选择其他已知方式获取图像阴影区域。
步骤S4：利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
本实施例提供的利用均值滤波方法去除所述图像阴影区域的具体步骤包括：
步骤S41：提取所述图像阴影区域中所有的阴影边界点。
在进行图像分解处理得到图像阴影区域后，对阴影区域所有的像素点的像素值进行判断，提取像素值发生阶跃的像素点作为阴影边界点，记录所有阴影边界点的坐标，并使用集合φ包含所有阴影边界点的坐标的坐标信息。
步骤S42：计算每个阴影边界点与其3×3邻域内各个像素点的亮度差值。
步骤S43：将与每个阴影边界点亮度差值最大的像素点的RGB三通道数值赋值给对应的每个阴影边界点，得到所述最终清晰化图像。
以集合φ中阴影边界点x(i,j)为例，计算与该阴影边界点与其相邻的3×3邻域内各像素点的亮度差值，,取与该阴影边界点亮度差值最大的像素点x(t,m)的RGB三通道数值赋值给阴影边界点x(i,j)。按照上述处理方式依次处理集合φ中其他的阴影边界点，最终得到最终清晰化图像。
上述图像阴影区域，得到最终清晰化图像的方法可表示为：
RGB(x(i,j))＝(R(x(t,m)),G(x(t,m)),B(x(t,m)))s.t.x(i,j)∈φ
x(t,m)＝argmax{bi-1,j-1-bi,j,bi,j-1-bi,j,…,bi+1,j+1-bi,j}
其中，φ是包含全部阴影边界点的坐标信息的集合，x(i,j)是集合φ中的元素，bi,j是像素点x(i,j)的亮度值，x(t,m)是与像素点x(i,j)相邻的3×3邻域内像素点，RGB(·)是各像素点的RGB三通道数值。
本发明利用上述公开的步骤对图像进行清晰化处理可以去除图像中的雨、雪、雾以及阴影等因素，能够适应多种天气类型下的图像处理工作。并且，若户外图像中同时存在多种天气类型的影响因素时，传统单一的图像清晰化方法的图像清晰化效果往往不够理想，而本申请提供的图像清晰化方法则能够去除图像中的雨、雪、雾以及阴影等因素，从而为相关视觉***的实际应用提供依据。
实施例2
如图6所示，本实施例提供一种图像清晰化***，该图像清晰化***采用的是实施例1中的图像清晰化方法，***各个单元的功能与实施例1的方法的各个步骤相同且一一对应，该***具体包括：
预处理单元，用于对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；
初步清晰化单元，用于对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像；
阴影区域提取单元，用于对所述户外清晰图像进行图像分解处理，得到图像阴影区域；
最终清晰化单元，用于利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
实施例3
如图7所示，本实施例提供一种图像清晰化处理设备，具体包括：
存储器N1、处理器N2以及存储在所述存储器中并在所述处理器上运行的计算机程序N3.
在所述计算机程序N3被所述处理器N2执行时实现如实施例1中的图像清晰化方法所述的步骤。
此外，根据本发明实施例的方法也可以借助于图7所示的设备的架构来实现。图7示出了该设备的架构。如图7所示，设备可以包括存储器N1、处理器N2以及存储在所述存储器中并在所述处理器上运行的计算机程序N3等，还可以包括其他的硬件设备。识别设备中的存储器N1，可以为ROM、U盘，还可以是机械硬盘、固态硬盘，或者移动硬盘。可以存储本发明提供的图像清晰化方法的处理和/或通信使用的各种数据或文件以及处理器N2所执行的程序指令。当然，图7所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图7示出的识别设备中的一个或至少两个组件，或者在图7的识别设备的基础上，增加一个或至少两个组件，组件的具体类型包括但不限于上述所述的硬件。
实施例4
如图8所示，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序P1。
所述计算机程序被处理器执行时实现如实施例1中的图像清晰化方法所述的步骤。
同理，所述存储介质可以为ROM、U盘，还可以是机械硬盘、固态硬盘，或者移动硬盘。其可读状态可以是被计算机、手机、平板电脑等其中的任一一种或多种移动终端进行读取并运行。当然，本实施例仅是给出了一种基础架构，在图8的存储介质的基础上，增加一个或至少两个组件，组件的具体类型包括但不限于上述所述的硬件。任意可实现实施例1中方法中的一个或多个步骤的硬件或软件，均在本发明的保护范围之内。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现***的计算机环境，或与提供目标检测所需要的信息相关的类似功能的***。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本发明使用了特定词语来描述本发明的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本发明的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本发明的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (6)

1.一种图像清晰化方法，其特征在于，包括：
对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；
所述全局大气光值数据的获取方法包括：
利用最大类间差法对所述户外图像进行二值化分割处理，得到所述户外图像的天空区域和非天空区域；
计算所述天空区域的像素点的个数以及天空区域所有像素点中具有的最大亮度值；
计算所述非天空区域的像素点的个数以及非天空区域的所有像素点中具有的最大亮度值；
根据所述天空区域的像素点的个数以及所述非天空区域的像素点的个数计算总的像素点的个数；
计算所述天空区域的像素点的个数占所述总的像素点的个数的比值，得到天空区域的最大亮度值的权值；
计算所述非天空区域的像素点的个数占所述总的像素点的个数的比值，得到非天空区域的最大亮度值的权值；
根据所述天空区域的最大亮度值的权值、非天空区域的最大亮度值的权值、天空区域所有像素点中具有的最大亮度值以及非天空区域的所有像素点中具有的最大亮度值计算所述全局大气光值数据，具体的计算公式为：
其中，A表示全局大气光值数据，N表示总的像素点的个数，n表示天空区域的像素点的个数，Asky表示天空区域所有像素点中具有的最大亮度值，Anonsky表示非天空区域的所有像素点中具有的最大亮度值；
所述透射图数据的获取方法包括：
利用DehazeNet网络模型提取户外图像的特征图；
根据所述特征图的透射率计算所述透射图数据；
所述根据所述特征图的透射率计算所述透射图数据的计算公式如下：
其中，t(x)表示透射图数据，[W1,W2,W3,W4,B1,B2,B3,B4]表示DehazeNet网络模型的参数，max(·)和min(·)分别表示最大局部极值和最小局部极值，O(x)表示有雨雪图像，tmax(x)表示DehazeNet网络模型输出的特征图的透射率最大值，tmin(x)表示DehazeNet网络模型输出的特征图的透射率最小值；
所述雨雪层数据的获取方法包括：
利用RSLONet网络模型处理所述户外图像，得到第一特征图；
对所述第一特征图进行卷积处理以及LSTM处理，得到第二特征图；
对所述第二特征图进行通道注意力和像素注意力处理，得到所述雨雪层数据；
所述RSLONet网络模型由长短时记忆结构、通道注意力和像素注意力构成，通过长短时记忆结构对雨雪层数据进行多次提取，以保证RSLONet网络模型能够输出包含全部的雨雪层数据；引入通道注意力和像素注意力，通过通道注意力和像素注意力为雨雪层数据分配较大的权重，为背景信息分配较小的权重，从而实现对雨雪层数据中的背景信息的过滤；
对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像，计算公式如下：
其中，C(x)表示户外清晰图像，A表示全局大气光值数据，S(x)表示雨雪层数据，t(x)表示透射图数据；
对所述户外清晰图像进行图像分解处理，得到图像阴影区域；
利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
2.根据权利要求1所述的一种图像清晰化方法，其特征在于，所述对所述户外清晰图像进行图像分解处理，得到图像阴影区域的步骤包括：
根据所述户外清晰图像各个像素点的RGB数值建立线性方程组；
对所述线性方程组进行正交分解，得到户外清晰图像对应的不受光照影响的图像；
对所述不受光照影响的图像中的像素点进行分类，将具有相同反射率的像素点归为同一类；
对分类后的像素点进行高斯混合建模，得到所述图像阴影区域。
3.根据权利要求1所述的一种图像清晰化方法，其特征在于，所述利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像的步骤包括：
提取所述图像阴影区域中所有的阴影边界点；
计算每个阴影边界点与其3×3邻域内各个像素点的亮度差值；
将与每个阴影边界点亮度差值最大的像素点的RGB三通道数值赋值给对应的每个阴影边界点，得到所述最终清晰化图像。
4.一种图像清晰化***，其特征在于，包括：
预处理单元，用于对户外图像进行预处理，得到户外图像的全局大气光值数据、透射图数据以及雨雪层数据；
所述全局大气光值数据的获取方法包括：
利用最大类间差法对所述户外图像进行二值化分割处理，得到所述户外图像的天空区域和非天空区域；
计算所述天空区域的像素点的个数以及天空区域所有像素点中具有的最大亮度值；
计算所述非天空区域的像素点的个数以及非天空区域的所有像素点中具有的最大亮度值；
根据所述天空区域的像素点的个数以及所述非天空区域的像素点的个数计算总的像素点的个数；
计算所述天空区域的像素点的个数占所述总的像素点的个数的比值，得到天空区域的最大亮度值的权值；
计算所述非天空区域的像素点的个数占所述总的像素点的个数的比值，得到非天空区域的最大亮度值的权值；
根据所述天空区域的最大亮度值的权值、非天空区域的最大亮度值的权值、天空区域所有像素点中具有的最大亮度值以及非天空区域的所有像素点中具有的最大亮度值计算所述全局大气光值数据，具体的计算公式为：
其中，A表示全局大气光值数据，N表示总的像素点的个数，n表示天空区域的像素点的个数，Asky表示天空区域所有像素点中具有的最大亮度值，Anonsky表示非天空区域的所有像素点中具有的最大亮度值；
所述透射图数据的获取方法包括：
利用DehazeNet网络模型提取户外图像的特征图；
根据所述特征图的透射率计算所述透射图数据；
所述根据所述特征图的透射率计算所述透射图数据的计算公式如下：
其中，t(x)表示透射图数据，[W1,W2,W3,W4,B1,B2,B3,B4]表示DehazeNet网络模型的参数，max(·)和min(·)分别表示最大局部极值和最小局部极值，O(x)表示有雨雪图像，tmax(x)表示DehazeNet网络模型输出的特征图的透射率最大值，tmin(x)表示DehazeNet网络模型输出的特征图的透射率最小值；
所述雨雪层数据的获取方法包括：
利用RSLONet网络模型处理所述户外图像，得到第一特征图；
对所述第一特征图进行卷积处理以及LSTM处理，得到第二特征图；
对所述第二特征图进行通道注意力和像素注意力处理，得到所述雨雪层数据S(x)；
所述RSLONet网络模型由长短时记忆结构、通道注意力和像素注意力构成，通过长短时记忆结构对雨雪层数据进行多次提取，以保证RSLONet网络模型能够输出包含全部的雨雪层数据；引入通道注意力和像素注意力，通过通道注意力和像素注意力为雨雪层数据分配较大的权重，为背景信息分配较小的权重，从而实现对雨雪层数据中的背景信息的过滤；
初步清晰化单元，用于对所述全局大气光值数据、透射图数据以及雨雪层数据进行同时处理，得到去除雨、雪和雾的户外清晰图像，计算公式如下：
其中，C(x)表示户外清晰图像，A表示全局大气光值数据，S(x)表示雨雪层数据，t(x)表示透射图数据；
阴影区域提取单元，用于对所述户外清晰图像进行图像分解处理，得到图像阴影区域；
最终清晰化单元，用于利用均值滤波方法去除所述图像阴影区域，得到最终清晰化图像。
5.一种图像清晰化处理设备，包括：存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，在所述计算机程序被所述处理器执行时实现如权利要求1至3任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
CN202110992016.5A 2021-08-27 2021-08-27 一种图像清晰化方法、***、设备及存储介质 Active CN113628145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110992016.5A CN113628145B (zh) 2021-08-27 2021-08-27 一种图像清晰化方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110992016.5A CN113628145B (zh) 2021-08-27 2021-08-27 一种图像清晰化方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113628145A CN113628145A (zh) 2021-11-09
CN113628145B true CN113628145B (zh) 2024-02-02

Family

ID=78387958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110992016.5A Active CN113628145B (zh) 2021-08-27 2021-08-27 一种图像清晰化方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113628145B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883275B (zh) * 2023-07-07 2023-12-29 广州工程技术职业学院 基于边界引导的图像去雨方法、***、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端
CN109859130A (zh) * 2019-01-29 2019-06-07 杭州智诠科技有限公司 一种眼底照片清晰化处理方法、***、装置及存储介质
CN110310241A (zh) * 2019-06-26 2019-10-08 长安大学 一种融合深度区域分割的多大气光值交通图像去雾方法
CN112053298A (zh) * 2020-08-27 2020-12-08 上海电机学院 一种图像去雾方法
WO2021000302A1 (zh) * 2019-07-03 2021-01-07 深圳大学 基于超像素分割的图像去雾方法、***、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755628B2 (en) * 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
WO2016159884A1 (en) * 2015-03-30 2016-10-06 Agency For Science, Technology And Research Method and device for image haze removal
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN108986049A (zh) * 2018-07-20 2018-12-11 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端
CN109859130A (zh) * 2019-01-29 2019-06-07 杭州智诠科技有限公司 一种眼底照片清晰化处理方法、***、装置及存储介质
CN110310241A (zh) * 2019-06-26 2019-10-08 长安大学 一种融合深度区域分割的多大气光值交通图像去雾方法
WO2021000302A1 (zh) * 2019-07-03 2021-01-07 深圳大学 基于超像素分割的图像去雾方法、***、存储介质及电子设备
CN112053298A (zh) * 2020-08-27 2020-12-08 上海电机学院 一种图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合天空分割和局部透射率优化交通图像去雾算法;李熙莹等;计算机与现代化(第05期);第51-58页 *

Also Published As

Publication number Publication date
CN113628145A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US10636169B2 (en) Synthesizing training data for broad area geospatial object detection
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Perez et al. A deep learning approach for underwater image enhancement
CN107895377B (zh) 一种前景目标提取方法、装置、设备及存储介质
Kapoor et al. Fog removal in images using improved dark channel prior and contrast limited adaptive histogram equalization
Wang et al. Blur image classification based on deep learning
Liu et al. Image de-hazing from the perspective of noise filtering
CN111127307A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109509156A (zh) 一种基于生成对抗模型的图像去雾处理方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN113628145B (zh) 一种图像清晰化方法、***、设备及存储介质
CN111415364A (zh) 一种计算机视觉中图像分割样本的转换方法、***及存储介质
Fayaz et al. Efficient underwater image restoration utilizing modified dark channel prior
CN114494751A (zh) 证照信息识别方法、装置、设备及介质
CN113177957B (zh) 一种细胞图像的分割方法、装置、电子设备及存储介质
CN117078651A (zh) 缺陷检测方法、装置、设备及存储介质
CN116452802A (zh) 车损检测方法、装置、设备及存储介质
CN113554748B (zh) 一种医疗器械三维建模方法及装置
CN114419564B (zh) 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN115266719A (zh) 基于人工智能的水质监测方法及装置
CN114626483A (zh) 一种地标图像生成方法及装置
Zhang et al. Estimation of atmospheric light based on gaussian distribution
CN111524161A (zh) 提取轨迹的方法和装置
CN112668582B (zh) 图像识别方法、装置、设备和存储介质
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant