CN116258643A - 图像阴影消除方法、装置、设备及存储介质 - Google Patents
图像阴影消除方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116258643A CN116258643A CN202310057376.5A CN202310057376A CN116258643A CN 116258643 A CN116258643 A CN 116258643A CN 202310057376 A CN202310057376 A CN 202310057376A CN 116258643 A CN116258643 A CN 116258643A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- network model
- target
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000007170 pathology Effects 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 12
- 241000196324 Embryophyta Species 0.000 description 34
- 230000008569 process Effects 0.000 description 15
- 230000008030 elimination Effects 0.000 description 13
- 238000003379 elimination reaction Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像阴影消除方法、装置、设备及存储介质,该方法包括:获取自然场景下植物叶片的目标图像,目标图像包括有阴影图像和无阴影图像;将目标图像输入至预设目标网络模型,预设目标网络模型中包括生成器模型,生成器模型中包括方向感知的空间上下文模块;判断目标图像是否为有阴影图像;若是,则去除目标图像中的阴影,获得目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像,然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影,其中,预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。
Description
技术领域
本发明涉及图像数据处理技术领域,尤其涉及一种图像阴影消除方法、装置、设备及存储介质。
背景技术
自然场景下,植物叶片会因为相互遮挡而产生阴影,对于计算机的视觉***而言,阴影区域的光线不足,可能会造成特征缺失,对识别模型的准确率产生影响,因此对自然场景下的病害图像进行阴影消除具有重要意义。
然而当前大部分阴影消除的方法基于有监督的思想,需要使用成对的阴影图像和无阴影图像进行训练,这就要求在收集数据集图像时,先拍摄带阴影的图像,然后移除产生阴影的物体来拍摄没有阴影的图像。这种拍摄过程非常繁琐,需要人工固定摄像机、添加遮罩并移除,同时对拍摄场景有一定的限制,很难拍摄由树木、建筑物等大型物体投射的阴影和无阴影图像。因此,需要采用无监督的方法实现自然场景下的阴影消除。虽然目前有采用无监督的方法实现自然场景下的阴影消除,但是在自然场景下的植物病害图像中,一些病斑和背景中的树木枝干在视觉上呈现与阴影区域接近的灰黑色,这些区域往往会被误认为是阴影区域而被去除,继而因为损失明显特征被误识别为健康叶片或其他种类的病害叶片。
发明内容
本发明的主要目的在于提供了一种图像阴影消除方法、装置、设备及存储介质,旨在解决如何更加准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域的技术问题。
为实现上述目的,本发明提供了一种图像阴影消除方法,所述方法包括以下步骤:
获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
判断所述目标图像是否为有阴影图像;
若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
可选地,所述获取自然场景下植物叶片的目标图像的步骤之前,还包括:
将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;
通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型。
可选地,所述预设目标网络模型的生成器模型中至少包括卷积层、Relu函数和九个堆叠的方向感知的空间上下文模块。
可选地,所述方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构;
其中,1x1Conv为1x1卷积,空间RNN为循环神经网络,CONCAT函数用于将不同方向上的上下文特征进行组合。
可选地,所述通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型的步骤,具体包括:
获取公开的植物训练数据集;
对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练;
根据有阴影图像训练和无阴影图像训练的训练结果,通过循环一致性损失对所述第一网络模型进行优化,获得预设目标网络模型。
可选地,所述植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集。
可选地,所述若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像的步骤,包括:
若是,则通过预设目标网络模型从不同方向上分析所述目标图像,确定所述目标图像的阴影区域及其边缘;
根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。
此外,为实现上述目的,本发明还提出一种图像阴影消除装置,所述装置包括:
获取模块,用于获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
输入模块,用于将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
判断模块,用于判断所述目标图像是否为有阴影图像;
阴影消除模块,用于去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
此外,为实现上述目的,本发明还提出一种图像阴影消除设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序,所述图像阴影消除程序配置为实现如上文所述的图像阴影消除方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有图像阴影消除程序,所述图像阴影消除程序被处理器执行时实现如上文所述的图像阴影消除方法的步骤。
本发明通过获取自然场景下植物叶片的目标图像,其中,目标图像包括有阴影图像和无阴影图像;然后将目标图像输入至预设目标网络模型,其中,预设目标网络模型中包括生成器模型,其中,生成器模型中包括方向感知的空间上下文模块;再判断所述目标图像是否为有阴影图像;若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像,然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影,其中,预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的图像阴影消除设备的结构示意图;
图2为本发明图像阴影消除方法第一实施例的流程示意图;
图3为本发明图像阴影消除方法第二实施例的流程示意图;
图4为本发明图像阴影消除方法中方向感知的空间上下文模块结构示意图;
图5为本发明方向感知的空间上下文模块中两轮循环神经网络计算过程示意图;
图6为本发明图像阴影消除方法中预设目标网络模型的生成器模型结构示意图;
图7为本发明图像阴影消除方法第三实施例的流程示意图;
图8为本发明图像阴影消除装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的图像阴影消除设备结构示意图。
如图1所示,该图像阴影消除设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对图像阴影消除设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及图像阴影消除程序。
在图1所示的图像阴影消除设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明图像阴影消除设备中的处理器1001、存储器1005可以设置在图像阴影消除设备中,所述图像阴影消除设备通过处理器1001调用存储器1005中存储的图像阴影消除程序,并执行本发明实施例提供的图像阴影消除方法。
本发明实施例提供了一种图像阴影消除方法,参照图2,图2为本发明图像阴影消除方法第一实施例的流程示意图。
本实施例中,所述图像阴影消除方法包括以下步骤:
步骤S10:获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
需要说明的是,本实施例的执行主体可以是一种具有数据处理以及程序运行功能的计算服务设备,例如平板电脑、个人电脑等,或者是一种能够实现相同或相似功能的电子设备,例如上述图1所示的图像阴影消除设备等。以下以图像阴影消除设备为例,对本实施例及下述各实施例进行举例说明。
可理解的是,阴影是由于光线在沿直线传播的过程中,遇到障碍物的阻挡而形成的。在自然场景下获取图像时,难以避免地会存在一些阴影。通常阴影区域亮度较低,这种低亮度的特点会引起图像质量的下降,导致一些图像信息丢失,影响图像效果,并对一些诸如物体识别、图像检索、目标追踪等现代图像处理任务产生影响,使得任务准确率及效率降低。
应理解的是,上述目标图像可以是在自然场景下实时获取的植物叶片图像,也可以是在网络上获取的公开的植物叶片数据集,本实施例对此不加以限制。
需要解释的是,图像学中将阴影划分为硬阴影与软阴影。硬阴影是比较锐利的阴影,一般存在于和物体的交接处或者离物体比较近的地方,其边界与背景区分明显。而软阴影是比较柔和、模糊的阴影,与背景区分不明显。
步骤S20:将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
需要说明的是,上述Mask-ShadowGAN网络模型是基于生成对抗网络的思想,通过循环一致性约束实现无监督的阴影消除。Mask-ShadowGAN网络模型使用两组生成器模型和鉴别器模型,其中第一生成器模型用于从输入的阴影图像中生成无阴影图像,第一鉴别器模型用于判断输出的无阴影图像是否足够真实,第一生成器模型和第一鉴别器模型在对抗训练中不断优化。为了进一步约束第一生成器模型和第一鉴别器模型,同样使用对抗思想对第二生成器模型和第二鉴别器模型进行训练,其中第二生成器模型用于从无阴影图像中生成有阴影图像,第二鉴别器模型用于判断输出的有阴影图像是否足够真实。
可理解的是,在自然场景下的植物病害图像中,一些病斑和背景中的树木枝干在视觉上呈现与阴影区域接近的灰黑色,这些区域往往会被误认为是阴影区域而被去除,继而因为损失明显特征被误识别为健康叶片或其他种类的病害叶片。对于这些同样呈现灰黑色的区域,很难从局部区域准确地判断这是否为阴影区域,因此为了更准确地识别阴影区域及其边缘,有必要将其上下左右的周围区域作为参考来进行判断。
而方向感知的空间上下文模块(以下简称DSC模块)可以从不同方向上分析阴影区域,因此在生成器模型中使用DSC模块可以更加准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构;其中,1x1Conv为1x1卷积,空间RNN为循环神经网络,CONCAT函数用于将不同方向上的上下文特征进行组合。
例如,参考图4,图4为本发明图像阴影消除方法中方向感知的空间上下文模块结构示意图,DSC模块首先对输入的图像使用的卷积,然后通过空间RNN(循环神经网络)获取四个方向上的空间上下文特征,最后将这些特征与对应方向上的权重值相乘。通过控制不同方向上权重值的大小,可以选择性地使用不同方向上的空间上下文特征,之后使用的卷积进行降维,同时也将四个方向上的上下文特征进行组合。经过两次上述操作后得到包含图像全局信息的方向感知空间上下文特征,即DSC特征。其中,权值的获取是使用两个连续的卷积层,卷积核大小为3×3,然后进行Relu非线性操作,再经过一个卷积层,卷积核大小为3×3,得到权重值,最后将权重值分为/>,/>,/>和/>四个权重图,分别与上下左右四个方向上的特征图进行点对点相乘。之后将四个结果通过concat进行合并,使用1×1的卷积核对合并后的特征图进行降维,并进行第二轮空间上下文特征图的计算,计算过程中使用相同的权重矩阵以提高性能。
参考图5,图5为本发明方向感知的空间上下文模块中两轮循环神经网络(空间RNN)计算过程示意图,对于一张输入特征图,对其进行上下左右四个方向上的运算,以获得局部的空间上下文特征,即中间特征图。然后对中间特征图进行第二次各个方向上的运算,可以得到全局的上下文特征,即输出特征图。在沿向右方向上的传播中,每个像素点的信息可以根据其左侧像素点的信息计算得到,其中,计算公式为:
式中,和/>分别表示特征图在/>和/>处的像素点,/>为向右传播方向上的权重值。四个方向上的权重矩阵在初始化时都设置为一个单位矩阵,然后在训练过程中自动学习。假设特征图的宽度为n,需要进行n次上述运算。通过聚合四个方向上的结果,每一个像素点就可以获得它所在的行和列的信息。
步骤S30:判断所述目标图像是否为有阴影图像;
应理解的是,由于本发明是通过预设目标网络实现上述目标图像的阴影消除,但是上述目标图像包括有阴影图像和无阴影的图像,因此,当将上述目标图像输入至预设目标网络模型时,预设目标网络模型会判断目标图像是否为有阴影图像。
步骤S40:若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
在具体实现中,预设目标网络模型若判定上述目标图像为有阴影图像,则根据预设目标网络模型确定目标图像中的阴影区域,然后去除阴影区域,获得上述目标图像对应的无阴影图像;预设目标网络模型若判定上述目标图像为无阴影图像,则将无阴影图像作为预设目标网络模型的阴影消除结果输出。
本实施例通过获取自然场景下植物叶片的目标图像,其中,目标图像包括有阴影图像和无阴影图像;然后将所述目标图像输入至预设目标网络模型,其中,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;再判断所述目标图像是否为有阴影图像;若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像,然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影,其中,预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。
参考图3,图3为本发明图像阴影消除方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S10之前,还包括:
步骤S01:将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;
需要说明的是,Mask-ShadowGAN网络模型的生成器模型中使用9个堆叠的残差块,将上述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为DSC模块,即将上述生成器模型中使用9个堆叠的残差块替换为9个堆叠的DSC模块。
例如,参考图6,图6为本发明图像阴影消除方法中预设目标网络模型的生成器模型结构示意图,预设目标网络模型的生成器模型的输入和输出为具有RGB三种通道的彩色图像,先对输入的图像进行7x7的卷积操作,再使用两个步长为2的卷积层对图像进行3x3的卷积操作实现下采样,并增加Relu函数进行非线性变化,增强网络的表达能力。之后通过9个堆叠的DSC模块进行空间上下文特征的提取,最后使用步长为2的3x3的逆卷积进行上采样,并增加Relu函数进行非线性变化,增强网络的表达能力的同时,使图像恢复到初始大小。
需要说明的是,上述生成器模型中对输入图像进行下采样再进行上采样降低了中间特征图的大小,一方面有助于降低计算的复杂性,另一方面卷积核大小相同时,进行下采样后有效感受野更大,可以提取更多的特征。
步骤S02:通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型。
需要说明的是,为了获得图像阴影消除效果准确的预设目标网络模型,步骤S02,包括:
步骤S021:获取公开的植物训练数据集;
需要说明的是,上述公开的植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集,也可以是其他植物训练数据集,本实施例对此不加以限制。
步骤S022:对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练;
步骤S023:根据有阴影图像训练和无阴影图像训练的训练结果,通过循环一致性损失对所述第一网络模型进行优化,获得预设目标网络模型。
需要说明的是,有阴影图像训练过程是,输入有阴影图像通过第一生成器模型生成无阴影图像/>,再通过第一鉴别器模型/>判断是否为真实的无阴影图像,二者使用对抗损失进行优化,然后再将无阴影图像/>和有阴影图像/>的阴影掩膜/>输入至第二生成器模型/>中生成有阴影图像/>,利用输入的有阴影图像/>和输出的有阴影图像/>的循环一致性进行优化,其中,循环一致性损失计算公式是:/>
式中,B为二值化操作,t为设置的阈值,该阈值通过最大类间方差算法得出,像素点的值高于t则为1,否则设置为0。对于这些阴影掩膜,使用一个队列进行保存,用于后续的无阴影图像训练过程中,当队列满时则删除队头的阴影掩膜。
为了保持输入的有阴影图像和生成的有阴影图像/>的色彩分布一致,在训练过程中使用有阴影图像和全零掩膜/>作为生成器/>的输入,掩膜/>为全黑图像,通过颜色恒定损失的约束可以使生成图像在颜色范围上与输入图像接近,颜色恒定损失计算公式是:
进一步地,有阴影图像训练过程是,输入无阴影图像通过第二生成器模型/>和上述队列中随机挑选的阴影掩膜/>合成有阴影图像/>,再通过第二鉴别器模型/>判断合成的有阴影图像是否足够真实,二者使用对抗损失进行优化,然后再将有阴影图像/>输入至第一生成器模型/>中生成无阴影图像/>,利用输入的无阴影图像/>和输出的无阴影图像/>的循环一致性进行优化,其中,循环一致性损失计算公式是:
本实施例通过将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;然后分别进行有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型;再获取自然场景下植物叶片的目标图像;然后将目标图像输入至预设目标网络模型;判断所述目标图像是否为有阴影图像;若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。由于本发明是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,然后进行模型训练获得预设目标网络模型,通过预设目标网络模型实现植物叶片图像的阴影消除。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域,进而提高对消除阴影后的图片识别的准确率。
参考图4,图4为本发明图像阴影消除方法第三实施例的流程示意图。
基于上述各实施例,在本实施例中,所述步骤S40,包括:
步骤S401:若是,则通过预设目标网络模型从不同方向上分析阴影区域,识别阴影区域及其边缘;
可理解的是,由于预设目标网络模型是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为DSC模块,因此可以通过DSC模块从不同方向上分析上述目标图像的阴影区域,实现有效的确定目标图像的阴影区域及其边缘。
步骤S402:根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。
在具体实现中,通过预设目标网络模型中的生成器模型的DSC模块从不同方向上分析上述目标图像的阴影区域,确定目标图像的阴影区域及其边缘,然后根据阴影区域及其边缘,去除阴影区域,同时对阴影区域的边缘处理更加平滑,获得目标图像对应的无阴影图像。
本实施例通过将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;然后分别进行有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型;再获取自然场景下植物叶片的目标图像;然后将目标图像输入至预设目标网络模型;判断所述目标图像是否为有阴影图像;若是,则通过预设目标网络模型从不同方向上分析所述目标图像,确定所述目标图像的阴影区域及其边缘;根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。由于本发明是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,然后进行模型训练获得预设目标网络模型,通过预设目标网络模型从不同方向上分析所述目标图像,确定所述目标图像的阴影区域及其边缘;根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域,对阴影区域的边缘处理得更加平滑,视觉上更加友好。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有图像阴影消除程序,所述图像阴影消除程序被处理器执行时实现如上文所述的图像阴影消除方法的步骤。
参照图8,图8为本发明图像阴影消除装置第一实施例的结构框图。
如图8所示,本发明实施例提出的图像阴影消除装置包括:获取模块801、输入模块802、判断模块803和阴影消除模块804。
所述获取模块801,用于获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
所述输入模块802,用于将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
所述判断模块803,用于判断所述目标图像是否为有阴影图像;
所述阴影消除模块804,用于若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
本实施例通过获取自然场景下植物叶片的目标图像,其中,目标图像包括有阴影图像和无阴影图像;然后将目标图像输入至预设目标网络模型,其中,预设目标网络模型中包括生成器模型,其中,生成器模型中包括方向感知的空间上下文模块;再判断所述目标图像是否为有阴影图像;若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像,然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影,其中,预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。
基于本发明上述图像阴影消除装置第一实施例,提出本发明图像阴影消除装置的第二实施例。
在本实施例中,所述获取模块801,还用于将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型。
所述获取模块801,还用于获取公开的植物训练数据集;对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练;根据有阴影图像训练和无阴影图像训练的训练结果,通过循环一致性损失对所述第一网络模型进行优化,获得预设目标网络模型。
本发明图像阴影消除装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像阴影消除方法,其特征在于,所述方法包括以下步骤:
获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
判断所述目标图像是否为有阴影图像;
若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
2.如权利要求1所述的方法,其特征在于,所述获取自然场景下植物叶片的目标图像的步骤之前,还包括:
将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;
通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型。
3.如权利要求2所述的方法,其特征在于,所述预设目标网络模型的生成器模型中至少包括卷积层、Relu函数和九个堆叠的方向感知的空间上下文模块。
4.如权利要求3所述的方法,其特征在于,所述方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构;
其中,1x1Conv为1x1卷积,空间RNN为循环神经网络,CONCAT函数用于将不同方向上的上下文特征进行组合。
5.如权利要求2所述的方法,其特征在于,所述通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型的步骤,具体包括:
获取公开的植物训练数据集;
对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练;
根据有阴影图像训练和无阴影图像训练的训练结果,通过循环一致性损失对所述第一网络模型进行优化,获得预设目标网络模型。
6.如权利要求5所述的方法,其特征在于,所述植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集。
7.如权利要求1所述的方法,其特征在于,所述若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像的步骤,包括:
若是,则通过预设目标网络模型从不同方向上分析所述目标图像,确定所述目标图像的阴影区域及其边缘;
根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。
8.一种图像阴影消除装置,其特征在于,所述装置包括:
获取模块,用于获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
输入模块,用于将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
判断模块,用于判断所述目标图像是否为有阴影图像;
阴影消除模块,用于去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
9.一种图像阴影消除设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序,所述图像阴影消除程序配置为实现如权利要求1至7中任一项所述的图像阴影消除方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有图像阴影消除程序,所述图像阴影消除程序被处理器执行时实现如权利要求1至7任一项所述的图像阴影消除方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310057376.5A CN116258643A (zh) | 2023-01-17 | 2023-01-17 | 图像阴影消除方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310057376.5A CN116258643A (zh) | 2023-01-17 | 2023-01-17 | 图像阴影消除方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116258643A true CN116258643A (zh) | 2023-06-13 |
Family
ID=86685667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310057376.5A Pending CN116258643A (zh) | 2023-01-17 | 2023-01-17 | 图像阴影消除方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116258643A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274828A (zh) * | 2023-11-23 | 2023-12-22 | 巢湖学院 | 基于机器学习的农田智能监测与作物管理*** |
-
2023
- 2023-01-17 CN CN202310057376.5A patent/CN116258643A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274828A (zh) * | 2023-11-23 | 2023-12-22 | 巢湖学院 | 基于机器学习的农田智能监测与作物管理*** |
CN117274828B (zh) * | 2023-11-23 | 2024-02-02 | 巢湖学院 | 基于机器学习的农田智能监测与作物管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
Zhang et al. | Ensnet: Ensconce text in the wild | |
US10635935B2 (en) | Generating training images for machine learning-based objection recognition systems | |
US8798373B2 (en) | Image restoration system, image restoration method, and image restoration program | |
JP2022528539A (ja) | ビデオ内視鏡検査における品質評価 | |
KR20210028185A (ko) | 사람 자세 분석 시스템 및 방법 | |
JP2007513555A (ja) | 画像処理 | |
JP6756406B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US11379992B2 (en) | Patch expansion for segmentation network training | |
CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
US11461880B2 (en) | Generating image masks from digital images utilizing color density estimation and deep learning models | |
Fried et al. | Finding distractors in images | |
Zhao et al. | Automatic blur region segmentation approach using image matting | |
CN108109164B (zh) | 一种信息处理方法及电子设备 | |
CN116258643A (zh) | 图像阴影消除方法、装置、设备及存储介质 | |
CN115035581A (zh) | 面部表情识别方法、终端设备及存储介质 | |
CN112561813A (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
Hu et al. | Computer vision based method for severity estimation of tea leaf blight in natural scene images | |
CN112991159B (zh) | 人脸光照质量评估方法、***、服务器与计算机可读介质 | |
CN110751163B (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
Gautam et al. | WMCP-EM: An integrated dehazing framework for visibility restoration in single image | |
CN111079797B (zh) | 一种图像分类的方法、装置和存储介质 | |
JP2018005505A (ja) | 画像認識パラメータ設定装置、画像認識パラメータ設定方法、および画像認識パラメータ設定プログラム | |
Kamal et al. | Traffic-sign detection and classification under challenging conditions: a deep neural network based approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |