CN112102201A - 图像阴影反光消除方法、装置、计算机设备及存储介质 - Google Patents
图像阴影反光消除方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112102201A CN112102201A CN202011016569.9A CN202011016569A CN112102201A CN 112102201 A CN112102201 A CN 112102201A CN 202011016569 A CN202011016569 A CN 202011016569A CN 112102201 A CN112102201 A CN 112102201A
- Authority
- CN
- China
- Prior art keywords
- image
- target detection
- shadow
- network
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000003115 biocidal effect Effects 0.000 claims abstract description 27
- 239000003242 anti bacterial agent Substances 0.000 claims abstract description 26
- 229940088710 antibiotic agent Drugs 0.000 claims abstract description 26
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 10
- 230000003416 augmentation Effects 0.000 claims description 9
- 238000013434 data augmentation Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 abstract description 19
- 238000003379 elimination reaction Methods 0.000 abstract description 19
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 9
- 238000003199 nucleic acid amplification method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008439 repair process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003373 anti-fouling effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像阴影反光消除方法、装置、计算机设备及存储介质，该方法包括获取待处理图像；将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；根据目标检测结果对待处理图像进行裁剪，以得到高清图像；将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；反馈修复图像至终端。本发明通过采用目标检测模型对待处理图像进行目标检测后，根据检测结果进行裁剪，以保留仅有目标的图像，再通过基于PAIRWISE‑GAN网络训练而得的消除模型同时进行阴影和反光消除，实现可同时解决反光和阴影的问题，且更好的拟合出本体与其阴影形状关系，效率高，不易出现漏检情况。
Description
技术领域
本发明涉及图像处理方法，更具体地说是指图像阴影反光消除方法、装置、计算机设备及存储介质。
背景技术
阴影和反光出现在日常生产和生活的各种图像处理场景当中，它们对于计算机图像算法来说是一个重要且不可避免的任务。良好的能够最大程度去除阴影和反光的预处理图像算法能够极大地提高后续算法的稳定性和准确性，尤其是对于图像分割和目标检测与跟踪这类任务。现有的基于模式识别的算法依赖额外的人工预设信息，而且对于阴影和反光的处理是分开进行的。
现有的影去除算法主要分为两大类：基于特征的阴影去除算法和基于模型的阴影去除算法，基于特征的算法主要是利用阴影和背景图像在一些基本属性上的差异，如亮度、色调、饱和度、梯度和纹理等特征，此类算法原理简单，但对于光照十分敏感，容易出现漏检情况；基于模型的算法是以对场景建模为基础的阴影去除算法，该类算法为实现场景建模需要知道环境、目标以及光照等因素且计算较为复杂，效率相对较低。
对于阴影和反光消除而言，现有的算法仅仅针对图片进行单一的去阴影或者消除反光修复操作，而无法做到二者融合操作，导致需要进行多步骤操作，造成过程冗余且复杂，另外，传统的去阴影及反光操会受到不同程度及不同角度的光照会形成多块区域的阴影及不同反光现象这样严重影响识别的准确率，去阴影及反光操作需要先通过阴影或反光检测在进行阴影或反光去除操作，需要通过两步策略来进行图片修复，这种方式往往在第二步去除操作依赖于第一步的检测结果，如果第一步骤检测有误差，这样会导致修复的图片无法达到很好的效果；传统的去阴影，去反光图像针对的输入信息是RGB颜色，这样在作消除其噪音的操作会导致模型更加拟合与颜色信息，从而会忽略本体与阴影的形状关系信息。
因此，有必要设计一种新的方法，实现可同时解决反光和阴影的问题，且更好的拟合出本体与其阴影形状关系，效率高，不易出现漏检情况。
发明内容
本发明的目的在于克服现有技术的缺陷，提供图像阴影反光消除方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：图像阴影反光消除方法，包括：
获取待处理图像；
将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；
根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；
将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；
反馈所述修复图像至终端，以在终端进行显示；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络所得的；
所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的。
其进一步技术方案为：所述将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果，包括：
将待处理图像进行Mosaic的方式进行数据增广，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
其进一步技术方案为：所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的，包括：
获取含有阴影图片、反光图片以及原图，以得到样本图像；
对样本图像进行增广操作，以得到样本集；
构建PAIRWISE-GAN网络；
利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
其进一步技术方案为：所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
其进一步技术方案为：所述利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型，包括：
对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
本发明还提供了图像阴影反光消除装置，包括：
图像获取单元，用于获取待处理图像；
目标检测单元，用于将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；
裁剪单元，用于根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；
修复单元，用于将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；
反馈单元，用于反馈所述修复图像至终端，以在终端进行显示。
其进一步技术方案为：还包括：
目标检测模型训练单元，用于通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络，以得到目标检测模型。
其进一步技术方案为：还包括：
抗生成网络模型训练单元，用于通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络，以得到抗生成网络模型。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过采用目标检测模型对待处理图像进行目标检测后，根据检测结果进行裁剪，以保留仅有目标的图像，再通过基于PAIRWISE-GAN网络训练而得的抗生成网络模型同时进行阴影和反光消除，实现可同时解决反光和阴影的问题，且更好的拟合出本体与其阴影形状关系，效率高，不易出现漏检情况。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像阴影反光消除方法的应用场景示意图；
图2为本发明实施例提供的图像阴影反光消除方法的流程示意图；
图3为本发明实施例提供的图像阴影反光消除方法的子流程示意图；
图4为本发明实施例提供的图像阴影反光消除装置的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的图像阴影反光消除方法的应用场景示意图。图2为本发明实施例提供的图像阴影反光消除方法的示意性流程图。该图像阴影反光消除方法应用于服务器中。该服务器与终端进行数据交互，且该服务器与移动机器人进行数据交互，通过RGV机器人获取仪表的图像，由服务器对图像进行目标检测且采用对抗生成网络消除阴影及反光，并将最终的图片发送至终端显示。
图2是本发明实施例提供的图像阴影反光消除方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。
S110、获取待处理图像。
在本实施例中，待处理图像是指有指针仪表的图像。
首先RGV机器人通过位置定位移动到机柜至指定位置，再利用其云台来拍摄得到有指针仪表的RGB三通道的图像。
S120、将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
在本实施例中，目标检测结果是指目标所在的位置、以及对应的置信度、指针仪表的种类；目标所在的位置可构成预测框。该目标指的是指针仪表。
具体地，将待处理图像进行Mosaic的方式进行数据增广对输入图片进行Mosaic的方式进行数据增广，这里包括对每4张图片随机缩放，随机裁减，随机排列的方式合并，并输入至目标检测模型内进行目标检测，以得到目标检测结果。其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络所得的。
在训练目标检测模型时，将含有目标检测框的图像按照8:1:1的比例切分成训练集、验证集以及测试集。训练的时候为了目标种类数量平衡，每批量训练的不同种类目标的数量保持一致。对不同仪表进行采集预测，并通过mAP(平均精度均值，Mean AveragePrecision)指标进行评估。
将收集的待处理图像通过Mosaic的方式进行图片增广，这样可以不仅可以平衡大小目标的样本分布，同时也丰富样本多样性，使得训练出的模型更加鲁棒。基于YOLO-V4网络的框架对所缩放后的图片进行目标检测找到指针仪表所在的框位置及种类。
S130、根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像。
在本实施例中，高清图像是指仅存在指针仪表的图像。
根据检测的预测框在待处理图像该原图上进行裁剪得到高清的指针仪表框，减少进入对抗生成网络的信息损失。
S140、将高清图像输入至对抗生成网络模型内进行阴影以及反光的消除，以得到修复图像。
在本实施例中，修复图像是指消除阴影及反光的带有指针仪表的图像。
另外，所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的。
在一实施例中，如图3所示，上述的抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的，包括：
S141、获取含有阴影图片、反光图片以及原图，以得到样本图像。
在本实施例中，样本图像是包括含有阴影的指针仪表图片，反光的指针仪表图片以及无阴影无反光的图片。
具体地，首先采集不同指针仪表的图片，对于每一个指针仪表通过不同程度角度的光照得到含有强阴影弱反光的指针仪表图片imageshadow，在通过强光对指针不同位置进行照射，对其指针仪表进行采集得到强反光弱阴影图片imagereflection。
S142、对样本图像进行增广操作，以得到样本集。
在本实施例中，样本集是指经过增广操作的含有阴影图片、反光图片以及原图。
具体地，对样本图像进行同样的数据增广操作，这里增广操作包含随机裁减、随机旋转、高斯模糊、颜色抖动。为了在训练的时候减少模型对颜色这一特征过拟合，在输入阶段增广操作增加了单通道图片输入，这样可以让模型也能更好拟合出本体与阴影的形状联系，最后这些增广图片通过图片归一化作为模型输入。
在训练模型的时候输入样本中通过融入了单通道图片的信息，更好的拟合出本体与其阴影形状关系。
S143、构建PAIRWISE-GAN网络。
在本实施例中，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
在生成网络中含有两条U-Net网络，第一条U-Net网络是由增广后的含有阴影的图片imageshadow和原图进行合并作为第一条支路；第二条U-Net网络是增广后的反光图片imagereflection和原图合并作为另一条支路，最后将双支路特征合并在通过U-Net++网络框架生成消除阴影和光照的图片。在判别网络中将增广后的含有阴影的图片与增广后的反光图片进行合并得到图片imagedemaged，再分别将生成网络生成的消除阴影和光照的图片以及原图分别与图片imagedemaged进行合并操作，得到图片inputfake和inputreal，并将两者合并结果经过判别网络得到patchGAN的1(real)或0(fake)结果。
S144、利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
在本实施例中，对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
具体地，将每一个指针仪表图片采集的含有阴影图片imageshadow，反光图片imagereflection以及原图作为输入图片的三元匹配对。将匹配对按照训练集，验证集以及测试集按照8:1:1的比例进行切分。学习率初始值设置为0.0001，一阶衰减率为0.5，训练的过程中使用Adam优化器进行梯度下降从而来进行模型训练。
将原图作为生成模型的三个输入，在生成器中一个分支专门提取阴影特征，另一个分支专门提取反光特征，最终通过UNet++模型合并得到三通道的修复图片。
UNet++模型主要是基于encoder-decoder结合skip-connetion的思想即通过下采样和上采样与skip-connection相结合的方式实现语义分割，Unet++模型则是增加长连接及短连接的方式可以整合不同层次的特征获得更多特征信息实现更好的语义分割任务。
在训练过程中，对于损失函数的设定，这里损失函数生成的损失值loss计算分为生成损失值lossgenerator以及判别损失值lossdiscriminator。
对于生成损失值lossgenerator分成对抗损失值和像素损失值。对于对抗损失值则将判别网络对消除阴影和光照的图片的判别结果与真实标签求patchGAN的均方误差得到lossAdversarial；对于像素损失值通过原图与消除阴影和光照的图片通过L1loss得到lossgenerator_pixel，最终得到模型损失函数通过将上述两种损失函数相加，即lossgenerator＝lossAdversarial+λlossgenerator_pixel。这里λ为了调整lossAdversarial和lossgenerator_pixel权重。
对于判别损失值lossdiscriminator，分别将消除阴影和光照的图片和原图通过patchGAN的方式求均方误差。分别得到图像判别损失discrimiantor_lossfake，discrimiantor_lossreal；
采用抗生成网络模型将消除阴影以及消除反光融合为一个步骤进行图片修复，且训练抗生成网络模型的过程中，收集不同光照及角度数据基于深度学习的框架进行图片修复操作，能够很好的解决阴影和反光问题，采用训练好的抗生成网络模型可以整个图像都进行消除，不会出现漏处理的问题。
S150、反馈所述修复图像至终端，以在终端进行显示。
上述的图像阴影反光消除方法，通过采用目标检测模型对待处理图像进行目标检测后，根据检测结果进行裁剪，以保留仅有目标的图像，再通过基于PAIRWISE-GAN网络训练而得的抗生成网络模型同时进行阴影和反光消除，实现可同时解决反光和阴影的问题，且更好的拟合出本体与其阴影形状关系，效率高，不易出现漏检情况。
图4是本发明实施例提供的一种图像阴影反光消除装置300的示意性框图。如图4所示，对应于以上图像阴影反光消除方法，本发明还提供一种图像阴影反光消除装置300。该图像阴影反光消除装置300包括用于执行上述图像阴影反光消除方法的单元，该装置可以被配置于服务器中。具体地，请参阅图4，该图像阴影反光消除装置300包括图像获取单元301、目标检测单元302、裁剪单元303、修复单元304以及反馈单元305。
图像获取单元301，用于获取待处理图像；目标检测单元302，用于将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；裁剪单元303，用于根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；修复单元304，用于将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；反馈单元305，用于反馈所述修复图像至终端，以在终端进行显示。
在一实施例中，图像阴影反光消除装置300还包括目标检测模型训练单元。
目标检测模型训练单元，用于通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络，以得到目标检测模型。
在一实施例中，图像阴影反光消除装置300还包括抗生成网络模型训练单元。
抗生成网络模型训练单元，用于通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络，以得到抗生成网络模型。
具体的，目标检测单元302，用于将待处理图像进行Mosaic的方式进行数据增广，具体包括对每4张图片进行随机缩放，随机裁减，随机排列的方式合并，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
在一实施例中，抗生成网络模型训练单元包括样本图像获取子单元、增广子单元、网络构建子单元以及训练子单元。
样本图像获取子单元，用于获取含有阴影图片、反光图片以及原图，以得到样本图像；增广子单元，用于对样本图像进行增广操作，以得到样本集；网络构建子单元，用于构建PAIRWISE-GAN网络；训练子单元，用于利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
具体地，上述的训练子单元，用于对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述图像阴影反光消除装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述图像阴影反光消除装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种图像阴影反光消除方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种图像阴影反光消除方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待处理图像；将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；反馈所述修复图像至终端，以在终端进行显示。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络所得的；
所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的。
在一实施例中，处理器502在实现所述将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果步骤时，具体实现如下步骤：
将待处理图像进行Mosaic的方式进行数据增广，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
在一实施例中，处理器502在实现所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的步骤时，具体实现如下步骤：
获取含有阴影图片、反光图片以及原图，以得到样本图像；对样本图像进行增广操作，以得到样本集；构建PAIRWISE-GAN网络；利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
其中，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
在一实施例中，处理器502在实现所述利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型步骤时，具体实现如下步骤：
对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待处理图像；将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；反馈所述修复图像至终端，以在终端进行显示。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络所得的；
所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果步骤时，具体实现如下步骤：
将待处理图像进行Mosaic的方式进行数据增广将待处理图像进行Mosaic的方式进行数据增广，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的步骤时，具体实现如下步骤：
获取含有阴影图片、反光图片以及原图，以得到样本图像；对样本图像进行增广操作，以得到样本集；构建PAIRWISE-GAN网络；利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
其中，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
在一实施例中，所述处理器在执行所述计算机程序而实现所述利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型步骤时，具体实现如下步骤：
对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.图像阴影反光消除方法，其特征在于，包括：
获取待处理图像；
将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；
根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；
将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；
反馈所述修复图像至终端，以在终端进行显示；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络所得的；
所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的。
2.根据权利要求1所述的图像阴影反光消除方法，其特征在于，所述将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果，包括：
将待处理图像进行Mosaic的方式进行数据增广，并输入至目标检测模型内进行目标检测，以得到目标检测结果。
3.根据权利要求1所述的图像阴影反光消除方法，其特征在于，所述抗生成网络模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的，包括：
获取含有阴影图片、反光图片以及原图，以得到样本图像；
对样本图像进行增广操作，以得到样本集；
构建PAIRWISE-GAN网络；
利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
4.根据权利要求3所述的图像阴影反光消除方法，其特征在于，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
5.根据权利要求4所述的图像阴影反光消除方法，其特征在于，所述利用样本集对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型，包括：
对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到抗生成网络模型。
6.图像阴影反光消除装置，其特征在于，包括：
图像获取单元，用于获取待处理图像；
目标检测单元，用于将待处理图像进行Mosaic操作，并输入至目标检测模型内进行目标检测，以得到目标检测结果；
裁剪单元，用于根据所述目标检测结果对待处理图像进行裁剪，以得到高清图像；
修复单元，用于将高清图像输入至抗生成网络模型内进行阴影以及反光的消除，以得到修复图像；
反馈单元，用于反馈所述修复图像至终端，以在终端进行显示。
7.根据权利要求6所述的图像阴影反光消除装置，其特征在于，还包括：
目标检测模型训练单元，用于通过若干个带有仪表坐标及类别标签的图像作为样本集训练YOLO-V4网络，以得到目标检测模型。
8.根据权利要求7所述的图像阴影反光消除装置，其特征在于，还包括：
抗生成网络模型训练单元，用于通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络，以得到抗生成网络模型。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016569.9A CN112102201B (zh) | 2020-09-24 | 2020-09-24 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016569.9A CN112102201B (zh) | 2020-09-24 | 2020-09-24 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102201A true CN112102201A (zh) | 2020-12-18 |
| CN112102201B CN112102201B (zh) | 2024-05-28 |
Family
ID=73755360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011016569.9A Active CN112102201B (zh) | 2020-09-24 | 2020-09-24 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102201B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113139917A (zh) * | 2021-04-23 | 2021-07-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113538293A (zh) * | 2021-08-20 | 2021-10-22 | 爱保科技有限公司 | 一种车损伤图像的增强方法和装置 |
| CN117333383A (zh) * | 2023-09-07 | 2024-01-02 | 广东奥普特科技股份有限公司 | 一种表面缺陷检测方法、装置和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100033588A1 (en) * | 2008-08-05 | 2010-02-11 | Sony Ericsson Mobile Communications Ab | Shadow and reflection identification in image capturing devices |
| CN105809643A (zh) * | 2016-03-14 | 2016-07-27 | 浙江外国语学院 | 一种基于自适应块通道拉伸的图像增强方法 |
| CN108154491A (zh) * | 2018-01-26 | 2018-06-12 | 上海觉感视觉科技有限公司 | 一种图像反光消除方法 |
| JP2018098583A (ja) * | 2016-12-09 | 2018-06-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| CN108921128A (zh) * | 2018-07-19 | 2018-11-30 | 厦门美图之家科技有限公司 | 脸颊敏感肌识别方法及装置 |
| US20190320094A1 (en) * | 2018-04-13 | 2019-10-17 | Arius Technology Inc. | Systems and methods for imaging fine art paintings |
-
2020
- 2020-09-24 CN CN202011016569.9A patent/CN112102201B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100033588A1 (en) * | 2008-08-05 | 2010-02-11 | Sony Ericsson Mobile Communications Ab | Shadow and reflection identification in image capturing devices |
| CN105809643A (zh) * | 2016-03-14 | 2016-07-27 | 浙江外国语学院 | 一种基于自适应块通道拉伸的图像增强方法 |
| JP2018098583A (ja) * | 2016-12-09 | 2018-06-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| CN108154491A (zh) * | 2018-01-26 | 2018-06-12 | 上海觉感视觉科技有限公司 | 一种图像反光消除方法 |
| US20190320094A1 (en) * | 2018-04-13 | 2019-10-17 | Arius Technology Inc. | Systems and methods for imaging fine art paintings |
| CN108921128A (zh) * | 2018-07-19 | 2018-11-30 | 厦门美图之家科技有限公司 | 脸颊敏感肌识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴文;万毅;: "基于低尺度细节恢复的单幅图像阴影去除方法", 电子学报, no. 07 * |
| 廉世彬;朱晓冬;青晨;闫俊均;翟海汝;: "一种去除高光和阴影的桃蛀螟图像分割方法", 北京农学院学报, no. 02 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112819720B (zh) * | 2021-02-02 | 2023-10-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113139917A (zh) * | 2021-04-23 | 2021-07-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113538293A (zh) * | 2021-08-20 | 2021-10-22 | 爱保科技有限公司 | 一种车损伤图像的增强方法和装置 |
| CN117333383A (zh) * | 2023-09-07 | 2024-01-02 | 广东奥普特科技股份有限公司 | 一种表面缺陷检测方法、装置和设备 |
| CN117333383B (zh) * | 2023-09-07 | 2024-05-24 | 广东奥普特科技股份有限公司 | 一种表面缺陷检测方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102201B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102201B (zh) | 图像阴影反光消除方法、装置、计算机设备及存储介质 | |
| CN110569878B (zh) | 一种基于卷积神经网络的照片背景相似度聚类方法及计算机 | |
| CN112115895B (zh) | 指针型仪表读数识别方法、装置、计算机设备及存储介质 | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN112417955B (zh) | 巡检视频流处理方法及装置 | |
| CN107004266A (zh) | 检测轮胎表面上缺陷的方法 | |
| CN109583364A (zh) | 图像识别方法及设备 | |
| CN111340022A (zh) | 身份证信息识别方法、装置、计算机设备及存储介质 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN110378254B (zh) | 车损图像修改痕迹的识别方法、***、电子设备及存储介质 | |
| CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| Madessa et al. | A deep learning approach for specular highlight removal from transmissive materials | |
| CN112070077B (zh) | 一种基于深度学习的食物识别方法和装置 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| CN113177957A (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
| CN112434581A (zh) | 一种室外目标颜色识别方法、***、电子设备及存储介质 | |
| CN111178200A (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
| CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| CN112819823B (zh) | 一种面向家具板材的圆孔检测方法、***及装置 | |
| CN116309386B (zh) | 一种光照复杂条件下的空间目标可见光图像线段检测方法 | |
| Lv | Partial differential equations for image processing applications | |
| CN111435532B (zh) | 一种数字图像中树状结构末梢点的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |