CN114118114A - 一种图像检测方法、装置及其存储介质 - Google Patents
一种图像检测方法、装置及其存储介质 Download PDFInfo
- Publication number
- CN114118114A CN114118114A CN202010870207.XA CN202010870207A CN114118114A CN 114118114 A CN114118114 A CN 114118114A CN 202010870207 A CN202010870207 A CN 202010870207A CN 114118114 A CN114118114 A CN 114118114A
- Authority
- CN
- China
- Prior art keywords
- image
- label
- confidence
- threshold value
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013145 classification model Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 27
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 4
- 230000002159 abnormal effect Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Toxicology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像检测方法、装置及其存储介质,所述方法包括:获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度;确定所述第一置信度是否小于预设的第一阈值;若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。本申请通过设置多个阈值的方式来提高图像检测的精度。
Description
技术领域
本申请涉及图像识别技术领域,具体涉及一种图像检测方法、装置及其存储介质。
背景技术
随着物流技术的发展,一票快递,即一票货对应一个物流单号的快递,也越来越普遍,一般一票快递的寄送要通过收件、中转、派件等环节,在中转环节过程中,快递的自动分拣依赖于快递面单上的所存储的信息,通过扫描面单上的条形码等信息得到快递的流向信息,即可完成自动化分拣。
在实际过程中,由于面单出现异常情况会导致自动化设备无法正常进行识别,从而只能通过人工录入运单号进行分拣,大大降低了自动分拣的效率,异常情况可能是人为因素导致的,由于工作人员操作不规范,使得快递面单在存在折叠、遮挡、破损等异常情况,也可能是环境因素导致的,例如,由于面单识别设备周围的光源亮度问题或者机器出现故障导致拍摄到的面单图像出现模糊、过曝或过暗等异常情况,如果不对这些无法自动分拣的异常快递面单进行分类,根据异常产生的原因向源头追溯,并进行相应追责,此类问题会一直存在,甚至会越来越严重,因此有必要对异常的快递面单进行检测分类。
目前的图像的多标签的分类方法中,为了确定图片中包含的多个标签,一般是通过多标签分类模型得到多个初始标签和多个对应置信度,再将多个置信度和一个预设置信度阈值做比较,将高于预设置信度阈值的初始标签作为图像的标签,但是如果遇到待检测图像中的多个标签存在交叉或重叠的情况时,例如,在某一个标签存在时,其他标签有可能被弱化而不易被识别出情况下,采用现有的标签分类方法往往会出现分类不准确甚至错误的方式,因此,有必要提出一种图像检测方法,尤其是针对可能存在多个标签的图像,以解决现有技术多标签检测方法标签识别精度不高的问题。
发明内容
本申请提供一种图像检测方法、装置、电子设备及其存储介质,以提高图像标签的检测精度。
一方面,本申请提供一种图像检测方法,所述方法包括:
获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
确定所述第一置信度是否小于预设的第一阈值;
若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;
若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
在本申请一种可能的实现方式中,所述根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果的步骤,包括:
若所述第二置信度大于或等于所述第二阈值,则将所述第二标签确定为所述第一检测结果。
在本申请一种可能的实现方式中,所述根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
若所述第二置信度大于或等于所述第三阈值,则将所述第一标签和所述第二标签确定为所述第二检测结果;
若所述第二置信度小于所述第三阈值,则将所述第一标签确定为所述第二检测结果。
在本申请一种可能的实现方式中,所述获取待检测图像的初始检测结果的步骤之前,还包括:
获取第一样本图像、第二样本图像和第三样本图像,所述第一样本图像为包括所述第一标签的图像,所述第二样本图像为包括所述第二标签的图像,所述第三样本图像为包括所述第一标签和所述第二标签的图像;
根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
在本申请一种可能的实现方式中,所述获取待检测图像的初始检测结果的步骤,包括:
获取所述待检测图像;
根据所述训练后的标签分类模型对所述待检测图像进行检测,得到所述初始检测结果。
在本申请一种可能的实现方式中,所述获取第一样本图像和所述第二样本图像的步骤之后,包括:
获取所述第二样本图像的局部区域,得到包括第二标签的局部图像;
对所述局部图像做灰度化处理,得到灰度图像;
获取与所述局部图像大小相同的第一模板图像;
随机更改所述第一模板图像的灰度值,得到多张第二模板图像;
将所述第二模板图像和所述灰度图像融合,得到融合图像;
将所述融合图像作为所述第一样本图像的增广图像。
在本申请一种可能的实现方式中,所述根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型的步骤,包括:
根据所述第一样本图像、所述第二样本图像、所述第三样本图像以及所述增广图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
在本申请一种可能的实现方式中,所述第二标签包括多个子标签,所述第二置信度包括多个子置信度;
所述根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果的步骤,包括:
根据所述第二阈值、所述多个子标签、所述多个子置信度确定所述待检测图像的第一检测结果;
所述根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
根据所述第一标签、所述多个子标签、所述多个子置信度以及预设的第三阈值确定所述待检测图像的第二检测结果。
在本申请一种可能的实现方式中,所述根据所述第二阈值、所述多个子标签、所述多个子置信度确定所述待检测图像的第一检测结果的步骤包括:
将所述多个子标签中与第一目标置信度相对应的子标签确定为所述第一检测结果,所述第一目标置信度为所述多个子置信度中大于或等于所述第二阈值的子置信度;
所述根据所述第一标签、所述多个子标签、所述多个子置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
将所述多个子标签中与第二目标置信度相对应的子标签以及所述第一标签确定为所述第二检测结果,所述第二目标置信度为所述多个子置信度中大于或等于所述第三阈值的子置信度。
另一方面,本申请提供一种图像检测装置,所述装置包括:
获取单元,用于获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
处理单元,用于确定所述第一置信度是否小于预设的第一阈值;
若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;
若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
另一方面,本申请提供一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现所述的图像检测方法。
另一方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的图像检测方法中的步骤。
本申请中通过获取待检测图像的第一标签和第二标签,以及相应的第一置信度和第二置信度,通过先将第一置信度和预设的第一阈值做比较;当第一置信度低于第一阈值时,则认为该待检测图像中不包含第一标签的特征,即排除第一标签的图像特征对第二标签的图像特征造成影响;再通过第二置信度和第二预设阈值比较以确定待检测图像中是否存在第二标签的特征;当第一置信度高于第一阈值时,则认为该待检测图像中包含第一标签的特征,即第一标签的图像特征可能对第二标签的图像特征造成影响,则再通过预设的第三阈值,且第三阈值小于第二阈值,即降低与第二置信度的比较阈值,通过第三阈值确定待检测图像中是否存在第二标签的特征,通过设置多个阈值的方式,来提高图像检测的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实施例提供的图像检测的场景示意图;
图2是本实施例中提供的图像检测方法的一个实施例流程示意图;
图3是本实施例中提供的图像检测的一个实施例流程示意图;
图4是本实施例的图像检测方法中步骤一的一个实施例流程示意图;
图5是本实施例的图像检测方法中神经网络模型结构图的一个实施例流程示意图;
图6是本实施例的图像检测方法中图像预处理一个实施例流程示意图;
图7是本实施例中提供的图像检测方法又一个实施例流程示意图;
图8是本实施例中提供的图像检测方法又一个实施例流程示意图;
图9是本实施例中提供的图像检测装置的一个实施例结构示意图;
图10是本实施例中提供的图像检测电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种图像检测方法、装置、服务器及存储介质,以下分别进行详细说明。
在本实施例中,将从图像检测***的角度进行描述,该图像检测***具体可以集成在智能终端中。
本实施例提供一种图像检测的识别方法、装置、电子设备及存储介质。
本申请提供的图像检测的识别方法,可以应用于如图1所示的应用环境中。其中,终端10通过网络与服务器20进行通信,该网络可以是有线网络或无线网络。图像检测的识别方法可以由终端10执行,也可由服务器20执行,或者由终端10和服务器20协同执行。以图像检测的识别方法由服务器20执行为例进行阐述,服务器20可以从本地或终端10获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;确定所述第一置信度是否小于预设的第一阈值;若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。服务器20可以将第一检测结果和第二检测结果显示于终端10。
其中,终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,或者是用于生成待分割图像或待分割的图像样本的快递扫描设备,如嵌入式扫描头、快递单号扫码枪、固定式条码扫描器等等。服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器来实现。
要说明的是,图1所示的图像检测***的场景示意图仅仅是一个示例,本申请实施例描述的图像检测***以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像检测***的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
如图2所示,为本申请实施例中图像检测方法的一个实施例流程示意图,该图像检测方法具体包括以下步骤101-步骤104:
步骤101、获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应。
待检测图像为待自动分拣的快递面单图像,快递面单图像中有包含快递信息的条形码或二维码等图像信息。待检测图像可以是无异常要素的图像,也可以是存在异常要素的图像。其中,待检测图像的异常要素既可以仅包含单一异常要素的图像,也可以包含多个异常要素(两个或两个以上)的图像。例如,第一标签可以是表征亮度不均这一异常要素,第二标签可以是表征折叠、污渍或破损中的任一异常要素。
在本实施例中,存在异常要素的图像会导致出现机器识别异常的情况,进而导致自动分拣作业无法正常进行。待检测图像中的异常要素是指使得机器无法识别到快递面单上的条形码、二维码等信息的要素,由于快递面单的异常要素的存在导致在进行分拣作业时,只能通过人工录入快递运单号,以保证快递处理流程的正常进行,异常要素可以包括折叠、污渍、破损、亮度不均、模糊等。例如,折叠是指工作人员粘贴不规范,导致快递面单整体或部分发生褶皱,或者快递面单上粘贴有褶皱的透明胶等;遮挡是指快递面单上有涂画或污渍等;破损是指快递运输导致的快递面单部分出现破损,致使的条码信息的缺失等;亮度不均和模糊则可能是由于面单识别设备周围的光源亮度问题或者机器出现故障导致拍摄到的面单图像出现模糊、过曝或过暗等异常情况。当然,以上并不是穷举,还包含很多其他类别的异常要素。
根据训练后的标签分类模型对待检测图像进行标签识别检测,得到待检测图像的初始标签及初始标签对应的置信度。因为进行异常要素识别所得的初始标签不一定是待检测图像对应的真实的标签,因此,采用每个初始标签的置信度对初始标签进行筛选,筛选出大于预设的置信度阈值的初始标签作为待检测图像对应的异常要素的识别结果。这样在一定程度上提高了异常要素识别结果的准确性。其中,第一置信度是表征初始检测结果中第一标签的可信程度,即待检测图像中包含亮度不均这一标签的可信程度。第二置信度是表征初始检测结果中第二标签的可信程度,例如,待检测图像中包含折叠这一标签的可信程度。每个初始标签对应的置信度的范围为[0,1]。
步骤102、确定所述第一置信度是否小于预设的第一阈值,若是,则执行步骤103,若否,则执行步骤104。
采用经过训练所得到的多标签分类模型,由于待检测图像可能包括第一标签,即检测图像中可能存在亮度不均的情况,导致其他标签可能无法被检测出,因此用训练过的分类模型得到的初始检测结果可能误差较大,因此,需要进一步减小误差,其中,该分类模型可以例如是卷积神经网络模型。
本申请实施例是通过判断所述第一置信度是否小于预设的第一阈值,来确定待检测图像中是否存在亮度不均的情况。其中,预设的第一阈值可以是在前期训练出这个多标签分类模型的时候,根据大量的训练样本,当损失函数比较小,所得出的结果比较接近实际的结果的时候,所得出的一个置信度的阈值。例如,根据大量的训练样本所得出的置信度的阈值为0.5,则将0.5作为预设的第一阈值,进而判断初始标签的置信度是否大于预设的阈值,在上述例子中,如果第一置信度大于预设的第一阈值,则认为待检测图像中存在亮度不均的情况。
步骤103、根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果。
第一检测结果具体可以是待检测图像不包含第一标签的前提下,判断待检测图像是否存在第二标签的结果。当确定所述第一置信度小于预设的第一阈值,即确定待检测图像中不存在亮度不均这个第一标签后,则排除了亮度不均这一要素可能对其他要素(遮挡、折叠、破损等要素)识别造成的影响后,将第二置信度与预设的第二阈值做比较,判断第二置信度是否小于第二阈值,根据第二置信度与第二阈值的比较结果确定第一检测结果。
步骤104、根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果。
第二检测结果具体可以是待检测图像包含第一标签的前提下,判断待检测图像是否存在第二标签的结果。当确定所述第一置信度大于或等于预设的第一阈值,即确定待检测图像中存在亮度不均这个第一标签后,即认为亮度不均这一要素的存在可能会使得折叠的要素无法被识别出后,需要降低第二置信度和第二置信度的比较阈值,将第二置信度与预设的第三阈值做比较,判断第二置信度是否小于第三阈值,其中,第三阈值小于第二阈值,根据第二置信度与第二阈值的比较结果确定第二检测结果。
通过执行以上步骤103或步骤104最终确定图像检测的检测结果后,即可通过异常快递面单中存在的标签对快递面单中出现异常要素的原因进行溯源,追责,从而减少或避免类似情况的再次发生,从而有效地提高快递分拣过程中的效率。
在一些实施例中,如图3所示,所述步骤104中根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的检测结果的步骤,具体包括以下步骤201-步骤203:
步骤201、确定所述第二置信度是否小于所述第二阈值,若否,则执行步骤202,若是,则执行步骤203。
假设初始检测结果中得到待检测图像的初始分类标签为第二标签,其中第二标签是表征折叠的标签,则通过第二标签对应的第二置信度与预设的第二阈值比较,以此确定待检测图像中是否存在折叠的要素。
步骤202、若所述第二置信度大于或等于所述第二阈值,则将所述第二标签确定为所述第一检测结果。
步骤203、若所述第二置信度小于所述第二阈值,则确定所述待检测图像中不包含第一标签或第二标签中任一标签。
举例来说,假设第二置信度为a,预设的第二阈值为n,则第一检测结果可能存在以下2种情况:
结果1:如果a≥n,则第一检测结果为待检测图像中包括第二标签;
结果2:如果a<n,则第一检测结果为正常的快递面单,即待检测图像不存在第一标签或第二标签任一标签表征的异常要素。
例如,第二标签是表征快递面单存在折叠的标签,假设第二置信度为a=0.5,预设的第二阈值为n=0.8,由于a<n,符合结果2的情况,则认为第一检测结果为待检测图像为正常的快递面单,则执行步骤203,并第一检测结果为待检测图像中包括第二标签,否则,执行步骤202,并输出第一检测结果为待检测图像为正常快递面单的图像。
本申请实施例通过获取待检测图像的第一标签和第二标签,以及相应的第一置信度和第二置信度,通过先将第一置信度和预设的第一阈值做比较;当第一置信度低于第一阈值时,则认为该待检测图像中不包含第一标签的特征,即排除第一标签的图像特征对第二标签的图像特征造成影响;再通过第二置信度和第二预设阈值比较以确定待检测图像中是否存在第二标签的特征;当第一置信度高于第一阈值时,则认为该待检测图像中包含第一标签的特征,即第一标签的图像特征可能对第二标签的图像特征造成影响,则再通过预设的第三阈值,且第三阈值小于第二阈值,即降低与第二置信度的比较阈值,通过第三阈值确定待检测图像中是否存在第二标签的特征,通过设置多个阈值的方式,来提高图像检测的精度。
在一些实施例中,如图4所示,所述步骤104中根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的检测结果,具体包括以下步骤301-步骤303:
步骤301、确定所述第二置信度是否小于所述第三阈值,若否,则执行步骤302,若是,则执行步骤303。
步骤302、若所述第二置信度大于或等于所述第三阈值,则将所述第一标签和所述第二标签确定为所述第二检测结果。
步骤303、若所述第二置信度小于所述第三阈值,则将所述第一标签确定为所述第二检测结果。
举例来说,假设第二置信度为a,预设的第三阈值为m,则第二检测结果可能存在以下2种情况:
结果1:如果a≥m,b≥m,则第二检测结果为包括第一标签、第二标签;
结果2:如果a<m,b≥m,则第二检测结果仅为包括第一标签。
例如,第二标签是表征快递面单存在折叠的标签,假设第二置信度为a=0.5,预设的第三阈值为m=0.4,由于a>n,符合结果1的情况,则认为第一检测结果为待检测图像中同时存在亮度不均和折叠这两个标签,则执行步骤302,并输出第二检测结果。
在一些实施例中,所述步骤101、获取待检测图像的初始检测结果的步骤之前,还包括:
步骤一、获取第一样本图像、第二样本图像和第三样本图像。
其中,所述第一样本图像为包括所述第一标签的图像,所述第二样本图像为包括所述第二标签的图像,所述第三样本图像为包括所述第一标签和所述第二标签的图像。
第一样本图像和第二样本图像可以是自动分拣***中通过电子设备(具有拍照扫码功能)进行拍照,在电子设备获取到的图像中,筛选出具备亮度不均的特征的图像作为第一样本图像,并筛选出具备快递面单折叠的特征的图像作为第二样本图像。
步骤二、根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
所述标签分类模型基于神经网络模型构建,所述标签分类模型的具体的训练方法为:将包含的亮度不均特征的第一样本图像、包含折叠特征的第二样本图像以及包含亮度不均和折叠特征的第三样本图像输入到神经网络,得到反映第一样本图像中各像素点的第一预测置信度与第一真实置信度之间的差异的第一损失函数,以及反映训练图像中第二样本图像各像素点的第二预测置信度与第二真实置信度之间的差异的第二损失函数;第一预测置信度为采用神经网络预测出的训练图像中亮度不均区域某一像素点属于亮度不均训练目标的置信度,第一真实置信度表示在训练图像中预先标注的像素点属于亮度不均训练目标的置信度;第二预测置信度为采用神经网络预测出的训练图像中折叠区域某一像素点属于折叠训练目标的置信度,第二真实置信度表示在训练图像中预先标注的像素点属于折叠训练目标的置信度;将第一损失函数和第二损失函数进行加权求和得到目标损失函数;根据目标损失函数调整神经网络的参数,对神经网络进行训练进而最终得到训练后的标签分类模型。
神经网络的输入层接收带有图像类别标签的训练图像,通过基础网络(如CNN网络)进行特征提取,并将提取的图像特征输出给特征层,由该特征层对第一样本图像的训练目标进行类别检测得到第一损失函数,对第一样本图像的训练目标根据图像特征进行类别检测得到第二损失函数,对第一样本图像训练目标根据第一样本图像区域进行位置检测得到位置损失函数,将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。该神经网络可为卷积神经网络。
本实施例的神经网络模型结构图如图5所示,卷积神经网络包括数据输入层、卷积计算层、激活层、池化层和特征全连接层。
数据输入层用于对第一样本图像和第二样本图像的原始图像数据进行预处理。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0,目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。
卷积计算层用于局部关联和窗口滑动。卷积计算层中每个滤波器连接数据窗的权重是固定的,每个滤波器关注一个图像特征,如垂直边缘、水平边缘、颜色、纹理等,将这些滤波器合在一起得到整张图像的特征提取器集合。一个滤波器是一个权重矩阵。通过一个权重矩阵可与不同窗口内数据做卷积。
激活层用于将卷积层输出结果做非线性映射。激活层采用的激活函数可为Sigmoid激活函数或ReLU(The RectifiedLinear Unit,修正线性单元)等等。
池化层可夹在连续的卷积层中间,用于压缩数据和参数的量,减小过拟合。池化层可采用最大值法或平均值法对数据降维。
特征全连接层位于卷积神经网络的尾部,两层之间所有神经元都有权重连接。卷积神经网络的一部分卷积层级联到第一置信度输出节点,一部分卷积层级联到第二置信度输出节点,一部分卷积层级联到位置输出节点,根据第一置信度输出节点可以检测到图像的亮度不均的分类,根据第二置信度输出节点可以检测到图像的折叠目标的类别,根据位置输出节点可以检测到折叠目标所对应的位置。
神经网络常用于分类,例如,对垃圾邮件的识别分类、对图像中对象的识别分类等。这种能自动对输入的变量进行分类的机器,就叫做分类器。分类器的输入是一个数值向量,叫做特征向量。在使用分类器之前,需要对分类器进行训练,即需要先对神经网络进行训练。
本申请实施例中,神经网络模型包括输入层、隐层和输出层。从包含多种快递面单的异常要素的多标签图像中提取特征向量,然后将特征向量输入至隐层中进行计算损失函数的大小,再根据损失函数来调整神经网络模型的参数,使得损失函数不断收敛,进而实现对神经网络模型进行训练得到多标签分类模型。该标签分类模型可以实现对输入的图像进行异常要素识别得到图像中所包含的每个异常要素的标签,并将这些标签作为异常要素识别的结果进行输出。
在一些实施例中,所述获取待检测图像的初始检测结果的步骤,包括:
步骤1)、获取所述待检测图像;
自动分拣***中通过电子设备(具有拍照扫码功能)进行拍照,获取待检测图像。待检测图像可以是拍照预览画面,也可以是拍照后保存到电子设备中的照片。
步骤2)、根据所述训练后的标签分类模型对所述待检测图像进行检测,得到所述初始检测结果。
在一些实施例中,由于可能存在第一样本图像较少的情况,为了尽可能多的获得第一样本图像,同时,为了保证第一样本图像的多样性,尽可能地接近真实情况,因此本实施例是通过在第二样本图像的基础上,对第一样本图像进行数据增广,如图6所示,所述步骤一、获取第一样本图像、第二样本图像和第三样本图像的步骤之后,包括以下步骤401-步骤406:
步骤401、获取所述第二样本图像的局部区域图像,得到包括第二标签的局部图像。
通过随机抠取的方式对包含第二标签的图像特征的原图图像进行抠图,从而得到局部图像,举例来说,对于一张第二样本图像,假设该图的原图大小为1098×960,通过随机抠取第二样本图像,得到一张大小为720×480的第二样本图像的局部图像。
步骤402、对所述局部图像做灰度化处理,得到灰度图像。
其中,对图像做灰度化处理时,可以采用灰度转换公式进行灰度转换,该公式的表达式为:
Gray=R×0.229+G×0.587+B×0.114……(1)
其中R、G、B分别为原图的三个颜色通道对应的像素值,像素值的范围为0-255。将彩色的图像转化为灰度图,忽略图像中的彩色信息对分类精度造成损失,且通过色彩通道数量的缩减,减小了图像的大小,有利于提升模型的训练过程的速度。
步骤403、获取与所述局部图像大小相同的第一模板图像。
假设所述局部图像的大小为720×480,则生成一张大小也为720×480的图像作为第一模板图像。
步骤404、随机更改所述第一模板图像的灰度值,得到多张第二模板图像。
将第一模板图像按随机的方向,逐渐提升或降低第二模板图像的灰度值,分别模拟非一致性的图像亮度过暗和过亮的效果,即第一标签表征的图像特征,其中,灰度值范围为0-255/k、k可以根据实际情况调整,用于防止在第一模板图像的基础上提升灰度值后,灰度值会超过255,k一般取5~10。
步骤405、将所述第二模板图像和所述灰度图像融合,得到融合图像。
将所述第二模板图像和所述灰度图像融合是为了模拟第一标签的亮度不均的情况,由于亮度不均的图像是由于深度、环境等因素导致图像出现非均匀过暗或过亮的效果,因此融合的方式可以采用像素点相加或相减的方式进行图像融合,以尽可能的模拟真实的情况,由于一般图像像素点的像素值范围是[0,255],因此,在图像融合过程中会存在像素值越界的情况,即出现融合图像的像素值超过像素上界(即255)或者低于像素下界(即0)的情况,因此需要对融合图像做出以下处理:
当生成过亮融合图像时,逐个求灰度图和模板对应(相同坐标)像素点的像素值的和,对于大于像素值上界的和,直接取255作为求和结果;
生成过暗融合图像时,逐个求灰度图和模板对应(相同坐标)像素点像素值的差,对于小于像素值下界的差,直接取0作为求差结果。
步骤406、将所述融合图像作为第一样本图像的增广图像。
对应地,在一些实施例中,模型训练中的所述步骤二、根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型这一步骤,可以包括:
步骤三、根据所述第一样本图像、所述第二样本图像、所述第三样本图像以及所述增广图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
由于增广图像是根据第二样本图像进行处理进而得到的第一样本图像的增广图像,即在折叠或快递面单遮挡的图像的基础上模拟亮度不均的图像,因此将处理得到的增广图像作为模型训练的样本图像,可以增加模型的鲁棒性。
可以理解的是,由于快递面单异常要素可能不止异常要素亮度不均、折叠这两种情况,还可能同时存在遮挡、污渍、破损、模糊等,亮度不均也可能是过曝或过暗等,因此,在其他场景中,第二标签也可以包括多个子标签,例如第一子标签、第二子标签、第三子标签、第四子标签等等,并对应设置多个第二置信度,例如可以对应设置第一子置信度、第二子置信度、第三子置信度、第四子置信度等。
需要说明的是,对于存在第一子置信度、第二子置信度、第三子置信度、第四子置信度等的情况,本申请中仍设置第一阈值、第二阈值和第三阈值,且第三阈值小于第二阈值。首先通过先将第一置信度和预设的第一阈值做比较,再根据比较结果,确定选择第二阈值还是第三阈值。
当第一置信度低于第一阈值时,则认为该待检测图像中不包含第一标签的特征,即排除第一标签的图像特征对其他多个标签(第一子标签、第二子标签、第三子标签等等)的图像特征造成影响,之后再将多个子置信度阈值(第一子置信度、第二子置信度、第三子置信度等等)分别和第二预设阈值比较以确定待检测图像中是否存在其他多个标签的特征。
当第一置信度高于第一阈值时,则认为该待检测图像中包含第一标签的特征,即第一标签的图像特征可能对其他多个标签(第一子标签、第二子标签、第三子标签等等)的图像特征造成影响,则再通过降低与第二置信度的比较阈值,即设置第三阈值小于第二阈值,以确定待检测图像中是否存在其他多个标签的特征。通过设置多个阈值的方式,来提高图像检测的精度。
具体地,下面以第二标签包括第一子标签和第二子标签为例,对于存在的两个以上的标签的情况进一步做说明。
在一些实施例中,如图7所示,本实施例的图像检测方法还可以是包括以下步骤501-步骤504:
步骤501、获取所述待检测图像的初始检测结果。
其中,所述初始检测结果包括初始分类标签和与所述初始分类标签对应的标签置信度。所述初始分类标签还可以是包括第一标签和多个子标签,其中多个子标签至少包括第一子标签和第二子标签,假设第一标签表征的是快递面单亮度不均,第一子标签表征的是快递面单折叠,则第二子标签表征的是快递面单遮挡,例如遮挡可以是包含快递信息的二维码或条形码等存在破损或被污渍污损等,所述标签置信度包括第一标签置信度和多个子置信度,所述多个子置信度至少包括与所述第一子标签对应的第一子置信度以及第二子标签对应的第二子置信度;第一子置信度用于表征第一子标签的可信程度,第二子置信度用于表征第二子标签的可信程度。
步骤502、确定所述第一置信度是否小于预设的第一阈值,若是,则执行步骤503,若否,则执行步骤504。
步骤503、将所述多个子标签中与第一目标置信度相对应的子标签确定为所述第一检测结果,所述第一目标置信度为所述多个子置信度中大于或等于所述第二阈值的子置信度。
当确定第一置信度小于预设的第一阈值,即确定待检测图像中不存在亮度不均这个第一标签后,即排除了亮度不均这一要素可能对其他要素识别造成的影响后,分别将第一子置信度、第二子置信度与预设的第二阈值做比较,分别判断第一子置信度是否小于第二阈值以及第二子置信度是否小于第二阈值,将多个子置信度中不小于第二阈值的子置信度作为第一目标置信度,再将第一目标置信度对应的子标签作为待检测图像的标签。
举例来说,假设第一子置信度为a、第二子置信度为b,预设的第二阈值为n,则第一检测结果可能存在以下4种情况:
结果1:如果a≥n,b≥n,则第一检测结果为包括第一子标签和第二子标签;
结果2:如果a≥n,b<n,则第一检测结果为包括第一子标签;
结果3:如果a<n,b≥n,则第一检测结果为包括第二子标签;
结果4:如果a<n,b<n,则第一检测结果为正常的快递面单,即待检测图像不存在第一标签、第一子标签或第二子标签任一标签表征的异常要素。
例如,第一子标签表征快递面单存在折叠,第二子标签表征快递面单存在遮挡,假设第一子置信度为a=0.5,第二子置信度为b=0.9,预设的第二阈值为n=0.8,由于a<n,b>n,符合结果3的情况,则认为第一检测结果为待检测图像中存在遮挡这一标签,排除了折叠这一标签。
步骤504、将所述多个子标签中与第二目标置信度相对应的子标签以及所述第一标签确定为所述第二检测结果,所述第二目标置信度为所述多个子置信度中大于或等于所述第三阈值的子置信度。
当确定第一置信度大于或等于预设的第一阈值,即确定待检测图像中存在亮度不均这个第一标签后,即认为亮度不均这一要素的存在可能会使得折叠或者遮挡的要素无法被识别出后,需要降低第一子置信度和第二子置信度的比较阈值,即设置第三阈值小于第二阈值,分别将第一子置信度和第二子置信度与预设的第三阈值做比较,分别判断第一子置信度是否小于第三阈值以及第二子置信度是否小于第三阈值,将多个子置信度中不小于第三阈值的子置信度作为第二目标置信度,再将第二目标置信度对应的子标签作为待检测图像的标签。
举例来说,假设第一子置信度为a、第二子置信度为b,预设的第三阈值为m,则第二检测结果可能存在以下4种情况:
结果1:如果a≥m,b≥m,则第二检测结果为包括第一标签、第一子标签和第二子标签;
结果2:如果a≥m,b<m,则第二检测结果为包括第一标签和第一子标签;
结果3:如果a<m,b≥m,则第二检测结果为包括第一标签和第二子标签;
结果4:如果a<m,b<m,则第二检测结果仅为包括第一标签。
例如,第一子标签表征快递面单存在折叠,第二子标签表征快递面单存在遮挡,假设第一子置信度为a=0.5,第二子置信度为b=0.4,预设的第二阈值为m=0.4,由于a>n,b=n,符合结果1的情况,则认为第一检测结果为待检测图像中同时存在亮度不均、折叠和遮挡这三标签。
如图8所示,本申请实施例提供的图像检测方法的处理过程为首先获取图像作为模型训练的样本,再根据获取的样本图像对预置的标签分类模型进行训练,将待检测图像输入训练后的标签分类模型,从而得到模型的初始结果,再通过多个阈值对初始结果进行处理,最后输出最终的处理结果,确定待检测图像所包含的标签。
为了更好实施本申请实施例中图像检测方法,在图像检测方法基础之上,本申请实施例中还提供一种图像检测装置,如图9所示,所述图像检测装置600包括:
获取单元601,用于获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
处理单元602,用于确定所述第一置信度是否小于预设的第一阈值;若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
在一些实施例中,所述处理单元602用于:
确定所述第二置信度是否小于所述第二阈值;
若所述第二置信度大于或等于所述第二阈值,则将所述第二标签确定为所述第一检测结果。
在一些实施例中,所述处理单元602用于:
确定所述第二置信度是否小于所述第三阈值;
若所述第二置信度大于或等于所述第三阈值,则将所述第一标签和所述第二标签确定为所述第二检测结果;
若所述第二置信度小于所述第三阈值,则将所述第一标签确定为所述第二检测结果。
在一些实施例中,所述处理单元602用于:
获取第一样本图像、第二样本图像和第三样本图像,所述第一样本图像为包括所述第一标签的图像,所述第二样本图像为包括所述第二标签的图像,所述第三样本图像为包括所述第一标签和所述第二标签的图像;
根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
在一些实施例中,所述处理单元602用于:
获取所述待检测图像;
根据所述训练后的标签分类模型对所述待检测图像进行检测,得到所述初始检测结果。
在一些实施例中,所述处理单元602用于:
获取所述第二样本图像的局部区域,得到包括第二标签的局部图像;
对所述局部图像做灰度化处理,得到灰度图像;
获取与所述局部图像大小相同的第一模板图像;
随机更改所述第一模板图像的灰度值,得到多张第二模板图像;
将所述第二模板图像和所述灰度图像融合,得到融合图像;
将所述融合图像作为所述第一样本图像的增广图像。
在一些实施例中,所述处理单元602用于:
根据所述第一样本图像、所述第二样本图像、所述第三样本图像以及所述增广图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
在一些实施例中,所述第二标签包括多个子标签,所述第二置信度包括多个子置信度;
所述处理单元602用于:
根据所述第二阈值、所述多个子标签、所述多个子置信度确定所述待检测图像的第一检测结果;
根据所述第一标签、所述多个子标签、所述多个子置信度以及预设的第三阈值确定所述待检测图像的第二检测结果。
在一些实施例中,所述处理单元602用于:
将所述多个子标签中与第一目标置信度相对应的子标签确定为所述第一检测结果,所述第一目标置信度为所述多个子置信度中大于或等于所述第二阈值的子置信度;
将所述多个子标签中与第二目标置信度相对应的子标签以及所述第一标签确定为所述第二检测结果,所述第二目标置信度为所述多个子置信度中大于或等于所述第三阈值的子置信度。
本申请实施例的图像检测装置通过获取待检测图像的第一标签和第二标签,以及相应的第一置信度和第二置信度,通过先将第一置信度和预设的第一阈值做比较;当第一置信度低于第一阈值时,则认为该待检测图像中不包含第一标签的特征,即排除第一标签的图像特征对第二标签的图像特征造成影响;再通过第二置信度和第二预设阈值比较以确定待检测图像中是否存在第二标签的特征;当第一置信度高于第一阈值时,则认为该待检测图像中包含第一标签的特征,即第一标签的图像特征可能对第二标签的图像特征造成影响,则再通过预设的第三阈值,且第三阈值小于第二阈值,即降低与第二置信度的比较阈值,通过第三阈值确定待检测图像中是否存在第二标签的特征,通过设置多个阈值的方式,来提高图像检测的精度。
本申请实施例还提供一种电子设备,其集成了本申请实施例所提供的任一种图像检测装置,请参考图10,图10示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图10中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器701是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;在一些实施例中,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
电子设备还包括给各个部件供电的电源703,电源703具体可以通过电源管理***与处理器701逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本申请实施例中,电子设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能,如下:
获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;确定所述第一置信度是否小于预设的第一阈值;若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
本申请实施例的电子设备通过获取待检测图像的第一标签和第二标签,以及相应的第一置信度和第二置信度,通过先将第一置信度和预设的第一阈值做比较;当第一置信度低于第一阈值时,则认为该待检测图像中不包含第一标签的特征,即排除第一标签的图像特征对第二标签的图像特征造成影响;再通过第二置信度和第二预设阈值比较以确定待检测图像中是否存在第二标签的特征;当第一置信度高于第一阈值时,则认为该待检测图像中包含第一标签的特征,即第一标签的图像特征可能对第二标签的图像特征造成影响,则再通过预设的第三阈值,且第三阈值小于第二阈值,即降低与第二置信度的比较阈值,通过第三阈值确定待检测图像中是否存在第二标签的特征,通过设置多个阈值的方式,来提高图像检测的精度。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像检测方法中的步骤。例如,该指令可以执行如下步骤:
获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
确定所述第一置信度是否小于预设的第一阈值;
若是,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;
若否,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第二阈值大于所述第三阈值。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种图像检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像检测方法、装置、电子设备及其存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种图像检测方法,其特征在于,所述方法包括:
获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
确定所述第一置信度是否小于预设的第一阈值;
若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;
若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
2.根据权利要求1所述的图像检测方法,其特征在于,所述根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果的步骤,包括:
若所述第二置信度大于或等于所述第二阈值,则将所述第二标签确定为所述第一检测结果。
3.根据权利要求1所述的图像检测方法,其特征在于,所述根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
若所述第二置信度大于或等于所述第三阈值,则将所述第一标签和所述第二标签确定为所述第二检测结果;
若所述第二置信度小于所述第三阈值,则将所述第一标签确定为所述第二检测结果。
4.根据权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像的初始检测结果的步骤之前,还包括:
获取第一样本图像、第二样本图像和第三样本图像,所述第一样本图像为包括所述第一标签的图像,所述第二样本图像为包括所述第二标签的图像,所述第三样本图像为包括所述第一标签和所述第二标签的图像;
根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
5.根据权利要求4所述的图像检测方法,其特征在于,所述获取待检测图像的初始检测结果的步骤,包括:
获取所述待检测图像;
根据所述训练后的标签分类模型对所述待检测图像进行检测,得到所述初始检测结果。
6.根据权利要求4所述的图像检测方法,其特征在于,获取第一样本图像、第二样本图像和第三样本图像的步骤之后,包括:
获取所述第二样本图像的局部区域,得到包括第二标签的局部图像;
对所述局部图像做灰度化处理,得到灰度图像;
获取与所述局部图像大小相同的第一模板图像;
随机更改所述第一模板图像的灰度值,得到多张第二模板图像;
将所述第二模板图像和所述灰度图像融合,得到融合图像;
将所述融合图像作为所述第一样本图像的增广图像。
7.根据权利要求6所述的图像检测方法,其特征在于,所述根据所述第一样本图像、所述第二样本图像以及所述第三样本图像对预置的标签分类模型进行训练,得到训练后的标签分类模型的步骤,包括:
根据所述第一样本图像、所述第二样本图像、所述第三样本图像以及所述增广图像对预置的标签分类模型进行训练,得到训练后的标签分类模型。
8.根据权利要求1-7任一权利要求所述的图像检测方法,其特征在于,所述第二标签包括多个子标签,所述第二置信度包括多个子置信度;
所述根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果的步骤,包括:
根据所述第二阈值、所述多个子标签、所述多个子置信度确定所述待检测图像的第一检测结果;
所述根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
根据所述第一标签、所述多个子标签、所述多个子置信度以及预设的第三阈值确定所述待检测图像的第二检测结果。
9.根据权利要求8所述的图像检测方法,其特征在于,
所述根据所述第二阈值、所述多个子标签、所述多个子置信度确定所述待检测图像的第一检测结果的步骤包括:
将所述多个子标签中与第一目标置信度相对应的子标签确定为所述第一检测结果,所述第一目标置信度为所述多个子置信度中大于或等于所述第二阈值的子置信度;
所述根据所述第一标签、所述多个子标签、所述多个子置信度以及预设的第三阈值确定所述待检测图像的第二检测结果的步骤,包括:
将所述多个子标签中与第二目标置信度相对应的子标签以及所述第一标签确定为所述第二检测结果,所述第二目标置信度为所述多个子置信度中大于或等于所述第三阈值的子置信度。
10.一种图像检测装置,其特征在于,所述装置包括:
获取单元,用于获取待检测图像的初始检测结果,所述初始检测结果包括第一标签、第二标签、第一置信度及第二置信度,其中,所述第一置信度与所述第一标签相对应,所述第二置信度与所述第二标签相对应;
处理单元,用于确定所述第一置信度是否小于预设的第一阈值;若所述第一置信度小于预设的第一阈值,则根据预设的第二阈值、所述第二标签以及所述第二置信度确定所述待检测图像的第一检测结果;若所述第一置信度不小于预设的第一阈值,则根据所述第一标签、所述第二标签、所述第二置信度以及预设的第三阈值确定所述待检测图像的第二检测结果,其中,所述第三阈值小于所述第二阈值。
11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行如权利要求1-9任一权利要求所述的图像检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870207.XA CN114118114A (zh) | 2020-08-26 | 2020-08-26 | 一种图像检测方法、装置及其存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870207.XA CN114118114A (zh) | 2020-08-26 | 2020-08-26 | 一种图像检测方法、装置及其存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114118114A true CN114118114A (zh) | 2022-03-01 |
Family
ID=80374229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010870207.XA Pending CN114118114A (zh) | 2020-08-26 | 2020-08-26 | 一种图像检测方法、装置及其存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114118114A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205661A (zh) * | 2017-12-27 | 2018-06-26 | 浩云科技股份有限公司 | 一种基于深度学习的atm机异常人脸检测方法 |
CN108777815A (zh) * | 2018-06-08 | 2018-11-09 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
CN108805103A (zh) * | 2018-06-29 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN108804658A (zh) * | 2018-06-08 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
CN109767467A (zh) * | 2019-01-22 | 2019-05-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110021036A (zh) * | 2019-04-13 | 2019-07-16 | 北京环境特性研究所 | 红外目标检测方法、装置、计算机设备和存储介质 |
CN110163115A (zh) * | 2019-04-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置和计算机可读存储介质 |
CN110458245A (zh) * | 2019-08-20 | 2019-11-15 | 图谱未来(南京)人工智能研究院有限公司 | 一种多标签分类模型训练方法、数据处理方法及装置 |
CN110490914A (zh) * | 2019-07-29 | 2019-11-22 | 广东工业大学 | 一种基于亮度自适应和显著性检测的图像融合方法 |
WO2019233394A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
CN110781919A (zh) * | 2019-09-23 | 2020-02-11 | 腾讯云计算(北京)有限责任公司 | 分类模型训练方法、分类方法、装置及设备 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
-
2020
- 2020-08-26 CN CN202010870207.XA patent/CN114118114A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205661A (zh) * | 2017-12-27 | 2018-06-26 | 浩云科技股份有限公司 | 一种基于深度学习的atm机异常人脸检测方法 |
CN108777815A (zh) * | 2018-06-08 | 2018-11-09 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
CN108804658A (zh) * | 2018-06-08 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
WO2019233394A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
CN108805103A (zh) * | 2018-06-29 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN109767467A (zh) * | 2019-01-22 | 2019-05-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110021036A (zh) * | 2019-04-13 | 2019-07-16 | 北京环境特性研究所 | 红外目标检测方法、装置、计算机设备和存储介质 |
CN110163115A (zh) * | 2019-04-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置和计算机可读存储介质 |
CN110490914A (zh) * | 2019-07-29 | 2019-11-22 | 广东工业大学 | 一种基于亮度自适应和显著性检测的图像融合方法 |
CN110458245A (zh) * | 2019-08-20 | 2019-11-15 | 图谱未来(南京)人工智能研究院有限公司 | 一种多标签分类模型训练方法、数据处理方法及装置 |
CN110781919A (zh) * | 2019-09-23 | 2020-02-11 | 腾讯云计算(北京)有限责任公司 | 分类模型训练方法、分类方法、装置及设备 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110060237B (zh) | 一种故障检测方法、装置、设备及*** | |
US8983200B2 (en) | Object segmentation at a self-checkout | |
US7643674B2 (en) | Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture | |
CN109409210B (zh) | 一种基于ssd框架的人脸检测方法及*** | |
Xiang et al. | Moving object detection and shadow removing under changing illumination condition | |
US11741685B2 (en) | Commodity identification device, non-transitory computer-readable storage medium, and learning method | |
Bappy et al. | Real estate image classification | |
CN111461143A (zh) | 一种图片翻拍识别方法和装置及电子设备 | |
CN113065379A (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
CN108460775A (zh) | 一种纸币真伪识别方法及装置 | |
CN117173154A (zh) | 玻璃瓶的在线图像检测***及其方法 | |
CN116994049A (zh) | 全自动针织横机及其方法 | |
CN114170642A (zh) | 图像检测的处理方法、装置、设备及存储介质 | |
CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
CN114118114A (zh) | 一种图像检测方法、装置及其存储介质 | |
KR20230127121A (ko) | 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법 | |
CN115860026A (zh) | 条码检测方法、装置、条码检测设备和可读存储介质 | |
CN112257768B (zh) | 一种非法金融图片的识别方法、装置、计算机存储介质 | |
CN111935480B (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
CN112990245A (zh) | 物品识别方法、装置、设备及存储介质 | |
CN115471473B (zh) | 一种家具板材瑕疵检测***及方法 | |
CN112381046B (zh) | 多任务姿态不变的人脸识别方法、***、装置及存储介质 | |
CN106446902A (zh) | 非文字图像识别方法和装置 | |
CN118228752A (zh) | 条码图像修复方法、装置、电子设备及存储介质 | |
Jamal et al. | Developing CNN Model for Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |