CN110647931A - 物体检测方法、电子设备、***及介质 - Google Patents

物体检测方法、电子设备、***及介质 Download PDF

Info

Publication number
CN110647931A
CN110647931A CN201910893854.XA CN201910893854A CN110647931A CN 110647931 A CN110647931 A CN 110647931A CN 201910893854 A CN201910893854 A CN 201910893854A CN 110647931 A CN110647931 A CN 110647931A
Authority
CN
China
Prior art keywords
picture
training sample
training
detection model
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910893854.XA
Other languages
English (en)
Inventor
罗斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910893854.XA priority Critical patent/CN110647931A/zh
Publication of CN110647931A publication Critical patent/CN110647931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种物体检测方法、电子设备、***及介质,所述方法包括:接收待检测图片;将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;获取所述检测模型的输出结果;根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。本发明解决了物体检测时泛化能力不足的问题,以及由于样本难以获取导致的过拟合问题,同时由于协同训练,提升了物体检测时检测模型的性能,进而提高了物体检测的准确率。

Description

物体检测方法、电子设备、***及介质
技术领域
本发明涉及图像识别技术领域,尤其涉及物体检测方法、电子设备、***及介质。
背景技术
目前,在进行物体检测时,通常采用大量有标记的样本进行自训练,得到对应物体的检测模型。
然而,上述方式存在如下弊端:
(1)在对样本进行标记时,需要耗费大量的人力,且容易产生误标记,样本噪声也较高;
(2)自训练方式对于置信度低的样本利用率不足;
(3)自训练时利用极少量标注样本进行监督训练,容易导致过拟合以及后期模型泛化能力不足的问题;
(4)对于新增物体的检测,需要重新获取大量图片进行标记并重新训练,效率较低。
由于上述训练方式的不足,导致物体检测的效率及效果均受到一定程度的影响。
发明内容
本发明的主要目的在于提供物体检测方法、电子设备、***及介质,旨在解决物体检测时泛化能力不足的问题,以及由于样本难以获取导致的过拟合问题,同时由于协同训练,提升了物体检测时检测模型的性能,进而提高了物体检测的准确率。
为实现上述目的,本发明提供一种物体检测方法,所述方法包括:
接收待检测图片;
将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;
获取所述检测模型的输出结果;
根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
优选地,所述方法还包括:
A.创建第一训练样本,所述第一训练样本包括标记图片及合成图片;
B.利用所述第一训练样本同时训练多个子模型;
C.创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本;
D.将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果,从所述多个输出结果中筛选出置信度高于预设阈值的数据,合并筛选出的数据作为更新的第二训练样本;
重复D,直至所述第二训练样本满足配置条件时,停止训练,得到所述检测模型。
优选地,所述多个子模型的原理不同。
优选地,所述方法还包括:
获取模板图片及背景图片;
对所述模板图片进行预处理,得到第一图片;
计算所述第一图片与所述背景图片的色差;
确定所述第一图片中的物体在所述背景图片中的占比;
判定所述第一图片中物体的属性与所述背景图片是否匹配;
当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,融合所述第一图片及所述背景图片,得到所述合成图片。
优选地,所述方法还包括:
添加光照模拟因素至所述合成图片。
优选地,所述第二训练样本满足配置条件包括:
所述第二训练样本中未标记图片的数据量少于配置数量;或者
所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
为实现上述目的,本发明进一步提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现所述物体检测方法。
优选地,所述电子设备为组成内容分发网络或者区块链网络的节点。
为实现上述目的,本发明进一步提供一种物体检测***,所述***包括:
接收单元,用于接收待检测图片;
输入单元,用于将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;
获取单元,用于获取所述检测模型的输出结果;
确定单元,用于根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
优选地,所述***还包括:
A.创建单元,用于创建第一训练样本,所述第一训练样本包括标记图片及合成图片;
B.训练单元,用于利用所述第一训练样本同时训练多个子模型;
C.所述创建单元,还用于创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本;
D.所述输入单元,还用于将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果;筛选单元,用于从所述多个输出结果中筛选出置信度高于预设阈值的数据;合并单元,用于合并筛选出的数据作为更新的第二训练样本;
重复D,直至所述第二训练样本满足配置条件时,所述训练单元,还用于停止训练,得到所述检测模型。
优选地,所述多个子模型的原理不同。
优选地,所述获取单元,还用于获取模板图片及背景图片;
所述***还包括:
预处理单元,用于对所述模板图片进行预处理,得到第一图片;
计算单元,用于计算所述第一图片与所述背景图片的色差;
所述确定单元,还用于确定所述第一图片中的物体在所述背景图片中的占比;
判定单元,用于判定所述第一图片中物体的属性与所述背景图片是否匹配;
融合单元,用于当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,融合所述第一图片及所述背景图片,得到所述合成图片。
优选地,所述***还包括:
添加单元,用于添加光照模拟因素至所述合成图片。
优选地,所述第二训练样本满足配置条件包括:
所述第二训练样本中未标记图片的数据量少于配置数量;或者
所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
综上所述,本发明能够接收待检测图片,并将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练,通过模型互补作用,有效提升了检测模型的性能,进一步获取所述检测模型的输出结果,并根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置,实现对物体的自动检测,由于检测模型的性能有所提升,检测结果的准确率也较高。
附图说明
图1为本发明一实施例的流程示意图;
图2为本发明一实施例揭露的电子设备的内部结构示意图;
图3为本发明物体检测***的功能模块示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
主要元件符号说明
Figure BDA0002209622760000051
Figure BDA0002209622760000061
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种物体检测方法。
参照图1,图1为本发明一实施例的流程示意图。根据不同的需求,该流程示意图中步骤的顺序可以改变,某些步骤可以省略。
所述物体检测方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,所述电子设备的硬件设备包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
在一实施例中,该方法包括:
S10,接收待检测图片。
在本发明的至少一个实施例中,所述待检测图片是指需要进行物体检测的图片。
例如:当用户想要确定一张图片中是否存在某个物体时,上传该图片至所述电子设备,所述电子设备接收该图片,并作为所述待检测图片。
S11,将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练。
在本发明的至少一个实施例中,所述方法还包括:
所述电子设备训练所述检测模型。
具体地,所述电子设备训练所述检测模型包括:
A.所述电子设备创建第一训练样本,所述第一训练样本包括标记图片及合成图片。
B.所述电子设备利用所述第一训练样本同时训练多个子模型。
C.所述电子设备创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本。
D.所述电子设备将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果,所述电子设备从所述多个输出结果中筛选出置信度高于预设阈值的数据,所述电子设备合并筛选出的数据作为更新的第二训练样本。
重复D,直至所述第二训练样本满足配置条件时,所述电子设备停止训练,得到所述检测模型。
其中,所述预设阈值可以进行自定义配置,例如:为了提高所述检测模型的精确度,所述预设预置可以配置为0.9。
其中,所述电子设备合并筛选出的数据是指对所述筛选出的数据进行并集运算。
在上述训练过程中,不仅能够实现对每个子模型的自训练,提升每个子模型的精度,同时,由于对筛选出的数据进行了合并,并加入到下一轮的训练数据中,还能够实现每个子模型间的协同训练,弥补每个子模型的不足。通过反复的循环迭代,最终得到所述检测模型。
通过上述实施方式,能够结合自训练及协同训练的方式训练得到所述检测模型,由于训练样本克服了数量、误差及噪声的缺陷,且协同训练的方式实现了模型互补,因此有效提升了检测模型的性能。
在本发明的至少一个实施例中,本发明对所述标记图片的标记方法不做限制。例如:所述标记图片可以采用人工标记或者机器标记等。
具体地,在进行物体检测时,需要标记图片中物体的类别以及在图片中所处的位置。
进一步地,由于所述标记图片存在一定误差,且标记困难,所述电子设备可以采用少量的所述标记图片,并结合适量的所述合成图片作为所述第一训练样本。
其中,所述电子设备生成所述合成图片包括:
所述电子设备获取模板图片及背景图片,并对所述模板图片进行预处理,得到第一图片,所述电子设备计算所述第一图片与所述背景图片的色差,并确定所述第一图片中的物体在所述背景图片中的占比,所述电子设备进一步判定所述第一图片中物体的属性与所述背景图片是否匹配,当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,所述电子设备融合所述第一图片及所述背景图片,得到所述合成图片。
具体地,所述模板图片是指能够反映出物体轮廓的图片;所述背景图片是指每个物体能够置于的背景的图片。
进一步地,所述电子设备对所述模板图片进行预处理可以包括:
所述电子设备对所述模板图片进行几何变换及光照处理。
其中,所述几何变换可以包括,但不限于以下一种或者多种的组合:旋转、放大、缩小、平移、透视变化、叠加纹理、仿射变化等。
所述光照处理可以包括,但不限于以下一种或者多种的组合:加扰动、色彩调整等。
在本发明的至少一个实施例中,所述电子设备计算所述第一图片与所述背景图片的色差包括:
所述电子设备分别计算所述第一图片的第一颜色直方图,及所述背景图片的第二颜色直方图,进一步地,所述电子设备计算所述第一颜色直方图及所述第二颜色直方图在R、G、B三个维度上的差值,并取三个维度上差值的平均值作为所述色差。
在本发明的至少一个实施例中,所述配置值及所述配置范围可以进行自定义配置。
另外,在实际场景下,物体可能分布在所述背景图片的不同位置,其尺寸也会发生变化。为模拟真实效果,需要对物体在所述背景图片中的位置和尺寸进行设定,为了选取尽量合适的区域,避免物体落入复杂背景区域,所述电子设备可以使用杂乱程度较低的区域作为背景。
进一步地,在融合所述第一图片及所述背景图片时,所述电子设备可以采用mask线性融合方法。
在本实施例中,通过生成所述合成图片,能够减少对样本的标注量,进而避免标注错误对模型训练的影响。同时,由于结合了所述合成图片,不仅提高了模型的泛化能力,且由于训练样本的数据量增多,进而有效避免了过拟合现象的发生。
更进一步地,所述电子设备还可以添加光照模拟因素至所述合成图片,以模拟图片实拍时的状态,提高了检测模型的可信度。
例如:所述电子设备可以对所述合成图片进行伽马变换等。
在本发明的至少一个实施例中,所述多个子模型的原理不同。
例如:针对物体识别领域,所述电子设备可以采用基于anchor原理的faster-RCNN(faster-Region-based Convolutional Neural Network,基于候选区域的快速卷积神经网络)模型、RetinaNet(目标检测算法)模型或者TridentNet(三叉戟网络)模型等,并搭配采用基于anchor-free原理的centerNet(基于中心点的检测网络)模型等作为所述多个子模型。
通过上述实施方式,能够充分利用不同子模型间协同训练的优点,利用差别较大的多个子模型进行协同训练,能够使所述多个子模型互相学习对方的优势,并进行互补,进一步拓展所述检测模型的泛化能力。
在本发明的至少一个实施例中,所述第二训练样本满足配置条件包括,但不限于以下任意一种情况:
(1)所述第二训练样本中未标记图片的数据量少于配置数量。
具体地,所述配置数量可以进行自定义配置,本发明不限制。
可以理解的是,当所述第二训练样本中未标记图片的数据量过少时,此时再进行训练也不会有很大的改进,因此,为了节约时间,所述电子设备停止训练。
(2)所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
具体地,所述配置置信度可以进行自定义配置,本发明不限制,例如:0.1等。
可以理解的是,当所述第二训练样本中未标记图片对应的输出结果的置信度始终小于所述配置置信度,此时再进行训练同样不会有很大的改进,因此,为了节约时间,提升效率,所述电子设备停止训练。
S12,获取所述检测模型的输出结果。
在本发明的至少一个实施例中,所述输出结果可以包括:所述待检测图片中包括目标物体的概率及所述目标物体的位置。
其中,所述目标物体是指需要确定在所述待检测图片中是否存在的物体,如:logo等。
S13,根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
在本发明的至少一个实施例中,所述概率可以包括0-1间的数字。
在本发明的至少一个实施例中,所述电子设备可以以矩形框的方式标记所述目标物体的位置,本发明不限制。
通过上述实施方式,所述电子设备不仅能够确定在所述待检测图片中是否存在所述目标物体,同时还能清楚的显示所述目标物体在所述待检测图片中所处的位置。
当然,本案中对于模型的协同训练方式还可以应用于其他半监督任务中,如:分类、分割等任务。
综上所述,本发明能够接收待检测图片,并将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练,通过模型互补作用,有效提升了检测模型的性能,进一步获取所述检测模型的输出结果,并根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置,实现对物体的自动检测,由于检测模型的性能有所提升,检测结果的准确率也较高。
参见图2,在本实施例中,所述电子设备1可以是组成内容分发网络或者区块链网络的节点。
所述电子设备1可以包括存储器12、处理器13和总线,还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如物体检测程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
其中,存储器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如物体检测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器12中存储的程序代码或处理数据,例如执行物体检测程序等。
所述处理器13执行所述电子设备1的操作***以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个物体检测方法实施例中的步骤,例如图1所示的步骤S10、S11、S12、S13。
或者,所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如:接收待检测图片;将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;获取所述检测模型的输出结果;根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
该总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图2中仅用一根箭头表示,但并不表示仅有一根总线或一种类型的总线。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如,所述计算机程序可以被分割成接收单元110、输入单元111、获取单元112、确定单元113、创建单元114、训练单元115、筛选单元116、合并单元117、预处理单元118、计算单元119、判定单元120、融合单元121以及添加单元122。
进一步地,电子设备还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件设备来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
图2仅示出了具有组件12-13,以及物体检测程序的电子设备1,本领域技术人员可以理解的是,图2示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
结合图1,所述电子设备1中的所述存储器12存储多个指令以实现一种物体检测方法,所述处理器13可执行所述多个指令从而实现:接收待检测图片;将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;获取所述检测模型的输出结果;根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
A.创建第一训练样本,所述第一训练样本包括标记图片及合成图片;
B.利用所述第一训练样本同时训练多个子模型;
C.创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本;
D.将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果,从所述多个输出结果中筛选出置信度高于预设阈值的数据,合并筛选出的数据作为更新的第二训练样本;
重复D,直至所述第二训练样本满足配置条件时,停止训练,得到所述检测模型。
根据本发明优选实施例,所述多个子模型的原理不同。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取模板图片及背景图片;
对所述模板图片进行预处理,得到第一图片;
计算所述第一图片与所述背景图片的色差;
确定所述第一图片中的物体在所述背景图片中的占比;
判定所述第一图片中物体的属性与所述背景图片是否匹配;
当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,融合所述第一图片及所述背景图片,得到所述合成图片。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
添加光照模拟因素至所述合成图片。
根据本发明优选实施例,所述第二训练样本满足配置条件包括:
所述第二训练样本中未标记图片的数据量少于配置数量;或者
所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
参照图3,为本发明物体检测***的功能模块示意图。所述物体检测***11包括接收单元110、输入单元111、获取单元112、确定单元113、创建单元114、训练单元115、筛选单元116、合并单元117、预处理单元118、计算单元119、判定单元120、融合单元121以及添加单元122。本发明所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
接收单元110接收待检测图片。
在本发明的至少一个实施例中,所述待检测图片是指需要进行物体检测的图片。
例如:当用户想要确定一张图片中是否存在某个物体时,上传该图片至所述接收单元110,所述接收单元110接收该图片,并作为所述待检测图片。
输入单元111将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练。
在本发明的至少一个实施例中,所述方法还包括:
训练所述检测模型。
具体地,所述训练所述检测模型包括:
A.创建单元114创建第一训练样本,所述第一训练样本包括标记图片及合成图片。
B.训练单元115利用所述第一训练样本同时训练多个子模型。
C.所述创建单元114创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本。
D.所述输入单元111将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果,筛选单元116从所述多个输出结果中筛选出置信度高于预设阈值的数据,合并单元117合并筛选出的数据作为更新的第二训练样本。
重复D,直至所述第二训练样本满足配置条件时,所述训练单元115停止训练,得到所述检测模型。
其中,所述预设阈值可以进行自定义配置,例如:为了提高所述检测模型的精确度,所述预设预置可以配置为0.9。
其中,所述合并单元117合并筛选出的数据是指对所述筛选出的数据进行并集运算。
在上述训练过程中,不仅能够实现对每个子模型的自训练,提升每个子模型的精度,同时,由于对筛选出的数据进行了合并,并加入到下一轮的训练数据中,还能够实现每个子模型间的协同训练,弥补每个子模型的不足。通过反复的循环迭代,最终得到所述检测模型。
通过上述实施方式,能够结合自训练及协同训练的方式训练得到所述检测模型,由于训练样本克服了数量、误差及噪声的缺陷,且协同训练的方式实现了模型互补,因此有效提升了检测模型的性能。
在本发明的至少一个实施例中,本发明对所述标记图片的标记方法不做限制。例如:所述标记图片可以采用人工标记或者机器标记等。
具体地,在进行物体检测时,需要标记图片中物体的类别以及在图片中所处的位置。
进一步地,由于所述标记图片存在一定误差,且标记困难,所述训练单元115可以采用少量的所述标记图片,并结合适量的所述合成图片作为所述第一训练样本。
其中,生成所述合成图片包括:
所述获取单元112获取模板图片及背景图片,预处理单元118对所述模板图片进行预处理,得到第一图片,计算单元119计算所述第一图片与所述背景图片的色差,确定单元113确定所述第一图片中的物体在所述背景图片中的占比,判定单元120进一步判定所述第一图片中物体的属性与所述背景图片是否匹配,当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,融合单元121融合所述第一图片及所述背景图片,得到所述合成图片。
具体地,所述模板图片是指能够反映出物体轮廓的图片;所述背景图片是指每个物体能够置于的背景的图片。
进一步地,所述预处理单元118对所述模板图片进行预处理可以包括:
所述预处理单元118对所述模板图片进行几何变换及光照处理。
其中,所述几何变换可以包括,但不限于以下一种或者多种的组合:旋转、放大、缩小、平移、透视变化、叠加纹理、仿射变化等。
所述光照处理可以包括,但不限于以下一种或者多种的组合:加扰动、色彩调整等。
在本发明的至少一个实施例中,所述计算单元119计算所述第一图片与所述背景图片的色差包括:
所述计算单元119分别计算所述第一图片的第一颜色直方图,及所述背景图片的第二颜色直方图,进一步地,所述计算单元119计算所述第一颜色直方图及所述第二颜色直方图在R、G、B三个维度上的差值,并取三个维度上差值的平均值作为所述色差。
在本发明的至少一个实施例中,所述配置值及所述配置范围可以进行自定义配置。
另外,在实际场景下,物体可能分布在所述背景图片的不同位置,其尺寸也会发生变化。为模拟真实效果,需要对物体在所述背景图片中的位置和尺寸进行设定,为了选取尽量合适的区域,避免物体落入复杂背景区域,可以使用杂乱程度较低的区域作为背景。
进一步地,在融合所述第一图片及所述背景图片时,所述融合单元121可以采用mask线性融合方法。
在本实施例中,通过生成所述合成图片,能够减少对样本的标注量,进而避免标注错误对模型训练的影响。同时,由于结合了所述合成图片,不仅提高了模型的泛化能力,且由于训练样本的数据量增多,进而有效避免了过拟合现象的发生。
更进一步地,添加单元122还可以添加光照模拟因素至所述合成图片,以模拟图片实拍时的状态,提高了检测模型的可信度。
例如:所述添加单元122可以对所述合成图片进行伽马变换等。
在本发明的至少一个实施例中,所述多个子模型的原理不同。
例如:针对物体识别领域,所述训练单元115可以采用基于anchor原理的faster-RCNN(faster-Region-based Convolutional Neural Network,基于候选区域的快速卷积神经网络)模型、RetinaNet(目标检测算法)模型或者TridentNet(三叉戟网络)模型等,并搭配采用基于anchor-free原理的centerNet(基于中心点的检测网络)模型等作为所述多个子模型。
通过上述实施方式,能够充分利用不同子模型间协同训练的优点,利用差别较大的多个子模型进行协同训练,能够使所述多个子模型互相学习对方的优势,并进行互补,进一步拓展所述检测模型的泛化能力。
在本发明的至少一个实施例中,所述第二训练样本满足配置条件包括,但不限于以下任意一种情况:
(1)所述第二训练样本中未标记图片的数据量少于配置数量。
具体地,所述配置数量可以进行自定义配置,本发明不限制。
可以理解的是,当所述第二训练样本中未标记图片的数据量过少时,此时再进行训练也不会有很大的改进,因此,为了节约时间,所述训练单元115停止训练。
(2)所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
具体地,所述配置置信度可以进行自定义配置,本发明不限制,例如:0.1等。
可以理解的是,当所述第二训练样本中未标记图片对应的输出结果的置信度始终小于所述配置置信度,此时再进行训练同样不会有很大的改进,因此,为了节约时间,提升效率,所述训练单元115停止训练。
所述获取单元112获取所述检测模型的输出结果。
在本发明的至少一个实施例中,所述输出结果可以包括:所述待检测图片中包括目标物体的概率及所述目标物体的位置。
其中,所述目标物体是指需要确定在所述待检测图片中是否存在的物体,如:logo等。
所述确定单元113根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
在本发明的至少一个实施例中,所述概率可以包括0-1间的数字。
在本发明的至少一个实施例中,所述确定单元113可以以矩形框的方式标记所述目标物体的位置,本发明不限制。
通过上述实施方式,所述确定单元113不仅能够确定在所述待检测图片中是否存在所述目标物体,同时还能清楚的显示所述目标物体在所述待检测图片中所处的位置。
当然,本案中对于模型的协同训练方式还可以应用于其他半监督任务中,如:分类、分割等任务。
综上所述,本发明能够接收待检测图片,并将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练,通过模型互补作用,有效提升了检测模型的性能,进一步获取所述检测模型的输出结果,并根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置,实现对物体的自动检测,由于检测模型的性能有所提升,检测结果的准确率也较高。
在上述实施例中,可以全部或部分地通过软件、硬件设备、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、移动硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态移动硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件设备的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种物体检测方法,其特征在于,所述方法包括:
接收待检测图片;
将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;
获取所述检测模型的输出结果;
根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
2.如权利要求1所述的物体检测方法,其特征在于,所述方法还包括:
A.创建第一训练样本,所述第一训练样本包括标记图片及合成图片;
B.利用所述第一训练样本同时训练多个子模型;
C.创建第二训练样本,所述第二训练样本包括未标记图片及所述第一训练样本;
D.将所述第二训练样本输入到所述多个子模型中,得到对应的多个输出结果,从所述多个输出结果中筛选出置信度高于预设阈值的数据,合并筛选出的数据作为更新的第二训练样本;
重复D,直至所述第二训练样本满足配置条件时,停止训练,得到所述检测模型。
3.如权利要求2所述的物体检测方法,其特征在于,所述多个子模型的原理不同。
4.如权利要求2所述的物体检测方法,其特征在于,所述方法还包括:
获取模板图片及背景图片;
对所述模板图片进行预处理,得到第一图片;
计算所述第一图片与所述背景图片的色差;
确定所述第一图片中的物体在所述背景图片中的占比;
判定所述第一图片中物体的属性与所述背景图片是否匹配;
当所述色差大于或者等于配置值,所述占比在配置范围内,及所述第一图片中物体的属性与所述背景图片匹配时,融合所述第一图片及所述背景图片,得到所述合成图片。
5.如权利要求4所述的物体检测方法,其特征在于,所述方法还包括:
添加光照模拟因素至所述合成图片。
6.如权利要求2所述的物体检测方法,其特征在于,所述第二训练样本满足配置条件包括:
所述第二训练样本中未标记图片的数据量少于配置数量;或者
所述第二训练样本中未标记图片对应的输出结果的置信度始终小于配置置信度。
7.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至6中任意一项所述的物体检测方法。
8.根据权利要求7所述的电子设备,其特征在于,所述电子设备为组成内容分发网络或者区块链网络的节点。
9.一种物体检测***,其特征在于,所述***包括:
接收单元,用于接收待检测图片;
输入单元,用于将所述待检测图片输入到预先训练的检测模型中,其中,所述检测模型采用协同训练方式进行训练;
获取单元,用于获取所述检测模型的输出结果;
确定单元,用于根据所述输出结果确定所述待检测图片中包括目标物体的概率及所述目标物体的位置。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有物体检测程序,所述物体检测程序可被一个或者多个处理器执行,以实现如权利要求1至6中任一项所述的物体检测方法。
CN201910893854.XA 2019-09-20 2019-09-20 物体检测方法、电子设备、***及介质 Pending CN110647931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910893854.XA CN110647931A (zh) 2019-09-20 2019-09-20 物体检测方法、电子设备、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910893854.XA CN110647931A (zh) 2019-09-20 2019-09-20 物体检测方法、电子设备、***及介质

Publications (1)

Publication Number Publication Date
CN110647931A true CN110647931A (zh) 2020-01-03

Family

ID=69010911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893854.XA Pending CN110647931A (zh) 2019-09-20 2019-09-20 物体检测方法、电子设备、***及介质

Country Status (1)

Country Link
CN (1) CN110647931A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091167A (zh) * 2020-03-25 2020-05-01 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111369589A (zh) * 2020-02-26 2020-07-03 桂林电子科技大学 一种基于多策略融合的无人机跟踪方法
CN111860211A (zh) * 2020-06-29 2020-10-30 李利明 餐具和参照物识别方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038515A (zh) * 2017-12-27 2018-05-15 中国地质大学(武汉) 无监督多目标检测跟踪方法及其存储装置与摄像装置
CN109766830A (zh) * 2019-01-09 2019-05-17 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别***及方法
CN110060233A (zh) * 2019-03-20 2019-07-26 中国农业机械化科学研究院 一种玉米果穗破损检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038515A (zh) * 2017-12-27 2018-05-15 中国地质大学(武汉) 无监督多目标检测跟踪方法及其存储装置与摄像装置
CN109766830A (zh) * 2019-01-09 2019-05-17 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别***及方法
CN110060233A (zh) * 2019-03-20 2019-07-26 中国农业机械化科学研究院 一种玉米果穗破损检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111369589A (zh) * 2020-02-26 2020-07-03 桂林电子科技大学 一种基于多策略融合的无人机跟踪方法
CN111369589B (zh) * 2020-02-26 2022-04-22 桂林电子科技大学 一种基于多策略融合的无人机跟踪方法
CN111091167A (zh) * 2020-03-25 2020-05-01 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN111091167B (zh) * 2020-03-25 2020-07-28 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN111860211A (zh) * 2020-06-29 2020-10-30 李利明 餐具和参照物识别方法、装置及存储介质
CN111860211B (zh) * 2020-06-29 2024-04-12 李利明 餐具和参照物识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110647931A (zh) 物体检测方法、电子设备、***及介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
WO2019071660A1 (zh) 票据信息识别方法、电子装置及可读存储介质
CN108549870A (zh) 一种对物品陈列进行鉴别的方法及装置
US20210027514A1 (en) Method and system for creating animal type avatar using human face
CN110874618B (zh) 基于小样本的ocr模板学习方法、装置、电子设备及介质
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
Li et al. Automatic comic page segmentation based on polygon detection
CN111860377A (zh) 基于人工智能的直播方法、装置、电子设备及存储介质
CN112329777B (zh) 基于方向检测的文字识别方法、装置、设备及介质
CN112137591A (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
US20140169684A1 (en) Distance Metric for Image Comparison
CN112990318A (zh) 持续学习方法、装置、终端及存储介质
CN110956131A (zh) 单目标追踪方法、装置及***
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN113065607A (zh) 图像检测方法、装置、电子设备及介质
CN114463603B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
WO2022247403A1 (zh) 关键点检测方法、电子设备、程序及存储介质
KR20210008075A (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN114494751A (zh) 证照信息识别方法、装置、设备及介质
CN110298302A (zh) 一种人体目标检测方法及相关设备
CN113780116A (zh) ***分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103