CN111199175A - 一种目标检测网络模型的训练方法及装置 - Google Patents

一种目标检测网络模型的训练方法及装置 Download PDF

Info

Publication number
CN111199175A
CN111199175A CN201811384930.6A CN201811384930A CN111199175A CN 111199175 A CN111199175 A CN 111199175A CN 201811384930 A CN201811384930 A CN 201811384930A CN 111199175 A CN111199175 A CN 111199175A
Authority
CN
China
Prior art keywords
training
network model
target
detection network
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811384930.6A
Other languages
English (en)
Inventor
沙浩
戴依若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to CN201811384930.6A priority Critical patent/CN111199175A/zh
Publication of CN111199175A publication Critical patent/CN111199175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种目标检测网络模型的训练方法及装置,该方法包括:获取第一训练样本集,第一训练样本集由多个标记有真实目标物体框的第一目标图像组成;采用目标检测算法对第一训练样本集进行训练,得到第一目标检测网络模型;获取第二训练样本集,第二训练样本集至少包括多个未标记真实目标物体框的背景图像;将第二训练样本集输入至第一目标检测网络模型进行训练,得到第二目标检测网络模型。即在进行目标检测网络模型的训练时,加入了多个背景图像,背景图像中的背景可作为训练目标检测网络模型的负样本,从而提高训练得到的目标检测网络模型的物体检出率和降低目标检测网络模型的误检率。

Description

一种目标检测网络模型的训练方法及装置
技术领域
本发明涉及目标检测技术领域,尤其涉及一种目标检测网络模型的训练方法及装置。
背景技术
深度学习即深度神经网络是近年来的研究和应用的热点之一。深度神经网络相比传统的神经网络,最大的区别是网络的层数加深,在获得更多数据的情况下同时具有更多的计算资源,从而获得了更好的效果。深度学习得以引起人们的广泛关注,依赖于2012年的ImageNet图片分类比赛中,由研究人员采用深度神经网络方法,获得了对于非深度学习方法取得压倒性优势。自2012年以来,深度学习方法在很多算法方面,比如图像,语音,自然语言处理等领域均取得了突破性发展。在图像领域,对于目标检测,深度神经网络已经能取得非常好的效果。
目标检测是计算机视觉中的经典问题之一,在多种应用场景例如视频安全监控***、自动驾驶等中有着重要的应用。目标检测技术是将图像输入至目标检测网络模型,目标检测网络模型检测到目标物体并用矩形框去标识出图像中目标物体的位置,并给出目标物体的类别。
现有技术中的目标检测网络模型是通过对大量的训练样本图像进行训练得到,训练样本图像是标记有真实目标物体框(ground truth box)的目标图像,即具有真实的目标物体的图像,可以理解的是,用于训练目标检测网络模型的训练样本图像越多,得到的目标检测网络模型的检测准确率越高,然而,在有些情况下,想要获得大量的标记有真实目标物体框的训练样本图像比较困难,即可用于训练目标检测网络模型的训练样本图像有限,从而使得训练得到的目标检测网络模型的检测准确率难以提高,在实际应用中,由于真实目标物体出现的背景情况各式各样,背景受到光线变化的影响,在训练样本中很难包含各种变化的背景情况,所以网络模型通常在复杂背景,新的没有训练过的背景图片具有比较差的泛化能力,容易出现误检。
发明内容
本发明实施例要解决的技术问题是提供一种目标检测网络模型的训练方法及装置,用于解决现有的目标检测网络模型在复杂背景和新场景下误检率测高的问题。
为解决上述技术问题,本发明实施例提供的一种目标检测网络模型的训练方法,包括:
获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
可选的,所述采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型包括:
采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
获取所述特征图上的每一个锚点的候选框;
将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
可选的,所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
获取所述特征图中的每一个锚点的候选框;
从所有所述候选框中选择部分候选框作为负样本;
更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
可选的,所述从所有所述候选框中选择部分候选框作为负样本包括:
从所有所述候选框中随机选择部分候选框作为负样本;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;或者
获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
可选的,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
获取所述特征图中每一个锚点的候选框;
将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
本发明实施例还提供一种目标检测网络模型的训练装置,包括:
第一获取模块,用于获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
第一训练模块,用于采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
第二获取模块,用于获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
第二训练模块,用于将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
可选的,所述第一训练模块包括:
第一获得子模块,用于采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
第一获取子模块,用于获取所述特征图上的每一个锚点的候选框;
第一匹配子模块,用于将所述候选框与所述第一目标图像的真实目标物体框进行匹配,用于根据匹配结果,从所述候选框中选取出正样本和负样本;
第一训练子模块,用于采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
可选的,所述第二训练模块包括:
第二获得子模块,用于针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
第二获取子模块,用于获取所述特征图中的每一个锚点的候选框;
选择子模块,用于从所有所述候选框中选择部分候选框作为负样本;
更新子模块,用于更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
第二训练子模块,用于采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
可选的,所述选择子模块具体用于从所有所述候选框中随机选择部分候选框作为负样本;或者,获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;或者,获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数;或者,获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
可选的,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;所述第二训练模块包括:
第三获得子模块,用于针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
第三获取子模块,用于获取所述特征图中的每一个锚点的候选框;
第二匹配子模块,用于将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
第三训练子模块,用于采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
与现有技术相比,本发明实施例提供的目标检测网络模型的训练方法及装置,在进行目标检测网络模型的训练时,加入了未标记真实目标物体框的多个背景图像,背景图像中的背景可作为训练目标检测网络模型的负样本,从而提高训练得到的目标检测网络模型在复杂背景下的误检率,并且在有些情况下,背景图像与目标图像相比更为容易获得,可采用大量的背景图像进一步提高训练得到的目标检测网络模型的泛化能力。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例的目标检测网络模型的训练方法的流程示意图;
图2为本发明实施例的目标图像的示意图;
图3为本发明实施例的第一目标检测网络模型的训练方法的流程示意图;
图4为本发明实施例的图像的特征图(feature map)的示意图;
图5为IOU(交并比)的计算方法示意图;
图6为本发明实施例的采用背景图像训练第二目标检测网络模型的训练方法的流程示意图;
图7为本发明实施例的采用第二目标图像训练第二目标检测网络模型的训练方法的流程示意图;
图8为本发明一实施例的目标检测网络模型的训练装置的结构示意图;
图9为本发明另一实施例的目标检测网络模型的训练装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
请参考图1,图1为本发明一实施例的目标检测网络模型的训练方法的流程示意图,该训练方法包括:
步骤11:获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
本发明实施例中,每一所述第一目标图像中包括至少一个目标物体,举例来说,当汽车为目标对象,第一目标图像中可以只包括一个汽车或者包括多个汽车;当汽车和行人为目标对象,第一目标图像中可以包括汽车和行人。
第一目标图像的真实目标物体框(ground truth box)通过人为方式标记,标记目标物体在第一目标图像中所处区域,通常采用矩形框标记。请参考图2,图2中为汽车为目标对象,201所指矩形框为真实目标物体框,汽车位于真实目标物体框内。
步骤12:采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
所述目标检测算法可以为:fast R-CNN(Regions with CNN),faster R-CNN,maskR-CNN或SSD(Spatial Pyramid Pooling,空间金字塔池化)等深度学习算法。
步骤13:获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
本发明实施例中,所述背景图像为不具有目标物体的图像,优选地,所述背景图像中的背景为与所述目标物体具有关联的背景,举例来说,训练得到的目标检测网络模型应用于道路安全监控,目标物体为汽车,而背景图像可以是包含道路、交通标志和/或建筑物等背景的图像。
步骤14:将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
本发明实施例中,在进行目标检测网络模型的训练时,加入了未标记真实目标物体框的多个背景图像,背景图像中的背景可作为训练目标检测网络模型的负样本,从而提高训练得到的目标检测网络模型在复杂背景下的误检率,并且在有些情况下,背景图像与目标图像相比更为容易获得,可采用大量的背景图像进一步提高训练得到的目标检测网络模型的泛化能力。
下面对如何采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型进行说明。
请参考图3,图3为本发明实施例的第一目标检测网络模型的训练方法的流程示意图,该训练方法包括:
步骤31:采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
步骤32:获取所述特征图上的每一个锚点的候选框;
下面对候选框的获取方法进行说明。
首先,目标检测算法采用不同卷积层对待处理图像(例如图2中的图像)进行卷积运算,得到对图像的不同特征的映射,即特征图(feature map),如图4所示,图4中的feature map是一个8×8的feature map,feature map中的每一个小格子称为锚点,如图4中,feature map具有64个锚点。每个锚点具有多个固定大小的候选框(图4中的虚线框),图4中,每个cell具有4个固定大小的候选框,因此,整个feature map具有8×8×4个候选框。
当然,目标检测算法中,feature map的数量不限于为一个,feature map的尺寸也不限于为8×8,也可以为4×4等,每个cell的候选框的个数也不限于为4个。
步骤33:将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
在本发明的一些实施例中,可以通过候选框的IOU(Intersection over Union,交并比)来确定候选框是正样本还是负样本。
所谓IOU是指候选框与真实目标物体框的重叠度,如图5所示,矩形框A、B的IOU的计算公式为:IOU=(A∩B)/(A∪B),即矩形框A、B的重叠面积占A、B并集的面积比例。
在一些实施例中,可以选取IOU大于第一阈值的候选框作为正样本,选取IOU小于第二阈值的候选框作为负样本,第一阈值例如为0.7,第二阈值例如为0.3。
通过上述方法获得的负样本的数量通常远多于正样本的数量,为了保证正样本和负样本的比例的均衡,采用比如对负样本随机采样方法,比如选取干扰性比较大的负样本方法等方法,使正样本和负样本的比例保持在指定比例(例如1:3)。
当然,本发明实施例中,也不排除采用其他方式选择正样本和负样本,本发明并不进行限定。
步骤34:采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
对于正样本训练来说,与真实目标物体框匹配成功说明这个候选框包含目标物体,训练的目的是保证候选框的分类confidence的同时,将候选框尽可能回归到真实目标物体框。
下面对如何将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型进行说明。这一步训练的特点是,对于加入的背景图像,只选择负样本框进行训练,而且只更新被训练框的confidence值,坐标值和类别值不进行更新。对于第二训练样本集中包含目标物体的第二图像图像,训练方法可以与第一步训练过程(即第一目标图像的训练)一样,不同的是,此次训练的基础是第一目标检测网络模型。
请参考图6,图6为本发明实施例的第二目标检测网络模型的训练方法的流程示意图,该训练方法包括:
步骤61:针对所述第二训练样本集中的背景图像,将所述背景图像输入至第一目标检测网络模型,得到背景图像的特征图;
步骤62:获取所述特征图中的每一个锚点的候选框;
步骤63:从所有所述候选框中选择部分候选框作为负样本;
本发明实施例中,可以采用多种方式,从多个候选框中选择部分候选框作为负样本,下面举例进行说明。
在本发明的一些实施例中,可以从多个候选框中随机选择部分候选框作为负样本。
在本发明的另外一些实施例中,可以首先获取所述候选框的置信度,然后选择置信度大于指定阈值的候选框作为负样本。所述指定阈值可以根据需要设定。
在本发明的另外一些实施例中,可以首先获取所述候选框的置信度,然后对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
在本发明的另外一些实施例中,可以首先获取所述候选框的置信度,选择置信度大于指定阈值的候选框,然后对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
本发明实施例中,因为需要把置信度大的候选框进行调整,在进行排序时,优选地,按照从大到小的顺序排序,然后取序列前面的候选框作为负样本。
选择负样本的方式不限于上述方法,再次不再一一列举。
步骤64:更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
步骤65:采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
本发明实施例中,通过从背景图像中选取负样本,对负样本的有物体存在的置信度进行更新,作为背景对目标检测网络模型进行训练,从而降低目标检测网络模型的误检测率。
在本发明的一些实施例中,所述第二训练样本集还可以包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;此时,请参考图7,针对第二目标图像,可以采用如第一目标图像相同的方法进行训练,即包括以下步骤:
步骤71:针对第二训练样本集中的第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
步骤72:获取所述特征图中的每一个锚点的候选框;
步骤:73:将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
步骤74:采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
本发明实施例中,再次采用标记有真实目标物体框的目标图像对第一目标检测网络模型进行训练,能够进一步提高训练得到的第二目标检测网络模型的误检测率。
本发明实施例中,优选的,所述第二目标图像为所述第一目标图像不同的图像。
本发明实施例中,第二目标图像和背景图像的比例可以根据需要设定,例如,可以第二目标图像和背景图像的数量可以相同,即1:1。
基于同一发明构思,请参考图8,本发明实施例还提供一种目标检测网络模型的训练装置80,包括:
第一获取模块81,用于获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
第一训练模块82,用于采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
第二获取模块83,用于获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
第二训练模块84,用于将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
本发明实施例中,在进行目标检测网络模型的训练时,加入了未标记真实目标物体框的多个背景图像,背景图像中的背景可作为训练目标检测网络模型的负样本,提高训练得到的目标检测网络模型在复杂背景下的误检测率,并且在有些情况下,背景图像与目标图像相比更为容易获得,可采用大量的背景图像进一步提高训练得到的目标检测网络模型的泛化能力。
在本发明的一些实施例中,所述第一训练模块82包括:
第一获得子模块,用于采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
第一获取子模块,用于获取所述特征图上的每一个锚点的候选框;
第一匹配子模块,用于将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
第一训练子模块,用于采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
在本发明的一些实施例中,所述第二训练模块84包括:
第二获得子模块,用于针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
第二获取子模块,用于获取所述特征图中的每一个锚点的候选框;
选择子模块,用于从所有所述候选框中选择部分候选框作为负样本;
更新子模块,用于更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
第二训练子模块,用于采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
在本发明的一些实施例中,所述选择子模块具体用于从所有所述候选框中随机选择部分候选框作为负样本。
在本发明的一些实施例中,所述选择子模块具体用于获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;
在本发明的一些实施例中,所述选择子模块具体用于获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
在本发明的一些实施例中,所述选择子模块具体用于获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
在本发明的一些实施例中,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;所述第二训练模块84包括:
第三获得子模块,用于针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
第三获取子模块,用于获取所述特征图中的每一个锚点的候选框;
第二匹配子模块,用于将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
第三训练子模块,用于采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
请参考图9,图9为本发明另一实施例的目标检测网络模型的训练装置的结构示意图,该目标检测网络模型的训练装置90包括:处理器91和存储器92。在本发明实施例中,目标检测网络模型的训练装置90还包括:存储在存储器92上并可在处理器91上运行的计算机程序,计算机程序被处理器91执行时实现如下步骤:
获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
可选的,计算机程序被处理器91执行时还可实现如下步骤:所述采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型包括:
采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
用于获取所述特征图上的每一个锚点的候选框;
将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
可选的,计算机程序被处理器91执行时还可实现如下步骤:所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
获取所述特征图中的每一个锚点的候选框;
从所有所述候选框中选择部分候选框作为负样本;
更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
可选的,计算机程序被处理器91执行时还可实现如下步骤:所述从所有所述候选框中选择部分候选框作为负样本包括:
从所有所述候选框中随机选择部分候选框作为负样本;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;或者
获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
可选的,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;计算机程序被处理器91执行时还可实现如下步骤:
所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
获取所述特征图中的每一个锚点的候选框;
将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述目标检测网络模型的训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、磁碟或者光盘等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标检测网络模型的训练方法,其特征在于,包括:
获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
2.如权利要求1所述的目标检测网络模型的训练方法,其特征在于,所述采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型包括:
采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
获取所述特征图上的每一个锚点的候选框;
将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
3.如权利要求1所述的目标检测网络模型的训练方法,其特征在于,所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
获取所述特征图中的每一个锚点的候选框;
从所有所述候选框中选择部分候选框作为负样本;
更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
4.如权利要求3所述的目标检测网络模型的训练方法,其特征在于,所述从所有所述候选框中选择部分候选框作为负样本包括:
从所有所述候选框中随机选择部分候选框作为负样本;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;或者
获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数;或者
获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
5.如权利要求1所述的目标检测网络模型的训练方法,其特征在于,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;
所述将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型包括:
针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
获取所述特征图中的每一个锚点的候选框;
将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
6.一种目标检测网络模型的训练装置,其特征在于,包括:
第一获取模块,用于获取第一训练样本集,所述第一训练样本集由多个第一目标图像组成,所述第一目标图像为标记有真实目标物体框的图像;
第一训练模块,用于采用目标检测算法对所述第一训练样本集进行训练,得到第一目标检测网络模型;
第二获取模块,用于获取第二训练样本集,所述第二训练样本集至少包括多个背景图像,所述背景图像为未标记真实目标物体框的图像;
第二训练模块,用于将所述第二训练样本集输入至所述第一目标检测网络模型进行训练,得到第二目标检测网络模型。
7.如权利要求6所述的目标检测网络模型的训练装置,其特征在于,所述第一训练模块包括:
第一获得子模块,用于采用目标检测算法对所述第一目标图像进行卷积处理,得到所述第一目标图像的特征图;
第一获取子模块,用于获取所述特征图上的每一个锚点的候选框;
第一匹配子模块,用于将所述候选框与所述第一目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
第一训练子模块,用于采用所述正样本和所述负样本进行训练,得到所述第一目标检测网络模型。
8.如权利要求6所述的目标检测网络模型的训练装置,其特征在于,所述第二训练模块包括:
第二获得子模块,用于针对所述第二训练样本集中的所述背景图像,将所述背景图像输入至所述第一目标检测网络模型,得到所述背景图像的特征图;
第二获取子模块,用于获取所述特征图中的每一个锚点的候选框;
选择子模块,用于从所有所述候选框中选择部分候选框作为负样本;
更新子模块,用于更新所述负样本的置信度,所述置信度表示所述候选框内有目标物体存在的概率;
第二训练子模块,用于采用所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
9.如权利要求8所述的目标检测网络模型的训练装置,其特征在于,所述选择子模块具体用于从所有所述候选框中随机选择部分候选框作为负样本;或者,获取所述候选框的置信度,选择置信度大于指定阈值的候选框作为负样本;或者,获取所述候选框的置信度,对所有所述候选框的置信度按照从大到小或者从小到大的顺序进行排序,按照排序结果选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数;或者,获取所述候选框的置信度,选择置信度大于指定阈值的候选框,对所述置信度大于指定阈值的候选框按照从大到小或者从小到大的顺序进行排序,按照排序结果,选择前n个或后n个候选框作为负样本,n为大于或等于1的正整数。
10.如权利要求6所述的目标检测网络模型的训练装置,其特征在于,所述第二训练样本集还包括:多个第二目标图像组成,所述第二目标图像为标记有真实目标物体框的图像;所述第二训练模块包括:
第三获得子模块,用于针对所述第二训练样本集中的所述第二目标图像,将所述第二目标图像输入至所述第一目标检测网络模型,得到所述第二目标图像的特征图;
第三获取子模块,用于获取所述特征图中的每一个锚点的候选框;
第二匹配子模块,用于将所述候选框与所述第二目标图像的真实目标物体框进行匹配,根据匹配结果,从所述候选框中选取出正样本和负样本;
第三训练子模块,用于采用所述正样本和所述负样本对所述第一目标检测网络模型进行训练,以得到所述第二目标检测网络模型。
CN201811384930.6A 2018-11-20 2018-11-20 一种目标检测网络模型的训练方法及装置 Pending CN111199175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811384930.6A CN111199175A (zh) 2018-11-20 2018-11-20 一种目标检测网络模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811384930.6A CN111199175A (zh) 2018-11-20 2018-11-20 一种目标检测网络模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN111199175A true CN111199175A (zh) 2020-05-26

Family

ID=70746442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811384930.6A Pending CN111199175A (zh) 2018-11-20 2018-11-20 一种目标检测网络模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111199175A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置,电子设备及存储介质
CN112307891A (zh) * 2020-09-24 2021-02-02 中国电力科学研究院有限公司 一种基于深度学习进行图像识别的方法及装置
CN114462469A (zh) * 2021-12-20 2022-05-10 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关装置
CN116310656A (zh) * 2023-05-11 2023-06-23 福瑞泰克智能***有限公司 训练样本确定方法、装置和计算机设备
CN117218454A (zh) * 2023-11-06 2023-12-12 成都合能创越软件有限公司 基于特征图信息和负样本训练的小目标检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106503617A (zh) * 2016-09-21 2017-03-15 北京小米移动软件有限公司 模型训练方法及装置
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108109124A (zh) * 2017-12-27 2018-06-01 北京诸葛找房信息技术有限公司 基于深度学习的不定位置图片水印修复方法
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN108416287A (zh) * 2018-03-04 2018-08-17 南京理工大学 一种基于遗漏负样本挖掘的行人检测方法
CN108470138A (zh) * 2018-01-24 2018-08-31 博云视觉(北京)科技有限公司 用于目标检测的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106503617A (zh) * 2016-09-21 2017-03-15 北京小米移动软件有限公司 模型训练方法及装置
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108109124A (zh) * 2017-12-27 2018-06-01 北京诸葛找房信息技术有限公司 基于深度学习的不定位置图片水印修复方法
CN108229561A (zh) * 2018-01-03 2018-06-29 北京先见科技有限公司 一种基于深度学习的颗粒产品缺陷检测方法
CN108470138A (zh) * 2018-01-24 2018-08-31 博云视觉(北京)科技有限公司 用于目标检测的方法和装置
CN108416287A (zh) * 2018-03-04 2018-08-17 南京理工大学 一种基于遗漏负样本挖掘的行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏松志等著: "行人检测:理论与实践", vol. 1, 厦门大学出版社, pages: 142 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置,电子设备及存储介质
CN112307891A (zh) * 2020-09-24 2021-02-02 中国电力科学研究院有限公司 一种基于深度学习进行图像识别的方法及装置
CN114462469A (zh) * 2021-12-20 2022-05-10 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关装置
CN114462469B (zh) * 2021-12-20 2023-04-18 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关装置
CN116310656A (zh) * 2023-05-11 2023-06-23 福瑞泰克智能***有限公司 训练样本确定方法、装置和计算机设备
CN116310656B (zh) * 2023-05-11 2023-08-15 福瑞泰克智能***有限公司 训练样本确定方法、装置和计算机设备
CN117218454A (zh) * 2023-11-06 2023-12-12 成都合能创越软件有限公司 基于特征图信息和负样本训练的小目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN111199175A (zh) 一种目标检测网络模型的训练方法及装置
KR102635987B1 (ko) 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
US11410549B2 (en) Method, device, readable medium and electronic device for identifying traffic light signal
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN108805016B (zh) 一种头肩区域检测方法及装置
EP3690744B1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
KR20200091318A (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN110570433A (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN106951830A (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN110222767A (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
KR20200091781A (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN104021395B (zh) 一种基于高阶偏最小二乘法的目标跟踪算法
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN110909588A (zh) 基于cnn的用于车道线检测的方法和装置
CN116664873B (zh) 图像信息处理方法、装置及存储介质
CN117542082A (zh) 一种基于YOLOv7的行人检测方法
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN111104965A (zh) 车辆目标识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination