CN111144494A - 物体检测模型训练方法、检测方法、装置、设备及介质 - Google Patents

物体检测模型训练方法、检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111144494A
CN111144494A CN201911378418.5A CN201911378418A CN111144494A CN 111144494 A CN111144494 A CN 111144494A CN 201911378418 A CN201911378418 A CN 201911378418A CN 111144494 A CN111144494 A CN 111144494A
Authority
CN
China
Prior art keywords
object detection
training sample
image
training
scale interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911378418.5A
Other languages
English (en)
Inventor
董健
李帅
丁明旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruimo Intelligent Technology Shenzhen Co ltd
Original Assignee
Ruimo Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruimo Intelligent Technology Shenzhen Co ltd filed Critical Ruimo Intelligent Technology Shenzhen Co ltd
Priority to CN201911378418.5A priority Critical patent/CN111144494A/zh
Publication of CN111144494A publication Critical patent/CN111144494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物体检测模型训练方法、检测方法、装置、设备及介质。该物体检测模型训练方法方法包括：获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；根据所述尺度区间对对应的数据增广策略进行调整；分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。本发明不需要增加网络复杂度，通过调整数据增广策略来增加数据多样性，能有效提高训练得到的物体检测模型的检出率。

Description

物体检测模型训练方法、检测方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种物体检测模型训练方法、检测方法、装置、设备及介质。
背景技术
目标检测作为计算视觉领域里的一个重要功能，有着广泛的研究价值和应用价值，随着深度学习的发展，目标检测的性能大幅度提升，已经能够满足大部分场景的需求。在应用过程中，往往存在对某个尺度的物体检出率高、对其他尺度的物体检出率低的情况，并不能保证对任何尺度的物体都能够有效的检出。为了解决该问题，现有的目标检测方法考虑通过为不同尺度物体的模型引入相同的语义特征或者设计复杂的损失函数使其侧重于检出率低的物体的方案来解决，但是为不同尺度物体的模型引入相同的语义特征往往需要复杂的网络设计，会增加目标检测算法的复杂度，而设计复杂的函数会使目标检测算法侧重于某个特定尺度的物体，这往往在一定程度上会降低其他尺度物体的检出率。
发明内容
本发明提供了一种物体检测模型训练方法、检测方法、装置、设备及存储器，不需要增加网络复杂度，通过调整数据增广策略来增加数据多样性来，能有效提高训练得到的物体检测模型的检出率。
为实现上述设计，本发明采用以下技术方案：
第一方面，提供了一种物体检测模型训练方法，该物体检测模型训练方法包括：
获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；
根据所述尺度区间对对应的数据增广策略进行调整；
分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
第二方面提供了一种物体检测方法，该物体检测方法包括：
获取待检测图像；
对所述待检测图像进行物体检测；其中，所述物体检测方法基于物体检测模型实现，所述物体检测模型是采用上述的物体检测模型训练方法训练得到的。
第三方面提供了一种物体检测模型训练装置，该物体检测模型训练装置包括：
模型获取模块，用于获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；
策略调整模块，用于根据所述尺度区间对对应的数据增广策略进行调整；
模型训练模块，用于分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
第四方面提供了一种物体检测模型，所述物体检测模型是采用如上所述的物体检测模型训练方法训练得到的，所述物体检测模型包括：
图像获取模块，用于获取待检测图像；
检测模块，包括各尺度区间对应的检测子模块，用于对所述待检测图像进行物体检测。
第五方面提供了一种计算机设备，该所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的物体检测模型训练方法、或实现如上所述的物体检测方法。
第六方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如上所述的物体检测模型训练方法、或实现如上所述的物体检测方。
与现有技术相比，本发明的有益效果为：本发明在初始网络模型的基础上针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型，不需要增加网络复杂度，能有效提高训练得到的物体检测模型的检出率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明具体实施例一提供的一种物体检测模型训练方法的流程图。
图2是本发明具体实施例二提供的一种物体检测模型训练方法的流程图。
图3是本发明具体实施例三提供的一种物体检测模型训练方法的流程图。
图4是本发明具体实施例四提供的一种物体检测方法的流程图。
图5是本发明具体实施例五提供的一种物体检测模型训练装置的结构示意图。
图6是本发明具体实施例六提供的一种物体检测模型训练装置的子结构示意图。
图7是本发明具体实施例七提供的一种物体检测模型的结构示意图。
图8是本发明具体实施例八提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合本申请实施例中的附图，对本申请实施中的技术方案进行描述。本文所描述的具体实施例仅仅是本申请一部分实施例，而不是全部的实施例，仅用于解释本申请，而非对本申请的限定。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员理解的含义相同。本文中在本申请的说明书中使用的术语只是为了描述实施方式的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将多个步骤描述成顺序的处理，但是本文中的许多步骤可以被并行地、并发地或者同时实施。此外，多个步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
请参考图1，本实施例提供了一种物体检测模型训练方法，如图所示，该方法包括以下步骤：
步骤S101、获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块。
根据预定义的网络结构和训练方法得到一个初始网络模型，该初始网络模型为常规的检测物体的模型，例如，基于VGG网络结构的SSD算法，按照SSD算法的训练方法得到一个基于VGG网络的初始网络模型，在该初始网络模型中针对不同尺度区间创建不同的检测子模块。对于尺度区间的划分，作为一实施例可以将尺度划分为[0.00001,0.3)、[0.3,0.6)和[0.6,1.0]三个尺度区间，那么对应的初始网络模型还包括3个分别对应该三个尺度区间的物体的检测子模块。
步骤S102、根据所述尺度区间对对应的数据增广策略进行调整。
根据不同的尺度区间对对应的数据增广策略进行离线调整，使已标注物体增广到尺度区间对应的尺度。
步骤S103、分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
每一尺度区间对应一数据增广策略和一检测子模块，逐尺度区间进行网络训练。对于一尺度区间，根据尺度区间对数据增广策略进行调整，利用调整后的数据增广策略对训练样本图像进行增广，然后利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，所有尺度区间对应的检测子模块完成训练之后，得到包括至少两个训练好的检测子模块的初始网络模型，即物体检测模型。
本实施例在初始网络模型的基础上针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型，先通过常规技术获得初始网络模型，再对初始网络模型中的检测子模块进行训练，不需要增加网络复杂度，能有效提高训练得到的物体检测模型的检出率。
实施例二
请参考图2，本实施例提供了一种物体检测模型训练方法，如图所示，该方法包括以下步骤：
步骤S201、获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块。
将尺度划分为至少两个尺度区间，通过常规获取的初始网络模型中创建有每个尺度区间对应的检测子模块。
步骤S202a、选定一尺度区间。
步骤S202b、随机选取一幅训练样本图像，计算已标注物体在所述训练样本图像中的占图面积比例。
随机选取一幅训练样本图像，获取该训练样本图像中的已标注物体，并计算该已标注物体在该训练样本图像中占图面积比例。在本实施例中，以边界框的方式来标注物体，取边界框的左上角坐标和右下角坐标来标注物体。
在一些实施例中，所述计算已标注物体在所述训练样本图像中的占图面积比例包括：
获取已标注物体的边界框和训练样本图像的面积；
随机选择已标注物体中的一个作为参考物体，并根据参考物体的边界框计算该参考物体边界框的面积；
按公式：占图面积比例＝参考物体边界框的面积/训练样本图像的面积，计算得到已标注物体在所述训练样本图像中的占图面积比例。
本实施例中，随机选择训练样品图像中已标注物体中一个作为参考物体来计算占图面积比例，这样可以增加样本数据的多样性，有利于提高数据增广策略的稳定性。
步骤S202c、根据所述占图面积比例与所述尺度区间的关系来增广训练样本图像。
根据已标注物体的占图面积比例与尺度区间的关系来增广训练样品图像，在一些实施例中，所述步骤S202c包括：
若所述占图面积比例落在尺度区间左侧，则以裁剪的方式增广训练样本图像使得所述已标注物体的占图面积比例增大，以达到选定的尺度区间；
若所述占图面积比例落在尺度区间右侧，则以图像边缘补零的方式增广训练样本图像使得所述已标注物体的占图面积比例减少，以达到选定的尺度区间；
若面积比例落在尺度区间内，则随机选择裁剪方式或补零的方式增广训练样本图像，并确保所述已标注物体的占图面积比例仍在尺度区间内。
步骤S202d、若增广得到的图像为异常图像，则根据增广得到的图像调整数据增广策略；否则无需调增数据增广策略。
步骤S202e、判断选取的训练样本图像的数量是否达到预设图像数量，若是执行步骤S202f；若否，返回执行步骤S202b。
步骤S202f、判断所有的尺度区间对应的数据增广策略是否均调整完毕，若否，返回执行步骤S202a；若是，执行步骤S202g。
步骤S202g、调整结束，得到调整后的各尺度区间对应的数据增广策略。
本实施例中步骤S202a～步骤S202g为实施例一步骤S102：根据所述尺度区间对对应的数据增广策略进行调整的具体实施例，本实施例中每个尺度区间采用对应一数据增广策略，可以细化每一尺度区间的样本数据，使得调整后的数据增广策略更为精准。
步骤S203、分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
本实施例针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，对于每一尺度区间，随机选择训练样品图像中已标注物体中一个作为参考物体来计算占图面积比例，根据随机选择的样本训练图像中已标注样本的占图面积比例来调整数据增广策略，可以增加样本数据的多样性，有利于提高数据增广策略的稳定性；利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对所述初始网络模型中对应的检测子模块进行训练，由此得到物体检测模型能更为精确地检测出各种尺度的物体，大大提高了物体检测模型的检出率。
实施例三
请参考图3，本实施例提供了一种物体检测模型训练方法，如图所示，该方法包括以下步骤：
步骤S301、获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块。
步骤S302、根据所述尺度区间对对应的数据增广策略进行调整。
本步骤中的内容可参见实施例一中的步骤S102和实施例二中的步骤S202a～S202g，以得到调整后的每一尺度区间对应的更为准确的数据增广策略，这里不再赘述。
步骤S303a、选定一尺度区间。
步骤S303b、利用该尺度区间对应的调整后的数据增广策略对已标注物体的训练样本图像进行增广，以使已标注物体的尺寸处于选定的尺度区间内。
步骤S303c、利用增广后的训练样本图像对选定的所述尺度区间对应的检测子模块进行训练。
增广后的训练样本图像中的已标注物体的尺度位于选定的尺度区间内，利用增广后的训练样本图像对选定的尺度区间对应的检测子模块进行训练，这使得训练得到的检测子模块能对这一尺度区间内的物体能够更为精确地检测出来，每一检测子模块对应检测一尺度区间对应尺度的物体，更具有针对性，更为准确。
步骤S303d、判断所有的尺度区间对应的检测子模块是否均已完成训练，若否，返回执行步骤S303a；若是，执行步骤S303e。
步骤S303e、训练结束，得到包括至少两个训练好的针对不同尺度区间物体的检测子模块的物体检测模型。
在本实施例中，步骤S303a～步骤S303e为实施例一的步骤S103和实施例二的步骤S203：分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型的具体实施例。
本实施例针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，根据随机选择的样本训练图像中已标注样本的占图面积比例来调整数据增广策略，可以增加样本数据的多样性，有利于提高数据增广策略的稳定性；对于每一尺度区间，利用其对应调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对该尺度区间对应的检测子模块进行训练，由此得到检测子模块能准确地检测出尺度在该尺度区间内的物体，从而使得包含这些检测子模块的物体检测模型能更为精确地检测出各种尺度的物体，大大提高了物体检出率。
实施例四
如图4所示，本实施例提供了一种物体检测方法，如图所示，该物体检测方法包括以下步骤：
步骤S401、获取待检测图像。
步骤S402、对所述待检测图像进行物体检测；其中，所述物体检测方法基于物体检测模型实现，所述物体检测模型是采用如实施例一至三任一所述的物体检测模型训练方法训练得到的。
本实施例采用实施例一至三中所述的物体检测模型训练方法来训练物体检测模型，使用训练得到的物体检测模型来检测图像，可以有效地检测出各种尺度的物体，有效地提升了物体的检出率。物体检测模型的训练方法可参见实施例一至实施例三中的内容，这里不再赘述。
实施例五
请参考图5，本实施例提供了的一种物体检测模型训练装置，如图所示，该物体检测模型训练装置，包括：
模型获取模块51，用于获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块。
策略调整模块52，用于根据所述尺度区间对对应的数据增广策略进行调整。
模型训练模块53，分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
本实施例在初始网络模型的基础上针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型，先通过常规技术获得初始网络模型，再对初始网络模型中的检测子模块进行不需要增加网络复杂度，能有效提高训练得到的物体检测模型的检出率。
实施例六
如图6所示，本实施例提供了一种物体检测模型训练装置，如图所示，该物体检测模型训练装置包括：
模型获取模块61，用于获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块。
策略调整模块62，用于根据所述尺度区间对对应的数据增广策略进行调整。
在一些实施例中，如图6所示，策略调整模块62包括：
第一区间选定单元621，用于选定一尺度区间。
比例计算单元622，用于随机选取一幅训练样本图像，计算已标注物体在所述训练样本图像中的占图面积比例。
第一增广单元623，用于根据所述占图面积比例与所述尺度区间的关系来增广训练样本图像。
在一些实施例中，第一增广单元623具体用于：
若所述占图面积比例落在尺度区间左侧，则以裁剪的方式增广训练样本图像使得所述已标注物体的占图面积比例增大，以达到选定的尺度区间；
若所述占图面积比例落在尺度区间右侧，则以图像边缘补零的方式增广训练样本图像使得所述已标注物体的占图面积比例减少，以达到选定的尺度区间；
若面积比例落在尺度区间内，则随机选择裁剪方式或补零的方式增广训练样本图像，并确保所述已标注物体的占图面积比例仍在尺度区间内。
策略调整单元624，用于若增广得到的图像为异常图像，则根据增广得到的图像调整数据增广策略；否则无需调增数据增广策略；
第一判断单元625，用于选取的训练样本图像的数量是否达到预设图像数量。
第二判断单元626，用于判断所有的尺度区间对应的数据增广策略是否均调整完毕。
策略得到单元627，用于当所有的尺度区间对应的数据增广策略均调整完毕时，结束数据增广策略的调整，得到调整后的各尺度区间对应的数据增广策略。
模型训练模块63，用于分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
在一些实施例中，如图6所示，模型训练模块63包括：
第二区间选定单元631，用于选定一尺度区间；
第二增广单元632，用于利用该尺度区间对应的调整后的数据增广策略对已标注物体的训练样本图像进行增广，以使已标注物体的尺寸处于选定的尺度区间内；
训练单元633，用于利用增广后的训练样本图像对选定的所述尺度区间对应的检测子模块进行训练；
第三判断单元634，用于判断所有的尺度区间对应的检测子模块是否均已完成训练。
模型得到单元635，用于当所有的尺度区间对应的检测子模块均已训练完成，结束对检测子模块的训练，得到包括至少两个训练好的针对不同尺度区间物体的检测子模块的物体检测模型。
综上所述，本实施例针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，根据随机选择的样本训练图像中已标注样本的占图面积比例来调整数据增广策略，可以增加样本数据的多样性，有利于提高数据增广策略的稳定性；对于每一尺度区间，利用其对应调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对该尺度区间对应的检测子模块进行训练，由此得到检测子模块能准确地检测出尺度在该尺度区间内的物体，从而使得包含这些检测子模块的物体检测模型能更为精确地检测出各种尺度的物体，大大提高了物体检出率。
需要说明的是，物体检测模型训练装置的实施例基于上述物体检测模型训练方法的实施例实现的，在装置中未尽的描述，请参考前述物体检测模型训练方法的实施例。
实施例七
如图7所示，本实施例提供了一种物体检测模型，所述物体检测模型是采用如实施例一至三任一所述的物体检测模型训练方法训练得到的，如图所示，该物体检测模型包括：
图像获取模块71，用于获取待检测图像。
检测模块73，包括各尺度区间对应的检测子模块，用于对所述待检测图像进行物体检测。
本实施例采用实施例一至三中所述的物体检测模型训练方法来训练物体检测模型，使用训练得到的物体检测模型来检测图像，可以有效地检测出各种尺度的物体，有效地提升了物体的检出率。
实施例八
为了实现上述目的，本发明实施例还提出了一种计算机设备。
图8是本发明实施例五提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括处理器80、存储器81、输入装置82和输出装置83；计算机设备中处理器80的数量可以是一个或多个，图8中以一个处理器80为例；计算机设备中的处理器80、存储器81、输入装置82和输出装置83可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的物体检测模型训练方法或物体检测方法对应的程序指令/模块(例如，图像优化处理装置中的生成图像模块11、数据增广模块12和图像融合模块13)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的物体检测模型训练方法或物体检测方法，该物体检测模型训练方法包括：获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；根据所述尺度区间对对应的数据增广策略进行调整；分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。该物体检测方法包括：获取待检测图像；将所述检测图像输入到物体检测模型进行检测，其中，所述物体检测模型是采用如实施例一至三任一所述的物体检测模型训练方法训练得到的。
当然，本发明实施例所提供的一种计算机设备，该计算机设备不限于如上所述的方法操作，还可以执行本发明实施例任意实施例所提供的物体检测模型训练方法中的相关操作和执行本发明实施例提供的物体检测方法中的相关操作。
存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置82可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置83可包括显示屏等显示设备。
需要说明的是，前述对图像优化处理方法实施例的解释说明也适用于该实施例的计算机设备，其实现原理类似，此处不再赘述。
本发明实施例提供的计算机设备，针对不同尺度区间增加检测子模块，每一尺度区间对应一数据增广策略和一检测子模块，根据随机选择的样本训练图像中已标注样本的占图面积比例来调整数据增广策略，可以增加样本数据的多样性，有利于提高数据增广策略的稳定性；对于每一尺度区间，利用其对应调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对该尺度区间对应的检测子模块进行训练，由此得到检测子模块能准确地检测出尺度在该尺度区间内的物体，从而使得包含这些检测子模块的物体检测模型能更为精确地检测出各种尺度的物体，大大提高了物体检出率。
实施例九
为了实现上述目的，本发明实施例还提出了一种计算机可读存储介质。
本发明实施例九还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如下的物体检测模型训练方法，该物体检测模型训练方法包括：该物体检测模型训练方法包括：获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；根据所述尺度区间对对应的数据增广策略进行调整；分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。所述程序指令被处理器执行时还实现如下的物体检测方法：获取待检测图像；将所述检测图像输入到物体检测模型进行检测，其中，所述物体检测模型是采用如实施例一至三任一所述的物体检测模型训练方法训练得到的。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明实施例任意实施例所提供的物体检测模型训练方法中的相关操作和执行本发明实施例提供的物体检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (10)

1.一种物体检测模型训练方法，其特征在于，所述物体检测模型训练方法包括：
获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；
根据所述尺度区间对对应的数据增广策略进行调整；
分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
2.根据权利要求1所述的一种物体检测模型训练方法，其特征在于，所述分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的尺寸子模块进行训练，得到物体检测模型，包括：
A1、选定一尺度区间；
A2、利用该尺度区间对应的调整后的数据增广策略对已标注物体的训练样本图像进行增广，以使已标注物体的尺寸处于选定的尺度区间内；
A3、利用增广后的训练样本图像对选定的所述尺度区间对应的检测子模块进行训练；
A4、重复步骤A1～A3，直到所有的尺度区间对应的检测子模块均已训练完成，得到包括至少两个训练好的针对不同尺度区间物体的检测子模块的物体检测模型。
3.根据权利要求1所述的一种物体检测模型训练方法，其特征在于，所述根据所述尺度区间对对应的数据增广策略进行调整包括：
B1、选定一尺度区间；
B2、随机选取一幅训练样本图像，计算已标注物体在所述训练样本图像中的占图面积比例；
B3、根据所述占图面积比例与所述尺度区间的关系来增广训练样本图像；
B4、若增广得到的图像为异常图像，则根据增广得到的图像调整数据增广策略；否则无需调增数据增广策略；
B5、重复执行步骤B2～B4，直到选取的训练样本图像的数量达到预设图像数量；
B6、重复执行步骤B1～B5，直到所有的尺度区间对应的数据增广策略均调整完毕，得到调整后的各尺度区间对应的数据增广策略。
4.根据权利要求3所述的一种物体检测模型训练方法，其特征在于，所述B3、根据所述占图面积比例与所述尺度区间的关系来增广训练样本图像包括：
若所述占图面积比例落在尺度区间左侧，则以裁剪的方式增广训练样本图像使得所述已标注物体的占图面积比例增大，以达到选定的尺度区间；
若所述占图面积比例落在尺度区间右侧，则以图像边缘补零的方式增广训练样本图像使得所述已标注物体的占图面积比例减少，以达到选定的尺度区间；
若面积比例落在尺度区间内，则随机选择裁剪方式或补零的方式增广训练样本图像，并确保所述已标注物体的占图面积比例仍在尺度区间内。
5.根据权利要求4所述的一种物体检测模型训练方法，其特征在于，所述计算已标注物体在所述训练样本图像中的占图面积比例包括：
获取已标注物体的边界框和训练样本图像的面积；
随机选择已标注物体中的一个作为参考物体，并根据参考物体的边界框计算该参考物体边界框的面积；
按公式：占图面积比例＝参考物体边界框的面积/训练样本图像的面积，计算得到已标注物体在所述训练样本图像中的占图面积比例。
6.一种物体检测方法，其特征在于，所述物体检测方法包括：
获取待检测图像；
对所述待检测图像进行物体检测；其中，所述物体检测方法基于物体检测模型实现，所述物体检测模型是采用如权利要求1～5任一项所述的物体检测模型训练方法训练得到的。
7.一种物体检测模型训练装置，其特征在于，所述物体检测模型训练装置包括：
模型获取模块，用于获取初始网络模型，所述初始网络模型包括至少两个针对不同尺度区间的物体的检测子模块；
策略调整模块，用于根据所述尺度区间对对应的数据增广策略进行调整；
模型训练模块，用于分别利用调整后的数据增广策略对训练样本图像进行增广，并利用增广后的训练样本图像根据尺度区间对所述初始网络模型中对应的检测子模块进行训练，得到物体检测模型。
8.一种物体检测模型，其特征在于，所述物体检测模型是采用如权利要求1～5任一项所述的物体检测模型训练方法训练得到的，所述物体检测模型包括：
图像获取模块，用于获取待检测图像；
检测模块，包括各尺度区间对应的检测子模块，用于对所述待检测图像进行物体检测。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-5中任一所述的物体检测模型训练方法、或实现如权利要求6所述的物体检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如权利要求1-5中任一所述的物体检测模型训练方法、或实现如权利要求6所述的物体检测方法。
CN201911378418.5A 2019-12-27 2019-12-27 物体检测模型训练方法、检测方法、装置、设备及介质 Pending CN111144494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911378418.5A CN111144494A (zh) 2019-12-27 2019-12-27 物体检测模型训练方法、检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911378418.5A CN111144494A (zh) 2019-12-27 2019-12-27 物体检测模型训练方法、检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111144494A true CN111144494A (zh) 2020-05-12

Family

ID=70521036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911378418.5A Pending CN111144494A (zh) 2019-12-27 2019-12-27 物体检测模型训练方法、检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111144494A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832666A (zh) * 2020-09-15 2020-10-27 平安国际智慧城市科技股份有限公司 医疗影像数据扩增方法、装置、介质及电子设备
CN111897639A (zh) * 2020-07-29 2020-11-06 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN112084861A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 模型训练方法、装置、电子设备和存储介质
CN112633392A (zh) * 2020-12-29 2021-04-09 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像目标检测模型训练数据增广方法
CN111783902B (zh) * 2020-07-30 2023-11-07 腾讯科技（深圳）有限公司 数据增广、业务处理方法、装置、计算机设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
WO2014008332A2 (en) * 2012-07-05 2014-01-09 Siemens Corporation System and methods for integrated and predictive analysis of molecular, imaging, and clinical data for patient-specific management of diseases
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108334840A (zh) * 2018-02-01 2018-07-27 福州大学 交通环境下基于深度神经网络的行人检测方法
CN108388888A (zh) * 2018-03-23 2018-08-10 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN109409198A (zh) * 2018-08-31 2019-03-01 平安科技（深圳）有限公司 Au检测模型训练方法、au检测方法、装置、设备及介质
CN109598220A (zh) * 2018-11-26 2019-04-09 山东大学 一种基于多元输入多尺度卷积的人数统计方法
CN109784194A (zh) * 2018-12-20 2019-05-21 上海图森未来人工智能科技有限公司 目标检测网络构建方法和训练方法、目标检测方法
CN110321813A (zh) * 2019-06-18 2019-10-11 南京信息工程大学 基于行人分割的跨域行人重识别方法
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN110516545A (zh) * 2019-07-22 2019-11-29 北京迈格威科技有限公司 模型训练、图像处理方法和设备、图像处理器及介质
CN110517228A (zh) * 2019-07-30 2019-11-29 浙江农林大学 基于卷积神经网络与迁移学习的树干图像快速检测方法
CN110599445A (zh) * 2019-07-24 2019-12-20 安徽南瑞继远电网技术有限公司 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
WO2014008332A2 (en) * 2012-07-05 2014-01-09 Siemens Corporation System and methods for integrated and predictive analysis of molecular, imaging, and clinical data for patient-specific management of diseases
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108334840A (zh) * 2018-02-01 2018-07-27 福州大学 交通环境下基于深度神经网络的行人检测方法
CN108388888A (zh) * 2018-03-23 2018-08-10 腾讯科技（深圳）有限公司 一种车辆识别方法、装置和存储介质
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109409198A (zh) * 2018-08-31 2019-03-01 平安科技（深圳）有限公司 Au检测模型训练方法、au检测方法、装置、设备及介质
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN109598220A (zh) * 2018-11-26 2019-04-09 山东大学 一种基于多元输入多尺度卷积的人数统计方法
CN109784194A (zh) * 2018-12-20 2019-05-21 上海图森未来人工智能科技有限公司 目标检测网络构建方法和训练方法、目标检测方法
CN110321813A (zh) * 2019-06-18 2019-10-11 南京信息工程大学 基于行人分割的跨域行人重识别方法
CN110516545A (zh) * 2019-07-22 2019-11-29 北京迈格威科技有限公司 模型训练、图像处理方法和设备、图像处理器及介质
CN110599445A (zh) * 2019-07-24 2019-12-20 安徽南瑞继远电网技术有限公司 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN110517228A (zh) * 2019-07-30 2019-11-29 浙江农林大学 基于卷积神经网络与迁移学习的树干图像快速检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897639A (zh) * 2020-07-29 2020-11-06 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN111783902B (zh) * 2020-07-30 2023-11-07 腾讯科技（深圳）有限公司 数据增广、业务处理方法、装置、计算机设备和存储介质
CN112084861A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 模型训练方法、装置、电子设备和存储介质
CN111832666A (zh) * 2020-09-15 2020-10-27 平安国际智慧城市科技股份有限公司 医疗影像数据扩增方法、装置、介质及电子设备
WO2022057306A1 (zh) * 2020-09-15 2022-03-24 平安国际智慧城市科技股份有限公司 医疗影像数据扩增方法、装置、计算机设备和介质
CN112633392A (zh) * 2020-12-29 2021-04-09 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像目标检测模型训练数据增广方法

Similar Documents

Publication Publication Date Title
CN111144494A (zh) 物体检测模型训练方法、检测方法、装置、设备及介质
CN109118542B (zh) 激光雷达与相机之间的标定方法、装置、设备及存储介质
AU2017232186B2 (en) Fast and robust image alignment for burst mode
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
US20240193923A1 (en) Method of training target object detection model, method of detecting target object, electronic device and storage medium
CN107944324A (zh) 一种二维码畸变校正方法及装置
CN113657274B (zh) 表格生成方法、装置、电子设备及存储介质
CN113313083B (zh) 文本检测方法及装置
CN105320921A (zh) 双眼定位方法及双眼定位装置
CN112488999A (zh) 一种图像中小目标检测方法、***、存储介质及终端
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN111310746A (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN115546809A (zh) 基于单元格约束的表格结构识别方法及其应用
CN113901998A (zh) 模型的训练方法、装置、设备、存储介质以及检测方法
CN113033346A (zh) 文本检测方法、装置和电子设备
CN115456167A (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN114581732A (zh) 一种图像处理及模型训练方法、装置、设备和存储介质
CN116824609B (zh) 文档版式检测方法、装置和电子设备
CN114842287B (zh) 深度引导变形器的单目三维目标检测模型训练方法及装置
CN109416748B (zh) 基于svm的样本数据更新方法、分类***和存储装置
CN114511862B (zh) 表格识别方法、装置及电子设备
CN114119990B (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination