CN110781980B - 目标检测模型的训练方法、目标检测方法及装置 - Google Patents

目标检测模型的训练方法、目标检测方法及装置 Download PDF

Info

Publication number
CN110781980B
CN110781980B CN201911093997.9A CN201911093997A CN110781980B CN 110781980 B CN110781980 B CN 110781980B CN 201911093997 A CN201911093997 A CN 201911093997A CN 110781980 B CN110781980 B CN 110781980B
Authority
CN
China
Prior art keywords
target detection
training
detection model
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911093997.9A
Other languages
English (en)
Other versions
CN110781980A (zh
Inventor
鲁方波
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911093997.9A priority Critical patent/CN110781980B/zh
Publication of CN110781980A publication Critical patent/CN110781980A/zh
Application granted granted Critical
Publication of CN110781980B publication Critical patent/CN110781980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标检测模型的训练方法、目标检测方法及装置，涉及图像处理的技术领域，该方法包括：获取训练图像；训练图像携带有目标对象的标签信息；将训练图像输入至候选区域检测网络，得到目标对象的候选区域；将训练图像和候选区域输入至关键部位解析网络，得到关键部位解析网络输出的第一特征；通过训练图像、候选区域和关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型。本发明可以有效提高目标检测模型的准确率。

Description

目标检测模型的训练方法、目标检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种目标检测模型的训练方法、目标检测方法及装置。
背景技术
目标检测技术是计算机视觉技术的基础，目标检测技术可以检测出图像中包含的诸如人像、动物或物品等多种目标对象，在实际应用中目标检测技术可应用于诸多场景，例如，基于目标检测技术实现人员统计或图像修复，以基于目标检测技术实现图像修复为例，通过目标检测技术检测图像中包含的目标对象，并确定目标对象在图像中所处区域，进而对该区域进行针对性的修复。目前，目标检测技术主要包括传统的目标检测方法和基于深度学习的目标检测方法，其中，传统的目标检测方法的检测准确率较低，而基于深度学习的目标检测方法通常是对神经网络进行训练，从而通过训练后的神经网络检测出图像中包含的目标对象，但是对于低分辨率图像或目标对象所处区域在图像中占比较小的情况，训练后的神经网络仍然无法准确检测出图像中包含的目标对象，也即现有的用于检测目标对象的神经网络存在准确率较低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种目标检测模型的训练方法、目标检测方法及装置，可以有效提高用于检测目标对象的神经网络的准确率。
第一方面，本发明实施例提供了一种目标检测模型的训练方法，包括：获取训练图像；所述训练图像携带有目标对象的标签信息；将所述训练图像输入至候选区域检测网络，得到所述目标对象的候选区域；将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征；通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征的步骤，包括：将所述训练图像和所述候选区域输入至所述关键部位解析网络，获取所述关键部位解析网络的第一指定卷积层针对所述训练图像和所述候选区域输出的第一特征；所述通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练的步骤，包括：将所述训练图像和所述候选区域输入至待训练的目标检测模型，获取所述待训练的目标检测模型的第二指定卷积层针对所述训练图像和所述候选区域输出的第二特征；对所述第一特征和所述第二特征进行特征融合，得到所述第二指定卷积层的特征融合结果；基于所述特征融合结果对所述待训练的目标检测模型进行训练。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述第一指定卷积层和所述第二指定卷积层的数量为多个，且所述第二指定卷积层与所述第一指定卷积层一一对应；所述对所述第一特征和所述第二特征进行特征融合，得到所述第二指定卷积层的特征融合结果的步骤，包括：针对每个所述第二指定卷积层，对该第二指定卷积层输出的第二特征以及与该第二指定卷积层对应的第一指定卷积层输出的第一特征进行特征融合，得到该第二指定卷积层的特征融合结果。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于所述特征融合结果对所述待训练的目标检测模型进行训练的步骤，包括：对各所述第二指定卷积层的特征融合结果分别进行不同比例的上采样处理，得到各所述第二指定卷积层对应的上采样结果，并对各所述上采样结果进行特征融合，得到上采样融合特征；对各所述第二指定卷积层的特征融合结果分别进行不同比例的下采样处理，得到各所述第二指定卷积层对应的下采样结果，并对各所述下采样结果进行特征融合，得到下采样融合特征；对所述上采样融合特征进行回归处理，得到回归处理结果；以及对所述下采样融合特征进行分类处理，得到分类处理结果；基于所述回归处理结果和所述分类处理结果对所述待训练的目标检测模型进行训练。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述候选区域检测网络和所述关键部位解析网络均是基于所述目标检测模型的训练图像进行训练得到的；其中，所述训练图像在对所述候选区域检测网络进行训练时还携带有前景区域的标签信息；所述训练图像在对所述关键部位解析网络进行训练时还携带有关键部位的标签信息。
第二方面，本发明实施例还提供一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入至预先训练得到的目标检测模型；其中，所述目标检测模型采用第一方面提供的任一项所述的方法训练得到的；通过所述目标检测模型对所述待检测图像进行检测，得到目标检测结果；所述目标检测结果包括目标对象在所述待检测图像中的位置信息。
第三方面，本发明实施例还提供一种目标检测模型的训练装置，包括：训练图像获取模块，用于获取训练图像；所述训练图像携带有目标对象的标签信息；候选区域检测模块，用于将所述训练图像输入至候选区域检测网络，得到所述目标对象的候选区域；第一特征获取模块，用于将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征；训练模块，用于通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型。
第四方面，本发明实施例还提供一种目标检测装置，包括：待检测图像获取模块，用于获取待检测图像；待检测图像输入模块，用于将所述待检测图像输入至预先训练得到的目标检测模型；其中，所述目标检测模型采用第一方面提供的任一项所述的方法训练得到的；检测模块，用于通过所述目标检测模型对所述待检测图像进行检测，得到目标检测结果；所述目标检测结果包括目标对象在所述待检测图像中的位置信息。
第五方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法，或者执行如第二方面提供的方法。
第六方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令，或者执行如第二方面提供的方法。
本发明实施例提供的一种目标检测模型的训练方法及装置，获取携带有目标对象的标签信息的训练图像，将训练图像输入至候选区域检测模型得到目标对象的候选区域，并将上述训练图像和候选区域输入至关键部位解析网络，以得到关键部位解析网络输出的第一特征，从而通过上述训练图像、候选区域和第一特征对待训练的目标检测模型进行训练，以得到训练好的目标检测模型。本发明实施例基于训练图像、候选区域检测网络输出的候选区域以及关键部位解析网络输出的第一特征对目标检测模型进行训练，综合提高了训练后的目标检测模型检测目标对象的能力，从而有效提高训练后的目标检测模型在检测目标对象时的检测准确率。
本发明实施例提供的一种目标检测方法及装置，获取待检测图像，并将待检测图像输入至通过前述目标检测模型的训练方法训练得到的目标检测模型中，以通过目标检测模型对待检测图像进行检测，得到包括目标对象在待检测图像中的位置信息的目标检测结果。本发明实施例通过具有较高检测准确率的目标检测模型对待检测图像进行检测，可以有效提高检测到的目标对象的准确度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标检测模型的训练方法的流程示意图；
图2为本发明实施例提供的一种候选区域检测网络、关键部位解析网络和目标检测模型的连接示意图；
图3为本发明实施例提供的一种目标检测方法的流程示意图；
图4为本发明实施例提供的一种目标检测模型的训练装置的结构示意图；
图5为本发明实施例提供的一种目标检测装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，目标检测技术主要包括传统的目标检测方法和基于深度学习的目标检测方法，对于传统的目标检测方法，以一种人头检测的方法为例，该方法对输入的视频图像进行前景提取的同时会将每帧图像缩放到不同的尺寸，对每个固定尺寸的图像窗口提取像素差特征，并将提取的像素差特征输入至Adaboost多视角分类器进行人头检测，但是由于该方法采用传统算法提取像素差特征，而传统算法提取的像素差特征存在准确率较低的问题，因此该方法检测得到的人头的准确率较低；对于基于深度学习的目标检测方法，以一种基于深度学习的人头检测方法和装置为例，该方法利用大量标注数据对神经网络进行训练，以使神经网络学习人像特征，通过这种方式对图像进行检测的准确率将高于传统的目标检测方法的准确率，但是该方法对图像中不同大小的人像均采用同一网络进行处理，而对于低分辨率或人像所在区域占比较小的图像中，这种方法将无法提取这类图像中的人像特征，进而无法有效对图像中的人像进行捕捉，导致目标检测的准确率较低。基于此，本发明实施提供的一种目标检测模型的训练方法、目标检测方法及装置，可以有效提高用于检测目标对象的神经网络的准确率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标检测模型的训练方法进行详细介绍，参见图1所示的一种目标检测模型的训练方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：
步骤S102，获取训练图像。
训练图像携带有目标对象的标签信息，目标对象的标签信息可通过人工标注得到。训练图像也即用于训练目标检测模型的原始图像，目标对象的标签信息可以理解为用于训练目标检测模型的真值(GT，Ground Truth)，目标检测模型可以包括用于图像处理的神经网络，诸如CNN(Convolutional Neural Network，卷积神经网络)，在实际应用中，为了提高目标检测模型的检测准确率，还可以采用一种深层卷积神经网络VGG(VisualGeometry Group Network)作为目标检测模型。在一种实施方式中，可从存储有训练集的数据库中获取上述携带有目标对象的标签信息的训练图像。
步骤S104，将训练图像输入至候选区域检测网络，得到目标对象的候选区域。
候选区域检测网络用于检测目标对象在训练图像中可能位于的区域，候选区域也即目标对象在训练图像中可能位于的区域。在具体实现时，可以将训练图像输入至预先训练好的候选区域检测网络中，从而通过预先训练好的候选区域检测网络针对训练图像输出目标对象的候选区域，其中，候选区域网络可以基于目标检测模型的训练图像训练得到。
步骤S106，将训练图像和候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征。
关键部位解析网络用于解析目标对象的关键部位信息，同样可以基于目标检测模型的训练图像训练得到。为便于对关键部位信息进行理解，本发明实施例以目标对象是人像为例对关键部位信息进行说明，当目标对象是人像时，关键部位信息可以理解为诸如手部信息、头部信息、脸部信息以及肢体信息等人体信息。在一种实施方式中，关键部位解析网络包含有多个卷积层，第一特征即为多个卷积层中指定的卷积层针对上述训练图像和候选区域输出的卷积特征。
步骤S108，通过训练图像、候选区域和关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型。
在一种实施方式中，可以将训练图像和候选区域分别输入至关键部位解析网络和目标检测模型中，并将关键部位解析网络针对上述训练图像和候选区域输出的第一特征和目标检测模型针对上述训练图像和候选区域输出的特征进行特征融合，得到特征融合结果，并基于特征融合结果对目标检测模型进行训练，当目标检测模型的损失函数收敛时可以确定为目标检测模型训练完成。
本发明实施例提供的上述目标检测模型的训练方法，获取携带有目标对象的标签信息的训练图像，将训练图像输入至候选区域检测模型得到目标对象的候选区域，并将上述训练图像和候选区域输入至关键部位解析网络，以得到关键部位解析网络输出的第一特征，从而通过上述训练图像、候选区域和第一特征对待训练的目标检测模型进行训练，以得到训练好的目标检测模型。本发明实施例基于训练图像、候选区域检测网络输出的候选区域以及关键部位解析网络输出的第一特征对目标检测模型进行训练，综合提高了训练后的目标检测模型检测目标对象的能力，从而有效提高训练后的目标检测模型在检测目标对象时的检测准确率。
在实际应用中，上述候选区域检测网络和关键部位解析网络均是基于目标检测模型的训练图像进行训练得到的。训练图像在对候选区域检测网络进行训练时还携带有前景区域的标签信息，此时训练图像作为候选区域检测网络的输入，训练图像携带的前景区域的标签信息Label1作为候选区域检测网络的GT，从而对候选区域检测网络进行训练，其中，前景区域可以体现训练图像中的环境信息。本发明实施例提供了一种候选区域检测网络，具体的，将训练图像输入到候选区域生成网络(也即，前述候选区域检测网络)NET1中，得到m个候选区域，m个候选区域组成的集合记为REGION_SET，第n个候选区域表示为regionn，具体的，候选区域regionn可以表示为：regionn＝(xn,yn,wn，hn)，REGION_SET可以表示为：REGION_SET＝{region1,region2,...regionn...,regionm}。其中，m表示候选区域的数目，xn表示第n个候选区域的横坐标，yn表示第n个候选区域的纵坐标，wn表示第n个候选区域的宽度，hn表示第n个候选区域的高度。在实际应用中可基于问题复杂程度设置n的值，例如，对于常规人像检测可以将n设置为500，对于需要检测包含有较多目标对象的场景，则可以适当增加n值，从而得到更多的候选区域。在具体实现时，上述候选区域检测网络可以采用RPN(Region Proposal Network，区域生成网络)网络，基于上述训练图像以及训练图像携带的前景区域的标签信息Label1对RPN网络进行训练学习，通过反复迭代得到最终训练好的候选区域检测网络。
训练图像在对关键部位解析网络进行训练时还携带有关键部位的标签信息，此时训练图像和上述候选区域REGION_SET作为关键部位解析网络的输入，训练图像携带的关键部位的标签信息Label2作为关键部位解析网络的GT，共同送入到关键部位解析网络NET2中进行学习，通过反复迭代得到最终训练好的关键部位解析网络。其中，若目标对象是人像，则上述关键部位解析网络还可称之为人体解析网络。
本发明实施例提供了一种上述步骤S106的具体实现方式，具体的，将训练图像和候选区域输入至关键部位解析网络，获取关键部位解析网络的第一指定卷积层针对训练图像和候选区域输出的第一特征。关键部位解析网络中包含有多个卷积层，在具体实现时，可从关键部位解析网路中选取一个或多个卷积层作为第一指定卷积层，并获取每个第一卷积层基于训练图像和候选区域输出的卷积特征，其中，每个第一卷积层输出的卷积特征也即第一特征。
在一种实施方式中，本发明实施例提供了一种步骤S108的具体实现方式，参见如下步骤1至步骤3：
步骤1，将训练图像和候选区域输入至待训练的目标检测模型，获取待训练的目标检测模型的第二指定卷积层针对训练图像和候选区域输出的第二特征。目标检测模型中也可包括多个卷积层，并从目标检测模型中选取一个或多个卷积层作为第二指定卷积层，且第二指定卷积层与第一指定卷积层一一对应，例如，第一指定卷积层为关键部位解析网络中的第四层卷积层，则第二指定卷积层将为目标检测模型中的第四层卷积层。在具体实现时，可以将每个第二卷积层基于训练图像和候选区域输出的卷积特征作为第二特征。
步骤2，对第一特征和第二特征进行特征融合，得到第二指定卷积层的特征融合结果。
为便于对步骤2进行理解，本发明实施例提供了一种候选区域检测网络、关键部位解析网络和目标检测模型的连接示意图，如图2所示，其中，训练图像分别输入至候选区域检测网络NET1、关键部位解析网络NET2和目标检测模型NET3中，候选区域检测网络NET1输出的候选区域REGION_SET分别输入至关键部位解析网络NET2和目标检测模型NET3中，图2中所示的关键部位解析网络NET2和目标检测模型NET3均包括六层卷积层，关键部位解析网络NET2中第六层输出的卷积特征经全连接层后输出包含有关键部位信息的解析结果。
在上述图2的基础上，本发明实施例中的第一指定卷积层和第二指定卷积层的数量为多个，本发明实施例提供了一种对第一特征和第二特征进行特征融合，得到第二指定卷积层的特征融合结果的具体实现方式，具体的，针对每个第二指定卷积层，对该第二指定卷积层输出的第二特征以及与该第二指定卷积层对应的第一指定卷积层输出的第一特征进行特征融合，得到该第二指定卷积层的特征融合结果。以图2为例，第一指定卷积层可以包括关键部位解析网络NET2中的第四层卷积层、第五层卷积层和第六层卷积层，第二指定卷积层可以包括目标检测模型NET3中的第四层卷积层、第五层卷积层和第六层卷积层，在执行对第一特征和第二特征进行特征融合的步骤时，目标检测模型NET3中每个第二指定卷积层输出的第二特征与关键部位解析网络NET2中对应的第一指定卷积层输出的第一特征进行融合，并且低层卷积层的特征融合结果将作为高层卷积层的输入，其中，底层卷积层和高层卷积层属于相对概念，例如，对于第五层卷积层和第六层卷积层，此时第五层卷积层属于底层卷积层，第六层卷积层属于高层卷积层；而对于第四层卷积层和第五层卷积层，此时第四层卷积层属于底层卷积层，而第五层卷积层属于高层卷积层。
在具体实现时，关键部位解析网络NET2的第四层卷积层输出的NET2-CONV4与目标检测模型NET3的第四层卷积层输出的NET3-CONV4进行特征融合得到特征融合结果M4；将特征融合结果M4分别输入至关键部位解析网络NET2的第五层卷积层和目标检测模型NET3的第五层卷积层，并对关键部位解析网络NET2的第五层卷积层输出的NET2-CONV5与目标检测模型NET3的第五层卷积层输出的NET3-CONV5进行特征融合得到特征融合结果M5；将特征融合结果M5分别输入至关键部位解析网络NET2的第六层卷积层和目标检测模型NET3的第六层卷积层，并对关键部位解析网络NET2的第六层卷积层输出的NET2-CONV6与目标检测模型NET3的第六层卷积层输出的NET3-CONV6进行特征融合得到特征融合结果M6。在实际应用中只更新目标检测模型NET3网络的权重，而不更新关键部位解析网络NET2的权重。
步骤3，基于特征融合结果对待训练的目标检测模型进行训练。
在执行基于特征融合结果对待训练的目标检测模型进行训练的步骤时，可以按照如下步骤3.1至步骤3.4对待训练的目标检测模型进行训练：
步骤3.1，对各第二指定卷积层的特征融合结果分别进行不同比例的上采样处理，得到各第二指定卷积层对应的上采样结果，并对各上采样结果进行特征融合，得到上采样融合特征。考虑到相邻卷积层之间输出的特征图长宽比值均为2，因此对上述特征融合结果M5进行2倍上采样得到上采样结果M5UP2，对上述特征融合结果M6进行4倍上采样得到上采样结果M6UP4，从而得到与特征融合结果M4的尺寸相同的特征图，对特征融合结果M4进行的上采样处理可以理解为0倍上采样，因此上采样结果M4UP0实质上为特征融合结果M4。在此基础上再对特征融合结果M4、上采样结果M5UP2和上采样结果M6UP4进行特征融合处理，得到上采样融合特征MR。
步骤3.2，对各第二指定卷积层的特征融合结果分别进行不同比例的下采样处理，得到各第二指定卷积层对应的下采样结果，并对各下采样结果进行特征融合，得到下采样融合特征。例如，对上述特征融合结果M4进行4倍下采样得到下采样结果M4DOWN4，对上述特征融合结果M5进行2倍下采样得到下采样结果M5DOWN2，对上述特征融合结果M6进行0倍下采样得到下采样结果M6DOWN0(实质上为前述特征融合结果M6)，下采样结果的尺寸与特征融合结果M6的尺寸相同。在此基础上再对下采样结果M4DOWN4、下采样结果M5DOWN2和特征融合结果M6进行特征融合处理，得到下采样融合特征MC。
步骤3.3，对上采样融合特征进行回归处理，得到回归处理结果；以及对下采样融合特征进行分类处理，得到分类处理结果。考虑到分类操作仅仅根据高层语义特征即可完成，而边框回归操作需要更多低层语义信息从而得到更加准确的目标边界，因此在上述图2的基础上，将上采样融合特征MR输入至全连接层FC8中进行bound-box回归操作，得到回归处理结果，将下采样融合特征MC输入至全连接层FC7中进行分类操作，得到分类处理结果。
步骤3.4，基于回归处理结果和分类处理结果对待训练的目标检测模型进行训练。基于上述回归处理结果和分类处理结果对待训练的目标检测模型进行迭代，从而得到训练好的目标检测模型。
本发明实施例可以较好的应用于人像检测中，若将上述目标检测模型应用于人像检测时，目标检测模型又可称之为人像检测网络。
综上所述，由于人眼在观察世界时并不是将某个目标对象作为孤立对象，而是将目标对象结合周围环境一起考虑，因此本发明实施例通过候选区域检测网络将环境信息融入到目标检测模型中，同时通过对关键部位解析网络和目标检测模型输出的卷积特征进行特征融合，从而将不同网络的不同语义特征以及同一网络的不同层特征进行有效融合，可以有效利用高低层语义信息以及上下文语义信息，进而可以显著提高目标检测模型的检测准确率。
考虑到现有的目标检测方法存在目标对象的检测准确率较低的问题，本发明实施例在上述目标检测模型的训练方法的基础上，提供了一种目标检测方法，参见图3所示的一种目标检测方法的流程示意图，该方法主要可以包括以下步骤S302至步骤S306：
步骤S302，获取待检测图像。其中，待检测图像可以包括高分辨率图像、低分辨率图像或目标对象所处区域占比较小的图像等，例如，待检测图像包括图像分辨率高于第一分辨率阈值时的待检测图像，图像分辨率低于第二分辨率阈值的低分辨率图像，目标对象所处区域占比小于占比阈值的待检测图像。
步骤S304，将待检测图像输入至预先训练得到的目标检测模型。其中，目标检测模型采用前述实施例提供的目标检测模型的训练方法中任一项的方法训练得到的。
步骤S306，通过目标检测模型对待检测图像进行检测，得到目标检测结果。其中，目标检测结果包括目标对象在待检测图像中的位置信息。由于前述实施例提供的目标检测模型在训练过程中融入了图像中的环境信息，更为贴合人类视觉感知目标对象的过程，因此检测得到的目标检测结果具有更高的准确率。
本发明实施例提供的上述目标检测方法，获取待检测图像，并将待检测图像输入至通过前述目标检测模型的训练方法训练得到的目标检测模型中，以通过目标检测模型对待检测图像进行检测，得到包括目标对象在待检测图像中的位置信息的目标检测结果。本发明实施例通过具有较高检测准确率的目标检测模型对待检测图像进行检测，可以有效提高检测到的目标对象的准确度。
对于前述实施例提供的目标检测模型的训练方法，本发明实施例提供了一种目标检测模型的训练装置，参见图4所示的一种目标检测模型的训练装置的结构示意图，该装置可以包括以下部分：
训练图像获取模块402，用于获取训练图像；训练图像携带有目标对象的标签信息。
候选区域检测模块404，用于将训练图像输入至候选区域检测网络，得到目标对象的候选区域。
第一特征获取模块406，用于将训练图像和候选区域输入至关键部位解析网络，得到关键部位解析网络输出的第一特征。
训练模块408，用于通过训练图像、候选区域和关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型。
本发明实施例基于训练图像、候选区域检测网络输出的候选区域以及关键部位解析网络输出的第一特征对目标检测模型进行训练，综合提高了训练后的目标检测模型检测目标对象的能力，从而有效提高训练后的目标检测模型在检测目标对象时的检测准确率。
在一种实施方式中，上述第一特征获取模块406还用于：将所述训练图像和所述候选区域输入至所述关键部位解析网络，获取所述关键部位解析网络的第一指定卷积层针对所述训练图像和所述候选区域输出的第一特征；上述训练模块408还包括：第二特征获取单元，用于将训练图像和候选区域输入至待训练的目标检测模型，获取待训练的目标检测模型的第二指定卷积层针对训练图像和候选区域输出的第二特征；特征融合单元，用于对第一特征和第二特征进行特征融合，得到第二指定卷积层的特征融合结果；模型训练单元，用于基于特征融合结果对待训练的目标检测模型进行训练。
在一种实施方式中，上述第一指定卷积层和第二指定卷积层的数量为多个，且第二指定卷积层与第一指定卷积层一一对应；上述特征融合单元，还用于针对每个第二指定卷积层，对该第二指定卷积层输出的第二特征以及与该第二指定卷积层对应的第一指定卷积层输出的第一特征进行特征融合，得到该第二指定卷积层的特征融合结果。
在一种实施方式中，上述模型训练单元，还用于对各第二指定卷积层的特征融合结果分别进行不同比例的上采样处理，得到各第二指定卷积层对应的上采样结果，并对各上采样结果进行特征融合，得到上采样融合特征；对各第二指定卷积层的特征融合结果分别进行不同比例的下采样处理，得到各第二指定卷积层对应的下采样结果，并对各下采样结果进行特征融合，得到下采样融合特征；对上采样融合特征进行回归处理，得到回归处理结果；以及对下采样融合特征进行分类处理，得到分类处理结果；基于回归处理结果和分类处理结果对待训练的目标检测模型进行训练。
在一种实施方式中，上述候选区域检测网络和关键部位解析网络均是基于目标检测模型的训练图像进行训练得到的；其中，训练图像在对候选区域检测网络进行训练时还携带有前景区域的标签信息；训练图像在对关键部位解析网络进行训练时还携带有关键部位的标签信息。
对于前述实施例提供的目标检测方法，本发明实施例提供了一种目标检测装置，参见图5所示的一种目标检测装置的结构示意图，该装置可以包括以下部分：
待检测图像获取模块502，用于获取待检测图像。
待检测图像输入模块504，用于将待检测图像输入至预先训练得到的目标检测模型；其中，目标检测模型采用前述实施例提供的目标检测模型的训练方法中任一项的方法训练得到的。
检测模块506，用于通过目标检测模型对待检测图像进行检测，得到目标检测结果；目标检测结果包括目标对象在待检测图像中的位置信息。
本发明实施例通过具有较高检测准确率的目标检测模型对待检测图像进行检测，可以有效提高检测到的目标对象的准确度。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
该设备为一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图6为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种目标检测模型的训练方法，其特征在于，包括：
获取训练图像；所述训练图像携带有目标对象的标签信息；
将所述训练图像输入至候选区域检测网络，得到所述目标对象的候选区域；
将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征；
通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型；
所述通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练的步骤，包括：
将所述训练图像和所述候选区域输入至待训练的目标检测模型，获取所述待训练的目标检测模型的第二指定卷积层针对所述训练图像和所述候选区域输出的第二特征；
对所述第一特征和所述第二特征进行特征融合，得到所述第二指定卷积层的特征融合结果；
基于所述特征融合结果对所述待训练的目标检测模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征的步骤，包括：
将所述训练图像和所述候选区域输入至所述关键部位解析网络，获取所述关键部位解析网络的第一指定卷积层针对所述训练图像和所述候选区域输出的第一特征。
3.根据权利要求2所述的方法，其特征在于，所述第一指定卷积层和所述第二指定卷积层的数量为多个，且所述第二指定卷积层与所述第一指定卷积层一一对应；
所述对所述第一特征和所述第二特征进行特征融合，得到所述第二指定卷积层的特征融合结果的步骤，包括：
针对每个所述第二指定卷积层，对该第二指定卷积层输出的第二特征以及与该第二指定卷积层对应的第一指定卷积层输出的第一特征进行特征融合，得到该第二指定卷积层的特征融合结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征融合结果对所述待训练的目标检测模型进行训练的步骤，包括：
对各所述第二指定卷积层的特征融合结果分别进行不同比例的上采样处理，得到各所述第二指定卷积层对应的上采样结果，并对各所述上采样结果进行特征融合，得到上采样融合特征；
对各所述第二指定卷积层的特征融合结果分别进行不同比例的下采样处理，得到各所述第二指定卷积层对应的下采样结果，并对各所述下采样结果进行特征融合，得到下采样融合特征；
对所述上采样融合特征进行回归处理，得到回归处理结果；以及对所述下采样融合特征进行分类处理，得到分类处理结果；
基于所述回归处理结果和所述分类处理结果对所述待训练的目标检测模型进行训练。
5.根据权利要求1所述的方法，其特征在于，所述候选区域检测网络和所述关键部位解析网络均是基于所述目标检测模型的训练图像进行训练得到的；其中，所述训练图像在对所述候选区域检测网络进行训练时还携带有前景区域的标签信息；所述训练图像在对所述关键部位解析网络进行训练时还携带有关键部位的标签信息。
6.一种目标检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至预先训练得到的目标检测模型；其中，所述目标检测模型采用权利要求1-5任一项所述的方法训练得到的；
通过所述目标检测模型对所述待检测图像进行检测，得到目标检测结果；所述目标检测结果包括目标对象在所述待检测图像中的位置信息。
7.一种目标检测模型的训练装置，其特征在于，包括：
训练图像获取模块，用于获取训练图像；所述训练图像携带有目标对象的标签信息；
候选区域检测模块，用于将所述训练图像输入至候选区域检测网络，得到所述目标对象的候选区域；
第一特征获取模块，用于将所述训练图像和所述候选区域输入至关键部位解析网络，得到所述关键部位解析网络输出的第一特征；
训练模块，用于通过所述训练图像、所述候选区域和所述关键部位解析网络输出的第一特征对待训练的目标检测模型进行训练，得到训练好的目标检测模型；
所述训练模块还用于：
将所述训练图像和所述候选区域输入至待训练的目标检测模型，获取所述待训练的目标检测模型的第二指定卷积层针对所述训练图像和所述候选区域输出的第二特征；
对所述第一特征和所述第二特征进行特征融合，得到所述第二指定卷积层的特征融合结果；
基于所述特征融合结果对所述待训练的目标检测模型进行训练。
8.一种目标检测装置，其特征在于，包括：
待检测图像获取模块，用于获取待检测图像；
待检测图像输入模块，用于将所述待检测图像输入至预先训练得到的目标检测模型；其中，所述目标检测模型采用权利要求1-5任一项所述的方法训练得到的；
检测模块，用于通过所述目标检测模型对所述待检测图像进行检测，得到目标检测结果；所述目标检测结果包括目标对象在所述待检测图像中的位置信息。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至5任一项所述的方法，或者执行如权利要求6所述的方法。
10.一种计算机存储介质，其特征在于，用于储存为权利要求1至5任一项所述方法所用的计算机软件指令，或者执行如权利要求6所述的方法。
CN201911093997.9A 2019-11-08 2019-11-08 目标检测模型的训练方法、目标检测方法及装置 Active CN110781980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911093997.9A CN110781980B (zh) 2019-11-08 2019-11-08 目标检测模型的训练方法、目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911093997.9A CN110781980B (zh) 2019-11-08 2019-11-08 目标检测模型的训练方法、目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN110781980A CN110781980A (zh) 2020-02-11
CN110781980B true CN110781980B (zh) 2022-04-12

Family

ID=69391025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911093997.9A Active CN110781980B (zh) 2019-11-08 2019-11-08 目标检测模型的训练方法、目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN110781980B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767919B (zh) * 2020-04-10 2024-02-06 福建电子口岸股份有限公司 一种多层双向特征提取与融合的目标检测方法
CN111597945B (zh) * 2020-05-11 2023-08-18 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN113822302A (zh) * 2020-06-18 2021-12-21 北京金山数字娱乐科技有限公司 一种目标检测模型的训练方法及装置
CN113139543B (zh) * 2021-04-28 2023-09-01 北京百度网讯科技有限公司 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113344791B (zh) * 2021-07-05 2022-06-10 中山大学 基于空洞卷积和特征融合的双目超分辨率图像检测方法、***及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
WO2019083738A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated METHODS AND SYSTEMS FOR APPLYING COMPLEX OBJECT DETECTION IN A VIDEO ANALYSIS SYSTEM
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
WO2019083738A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated METHODS AND SYSTEMS FOR APPLYING COMPLEX OBJECT DETECTION IN A VIDEO ANALYSIS SYSTEM
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法

Also Published As

Publication number Publication date
CN110781980A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN111160335B (zh) 基于人工智能的图像水印处理方法、装置及电子设备
CN107944450B (zh) 一种车牌识别方法及装置
US11475681B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN111062964B (zh) 图像分割方法及相关装置
CN111353544B (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN109798888B (zh) 移动设备的姿态确定装置、方法和视觉里程计
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、***及终端
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN111062347A (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN114120284A (zh) 深度学习的高速公路车道结构化方法、存储介质及设备
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant