CN110610123A - 一种多目标车辆检测方法、装置、电子设备及存储介质 - Google Patents

一种多目标车辆检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110610123A
CN110610123A CN201910614995.3A CN201910614995A CN110610123A CN 110610123 A CN110610123 A CN 110610123A CN 201910614995 A CN201910614995 A CN 201910614995A CN 110610123 A CN110610123 A CN 110610123A
Authority
CN
China
Prior art keywords
image
feature
size
detected
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910614995.3A
Other languages
English (en)
Inventor
傅慧源
马华东
耿欢
关俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910614995.3A priority Critical patent/CN110610123A/zh
Publication of CN110610123A publication Critical patent/CN110610123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种多目标车辆检测方法、装置、电子设备及存储介质，该方法包括：获取待检测图像；利用预先训练的机器学习算法的特征提取网络，对待检测图像进行特征提取，得到至少两个特征图像，其中，各特征图像的尺寸不同；利用预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各特征图像中的预测车辆框；利用预先训练的机器学习算法的目标分类网络，对各特征图像中的预测车辆框中的区域进行分析，得到待检测图像的车辆检测结果。本申请实施例的多目标车辆检测方法，通过对多个尺寸的特征图像进行分析，从而能够实现不同尺寸车辆的识别，提高对多尺寸车辆的识别成功率。

Description

一种多目标车辆检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种多目标车辆检测方法、装置、电子设备及存储介质。
背景技术
目标检测一直是计算机视觉领域的重要组成部分和挑战，近年来多媒体技术的飞速发展以及图像处理技术的不断更新，目标检测领域出现了大量的优秀成果。交通场景中车辆检测作为车辆追踪的前提、车辆异常行为分析的基础，成为智慧交通、自动驾驶等研究领域的热门内容。
随着机器学习算法尤其是卷积神经网络的出现，计算机视觉技术得到了飞速发展。现有技术中，利用预先训练的卷积神经网络提取待检测图像的特征图，并通过池化分类方式确定待检测图像中车辆的位置。但是现有技术中，仅能够实现固定尺寸车辆的识别，对多尺寸车辆的识别成功率低。
发明内容
本申请实施例的目的在于提供一种多目标车辆检测方法、装置、电子设备及存储介质，以实现提高对多尺寸车辆的识别成功率。具体技术方案如下：
第一方面，本申请实施例公开了一种多目标车辆检测方法，所述方法包括：
获取待检测图像；
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，其中，各所述特征图像的尺寸不同；
利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框；
利用所述预先训练的机器学习算法的目标分类网络，对各所述特征图像中的预测车辆框中的区域进行分析，得到所述待检测图像的车辆检测结果。
可选的，所述至少两个特征图像包括浅层特征图像及深层特征图像，所述浅层特征图像的尺寸大于所述深层特征图像的尺寸，所述至少两个候选区域生成器包括浅层候选区域生成器及深层候选区域生成器；
所述利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框，包括：
通过所述浅层候选区域生成器对所述浅层特征图像进行分析，得到所述浅层特征图像的预测车辆框；
通过所述深层候选区域生成器对所述深层特征图像进行分析，得到所述深层特征图像的预测车辆框。
可选的，所述特征提取网络包括四层卷积层，所述利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述浅层特征图像，从所述特征提取网络的第四层卷积层获取所述深层特征图像。
可选的，所述浅层特征图像的尺寸为所述待检测图像的尺寸的1/4，所述深层特征图像的尺寸为所述待检测图像的尺寸的1/16。
可选的，所述至少两个特征图像包括第一特征图像、第二特征图像及第三特征图像，所述第一特征图像的尺寸大于所述第二特征图像的尺寸，所述第二特征图像的尺寸大于所述第三特征图像的尺寸，所述至少两个候选区域生成器包括第一候选区域生成器、第二候选区域生成器及第三候选区域生成器；
所述利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框，包括：
通过所述第一候选区域生成器对所述第一特征图像进行分析，得到所述第一特征图像的预测车辆框；
通过所述第二候选区域生成器对所述第二特征图像进行分析，得到所述第二特征图像的预测车辆框；
通过所述第三候选区域生成器对所述第三特征图像进行分析，得到所述第三特征图像的预测车辆框。
可选的，所述特征提取网络包括四层卷积层，所述利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述第一特征图像，从所述特征提取网络的第三层卷积层获取所述第二特征图像，从所述特征提取网络的第四层卷积层获取所述第三特征图像。
可选的，所述第一特征图像的尺寸为所述待检测图像的尺寸的1/4，所述第二特征图像的尺寸为所述待检测图像的尺寸的1/8，所述第三特征图像的尺寸为所述待检测图像的尺寸的1/16。
可选的，所述候选区域生成器为RPN，所述目标分类网络为RCNN。
第二方面，本申请实施例提供了一种多目标车辆检测装置，所述装置包括：
图像获取模块，用于获取待检测图像；
特征提取模块，用于利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，其中，各所述特征图像的尺寸不同；
检测框预测模块，用于利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框；
检测结果生成模块，用于利用所述预先训练的机器学习算法的目标分类网络，对各所述特征图像中的预测车辆框中的区域进行分析，得到所述待检测图像的车辆检测结果。
可选的，所述至少两个特征图像包括浅层特征图像及深层特征图像，所述浅层特征图像的尺寸大于所述深层特征图像的尺寸，所述至少两个候选区域生成器包括浅层候选区域生成器及深层候选区域生成器；
所述检测框预测模块，具体用于：
通过所述浅层候选区域生成器对所述浅层特征图像进行分析，得到所述浅层特征图像的预测车辆框；
通过所述深层候选区域生成器对所述深层特征图像进行分析，得到所述深层特征图像的预测车辆框。
可选的，所述特征提取网络包括四层卷积层，所述特征提取模块，具体用于：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述浅层特征图像，从所述特征提取网络的第四层卷积层获取所述深层特征图像。
可选的，所述浅层特征图像的尺寸为所述待检测图像的尺寸的1/4，所述深层特征图像的尺寸为所述待检测图像的尺寸的1/16。
可选的，所述至少两个特征图像包括第一特征图像、第二特征图像及第三特征图像，所述第一特征图像的尺寸大于所述第二特征图像的尺寸，所述第二特征图像的尺寸大于所述第三特征图像的尺寸，所述至少两个候选区域生成器包括第一候选区域生成器、第二候选区域生成器及第三候选区域生成器；
所述检测框预测模块，具体用于：
通过所述第一候选区域生成器对所述第一特征图像进行分析，得到所述第一特征图像的预测车辆框；
通过所述第二候选区域生成器对所述第二特征图像进行分析，得到所述第二特征图像的预测车辆框；
通过所述第三候选区域生成器对所述第三特征图像进行分析，得到所述第三特征图像的预测车辆框。
可选的，所述特征提取网络包括四层卷积层，所述特征提取模块，具体用于：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述第一特征图像，从所述特征提取网络的第三层卷积层获取所述第二特征图像，从所述特征提取网络的第四层卷积层获取所述第三特征图像。
可选的，所述第一特征图像的尺寸为所述待检测图像的尺寸的1/4，所述第二特征图像的尺寸为所述待检测图像的尺寸的1/8，所述第三特征图像的尺寸为所述待检测图像的尺寸的1/16。
可选的，所述候选区域生成器为RPN，所述目标分类网络为RCNN。
第三方面，本申请实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的多目标车辆检测方法。
第四方面，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面任一所述的多目标车辆检测方法。
本申请实施例提供了一种多目标车辆检测方法、装置、电子设备及存储介质，获取待检测图像；利用预先训练的机器学习算法的特征提取网络，对待检测图像进行特征提取，得到至少两个特征图像，其中，各特征图像的尺寸不同；利用预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各特征图像中的预测车辆框；利用预先训练的机器学习算法的目标分类网络，对各特征图像中的预测车辆框中的区域进行分析，得到待检测图像的车辆检测结果。通过对多个尺寸的特征图像进行分析，从而能够实现不同尺寸车辆的识别，提高对多尺寸车辆的识别成功率，并且不同候选区域生成器得到的预测车辆框通过同一目标分类网络进行分类，能够减少网络的复杂程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的多目标车辆检测方法的一种示意图；
图2为本申请实施例的特征提取网络的一种示意图；
图3为本申请实施例的多目标车辆检测方法的另一种示意图；
图4为本申请实施例的多目标车辆检测装置的一种示意图；
图5为本申请实施例的一种电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统的深度学习检测网络在多层特征提取后的特征图上，根据计算后的特征数值进行计算，从而实现车辆的位置预测，在这个过程中，车辆的像素数值不断地进行压缩和抽象。基于上述情况，对于尺寸较小的车辆目标，经过多层的特征提取后，得到的特征高度提取但是数量很少，从而对正确的检测带来了干扰。在实际的城市道路中，监控摄像的拍摄往往是由远及近的角度。此时车辆呈现了多种不同的尺寸，经典的目标检测模型难以同时对大、小目标同时进行检测，从而导致了检测准确率低等问题。
可以理解的是，对于小目标车辆来说，其特征在较浅层特征图中既得到了有效提取，同时也保留了较多的数量。因此在浅层特征上更容易检测较小目标，在深层特征上更容易检测较大目标。
为了实现同时对不同尺寸的车辆目标进行检测，本申请实施例提供了一种多目标车辆检测方法，参见图1，该方法包括：
S101，获取待检测图像。
本申请实施例的多目标车辆检测方法可以通过电子设备实现，具体的，该电子设备可以为智能相机、硬盘录像机或服务器等。
电子设备获取待检测图像，待检测图像的尺寸为预设尺寸，若待检测图像的尺寸不为预设尺寸，需要将待检测图像的大小调整为预设尺寸的大小。预设尺寸与预先训练的机器学习算法的样本图像的大小相同，可以根据实际情况进行设定。
S102，利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，得到至少两个特征图像，其中，各上述特征图像的尺寸不同。
不同于现有技术中仅获取一个尺度的特征图像，本申请实施例中从预先训练的机器学习算法的特征提取网络中，提取待检测图像的多个尺寸的特征图像。
在上述至少两个特征图像包括浅层特征图像及深层特征图像时，可选的，上述特征提取网络包括四层卷积层，上述利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，从上述特征提取网络的第二层卷积层获取上述浅层特征图像，从上述特征提取网络的第四层卷积层获取上述深层特征图像。
特征提取网络包括四层卷积层，图像经过每层卷积层后，尺寸均会减少，而特征深度会加深。例如图2所示，在经过第一层卷积层后，图像尺寸变为原图像尺寸的1/2，在经过第二层卷积层后，图像尺寸变为原图像尺寸的1/4，在经过第三层卷积层后，图像尺寸变为原图像尺寸的1/8，在经过第四层卷积层后，图像尺寸变为原图像尺寸的1/16。
提取第二卷积层卷积下采集后的特征图像，得到浅层特征图像；提取第四卷积层卷积下采集后的特征图像，得到深层特征图像。可以理解的是，对于小目标车辆来说，其特征在较浅层特征图中既得到了有效提取，同时也保留了较多的数量。因此在浅层特征上更容易检测较小目标，在深层特征上更容易检测较大目标。所以通过浅层特征图像提取尺寸较小的车辆的检测框，通过深层特征图像提取尺寸较大的车辆的检测框。
可选的，上述浅层特征图像的尺寸为上述待检测图像的尺寸的1/4，上述深层特征图像的尺寸为上述待检测图像的尺寸的1/16。
浅层特征图像的尺寸为待检测图像的尺寸的1/4，即浅层特征图像的尺寸为预设尺寸的1/4；深层特征图像的尺寸为待检测图像的尺寸的1/16，即深层特征图像的尺寸为预设尺寸的1/16。可以看出，是十六分之一尺寸的特征图由四分之一尺寸的特征图计算得到，将两个候选区域生成器融合在一个网络中，可以共享部分的计算结果，实现一次输入完成检测。
经过发明人研究发现，在浅层特征图像的尺寸为待检测图像的尺寸的1/4，深层特征图像的尺寸为待检测图像的尺寸的1/16时，同时兼顾了大尺寸与小尺寸车辆的检测，机器学习算法的复杂度低。
在面对较为复杂的场景时，在一种可能的实施方式中，上述特征提取网络包括四层卷积层，上述利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，从上述特征提取网络的第二层卷积层获取上述第一特征图像，从上述特征提取网络的第三层卷积层获取上述第二特征图像，从上述特征提取网络的第四层卷积层获取上述第三特征图像。
可选的，上述第一特征图像的尺寸为上述待检测图像的尺寸的1/4，上述第二特征图像的尺寸为上述待检测图像的尺寸的1/8，上述第三特征图像的尺寸为上述待检测图像的尺寸的1/16。经过发明人研究发现，在第一特征图像的尺寸为待检测图像的尺寸的1/4，第二特征图像的尺寸为待检测图像的尺寸的1/8，第三特征图像的尺寸为待检测图像的尺寸的1/16时，可以适用于背景复杂的场景，检测效果较好。
S103，利用上述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各上述特征图像中的预测车辆框。
每个尺寸的特征图像均对应一个候选区域生成器，训练过程中，候选区域生成器通过样本图片的相应尺寸的特征图进行训练。
在一种可能的实施方式中，上述至少两个特征图像包括浅层特征图像及深层特征图像，上述浅层特征图像的尺寸大于上述深层特征图像的尺寸，上述至少两个候选区域生成器包括浅层候选区域生成器及深层候选区域生成器；
上述利用上述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各上述特征图像中的预测车辆框，包括：
步骤一，通过上述浅层候选区域生成器对上述浅层特征图像进行分析，得到上述浅层特征图像的预测车辆框。
步骤二，通过上述深层候选区域生成器对上述深层特征图像进行分析，得到上述深层特征图像的预测车辆框。
在一种可能的实施方式中，上述至少两个特征图像包括第一特征图像、第二特征图像及第三特征图像，上述第一特征图像的尺寸大于上述第二特征图像的尺寸，上述第二特征图像的尺寸大于上述第三特征图像的尺寸，上述至少两个候选区域生成器包括第一候选区域生成器、第二候选区域生成器及第三候选区域生成器；
上述利用上述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各上述特征图像中的预测车辆框，包括：
步骤一，通过上述第一候选区域生成器对上述第一特征图像进行分析，得到上述第一特征图像的预测车辆框。
步骤二，通过上述第二候选区域生成器对上述第二特征图像进行分析，得到上述第二特征图像的预测车辆框。
步骤三，通过上述第三候选区域生成器对上述第三特征图像进行分析，得到上述第三特征图像的预测车辆框。
训练过程中，浅层特征图像通过对样本图像的浅层特征图像进行训练，深层特征图像通过对样本图像的深层特征图像进行训练。具体的，候选区域生成器可以为RPN(Region Proposal Network，区域推荐网络)。
S104，利用上述预先训练的机器学习算法的目标分类网络，对各上述特征图像中的预测车辆框中的区域进行分析，得到上述待检测图像的车辆检测结果。
利用预先训练的机器学习算法的目标分类网络，分别对各特征图像中的预测车辆框中的区域进行分类，判断预测车辆框中的区域是否为车辆，针对任一预测车辆框，若该预测车辆框中的区域为车辆，则将该预测车辆框映射到待检测图像中相应位置，若该预测车辆框中的区域不为车辆，则丢弃该预测车辆框。具体的，目标分类网络可以为RCNN(RegionsConvolutional Neural Networks，区域卷积神经网络)网络。
因为各候选区域生成器生成的预测车辆框可能相同，在一种可能的实施方式中，通过非极大值抑制的方式，消除各选区域生成器中重复的车辆检测结果，从而得到待检测图像的车辆检测结果。
在本申请实施例中，通过对多个尺寸的特征图像进行分析，从而能够实现不同尺寸车辆的识别，提高对多尺寸车辆的识别成功率，并且不同候选区域生成器得到的预测车辆框通过同一目标分类网络进行分类，相比于针对每个候选区域生成器均配置一个分类网络，能够减少网络的复杂程度。
在一种可能的实施方式中，本申请实施例提的多目标车辆检测方法可以如图3所示，包括：
步骤一，获取待检测图像。
步骤二，利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从特征提取网络的第二层卷积层获取浅层特征图像，从特征提取网络的第四层卷积层获取深层特征图像，其中，特征提取网络包括四层卷积层；浅层特征图像的尺寸为待检测图像的尺寸的1/4，深层特征图像的尺寸为待检测图像的尺寸的1/16。
步骤三，通过预先训练的机器学习算法的浅层候选区域生成器对浅层特征图像进行分析，得到浅层特征图像的预测车辆框；通过预先训练的机器学习算法的深层候选区域生成器对深层特征图像进行分析，得到深层特征图像的预测车辆框。
步骤四，利用预先训练的机器学习算法的目标分类网络，分别对浅层特征图像的预测车辆及深层特征图像的预测车辆框中的区域进行分析，得到待检测图像的车辆检测结果。
在本申请实施例中，十六分之一尺寸的特征图由四分之一尺寸的特征图计算得到，将两个候选区域生成器融合在一个网络中，可以共享部分的计算结果，实现一次输入完成检测。通过对多个尺寸的特征图像进行分析，从而能够实现不同尺寸车辆的识别，提高对多尺寸车辆的识别成功率，并且不同候选区域生成器得到的预测车辆框通过同一目标分类网络进行分类，相比于针对每个候选区域生成器均配置一个分类网络，能够减少网络的复杂程度。
下面，以包括两个候选区域生成器为例，对预先训练机器学习算法的过程进行说明：
步骤A，构建初始的机器学习算法，包括一个共享的特征提取网络和两个候选区域生成器及一个目标分类网络。
机器学习算法的主干网络采用MobileNet实现，MobileNet是一种轻量实时的高性能网络结构，经发明人多次实验发现能够很好的适用于多尺寸目标的检测，当然也可以采用VGG(Visual Geometry Group Network，视觉几何群网络)16、ResNet等其他类型的神经网络。共享的特征提取网络由多层的卷积层组成，图像每经过一层卷积层都会得到一个特定尺寸的特征样本，从而最终得到的特征样本尺寸缩小，包含了原图像的深层特征。具体的，特征提取网络包括四个卷积层，一个候选区域生成器与第二层卷积层级联，另一个候选区域生成器与第四层卷积层级联。候选区域生成器可以为RPN，目标分类网络可以为RCNN。
步骤B，获取多个样本图像，并对各样本图像中的车辆进行标注，其中，多个样本图像中车辆的尺寸不同。
样本图像可以来自真实的道路监控场景图像，多个样本图像中车辆的尺寸应该尽可能的多，对每个样本图像中的车辆标注车辆框。
步骤C，将标注后的样本图像输入到初始的机器学习算法模型中进行训练，得到预先训练的机器学习算法。
根据候选区域生成器生成目标可能存在区域和人工标注的groundTruth(车辆框)的差异，调整共享的特征提取网络参数。当迭代次数达到第一预设次数时，得到所述特征提取网络。候选区域生成器基于多尺度特征图生成的“感兴趣区域”(预测车辆框的区域)经过roi-pooling(感兴趣区域池化)操作后，生成池化特征样本。每个池化特征样本经过目标分类网络网络处理后，得到车辆的预测结果。目标分类网络网络的预测区域和人工标注的groundTruth的差异，调整所述共享特征提取网络以及检测器网络的参数。当迭代次数达到第二预设次数时，得到所述特征提取网络和检测器网络。
本申请实施例提供了一种多目标车辆检测装置，参见图4，该装置包括：
图像获取模块401，用于获取待检测图像；
特征提取模块402，用于利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，得到至少两个特征图像，其中，各上述特征图像的尺寸不同；
检测框预测模块403，用于利用上述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各上述特征图像中的预测车辆框；
检测结果生成模块404，用于利用上述预先训练的机器学习算法的目标分类网络，对各上述特征图像中的预测车辆框中的区域进行分析，得到上述待检测图像的车辆检测结果。
可选的，上述至少两个特征图像包括浅层特征图像及深层特征图像，上述浅层特征图像的尺寸大于上述深层特征图像的尺寸，上述至少两个候选区域生成器包括浅层候选区域生成器及深层候选区域生成器；
上述检测框预测模块403，具体用于：
通过上述浅层候选区域生成器对上述浅层特征图像进行分析，得到上述浅层特征图像的预测车辆框；
通过上述深层候选区域生成器对上述深层特征图像进行分析，得到上述深层特征图像的预测车辆框。
可选的，上述特征提取网络包括四层卷积层，上述特征提取模块402，具体用于：
利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，从上述特征提取网络的第二层卷积层获取上述浅层特征图像，从上述特征提取网络的第四层卷积层获取上述深层特征图像。
可选的，上述浅层特征图像的尺寸为上述待检测图像的尺寸的1/4，上述深层特征图像的尺寸为上述待检测图像的尺寸的1/16。
可选的，上述至少两个特征图像包括第一特征图像、第二特征图像及第三特征图像，上述第一特征图像的尺寸大于上述第二特征图像的尺寸，上述第二特征图像的尺寸大于上述第三特征图像的尺寸，上述至少两个候选区域生成器包括第一候选区域生成器、第二候选区域生成器及第三候选区域生成器；
上述检测框预测模块403，具体用于：
通过上述第一候选区域生成器对上述第一特征图像进行分析，得到上述第一特征图像的预测车辆框；
通过上述第二候选区域生成器对上述第二特征图像进行分析，得到上述第二特征图像的预测车辆框；
通过上述第三候选区域生成器对上述第三特征图像进行分析，得到上述第三特征图像的预测车辆框。
可选的，上述特征提取网络包括四层卷积层，上述特征提取模块402，具体用于：
利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，从上述特征提取网络的第二层卷积层获取上述第一特征图像，从上述特征提取网络的第三层卷积层获取上述第二特征图像，从上述特征提取网络的第四层卷积层获取上述第三特征图像。
可选的，上述第一特征图像的尺寸为上述待检测图像的尺寸的1/4，上述第二特征图像的尺寸为上述待检测图像的尺寸的1/8，上述第三特征图像的尺寸为上述待检测图像的尺寸的1/16。
可选的，上述候选区域生成器为RPN，上述目标分类网络为RCNN。
本申请实施例还公开了一种电子设备，如图5所示。图5为本申请实施例的一种电子设备结构示意图，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信；
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现以下方法步骤：
获取待检测图像；
利用预先训练的机器学习算法的特征提取网络，对上述待检测图像进行特征提取，得到至少两个特征图像，其中，各上述特征图像的尺寸不同；
利用上述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各上述特征图像中的预测车辆框；
利用上述预先训练的机器学习算法的目标分类网络，对各上述特征图像中的预测车辆框中的区域进行分析，得到上述待检测图像的车辆检测结果。
可选的，处理器501，用于执行存储器503上所存放的程序时还能够实现上述任一一种多目标车辆检测方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线604可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
又一方面，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述多目标车辆检测方法中任一所述的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种多目标车辆检测方法，其特征在于，所述方法包括：
获取待检测图像；
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，其中，各所述特征图像的尺寸不同；
利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框；
利用所述预先训练的机器学习算法的目标分类网络，对各所述特征图像中的预测车辆框中的区域进行分析，得到所述待检测图像的车辆检测结果。
2.根据权利要求1所述的方法，其特征在于，所述至少两个特征图像包括浅层特征图像及深层特征图像，所述浅层特征图像的尺寸大于所述深层特征图像的尺寸，所述至少两个候选区域生成器包括浅层候选区域生成器及深层候选区域生成器；
所述利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框，包括：
通过所述浅层候选区域生成器对所述浅层特征图像进行分析，得到所述浅层特征图像的预测车辆框；
通过所述深层候选区域生成器对所述深层特征图像进行分析，得到所述深层特征图像的预测车辆框。
3.根据权利要求2所述的方法，其特征在于，所述特征提取网络包括四层卷积层，所述利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述浅层特征图像，从所述特征提取网络的第四层卷积层获取所述深层特征图像。
4.根据权利要求3所述的方法，其特征在于，所述浅层特征图像的尺寸为所述待检测图像的尺寸的1/4，所述深层特征图像的尺寸为所述待检测图像的尺寸的1/16。
5.根据权利要求1所述的方法，其特征在于，所述至少两个特征图像包括第一特征图像、第二特征图像及第三特征图像，所述第一特征图像的尺寸大于所述第二特征图像的尺寸，所述第二特征图像的尺寸大于所述第三特征图像的尺寸，所述至少两个候选区域生成器包括第一候选区域生成器、第二候选区域生成器及第三候选区域生成器；
所述利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框，包括：
通过所述第一候选区域生成器对所述第一特征图像进行分析，得到所述第一特征图像的预测车辆框；
通过所述第二候选区域生成器对所述第二特征图像进行分析，得到所述第二特征图像的预测车辆框；
通过所述第三候选区域生成器对所述第三特征图像进行分析，得到所述第三特征图像的预测车辆框。
6.根据权利要求5所述的方法，其特征在于，所述特征提取网络包括四层卷积层，所述利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，包括：
利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，从所述特征提取网络的第二层卷积层获取所述第一特征图像，从所述特征提取网络的第三层卷积层获取所述第二特征图像，从所述特征提取网络的第四层卷积层获取所述第三特征图像。
7.根据权利要求6所述的方法，其特征在于，所述第一特征图像的尺寸为所述待检测图像的尺寸的1/4，所述第二特征图像的尺寸为所述待检测图像的尺寸的1/8，所述第三特征图像的尺寸为所述待检测图像的尺寸的1/16。
8.一种多目标车辆检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像；
特征提取模块，用于利用预先训练的机器学习算法的特征提取网络，对所述待检测图像进行特征提取，得到至少两个特征图像，其中，各所述特征图像的尺寸不同；
检测框预测模块，用于利用所述预先训练的机器学习算法的至少两个候选区域生成器，分别对相应尺寸的特征图像进行分析，得到各所述特征图像中的预测车辆框；
检测结果生成模块，用于利用所述预先训练的机器学习算法的目标分类网络，对各所述特征图像中的预测车辆框中的区域进行分析，得到所述待检测图像的车辆检测结果。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN201910614995.3A 2019-07-09 2019-07-09 一种多目标车辆检测方法、装置、电子设备及存储介质 Pending CN110610123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910614995.3A CN110610123A (zh) 2019-07-09 2019-07-09 一种多目标车辆检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910614995.3A CN110610123A (zh) 2019-07-09 2019-07-09 一种多目标车辆检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110610123A true CN110610123A (zh) 2019-12-24

Family

ID=68890410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910614995.3A Pending CN110610123A (zh) 2019-07-09 2019-07-09 一种多目标车辆检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110610123A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111583660A (zh) * 2020-05-22 2020-08-25 济南博观智能科技有限公司 车辆转向行为检测方法、装置、设备及存储介质
CN111652114A (zh) * 2020-05-29 2020-09-11 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN111738153A (zh) * 2020-06-22 2020-10-02 创新奇智(上海)科技有限公司 一种图像识别分析方法、装置、电子设备及存储介质
CN113221750A (zh) * 2021-05-13 2021-08-06 杭州飞步科技有限公司 车辆追踪方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218621A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种室外视频监控中多尺度车辆的识别方法
CN103473566A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于多尺度模型的车辆检测方法
US20150178911A1 (en) * 2013-12-24 2015-06-25 Hyundai Motor Company Vehicle detecting method and system
CN108830199A (zh) * 2018-05-31 2018-11-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
CN109711427A (zh) * 2018-11-19 2019-05-03 深圳市华尊科技股份有限公司 目标检测方法及相关产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218621A (zh) * 2013-04-21 2013-07-24 北京航空航天大学 一种室外视频监控中多尺度车辆的识别方法
CN103473566A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于多尺度模型的车辆检测方法
US20150178911A1 (en) * 2013-12-24 2015-06-25 Hyundai Motor Company Vehicle detecting method and system
CN108830199A (zh) * 2018-05-31 2018-11-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
CN109711427A (zh) * 2018-11-19 2019-05-03 深圳市华尊科技股份有限公司 目标检测方法及相关产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王全东 等: ""面向多尺度坦克装甲车辆目标检测的改进Faster R-CNN算法"", 《计算机辅助设计与图形学学报》 *
黄继鹏 等: ""面向小目标的多尺度Faster-RCNN检测算法"", 《计算机研究与发展》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111507958B (zh) * 2020-04-15 2023-05-26 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111583660A (zh) * 2020-05-22 2020-08-25 济南博观智能科技有限公司 车辆转向行为检测方法、装置、设备及存储介质
CN111652114A (zh) * 2020-05-29 2020-09-11 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN111738153A (zh) * 2020-06-22 2020-10-02 创新奇智(上海)科技有限公司 一种图像识别分析方法、装置、电子设备及存储介质
CN113221750A (zh) * 2021-05-13 2021-08-06 杭州飞步科技有限公司 车辆追踪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109284670B (zh) 一种基于多尺度注意力机制的行人检测方法及装置
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN108388879B (zh) 目标的检测方法、装置和存储介质
CN109492577B (zh) 一种手势识别方法、装置及电子设备
CN109727275B (zh) 目标检测方法、装置、***和计算机可读存储介质
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN111222395A (zh) 目标检测方法、装置与电子设备
CN106648078B (zh) 应用于智能机器人的多模态交互方法及***
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111210399A (zh) 一种成像质量评价方法、装置及设备
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN112001362A (zh) 一种图像分析方法、图像分析装置及图像分析***
CN114445768A (zh) 目标识别方法、装置、电子设备及存储介质
CN108875500B (zh) 行人再识别方法、装置、***及存储介质
CN108509826B (zh) 一种遥感影像的道路识别方法及其***
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN113033500B (zh) 动作片段检测方法、模型训练方法及装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191224