CN110610514B - 实现多目标跟踪的方法、装置、电子设备 - Google Patents

实现多目标跟踪的方法、装置、电子设备 Download PDF

Info

Publication number
CN110610514B
CN110610514B CN201810634954.6A CN201810634954A CN110610514B CN 110610514 B CN110610514 B CN 110610514B CN 201810634954 A CN201810634954 A CN 201810634954A CN 110610514 B CN110610514 B CN 110610514B
Authority
CN
China
Prior art keywords
target
target object
image
tracking
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810634954.6A
Other languages
English (en)
Other versions
CN110610514A (zh
Inventor
张盼
张杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to CN201810634954.6A priority Critical patent/CN110610514B/zh
Publication of CN110610514A publication Critical patent/CN110610514A/zh
Application granted granted Critical
Publication of CN110610514B publication Critical patent/CN110610514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种实现多目标跟踪的方法、装置、电子设备，属于智能交通技术领域。实现多目标跟踪的方法，包括：获取摄像头的视频流，作为连续的输入图像；对所述图像进行目标检测，提取出多个目标对象；基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。本发明的技术方案中，对于不同的目标对象，实时动态调整跟踪帧率，能够降低目标跟踪的数据处理量，实现多目标对象的实时跟踪。

Description

实现多目标跟踪的方法、装置、电子设备
技术领域
本发明涉及智能交通技术领域，特别是指一种实现多目标跟踪的方法、装置、电子设备。
背景技术
在公共安全及智能交通管理领域中，目标跟踪可获取目标对象的运动轨迹，进而对目标对象的行为进行分析。例如从监控视频中，通过目标跟踪可获取车辆或行人的运动轨迹，进而进行行为分析，判断车辆行车或行人行走是否违规，辅助道路交通管理。
现有的目标跟踪方法中，首先需要检测出图像中的目标对象，通常是利用基于全图的HOG算法来检测出图像中的目标对象，需要处理的数据量比较大，并且比较耗时；之后，在后续的每一帧图像中，利用Meanshift方法跟踪所有检测到的目标对象，获取目标对象的运动轨迹并进行行为分析。由于对目标对象是逐帧进行跟踪，需要较高的计算能力和计算速度，比如在有M个摄像头采集图像，每秒采集24帧图像，每帧图像中有N个目标对象时，那么每秒需要跟踪的目标对象个数为24*M*N，在目标对象的数量比较多时，由于每秒需要处理的图像数据量过多，很难实现实时跟踪。
发明内容
本发明要解决的技术问题是提供一种实现多目标跟踪的方法、装置、电子设备，能够降低目标跟踪的数据处理量，实现多目标对象的实时跟踪。
为解决上述技术问题，本发明的实施例提供技术方案如下：
一方面，提供一种实现多目标跟踪的方法，包括：
获取摄像头的视频流，作为连续的输入图像；
对所述图像进行目标检测，提取出多个目标对象；
基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
进一步地，所述对所述图像进行目标检测，提取出多个目标对象包括：
确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；
对所述目标区域的图像进行目标检测，提取出目标对象。
进一步地，所述确定所述图像中目标对象所在的目标区域包括：
对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。
进一步地，所述对输入的图像进行前景提取包括：
利用高斯混合模型的方法进行前景提取；或
利用运动估计的方法进行前景提取，得到所述目标区域。
进一步地，所述对所述目标区域的图像进行目标检测，提取出目标对象包括：
利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
进一步地，所述基于目标检测结果计算出每一所述目标对象的跟踪帧率包括：
基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离分别计算出每一目标对象的跟踪帧率。
进一步地，所述目标对象的运动速度为通过运动估计获取；
所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；
所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。
进一步地，所述根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪包括：
在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
本发明实施例还提供了一种实现多目标跟踪的装置，包括：
视频解码模块，用于获取摄像头的视频流，作为连续的输入图像；
目标检测模块，用于对所述图像进行目标检测，提取出多个目标对象；
帧率计算模块，用于基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
跟踪模块，用于根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
本发明实施例还提供了一种实现多目标跟踪的电子设备，包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行如上所述的实现多目标跟踪的方法中的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行如上所述的实现多目标跟踪的方法中的步骤。
本发明的实施例具有以下有益效果：
上述方案中，在对输入的图像进行目标检测提取出目标对象后，并不会逐帧对目标对象进行跟踪，而是基于目标检测结果计算出每一目标对象的跟踪帧率，按照每一目标对象的跟踪帧率对目标对象分别进行跟踪，其中，跟踪帧率可以小于图像的采集帧率，这样能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪。
附图说明
图1为现有技术进行目标跟踪的示意图；
图2为本发明实施例实现多目标跟踪的方法的流程示意图；
图3为本发明实施例实现多目标跟踪的装置的结构框图；
图4为本发明实施例实现多目标跟踪的电子设备的结构框图；
图5为本发明具体实施例实现多目标跟踪的方法的流程示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
现有的目标跟踪方法中，如图1所示，首先接收输入的摄像头采集的图像，对输入的图像进行目标检测，检测出图像中的目标对象，一具体示例中，检测出的目标对象包括目标对象1-目标对象N，N为大于1的整数。现有技术通常是利用基于全图的HOG(Histogram ofOriented Gradient，方向梯度直方图)算法来检测出图像中的目标对象，需要处理的数据量比较大，并且比较耗时；之后对检测出的目标对象进行跟踪，具体地，可以在后续的每一帧图像中利用Meanshift方法跟踪所有检测到的目标对象，获取目标对象的运动轨迹(轨迹1-轨迹N)并进行行为分析。由于对目标对象是逐帧进行跟踪，需要较高的计算能力和计算速度，比如在有M个摄像头采集图像，每秒采集24帧图像，每帧图像中有N个目标对象时，那么每秒需要跟踪的目标对象个数为24*M*N，在目标对象的数量比较多时，由于每秒需要处理的图像数据量过多，很难实现实时跟踪。
为了解决上述技术问题，本发明的实施例提供一种实现多目标跟踪的方法、装置、电子设备，能够降低目标跟踪的数据处理量，实现多目标对象的实时跟踪。
实施例一
本发明的实施例提供一种实现多目标跟踪的方法，如图2所示，包括：
步骤101：获取摄像头的视频流，作为连续的输入图像；
其中，输入的图像为图像采集装置所采集的图像，比如在本实施例的技术方案应用于智能交通管理领域中时，输入的图像可以为交通摄像头所采集到的图像。
步骤102：对所述图像进行目标检测，提取出多个目标对象；
具体地，可以利用现有的目标检测方法比如利用基于HOG的特征分类算法或SSD(Single Shot MultiBox Detector，基于深度神经网络的目标检测方法)算法提取出目标对象，目标对象包括但不限于：行人、公交车、货车、轿车等。
步骤103：基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
其中，目标检测结果包括但不限于目标对象的运动速度、在图像中的大小和距摄像头的距离，计算出的跟踪帧率可以小于图像的采集帧率。
步骤104：根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
每一目标对象均对应一跟踪帧率，按照每一目标对象对应的跟踪帧率对目标对象进行跟踪，不同目标对象的跟踪帧率可以不同。
本实施例中，在对输入的图像进行目标检测提取出目标对象后，并不会逐帧对目标对象进行跟踪，而是基于目标检测结果计算出每一目标对象的跟踪帧率，按照每一目标对象的跟踪帧率对目标对象分别进行跟踪，其中，跟踪帧率可以小于图像的采集帧率，这样能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪。
进一步地，所述对所述图像进行目标检测，提取出多个目标对象包括：
确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；
对所述目标区域的图像进行目标检测，提取出目标对象。
现有技术中，在进行目标检测时，是基于全图进行检测，如果图像的分辨率比较高，则需要处理的数据量会比较大，并且比较耗时；而本实施例的技术方案中，是先确定图像中目标对象所在的目标区域，而后在目标区域内对图像进行目标检测，提取出目标对象，由于目标区域仅占据了图像的部分区域，因此可以大大减少需要处理的数据量，并且大幅提升目标检测速度。
作为一个示例，所述目标对象为目标对象，所述确定所述图像中目标对象所在的目标区域包括：
对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。前景二值图像中每个像素点的灰度值通过0或者255来进行表示，其中，0代表不存在目标对象，255代表存在目标对象，则目标区域即为像素点1组成的区域。通过前景提取的方法可以去除图像中无目标对象的区域，大幅提升目标检测速度。
作为一个示例，所述对输入的图像进行前景提取包括：
利用高斯混合模型的方法进行前景提取；或
利用运动估计的方法进行前景提取，得到所述目标区域。
进一步地，所述对所述目标区域的图像进行目标检测，提取出目标对象包括：
利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
作为一个示例，所述基于目标检测结果计算出每一所述目标对象的跟踪帧率包括：
基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离分别计算出每一目标对象的跟踪帧率。
其中，所述目标对象的运动速度可以通过运动估计获取；所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。由于不同类别的目标对象的大小差别很大，因此，在计算目标对象的距摄像头的距离时，需要以同类别目标对象作为参考来进行计算，其中，同类别是指目标对象属于同一类别，比如同属于行人、同属于公交车、同属于轿车等等。
进一步地，所述根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪包括：
在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
现有的目标跟踪方法中，需要对n帧图像对进行处理，而本实施例的技术方案中，仅需要对其中的k帧图像进行处理，能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪。
实施例二
本发明实施例还提供了一种实现多目标跟踪的装置，如图3所示，包括：
视频解码模块21，用于获取摄像头的视频流，作为连续的输入图像；
目标检测模块22，用于对所述图像进行目标检测，提取出图像中的多个目标对象；
帧率计算模块23，用于基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
跟踪模块24，用于根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
本实施例中，在对输入的图像进行目标检测提取出目标对象后，并不会逐帧对目标对象进行跟踪，而是基于目标检测结果计算出每一目标对象的跟踪帧率，按照每一目标对象的跟踪帧率对目标对象分别进行跟踪，其中，跟踪帧率可以小于图像的采集帧率，这样能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪。
进一步地，所述目标检测模块22包括：
处理单元，用于确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；
目标检测单元，用于对所述目标区域的图像进行目标检测，提取出目标对象。
进一步地，所述目标对象为目标对象，所述处理单元具体用于对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。
进一步地，所述处理单元具体用于利用高斯混合模型的方法进行前景提取；或利用运动估计的方法进行前景提取，得到所述目标区域。
进一步地，所述目标检测单元具体用于利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
进一步地，所述帧率计算模块23包括：
第一计算单元，用于基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
第二计算单元，用于根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离计算出每一目标对象的跟踪帧率。
进一步地，所述目标对象的运动速度为通过运动估计获取；
所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；
所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。
进一步地，所述跟踪模块24具体用于在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
实施例三
本发明实施例还提供了一种实现多目标跟踪的电子设备30，如图4所示，包括：
处理器32；和
存储器34，在所述存储器34中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器32执行以下步骤：
获取摄像头的视频流，作为连续的输入图像；
对所述图像进行目标检测，提取出多个目标对象；
基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
本实施例中，在对输入的图像进行目标检测提取出目标对象后，并不会逐帧对目标对象进行跟踪，而是基于目标检测结果计算出每一目标对象的跟踪帧率，按照每一目标对象的跟踪帧率对目标对象分别进行跟踪，其中，跟踪帧率可以小于图像的采集帧率，这样能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪。
进一步地，如图4所示，实现多目标跟踪的电子设备30还包括网络接口31、输入设备33、硬盘35、和显示设备36。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器32代表的一个或者多个中央处理器(CPU)，以及由存储器34代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口31，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，例如摄像头的视频流，并可以保存在硬盘35中。
所述输入设备33，可以接收操作人员输入的各种指令，并发送给处理器32以供执行。所述输入设备33可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备36，可以将处理器32执行指令获得的结果进行显示。
所述存储器34，用于存储操作***运行所必须的程序和数据，以及处理器32计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器34可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器34旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器34存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作***341和应用程序342。
其中，操作***341，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序342，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序342中。
上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以获取摄像头的视频流，作为连续的输入图像；对所述图像进行目标检测，提取出多个目标对象；基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
本发明上述实施例揭示的方法可以应用于处理器32中，或者由处理器32实现。处理器32可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器32中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器32可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器34，处理器32读取存储器34中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器32确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；对所述目标区域的图像进行目标检测，提取出目标对象。
具体地，所述目标对象为目标对象，处理器32对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。
具体地，处理器32利用高斯混合模型的方法进行前景提取；或利用运动估计的方法进行前景提取，得到所述目标区域。
具体地，处理器32利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
具体地，处理器32基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离计算出每一目标对象的跟踪帧率。
进一步地，所述目标对象的运动速度为通过运动估计获取；
所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；
所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。
具体地，处理器32在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
实施例四
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取摄像头的视频流，作为连续的输入图像；
对所述图像进行目标检测，提取出多个目标对象；
基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
进一步地，所述计算机程序被处理器运行时，还执行以下步骤：
确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；
对所述目标区域的图像进行目标检测，提取出目标对象。
进一步地，所述目标对象为目标对象，所述计算机程序被处理器运行时，还执行以下步骤：
对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。
进一步地，所述计算机程序被处理器运行时，还执行以下步骤：
利用高斯混合模型的方法进行前景提取；或
利用运动估计的方法进行前景提取，得到所述目标区域。
进一步地，所述计算机程序被处理器运行时，还执行以下步骤：
利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
进一步地，所述计算机程序被处理器运行时，还执行以下步骤：
基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离计算出每一目标对象的跟踪帧率。
进一步地，所述目标对象的运动速度为通过运动估计获取；
所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；
所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。
进一步地，所述计算机程序被处理器运行时，还执行以下步骤：
在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
实施例五
下面结合附图对本发明的实现多目标跟踪的方法进行进一步介绍。如图5所示，本实施例包括以下步骤：
步骤401：获取摄像头的视频流，作为连续的输入图像；
其中，输入的图像为图像采集装置所采集的图像，比如在本实施例的技术方案应用于智能交通管理领域中时，输入的为交通摄像头所采集到的视频流，视频流中包括有多个图像。
步骤402：对输入的图像进行前景提取并用光流法计算目标对象的运动信息，获得表示目标对象的前景二值图像；
一般情况下，交通摄像头所采集到的待处理图像中，目标对象即为运动目标，包括但不限于：行人、公交车、货车、轿车等。
现有技术中，在进行目标检测时，是基于全图进行检测，如果图像的分辨率比较高，则需要处理的数据量会比较大，并且比较耗时；而本实施例的技术方案中，是首先对输入的图像进行前景提取，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域，由于本实施例要检测的目标对象均为运动目标，因此，存在运动目标的区域即为需要检测的目标区域。前景二值图像的每个像素点通过0或者1来进行表示，其中，0代表不存在目标对象，1代表存在目标对象，则目标区域即为像素点1组成的区域。通过前景提取的方法可以去除图像中无目标对象的区域，大幅提升目标检测速度。
其中，在进行前景提取时，可以利用高斯混合模型的方法进行前景提取；也可以利用运动估计的方法进行前景提取，得到所述目标区域。
步骤403：对前景二值图像中存在目标对象的目标区域进行目标检测，提取出目标对象；
具体地，可以利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象。
步骤404：基于目标检测结果和光流法计算出各个目标对象的运动速度、在图像中的大小和距摄像头的距离；
其中，所述目标对象的运动速度可以通过运动估计获取，如果步骤402中是利用运动估计的方法进行前景提取，则在进行前景提取的同时就能够获取到目标对象的运动速度；所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。由于不同类别的目标对象的大小差别很大，因此，在计算目标对象的距摄像头的距离时，需要以同类别目标对象作为参考来进行计算，其中，同类别是指目标对象属于同一类别，比如同属于行人、同属于公交车、同属于轿车等等。
步骤405：根据各个目标对象的运动速度、在图像中的大小和距摄像头的距离分别计算每一目标对象的跟踪帧率；
一般情况下，计算出的跟踪帧率小于图像的采集帧率，每一目标对象均对应一跟踪帧率，不同目标对象的跟踪帧率可以不同。
其中，跟踪帧率与目标对象的运动速度成正比，目标对象的运动速度越大，则跟踪帧率越大，这是由于如果目标对象的运动速度比较快，在经过一帧或多帧图像后，目标对象在图像中位置的变化程度比较大，所以需要将跟踪帧率设置的比较大，以及时对目标对象进行跟踪；跟踪帧率与目标对象在图像中的大小成反比，目标对象在图像中的大小越大，则跟踪帧率越小，这是由于如果目标对象在图像中的大小比较大，在经过一帧或多帧图像后，目标对象在图像中位置的变化程度比较小，所以可以将跟踪帧率设置的比较小，以降低数据处理量；跟踪帧率与目标对象在图像中的距摄像头的距离成正比，目标对象在图像中的距摄像头的距离越大，则跟踪帧率越大，这是由于如果目标对象在图像中的距摄像头的距离比较大，在经过一帧或多帧图像后，目标对象在图像中位置的变化程度比较大，所以需要将跟踪帧率设置的比较大，以及时对目标对象进行跟踪。
在实际计算中，可以根据实际情况调整目标对象的运动速度、在图像中的大小和距摄像头的距离三者在计算跟踪帧率的过程中所占的权重，得到合适的跟踪帧率。
步骤406：根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪。
在目标对象的跟踪帧率为图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对目标对象进行跟踪，k，n为正整数，k小于n。
比如在目标对象的跟踪帧率为图像的采集帧率的3/5时，每输入5帧图像，在其中的3帧图像中对目标对象进行跟踪，一具体示例中，在输入第1、2、3、4、5帧图像时，可以在其中的第1、3、5帧对目标对象进行跟踪。
其中，在检测出目标对象后，可以每间隔预设数量帧图像执行一次上述步骤405-406，即目标对象的跟踪帧率不是一成不变的，而是会根据目标对象的情况动态调整目标对象的跟踪帧率，预设数量可以结合实际情况设定。
本实施例中，在对输入的图像进行目标检测提取出目标对象后，并不会逐帧对目标对象进行跟踪，而是基于目标检测结果计算出每一目标对象的跟踪帧率，按照每一目标对象的跟踪帧率对目标对象分别进行跟踪，其中，跟踪帧率可以小于图像的采集帧率，这样能够减少进行目标跟踪所需要处理的图像数量，进而降低目标跟踪的数据处理量，降低了对计算能力和计算速度的要求，从而在目标对象的数量比较多时，也能实现对多个目标对象的实时跟踪，并且本实施例是根据计算出的的跟踪帧率对目标对象分别进行跟踪，不影响跟踪精度，达到多目标跟踪的实时处理。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种实现多目标跟踪的方法，其特征在于，包括：
获取摄像头的视频流，作为连续的输入图像；
对所述图像进行目标检测，提取出多个目标对象；
基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪，
其中，所述基于目标检测结果计算出每一所述目标对象的跟踪帧率包括：
基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离分别计算出每一目标对象的跟踪帧率。
2.根据权利要求1所述的实现多目标跟踪的方法，其特征在于，所述对所述图像进行目标检测，提取出多个目标对象包括：
确定所述图像中目标对象所在的目标区域，所述目标区域占据所述图像的部分区域；
对所述目标区域的图像进行目标检测，提取出目标对象。
3.根据权利要求2所述的实现多目标跟踪的方法，其特征在于，所述确定所述图像中目标对象所在的目标区域包括：
对输入的图像进行前景提取，并使用光流法计算所述图像中目标对象的运动信息，获得表示目标对象的前景二值图像，所述前景二值图像分为存在所述目标对象的所述目标区域和不存在所述目标对象的非目标区域。
4.根据权利要求3所述的实现多目标跟踪的方法，其特征在于，所述对输入的图像进行前景提取包括：
利用高斯混合模型的方法进行前景提取；或
利用运动估计的方法进行前景提取，得到所述目标区域。
5.根据权利要求2所述的实现多目标跟踪的方法，其特征在于，所述对所述目标区域的图像进行目标检测，提取出目标对象包括：
利用基于HOG的特征分类算法或SSD算法对所述目标区域的图像进行目标检测，提取出目标对象，获得目标对象的检测区域及类别。
6.根据权利要求1所述的实现多目标跟踪的方法，其特征在于，
所述目标对象的运动速度为通过运动估计获取；
所述目标对象在图像中的大小为w*h，其中，w为所述目标对象在图像中的宽度，h为所述目标对象在图像中的高度；
所述目标对象的距摄像头的距离为(h-hmin/hmax-hmin)，其中，hmin为同类别目标对象在所述图像中的最小高度，hmax为同类别的目标对象在所述图像中的最大高度。
7.根据权利要求1所述的实现多目标跟踪的方法，其特征在于，所述根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪包括：
在所述目标对象的所述跟踪帧率为所述图像的采集帧率的k/n时，每输入n帧图像，在其中的k帧图像中对所述目标对象进行跟踪，k，n为正整数，k小于n。
8.一种实现多目标跟踪的装置，其特征在于，包括：
视频解码模块，用于获取摄像头的视频流，作为连续的输入图像；
目标检测模块，用于对所述图像进行目标检测，提取出多个目标对象；
帧率计算模块，用于基于目标检测结果计算出每一所述目标对象的跟踪帧率，所述跟踪帧率不大于所述图像的采集帧率；
跟踪模块，用于根据每一目标对象的跟踪帧率对每一目标对象分别进行跟踪，
其中，所述基于目标检测结果计算出每一所述目标对象的跟踪帧率包括：
基于目标检测结果和光流法计算出每一目标对象的运动速度、在图像中的大小和距摄像头的距离；
根据每一目标对象的运动速度、在图像中的大小和距摄像头的距离分别计算出每一目标对象的跟踪帧率。
9.一种实现多目标跟踪的电子设备，其特征在于，包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行如权利要求1-7中任一项所述的实现多目标跟踪的方法中的步骤。
CN201810634954.6A 2018-06-15 2018-06-15 实现多目标跟踪的方法、装置、电子设备 Active CN110610514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810634954.6A CN110610514B (zh) 2018-06-15 2018-06-15 实现多目标跟踪的方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810634954.6A CN110610514B (zh) 2018-06-15 2018-06-15 实现多目标跟踪的方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN110610514A CN110610514A (zh) 2019-12-24
CN110610514B true CN110610514B (zh) 2023-09-19

Family

ID=68888910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810634954.6A Active CN110610514B (zh) 2018-06-15 2018-06-15 实现多目标跟踪的方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN110610514B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111682A (zh) * 2020-01-09 2021-07-13 阿里巴巴集团控股有限公司 目标对象感知方法和装置、感知基站、感知***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和***
JP2013219615A (ja) * 2012-04-10 2013-10-24 Canon Inc 撮像装置およびその制御方法
CN103426181A (zh) * 2012-05-25 2013-12-04 信帧电子技术（北京）有限公司 一种自动改变帧率的拌线检测方法
CN104967803A (zh) * 2015-07-01 2015-10-07 广东欧珀移动通信有限公司 一种视频录制方法及装置
CN105389829A (zh) * 2015-10-15 2016-03-09 上海交通大学 一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法
CN105469052A (zh) * 2015-11-25 2016-04-06 东方网力科技股份有限公司 一种车辆检测跟踪方法和装置
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN106203274A (zh) * 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种视频监控中行人实时检测***及方法
KR20170039465A (ko) * 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2013219615A (ja) * 2012-04-10 2013-10-24 Canon Inc 撮像装置およびその制御方法
CN103426181A (zh) * 2012-05-25 2013-12-04 信帧电子技术（北京）有限公司 一种自动改变帧率的拌线检测方法
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和***
CN104967803A (zh) * 2015-07-01 2015-10-07 广东欧珀移动通信有限公司 一种视频录制方法及装置
KR20170039465A (ko) * 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN105389829A (zh) * 2015-10-15 2016-03-09 上海交通大学 一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法
CN105469052A (zh) * 2015-11-25 2016-04-06 东方网力科技股份有限公司 一种车辆检测跟踪方法和装置
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN106203274A (zh) * 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种视频监控中行人实时检测***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于检测的在线多目标跟踪算法研究;吴慧玲;中国优秀硕士学位论文全文数据库 信息科技辑;全文 *

Also Published As

Publication number Publication date
CN110610514A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
Anandhalli et al. A novel approach in real-time vehicle detection and tracking using Raspberry Pi
Jodoin et al. Urban tracker: Multiple object tracking in urban mixed traffic
Nieto et al. Real-time lane tracking using Rao-Blackwellized particle filter
CN108875465B (zh) 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN109740590B (zh) 基于目标跟踪辅助的roi精确提取方法及***
CN110472599B (zh) 对象数量确定方法、装置、存储介质与电子设备
CN112424793A (zh) 一种物体识别方法、物体识别装置及电子设备
CN111259868B (zh) 基于卷积神经网络的逆行车辆检测方法、***及介质
Xiang et al. Lightweight fully convolutional network for license plate detection
CN112862856A (zh) 违停车辆的识别方法、装置、设备及计算机可读存储介质
CN111383455A (zh) 交通路口对象流量统计方法、装置、计算机设备和介质
US20170103536A1 (en) Counting apparatus and method for moving objects
CN111402293A (zh) 面向智能交通的一种车辆跟踪方法及装置
Cheng et al. Image quality enhancement using HybridGAN for automated railway track defect recognition
CN113269007A (zh) 道路监控视频的目标跟踪装置以及方法
CN110610514B (zh) 实现多目标跟踪的方法、装置、电子设备
Emami et al. Long-range multi-object tracking at traffic intersections on low-power devices
Mohd et al. Vehicles counting from video stream for automatic traffic flow analysis systems
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
Singh et al. Online traffic density estimation and vehicle classification management system
Ng et al. Traffic Impact Assessment System using Yolov5 and ByteTrack
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN113538968B (zh) 用于输出信息的方法和装置
WO2023105800A1 (en) Object detection device, object detection method, and object detection system
Glasl et al. Video based traffic congestion prediction on an embedded system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant