CN111508006A - 一种基于深度学习的运动目标同步检测、识别与跟踪方法 - Google Patents

一种基于深度学习的运动目标同步检测、识别与跟踪方法 Download PDF

Info

Publication number
CN111508006A
CN111508006A CN202010325315.9A CN202010325315A CN111508006A CN 111508006 A CN111508006 A CN 111508006A CN 202010325315 A CN202010325315 A CN 202010325315A CN 111508006 A CN111508006 A CN 111508006A
Authority
CN
China
Prior art keywords
target
tracking
identification
detection
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010325315.9A
Other languages
English (en)
Inventor
王鸿鹏
代婉
宋玉琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010325315.9A priority Critical patent/CN111508006A/zh
Publication of CN111508006A publication Critical patent/CN111508006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的运动目标同步检测、识别与跟踪方法,所述方法的步骤为:获取相机采集的待检测视频数据,并输入视频序列;对视频序列进行视频抓取;利用SSD目标检测模型对目标进行检测出感兴趣区域;使用显著性检测的方法分割出目标区域;采用加权的交叉熵损失函数进行目标识别;利用卡尔曼方程预测跟踪对象在下一个关键帧的位置;使用卡尔曼方程预测出的位置与目标检测算法算得的位置进行特征匹配;计算分割框边长与识别框边长的比值进行尺度更新判定。本发明保证了算法实时性,且能够应用在各种领域,而非应用于单一领域,并且能够解决各种动态复杂环境下的实时检测识别跟踪问题,且设计的最终目标是形成实用化和通用化的技术架构。

Description

一种基于深度学习的运动目标同步检测、识别与跟踪方法
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种基于深度学习的运动目标同步检测、识别与跟踪方法。
背景技术
随着计算机技术的飞速发展,目标同步检测识别与跟踪由于其在视频监控、场景理解、人机交互等方面具有很高的应用价值,已经成为了计算机视觉领域的研究热点,吸引了越来越多的海内外学者及科研机构参与到此领域的研究。简单来说,目标检测识别和跟踪就是利用机器学习、自然语言处理、图像处理等计算机知识,从特定的图像或者视频序列帧中找到感兴趣的目标物体并定位,并从图像序列的背景信息中识别、分割、提取出运动目标,从而推断出来目标最大概率出现的位置情况,为人们进一步识别和理解目标的行为提供了可靠的依据。
近年来,无论在目标跟踪领域还是目标检测识别领域均有大量改进算法被提出,但是距离让计算机感知现实世界,在复杂和动态的环境下做出合理的决策,还有许多的科学难题需要攻克。基于此,本发明提出一种基于深度学习的运动目标同步检测、识别与跟踪方法,旨在解决复杂和动态环境(例如:目标与背景之间的遮挡、目标的形变以及尺度变化、光照变化等)下运动目标同步检测识别与跟踪的问题。
发明内容
为了解决上述技术问题,本发明提供一种基于深度学习的运动目标同步检测、识别与跟踪方法,所述运动目标同步检测、识别与跟踪方法的步骤为:
S1:获取相机采集的待检测视频数据,其中待检测视频数据包括多帧待测图像,并输入视频序列;
S2:对视频序列进行视频抓取;
S3:目标检测:首先获取第一样本数据,其中所述第一样本数据为包含有目标的图像数据,对所述第一样本数据人工手动进行图像标注,并将标注后的第一样本数据分为第一训练集和第一测试集,利用所述第一训练集对神经网络进行训练,并利用所述第一测试集对所述训练后的神经网络进行测试,以建立所述基于SSD的目标检测模型;利用SSD目标检测模型对目标进行检测,检测出感兴趣区域;
S4:目标分割:在进行视频抓取之后,使用显著性检测的方法提取目标特征和目标边缘特征,并基于此对目标进行分割,分割出的显著区域即为目标区域;
S5:目标识别:在目标检测的基础上进行目标识别,首先确定目标的ID, 若出现训练样本比例不平衡的问题,可采用加权的交叉熵损失函数,提高识别准确率;
S6:目标跟踪:对于第I-k个关键帧,采用SSD目标检测模型对相机采集到的视频进行目标检测,并根据目标检测结果获得跟踪对象,对于每个跟踪对象维护一个卡尔曼方程,并利用卡尔曼方程预测跟踪对象在I-(k+1)个关键帧的位置;
S7:特征匹配判定:将使用卡尔曼方程预测出的位置与目标检测算法算得的位置计算交并比进行匹配,若特征匹配成功,则对卡尔曼方程进行更新,若特征匹配失败,则不作任何处理,继续检测下一帧;
S8:尺度更新判定:计算分割框边长与识别框边长的比值,当两者的比值大于阈值时,使λ等于该比值,即识别框按比例增大为分割框大小,若两者的比值小于阈值,则不作任何处理,继续分割下一帧。
优选的,所述目标分割中的使用显著性检测的方法提取目标特征和目标边缘特征,显著性越高则越可能属于目标,将显著性较高与较低的区域分别用二值图像中的0和1表示,即完成目标分割。
优选的,所述特征匹配判定中对目标检测算法算得的主***置与跟踪后的主***置进行特征匹配,当特征无法匹配时,启动以目标检测为基准的特征匹配机制。
优选的,所述尺度更新判定中的目标分割后分割框的主体大小与目标识别后识别框的主体大小进行尺度更新,当两者的比值高于预设阈值时,启动以目标分割为基准的尺度协调机制,继续迭代跟踪。
与现有技术相比,本发明的有益效果是:
1.本发明中充分利用了图像分割技术,针对目标分割与目标识别过程中不同的尺度,将目标分割结果作为目标参考大小,适时调整待识别区域大小,当尺度更新判定满足条件时更新一次目标识别位置,而推理过程不需等待判定结果,保证了算法实时性;
2.本发明的设计拟应用在各种领域,而非应用于单一领域,并且能够解决各种动态复杂环境下如目标与背景之间的遮挡、目标的形变以及尺度变化、光照变化等环境的实时检测识别跟踪问题,且设计的最终目标是形成实用化和通用化的技术架构。
附图说明
图1是本发明的总体框架流程图;
图2是本发明的目标检测与跟踪框架流程图;
图3是本发明的目标分割与识别框架流程图。
具体实施方式
下面将结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下对本发明做进一步描述:
实施例:
如附图1所示,一种基于深度学习的运动目标同步检测、识别与跟踪方法,其特征在于,所述运动目标同步检测、识别与跟踪方法的步骤为:
(1)获取相机采集的待检测视频数据,其中待检测视频数据包括多帧待测图像,并输入视频序列;
(2)对视频序列进行视频抓取,其中视频抓取主要是对视频帧的抓取;
(3)目标检测与跟踪:传统的目标检测算法往往需要占用大量的计算资源,在计算资源有限的情况下难以高效地运行,因此利用SSD目标检测模型对目标进行检测:如附图2所示,首先获取第一样本数据,其中所述第一样本数据为包含有目标的图像数据,对所述第一样本数据人工手动进行图像标注,并将标注后的第一样本数据分为第一训练集和第一测试集,利用所述第一训练集对神经网络进行训练,并利用所述第一测试集对所述训练后的神经网络进行测试,以建立所述基于SSD的目标检测模型,利用SSD目标检测模型对目标进行检测,获取长方形检测框四个位置的坐标,根据位置坐标进行区域划分,确定首帧感兴趣区域的位置;对于第I-k个关键帧,采用SSD目标检测模型对相机采集到的视频进行目标检测,以视频序列中输出的所有检测结果对应的目标特征向量的相关矩阵获得的跟踪区域,引入卡尔曼滤波机制,对所述当前帧的待测图像中的目标的观测数据进行滤波处理,得到滤波后的当前观测图像中的目标观测数据,即利用卡尔曼方程预测跟踪对象在I-(k+1)个关键帧的位置;
(4)目标识别与分割:如附图3所示,在进行视频抓取之后,使用显著性检测的方法提取目标特征和目标边缘特征,显著性越高则越可能属于目标,将显著性较高与较低的区域分别用二值图像中的0和1表示,即完成目标分割,分割出的显著区域即为目标区域;为了减少计算资源的使用,在目标检测的基础上进行目标识别,首先确定目标的ID, 若出现训练样本比例不平衡的问题,可采用加权的交叉熵损失函数,提高识别准确率;
(5)特征匹配判定:将目标检测算法算得的主***置与跟踪后的主***置进行特征匹配,若特征匹配成功,则对卡尔曼方程进行更新,若特征匹配失败,则不作任何处理,继续检测下一帧,当特征无法匹配时,启动以目标检测为基准的特征匹配机制;
(6)尺度更新判定:将目标分割后分割框的主体大小与目标识别后识别框的主体大小进行尺度更新,计算分割框边长与识别框边长的比值,当两者的比值大于阈值时,启动以目标分割为基准的尺度协调机制,继续迭代跟踪,使λ等于该比值,即识别框按比例增大为分割框大小,若两者的比值小于阈值,则不作任何处理,继续分割下一帧。
具体的,本发明能够应用在各种领域,而非应用于单一领域,并且能够解决各种动态复杂环境下,如目标与背景之间的遮挡、目标的形变以及尺度变化、光照变化等环境的实时检测识别跟踪问题,且设计的最终目标是形成实用化和通用化的技术架构。
需要说明的是,在本文中,而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于深度学习的运动目标同步检测、识别与跟踪方法,其特征在于,所述运动目标同步检测、识别与跟踪方法的步骤为:
S1:获取相机采集的待检测视频数据,其中待检测视频数据包括多帧待测图像,并输入视频序列;
S2:对视频序列进行视频抓取;
S3:目标检测:首先获取第一样本数据,其中所述第一样本数据为包含有目标的图像数据,对所述第一样本数据人工手动进行图像标注,并将标注后的第一样本数据分为第一训练集和第一测试集,利用所述第一训练集对神经网络进行训练,并利用所述第一测试集对所述训练后的神经网络进行测试,以建立所述基于SSD的目标检测模型;利用SSD目标检测模型对目标进行检测,检测出感兴趣区域;
S4:目标分割:在进行视频抓取之后,使用显著性检测的方法提取目标特征和目标边缘特征,并基于此对目标进行分割,分割出的显著区域即为目标区域;
S5:目标识别:在目标检测的基础上进行目标识别,首先确定目标的ID, 若出现训练样本比例不平衡的问题,可采用加权的交叉熵损失函数,提高识别准确率;
S6:目标跟踪:对于第I-k个关键帧,采用SSD目标检测模型对相机采集到的视频进行目标检测,并根据目标检测结果获得跟踪对象,对于每个跟踪对象维护一个卡尔曼方程,并利用卡尔曼方程预测跟踪对象在I-(k+1)个关键帧的位置;
S7:特征匹配判定:将使用卡尔曼方程预测出的位置与目标检测算法算得的位置计算交并比进行匹配,若特征匹配成功,则对卡尔曼方程进行更新,若特征匹配失败,则不作任何处理,继续检测下一帧;
S8:尺度更新判定:计算分割框边长与识别框边长的比值,当两者的比值大于阈值时,使λ等于该比值,即识别框按比例增大为分割框大小,若两者的比值小于阈值,则不作任何处理,继续分割下一帧。
2.根据权利要求 1 所述的一种基于深度学习的运动目标同步检测、识别与跟踪方法,其特征在于,所述目标分割中的使用显著性检测的方法提取目标特征和目标边缘特征,显著性越高则越可能属于目标,将显著性较高与较低的区域分别用二值图像中的0和1表示,即完成目标分割。
3.根据权利要求 1 所述的一种基于深度学习的运动目标同步检测、识别与跟踪方法,其特征在于,所述特征匹配判定中对目标检测算法算得的主***置与跟踪后的主***置进行特征匹配,当特征无法匹配时,启动以目标检测为基准的特征匹配机制。
4.根据权利要求 1 所述的一种基于深度学习的运动目标同步检测、识别与跟踪方法,其特征在于,所述尺度更新判定中的目标分割后分割框的主体大小与目标识别后识别框的主体大小进行尺度更新,当两者的比值高于预设阈值时,启动以目标分割为基准的尺度协调机制,继续迭代跟踪。
CN202010325315.9A 2020-04-23 2020-04-23 一种基于深度学习的运动目标同步检测、识别与跟踪方法 Pending CN111508006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010325315.9A CN111508006A (zh) 2020-04-23 2020-04-23 一种基于深度学习的运动目标同步检测、识别与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010325315.9A CN111508006A (zh) 2020-04-23 2020-04-23 一种基于深度学习的运动目标同步检测、识别与跟踪方法

Publications (1)

Publication Number Publication Date
CN111508006A true CN111508006A (zh) 2020-08-07

Family

ID=71877898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010325315.9A Pending CN111508006A (zh) 2020-04-23 2020-04-23 一种基于深度学习的运动目标同步检测、识别与跟踪方法

Country Status (1)

Country Link
CN (1) CN111508006A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132136A (zh) * 2020-09-11 2020-12-25 华为技术有限公司 一种目标跟踪方法和装置
CN113256637A (zh) * 2021-07-15 2021-08-13 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN113810146A (zh) * 2021-08-05 2021-12-17 西安理工大学 一种无外部参考时钟的数据同步传输方法
CN114066936A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
CN115542362A (zh) * 2022-12-01 2022-12-30 成都信息工程大学 电力作业现场的高精度空间定位方法、***、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪***及实现方法
CN110188596A (zh) * 2019-01-04 2019-08-30 北京大学 基于深度学习的监控视频行人实时检测、属性识别与跟踪方法及***
CN110211150A (zh) * 2019-04-25 2019-09-06 南开大学 一种具有尺度协调机制的实时视觉目标识别方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪***及实现方法
CN110188596A (zh) * 2019-01-04 2019-08-30 北京大学 基于深度学习的监控视频行人实时检测、属性识别与跟踪方法及***
CN110211150A (zh) * 2019-04-25 2019-09-06 南开大学 一种具有尺度协调机制的实时视觉目标识别方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEX BEWLEY ET AL.: "SIMPLE ONLINE AND REALTIME TRACKING", 《ARXIV:1602.00763.V2》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132136A (zh) * 2020-09-11 2020-12-25 华为技术有限公司 一种目标跟踪方法和装置
CN113256637A (zh) * 2021-07-15 2021-08-13 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN113256637B (zh) * 2021-07-15 2021-11-05 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN113810146A (zh) * 2021-08-05 2021-12-17 西安理工大学 一种无外部参考时钟的数据同步传输方法
CN113810146B (zh) * 2021-08-05 2023-09-22 西安理工大学 一种无外部参考时钟的数据同步传输方法
CN114066936A (zh) * 2021-11-06 2022-02-18 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
CN114066936B (zh) * 2021-11-06 2023-09-12 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
CN115542362A (zh) * 2022-12-01 2022-12-30 成都信息工程大学 电力作业现场的高精度空间定位方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
Lin et al. Face gender recognition based on face recognition feature vectors
CN111275010A (zh) 一种基于计算机视觉的行人重识别方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115527269B (zh) 一种人体姿态图像智能识别方法及***
CN113706481A (zh) ***质量检测方法、装置、计算机设备和存储介质
Xie et al. Feature consistency-based prototype network for open-set hyperspectral image classification
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及***
Zhu et al. Scene text relocation with guidance
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
Wang et al. Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及***
CN114743257A (zh) 图像目标行为的检测识别方法
CN113761987A (zh) 一种行人重识别的方法、装置、计算机设备和存储介质
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
Zhang et al. Robust visual tracking using discriminative stable regions and K-means clustering
CN110163106A (zh) 一体式纹身检测与识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807