CN105139417A - 视频监控下的多目标实时跟踪方法 - Google Patents

视频监控下的多目标实时跟踪方法 Download PDF

Info

Publication number
CN105139417A
CN105139417A CN201510446292.6A CN201510446292A CN105139417A CN 105139417 A CN105139417 A CN 105139417A CN 201510446292 A CN201510446292 A CN 201510446292A CN 105139417 A CN105139417 A CN 105139417A
Authority
CN
China
Prior art keywords
target
similarity
color
template
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510446292.6A
Other languages
English (en)
Inventor
刘惠义
刘一宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201510446292.6A priority Critical patent/CN105139417A/zh
Publication of CN105139417A publication Critical patent/CN105139417A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了视频监控下的多目标实时跟踪方法，属于图像处理的技术领域。所述方法：对各帧输入图像进行预处理得到的前景区域进行筛选得到目标区域；获取色块边缘方向直方图以及HSI颜色直方图；在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果：描述色块边缘方向直方图相似度、HSI颜色直方图相似度后，给色块边缘方向直方图相似度、HSI颜色直方图相似度赋予权值以确定候选目标与目标模板的相似度，所述目标模板包括前一帧输入图像在目标搜索范围中的所有目标。本发明提高了准确率和鲁棒性，对匹配过程进行并行化处理大大降低了处理每帧图像所需要的时间，达到了实时性的要求。

Description

视频监控下的多目标实时跟踪方法
技术领域
本发明公开了视频监控下的多目标实时跟踪方法，属于图像处理的技术领域。
背景技术
视频中的人体行为分析是近几年来一个研究热点，人体运动检测和跟踪等底层视觉技术是实现人体行为识别和理解等高层视觉技术的基础。在现有的目标跟踪研究中，常用到的目标特性主要包括物体的边缘、轮廓等视觉特征和对颜色种类进行统计的统计特征。颜色特征具有对目标的旋转和局部形变不敏感，鲁棒性好的特点，而且能够在一定程度上适应目标的尺度变化等诸多优势，在目标跟踪方面得到广泛应用，但是在光照、颜色变化及有相似颜色干扰时，跟踪结果会出现偏差。边缘信息具有受光照变化的影响小，并且不需要特定的目标模型等优点，但是人体是非刚性的，边缘、轮廓特征会不断变化，所以基于边缘的人体跟踪鲁棒性差，准确率低。近些年来也提出了将颜色特征和边缘特征相结合的方法，虽然提高了目标区分度，但是在发生交错遮挡时目标轮廓变化较大，影响匹配结果的精确度，该方法提高了准确率和稳定性，但是由于涉及特征多，复杂度高，难以满足实时性的要求。
目前，智能监控对于实时性和准确性的要求越来越高，而传统方法难以满足当今实际应用的需求。
发明内容
本发明所要解决的技术问题是针对上述背景技术的不足，提供了视频监控下的多目标实时跟踪方法，考虑了颜色和边缘两种特征描述子以计算前后两帧图像的相似度，通过给色块边缘直方图相似度、HSI颜色直方图相似度赋予权值以描述目标与前一帧目标的相似度，提高了准确率和鲁棒性，解决了颜色特征在光照、颜色变化及有相似颜色干扰时会导致跟踪结果出现偏差、基于边缘的人体跟踪鲁棒性差、颜色与边缘相结合的跟踪方法在目标交错遮挡时仍然匹配精度差的技术问题。
本发明为实现上述发明目的采用如下技术方案：
视频监控下的多目标实时跟踪方法，包括如下步骤：
对预处理各帧输入图像得到的前景区域进行筛选得到目标区域；
获取色块边缘方向直方图以及HSI颜色直方图；
在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果：描述色块边缘方向直方图相似度、HSI颜色直方图相似度后，给色块边缘方向直方图相似度、HSI颜色直方图相似度赋予权值以确定候选目标与目标模板的相似度，所述目标模板包括前一帧输入图像在目标搜索范围中的所有目标。
进一步的，所述视频监控下的多目标实时跟踪方法中，获取色块边缘方向直方图的方法为：
使用水平和垂直的两个Sobel算子计算目标区域中各像素的水平梯度以及垂直梯度，再由水平梯度和垂直梯度得到各像素的梯度方向，对各像素梯度方向量化得到色块边缘方向直方图。
进一步的，所述视频监控下的多目标实时跟踪方法中，目标搜索范围由卡尔曼滤波方法确定，具体为：根据上一帧输入图像中目标的位置、速度和方向，利用卡尔曼滤波确定目标在当前帧输入图像中出现的位置范围。
进一步的，所述视频监控下的多目标实时跟踪方法，在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果这一步骤中，采用巴氏距离描述色块边缘方向直方图相似度BH、HSI颜色直方图相似度BG，根据表达式：R＝0.7BH+0.3BG给色块边缘方向直方图相似度、HSI颜色直方图相似度赋予权值以确定候选目标与目标模板的相似度R。
更进一步的，所述视频监控下的多目标实时跟踪方法，在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果这一步骤由GPU并行与目标数目相同的线程完成，每一个线程计算其对应目标与目标模板的相似度，排序各线程输出结果得到最优结果，在最优结果大于或等于阈值时匹配成功，在最优结果仍小于阈值时匹配失败。
再进一步的，所述视频监控下的多目标实时跟踪方法中，前景区域采用背景减除法对输入图像进行预处理。
再进一步的，所述视频监控下的多目标实时跟踪方法，对于输入图像中的人体目标通过包围前景区域的矩形大小筛选新目标。
再进一步的，所述视频监控下的多目标实时跟踪方法，通过前景区域中新目标与其它已有目标距离筛选目标区域。
本发明采用上述技术方案，具有以下有益效果：将颜色特征和色块边缘特征相结合，以考虑了颜色特征和色块边缘特征的巴氏距离描述图像的相似性，提高了准确率和鲁棒性，并且对匹配过程进行并行化处理，大大降低了处理每帧图像所需要的时间，达到了实时性的要求。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明涉及跟踪方法的流程图。
图2(a)至图2(d)分别为传统的颜色跟踪算法对视频实时跟踪时的第70帧、第78帧、第85帧、第110帧的实验效果图。
图3(a)至图3(d)分别为传统的边缘跟踪算法对视频实时跟踪时的第70帧、第78帧、第85帧、第110帧的实验效果图。
图4(a)至图4(d)分别为颜色与边缘特征相结合的跟踪算法对视频实时跟踪时的第70帧、第78帧、第85帧、第110帧的实验效果图。
图5(a)至图5(d)分别为本发明对视频实时跟踪时的第70帧、第78帧、第85帧、第110帧的实验效果图。
具体实施方式
下面详细描述本发明的实施方式，下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明涉及的视频监控下的多目标实时跟踪方法如图1所示，考虑了颜色和边缘两种特征描述子以计算前后两帧图像的相似度，通过给色块边缘直方图相似度、HSI颜色直方图相似度赋予权值以描述目标与前一帧目标的相似度。
步骤A、对输入图像进行预处理得到前景区域，然后对各前景区域进行筛选得到新目标区域：首先使用背景减除法得到前景区域，然后用矩形包围前景区域，通过矩形大小判断是否为人体，最后通过该目标与已有目标的距离判断是否为新目标。
步骤B、利用以下方法提取目标特征：
步骤B1、利用以下方法得到目标的色块边缘方向直方图：
步骤B101、对于图像中的目标区域，使用水平和垂直的两个Sobel算子计算目标区域中像素pi,j(其中，i、j代表像素所在的行数和列数)的水平梯度Gxi,j和垂直梯度Gyi,j，从而计算出像素pi,j的梯度方向Dir(pi,j)，
步骤B102、将Dir(pi,j)的取值范围分成n等份，从而将Dir(pi,j)进行量化，假设其中，k＝0,1,2,3，则对Dir(pi,j)量化之后的值N(pi,j)＝k。根据N(pi,j)就得到了色块边缘直方图H；
步骤B2、利用以下方法得到目标的HSI(HueSaturationIntensity)颜色直方图：
步骤B201、将输入的RGB图像转化为HSI图像，
步骤B202、将HSI色彩空间非均匀量化成72维，色调H分成8份，饱和度S和亮度I各分成3份，设G＝9H+3S+I，故得到72柄直方图G。
步骤C、通过卡尔曼滤波的方法确定目标搜索范围，具体包括以下步骤：
步骤C1、得到上一帧结果中的目标位置、速度和方向。
步骤C2、通过卡尔曼滤波得到目标在当前帧输入图像中可能出现的位置范围。
步骤D、利用GPU对匹配过程进行并行化处理，快速得到各目标的最佳匹配位置，本具体实施方式中采用NVDIA推出的CUDA运算平台，由GPU处理目标匹配过程；本步骤具体包括以下步骤：
步骤D1、根据目标数量确定需要的线程数，将匹配信息导入GPU中；
步骤D2、在每一个线程中，根据线程号和步骤C得到的目标搜索范围确定该线程用于匹配的目标以及候选目标在图像中对应的位置；
步骤D3、利用步骤B的方法提取候选目标特征，使用巴氏距离描述候选目标与目标模板的色块边缘方向直方图和颜色直方图的相似度，得到色块边缘方向直方图距离BH和颜色直方图距离BG，然后赋予BG和BH不同的权值，根据式R＝0.7BH+0.3BG得到最后的相似度R作为输出结果；
步骤D4、并行处理完毕后，将所有线程的输出结果进行排序得到各目标的最佳匹配结果，若最优结果仍小于巴氏距离阈值0.6，则认为匹配失败；
步骤D5、显示匹配结果并更新各目标信息。
本发明使用了一段室内多人行走视频进行跟踪实验，视频长度为200帧，视频图像分辨率640*480。传统的颜色跟踪算法对于该视频的实验效果如图2(a)至图2(d)所示，在跟踪过程中，由于目标颜色相近，会频繁出现目标误识别，准确率很低。传统的边缘跟踪算法对于该视频的实验效果如图3(a)至图3(d)所示，当目标重叠结合时，轮廓发生较大变化，无法进行跟踪识别。颜色与边缘特征结合的跟踪算法对于该视频的实验效果如图4(a)至图4(d)所示，由于结合了颜色特征和边缘特征，提高了目标之间的区分度，但是在发生交错遮挡时，其中轮廓变化较大，影响匹配结果，对准确率的提高不是很大并且效率大大降低。本发明算法的效果如图5(a)至图5(d)所示，由于加入了对色块边缘的统计，提高了目标之间的区分度，在发生交错遮挡时也能进行很好的跟踪，提高了跟踪的准确率，并且对该算法进行了并行化处理，可以达到实时性的要求。四种算法的效率对比图如表1所示。
表1四种跟踪算法效率对比
可见，本发明将颜色特征和色块边缘特征相结合，提高了准确率和鲁棒性，并且对匹配过程进行并行化处理，在外界环境适宜的条件下可以做到1秒处理10-15帧图像，达到了实时性的要求。可将该方法应用于银行监控等领域，节省人力成本的同时也会显著地提高监控***的效能。
综上所述，本发明具有以下有益效果：将颜色特征和色块边缘特征相结合，以考虑了颜色特征和色块边缘特征的巴氏距离描述图像的相似性，提高了准确率和鲁棒性，并且对匹配过程进行并行化处理，大大降低了处理每帧图像所需要的时间，达到了实时性的要求。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器，或者网络设备等)执行本发明的实施例或实施例的某些部分所述的方法。

Claims (8)

1.视频监控下的多目标实时跟踪方法，其特征在于，包括如下步骤：
对预处理各帧输入图像得到的前景区域进行筛选得到目标区域；
获取色块边缘方向直方图以及HSI颜色直方图；
在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果：描述色块边缘方向直方图相似度、HSI颜色直方图相似度后，给色块边缘方向直方图相似度、HSI颜色直方图相似度赋予权值以确定候选目标与目标模板的相似度，所述目标模板包括前一帧输入图像在目标搜索范围中的所有目标。
2.根据权利要求1所述的视频监控下的多目标实时跟踪方法，其特征在于，获取色块边缘方向直方图的方法为：使用水平和垂直的两个Sobel算子计算目标区域中各像素的水平梯度以及垂直梯度，再由水平梯度和垂直梯度得到各像素的梯度方向，对各像素梯度方向量化得到色块边缘方向直方图。
3.根据权利要求1所述的视频监控下的多目标实时跟踪方法，其特征在于，所述目标搜索范围由卡尔曼滤波方法确定，具体为：根据上一帧输入图像中目标的位置、速度和方向，利用卡尔曼滤波确定目标在当前帧输入图像中出现的位置范围。
4.根据权利要求1所述的视频监控下的多目标实时跟踪方法，其特征在于，在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果这一步骤中，采用巴氏距离描述色块边缘方向直方图相似度BH、HSI颜色直方图相似度BG，根据表达式：R=0.7BH+0.3BG给色块边缘方向直方图相似度、HSI颜色直方图相似度赋予权值以确定候选目标与目标模板的相似度R。
5.根据权利要求1或2或3或4所述的视频监控下的多目标实时跟踪方法，其特征在于，在目标搜索范围内计算候选目标与目标模板的相似度并由相似度得到跟踪结果这一步骤由GPU并行与目标数目相同的线程完成，每一个线程计算其对应目标与目标模板的相似度，排序各线程输出结果得到最优结果，在最优结果大于或等于阈值时匹配成功，在最优结果仍小于阈值时匹配失败。
6.根据权利要求1所述的视频监控下的多目标实时跟踪方法，其特征在于，所述前景区域采用背景减除法对输入图像进行预处理。
7.根据权利要求1所述的视频监控下的多目标实时跟踪方法，其特征在于，对于输入图像中的人体目标通过包围前景区域的矩形大小筛选新目标。
8.根据权利要求7所述的视频监控下的多目标实时跟踪方法，其特征在于，通过前景区域中新目标与其它已有目标距离筛选目标区域。
CN201510446292.6A 2015-07-27 2015-07-27 视频监控下的多目标实时跟踪方法 Pending CN105139417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510446292.6A CN105139417A (zh) 2015-07-27 2015-07-27 视频监控下的多目标实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510446292.6A CN105139417A (zh) 2015-07-27 2015-07-27 视频监控下的多目标实时跟踪方法

Publications (1)

Publication Number Publication Date
CN105139417A true CN105139417A (zh) 2015-12-09

Family

ID=54724749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510446292.6A Pending CN105139417A (zh) 2015-07-27 2015-07-27 视频监控下的多目标实时跟踪方法

Country Status (1)

Country Link
CN (1) CN105139417A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097385A (zh) * 2016-05-31 2016-11-09 海信集团有限公司 一种目标跟踪的方法和装置
CN106295532A (zh) * 2016-08-01 2017-01-04 河海大学 一种视频图像中的人体动作识别方法
CN106485733A (zh) * 2016-09-22 2017-03-08 电子科技大学 一种在红外图像中跟踪感兴趣目标的方法
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
CN109446901A (zh) * 2018-09-21 2019-03-08 北京晶品特装科技有限责任公司 一种可嵌入式移植的实时人形目标自动识别算法
CN109495749A (zh) * 2018-12-24 2019-03-19 上海国茂数字技术有限公司 一种视频编解码、检索方法及装置
CN111950218A (zh) * 2020-07-02 2020-11-17 深圳市兴森快捷电路科技股份有限公司 基于fpga实现目标跟踪算法的电路
CN111982120A (zh) * 2020-08-20 2020-11-24 青岛海米飞驰智能科技有限公司 一种基于水上机器人的搜救目标识别方法、***及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065331A (zh) * 2013-01-15 2013-04-24 南京工程学院 基于空时域边缘和颜色特征关联的目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065331A (zh) * 2013-01-15 2013-04-24 南京工程学院 基于空时域边缘和颜色特征关联的目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DORIN COMANICIU ET AL: "Kernel-Based Object Tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
YUNQIANG CHEN ET AL: "JPDAF Based HMM for Real-Time Contour Tracking", 《CVPR 2001》 *
刘惟锦 等: "基于Kalman滤波和边缘直方图的实时目标跟踪", 《清华大学学报(自然科学版)》 *
王绍钰 等: "改进的粒子滤波器目标跟踪方法", 《智能***学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
CN106097385A (zh) * 2016-05-31 2016-11-09 海信集团有限公司 一种目标跟踪的方法和装置
CN106097385B (zh) * 2016-05-31 2019-03-05 海信集团有限公司 一种目标跟踪的方法和装置
CN106295532A (zh) * 2016-08-01 2017-01-04 河海大学 一种视频图像中的人体动作识别方法
CN106295532B (zh) * 2016-08-01 2019-09-24 河海大学 一种视频图像中的人体动作识别方法
CN106485733A (zh) * 2016-09-22 2017-03-08 电子科技大学 一种在红外图像中跟踪感兴趣目标的方法
CN109446901A (zh) * 2018-09-21 2019-03-08 北京晶品特装科技有限责任公司 一种可嵌入式移植的实时人形目标自动识别算法
CN109495749A (zh) * 2018-12-24 2019-03-19 上海国茂数字技术有限公司 一种视频编解码、检索方法及装置
CN111950218A (zh) * 2020-07-02 2020-11-17 深圳市兴森快捷电路科技股份有限公司 基于fpga实现目标跟踪算法的电路
CN111982120A (zh) * 2020-08-20 2020-11-24 青岛海米飞驰智能科技有限公司 一种基于水上机器人的搜救目标识别方法、***及设备

Similar Documents

Publication Publication Date Title
CN105139417A (zh) 视频监控下的多目标实时跟踪方法
CN108549864B (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
Yan et al. One extended OTSU flame image recognition method using RGBL and stripe segmentation
CN110688987A (zh) 一种行人位置检测与跟踪方法及***
CN111241927A (zh) 级联式人脸图像优选方法、***、设备及可读存储介质
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN107705288A (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN107358245B (zh) 一种图像协同显著区域的检测方法
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN104966305B (zh) 基于运动矢量划分的前景检测方法
CN107507206B (zh) 一种基于显著性检测的深度图提取方法
WO2017166597A1 (zh) 一种卡通视频识别方法、装置和电子设备
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
Katramados et al. Real-time visual saliency by division of gaussians
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
US9940543B2 (en) Control of computer vision pre-processing based on image matching using structural similarity
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN113034383B (zh) 一种基于改进网格运动统计获取视频图像的方法
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN111461002B (zh) 一种面向热成像行人检测的样本处理方法
CN111626107B (zh) 一种面向智能家居场景下的人形轮廓分析提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151209

WD01 Invention patent application deemed withdrawn after publication