CN102497543A - 一种基于dsp的多目标跟踪方法及*** - Google Patents
一种基于dsp的多目标跟踪方法及*** Download PDFInfo
- Publication number
- CN102497543A CN102497543A CN201210001994XA CN201210001994A CN102497543A CN 102497543 A CN102497543 A CN 102497543A CN 201210001994X A CN201210001994X A CN 201210001994XA CN 201210001994 A CN201210001994 A CN 201210001994A CN 102497543 A CN102497543 A CN 102497543A
- Authority
- CN
- China
- Prior art keywords
- dsp
- target
- ball machine
- image
- gunlock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种基于DSP的多目标跟踪方法,该方法包括下列顺序的步骤:在枪机监控背景内人工划定监控区域及盲区,并在盲区内安放球机;枪机和球机将采集到的视频监控图像实时编码,并将视频流通过网络传输到数字信号处理器DSP;数字信号处理器DSP对视频流进行解码并处理,控制球机对运动目标进行实时跟踪,并将结果显示给用户。本发明还公开了一种多目标跟踪***。本发明采用数字信号处理器DSP作为***的核心,对监测到的视频监控图像进行解码、处理,控制球机对运动目标进行实时跟踪,实现了实时跟踪多目标,并且可以降低整个多目标跟踪***的成本。
Description
技术领域
本发明涉及智能视频监控领域,尤其是一种基于DSP的多目标跟踪方法及***。
背景技术
随着数字图像处理技术的发展,以及安全防范需求的增长,智能视频技术得到了快速的发展。虽然现有的智能视频技术有很多优点,但是其固有缺点仍未得到完全解决,那就是其成本居高不下,严重影响了它的应用范围。智能视频监控***成本高昂的根本原因在于:为了实现更加鲁棒和实时的智能视频分析算法,***要以高性能的通用计算机为平台,而通用计算机拥有大量的外设,极大的存储能力,这些资源在大部分视频监控***中不是必须的。
基于视频的多目标跟踪技术是一门综合数字图像处理、自动控制、模式识别的技术。近几年来,人们提出了许多用于检测和跟踪图像序列中运动目标的方法,然而由于受到计算机运算速度和算法复杂度的影响,使得多目标跟踪***的实时性和鲁棒性总是不太理想。随着数字信号处理(DSP)和芯片技术的发展与广泛应用,使得计算机视觉和数字图像处理技术也获得了很大发展,DSP芯片的快速运算能力正好弥补了计算机视觉和数字图像处理领域数据量大、计算复杂的缺点,DSP芯片技术的应用大大降低了智能视频监控***的开发应用成本。目前,还没有将DSP芯片应用到多目标跟踪***中的产品出现。
发明内容
本发明的首要目的在于提供一种低成本、能够实现多目标跟踪实时控制的基于DSP的多目标跟踪方法,该方法包括下列顺序的步骤:
(1)在枪机监控背景内人工划定监控区域及盲区,并在盲区内安放球机;
(2)枪机和球机将采集到的视频监控图像实时编码,并将视频流通过网络传输到数字信号处理器DSP;
(3)数字信号处理器DSP对视频流进行解码并处理,控制球机对运动目标进行实时跟踪,并将结果显示给用户。
本发明的另一目的在于提供一种多目标跟踪***,包括用于采集监控场景内视频监控图像的枪机和球机,枪机和球机分别通过网络交换机与数字信号处理器DSP相连,数字信号处理器DSP通过网络交换机与显示屏相连。
由上述技术方案可知,本发明采用数字信号处理器DSP作为***的核心,对监测到的视频监控图像进行解码、处理,控制球机对运动目标进行实时跟踪,实现了实时跟踪多目标,并且可以降低整个多目标跟踪***的成本。
附图说明
图1是本发明的电路框图;
图2是本发明中数字信号处理器DSP的电路图;
图3是本发明中数字信号处理器DSP的ARM-DSP资源共享示意图;
图4是本发明的工作流程图。
具体实施方式
一种基于DSP的多目标跟踪方法,该方法包括下列顺序的步骤:(1)在枪机监控背景内人工划定监控区域及盲区,并在盲区内安放球机;(2)枪机和球机将采集到的视频监控图像实时编码,并将视频流通过网络传输到数字信号处理器DSP;(3)数字信号处理器DSP对视频流进行解码并处理,控制球机对运动目标进行实时跟踪,并将结果显示给用户。如图4所示。
如图4所示,所述的数字信号处理器DSP接收到枪机和球机发送的视频流后,对视频流进行解码,利用改进的多目标跟踪方法处理监控场景的视频,获得目标参数信息以及PTZ参数信息,将这些信息转化为控制流,再将控制流通过网络传输,在枪机场景中显示检测和跟踪结果,并控制球机对运动目标进行实时跟踪,球机将视频流通过网络发送到显示模块供用户查看实时跟踪效果。
所述的多目标跟踪方法包括背景减法、改进的Meanshift算法和卡尔曼滤波方法,上电初始化后,枪机采集监控区域的视频图像,根据该视频图像进行实时高斯背景建模,视频预处理模块获取固定枪机监控场景的背景图像,一旦有运动目标进入监控场景,通过背景减法得到运动目标,并获得目标的初始位置,然后利用改进的Meanshift算法和卡尔曼滤波方法对目标进行跟踪。
采用背景减法检测运动目标的公式如下:
背景图像采用背景更新的方法获得:
采用改进的Meanshift算法跟踪运动目标的公式如下:
读取一帧视频图像,将图像转到HSV空间,提取HSV三通道图像的Hue通道,公式如下:
(1)计算零阶矩
(3)计算搜索框的质心位置
然后,令中心位置等于质心位置,利用新的中心位置再重新计算质心,直到所得到的质心收敛;其中,为搜索窗口中的像素位置,是投影图中处的像素值,为搜索窗口的零阶矩,和为搜索窗口的一阶矩。使用Meanshift作为搜索算法,有效的利用梯度下降的方法来减少特征搜索匹配的时间,实现目标的快速定位。
当目标与背景颜色分布比较类似或者尺度发生变化时,效果不佳,通过加入卡尔曼滤波来改进跟踪效果,卡尔曼滤波包含了两个模型:
观测模型为:,
如果要实现球机的控制,那么应该根据目标位置,计算得到一个球机的PTZ参数,然后球机根据PTZ参数调整球机的位置,从而实现球机转动实时跟踪目标。摄像机标定是实现球机控制的关键步骤,摄像机标定根据目标位置,在枪机的图像坐标系和球机PTZ坐标系之间建立映射关系,通过这个映射关系,目标的图像坐标就能转换成PTZ坐标,数字信号处理器DSP将PTZ参数发送到球机,球机调整PTZ参数,转动跟踪目标。为了能够精确的跟踪目标,必须遵循一定的原则:1、标定点要基本上在一个平面上,且不能三点成一条线;2、标定点要尽量分散,从而可以代表监控场景的不同区域;3、标定点要具有一定的特点,这样能够在球机监控场景中能够精确的定位到该点。
如图1、2所示,本***包括用于采集监控场景内视频监控图像的枪机和球机,枪机和球机分别通过网络交换机与数字信号处理器DSP相连,数字信号处理器DSP通过网络交换机与显示屏相连。所述的枪机为高清网络枪式摄像机,所述的球机为高清网络球式摄像机,所述的数字信号处理器DSP采用TMS320DM6446芯片,高清网络枪式摄像机、高清网络球式摄像机分别通过网络交换机与TMS320DM6446芯片的ETH接口相连。
如图1、2、3所示,TMS320DM6446芯片集成了高速64x+DSP处理器和ARM926EJ-S处理器。其中,DSP处理器完成运动检测、目标质心计算、视频压缩等算法处理,ARM处理器完成目标跟踪、内部数据的传输控制、外设的控制等。ARM处理器和DSP处理器都可以访问EDMA和一些共享的存储器,包括ARM内部存储器、DSP内部存储器(L1P、L1D和L2),以及DDR2存储器控制器和异步EMIF的内部存储器。***控制模块中,包含使ARM处理器向DSP处理器发出中断,以及DSP处理器向ARM处理器发出中断的寄存器。
如图2所示,DDR2存储器是整个***的缓存中心,***运行代码、图像数据传输等都要使用DDR2存储器;集成64MB的NAND Flash,主要用于存储操作***的引导程序U-Boot、嵌入式Linux实时操作***和多目标跟踪***应用程序;集成了64GB CLASS10 SD存储卡作为离线模式时存储数据单元;保留RS232接口,用于设备调试和维护;网络接口ETH是负责视频流/控制流的传送;集成了EMAC和物理层设备的MDIO模块。采用了BCM5221作为10/100Base-TX以太网收发器,BCM5221的MII接口与TMS320DM6446芯片的MII接口对接。
综上所述,本发明采用数字信号处理器DSP作为***的核心,对监测到的视频监控图像进行解码、处理,控制球机对运动目标进行实时跟踪,实现了实时跟踪多目标,并且可以降低整个多目标跟踪***的成本。
Claims (10)
1.一种基于DSP的多目标跟踪方法,该方法包括下列顺序的步骤:
(1)在枪机监控背景内人工划定监控区域及盲区,并在盲区内安放球机;
(2)枪机和球机将采集到的视频监控图像实时编码,并将视频流通过网络传输到数字信号处理器DSP;
(3)数字信号处理器DSP对视频流进行解码并处理,控制球机对运动目标进行实时跟踪,并将结果显示给用户。
2.根据权利要求1所述的基于DSP的多目标跟踪方法,其特征在于:所述的数字信号处理器DSP接收到枪机和球机发送的视频流后,对视频流进行解码,利用改进的多目标跟踪方法处理监控场景的视频,获得目标参数信息以及PTZ参数信息,将这些信息转化为控制流,再将控制流通过网络传输,在枪机场景中显示检测和跟踪结果,并控制球机对运动目标进行实时跟踪,球机将视频流通过网络发送到显示模块供用户查看实时跟踪效果。
3.根据权利要求2所述的基于DSP的多目标跟踪方法,其特征在于:所述的多目标跟踪方法包括背景减法、改进的Meanshift算法和卡尔曼滤波方法,上电初始化后,枪机采集监控区域的视频图像,根据该视频图像进行实时高斯背景建模,视频预处理模块获取固定枪机监控场景的背景图像,一旦有运动目标进入监控场景,通过背景减法得到运动目标,并获得目标的初始位置,然后利用改进的Meanshift算法和卡尔曼滤波方法对目标进行跟踪。
4.根据权利要求2所述的基于DSP的多目标跟踪方法,其特征在于:根据目标位置,在枪机的图像坐标系和球机PTZ坐标系之间建立映射关系,通过这个映射关系,目标的图像坐标就能转换成PTZ坐标,数字信号处理器DSP将PTZ参数发送到球机,球机调整PTZ参数,转动跟踪目标。
9.根据权利要求1至8所述的基于DSP的多目标跟踪***,其特征在于:包括用于采集监控场景内视频监控图像的枪机和球机,枪机和球机分别通过网络交换机与数字信号处理器DSP相连,数字信号处理器DSP通过网络交换机与显示屏相连。
10.根据权利要求9所述的基于DSP的多目标跟踪***,其特征在于:所述的枪机为高清网络枪式摄像机,所述的球机为高清网络球式摄像机,所述的数字信号处理器DSP采用TMS320DM6446芯片,高清网络枪式摄像机、高清网络球式摄像机分别通过网络交换机与TMS320DM6446芯片的ETH接口相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210001994XA CN102497543A (zh) | 2012-01-06 | 2012-01-06 | 一种基于dsp的多目标跟踪方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210001994XA CN102497543A (zh) | 2012-01-06 | 2012-01-06 | 一种基于dsp的多目标跟踪方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102497543A true CN102497543A (zh) | 2012-06-13 |
Family
ID=46189327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210001994XA Pending CN102497543A (zh) | 2012-01-06 | 2012-01-06 | 一种基于dsp的多目标跟踪方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102497543A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946528A (zh) * | 2012-12-14 | 2013-02-27 | 安徽水天信息科技有限公司 | 基于全景点智能视频监控的机场跑道监控*** |
CN103200394A (zh) * | 2013-04-07 | 2013-07-10 | 南京理工大学 | 基于dsp的目标图像实时传输与跟踪方法及其装置 |
CN103198487A (zh) * | 2013-04-15 | 2013-07-10 | 厦门博聪信息技术有限公司 | 一种用于视频监控***中的自动定标方法 |
CN103700140A (zh) * | 2014-01-06 | 2014-04-02 | 武汉烽火众智数字技术有限责任公司 | 用于单枪机-多球机联动的空间建模方法 |
CN104270620A (zh) * | 2014-10-27 | 2015-01-07 | 成都新舟锐视科技有限公司 | 集成多摄像头实时联动智能跟踪预警*** |
CN104754302A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种基于枪球联动***的目标检测跟踪方法 |
CN103761514B (zh) * | 2014-01-26 | 2017-08-29 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的***及方法 |
CN110113560A (zh) * | 2018-02-01 | 2019-08-09 | 中兴飞流信息科技有限公司 | 视频智能联动的方法及服务器 |
CN110412500A (zh) * | 2019-07-30 | 2019-11-05 | 苏州经贸职业技术学院 | 一种基于EMaC的超分辨率稀疏阵列波达角估计方法 |
CN110503594A (zh) * | 2019-08-02 | 2019-11-26 | 长沙超创电子科技有限公司 | 视频跟踪装置、方法、***和视频跟踪设备 |
CN110809118A (zh) * | 2019-11-12 | 2020-02-18 | 成都新舟锐视科技有限公司 | 一种用于枪球联动的快速聚焦方法 |
CN110933372A (zh) * | 2019-12-03 | 2020-03-27 | 西安电子科技大学青岛计算技术研究院 | 一种基于ptz目标跟踪型监控方法 |
CN111372050A (zh) * | 2020-03-17 | 2020-07-03 | 广东电网有限责任公司电力科学研究院 | 一种目标识别方法、装置和枪球联动监控方法、*** |
CN111581587A (zh) * | 2020-04-29 | 2020-08-25 | 苏州新舟锐视信息技术科技有限公司 | 一种基于曲面拟合的枪球联动坐标关联方法 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
CN113487683A (zh) * | 2021-07-15 | 2021-10-08 | 中国人民解放***箭军工程大学 | 一种基于三目视觉的目标跟踪*** |
CN113538596A (zh) * | 2021-07-15 | 2021-10-22 | 中国人民解放***箭军工程大学 | 一种基于三目视觉的运动目标跟踪*** |
CN113949814A (zh) * | 2021-11-09 | 2022-01-18 | 重庆紫光华山智安科技有限公司 | 一种枪球联动抓拍方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101123721A (zh) * | 2007-09-30 | 2008-02-13 | 湖北东润科技有限公司 | 一种智能视频监控***及其监控方法 |
CN101561270A (zh) * | 2009-05-27 | 2009-10-21 | 天津理工大学 | 嵌入式全向球视觉目标检测和移动监控***及方法 |
CN201717992U (zh) * | 2010-05-06 | 2011-01-19 | 杭州惠尔森科技有限公司 | 视频客流检测仪 |
-
2012
- 2012-01-06 CN CN201210001994XA patent/CN102497543A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101123721A (zh) * | 2007-09-30 | 2008-02-13 | 湖北东润科技有限公司 | 一种智能视频监控***及其监控方法 |
CN101561270A (zh) * | 2009-05-27 | 2009-10-21 | 天津理工大学 | 嵌入式全向球视觉目标检测和移动监控***及方法 |
CN201717992U (zh) * | 2010-05-06 | 2011-01-19 | 杭州惠尔森科技有限公司 | 视频客流检测仪 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946528A (zh) * | 2012-12-14 | 2013-02-27 | 安徽水天信息科技有限公司 | 基于全景点智能视频监控的机场跑道监控*** |
CN103200394B (zh) * | 2013-04-07 | 2016-04-20 | 南京理工大学 | 基于dsp的目标图像实时传输与跟踪方法及其装置 |
CN103200394A (zh) * | 2013-04-07 | 2013-07-10 | 南京理工大学 | 基于dsp的目标图像实时传输与跟踪方法及其装置 |
CN103198487A (zh) * | 2013-04-15 | 2013-07-10 | 厦门博聪信息技术有限公司 | 一种用于视频监控***中的自动定标方法 |
CN103700140A (zh) * | 2014-01-06 | 2014-04-02 | 武汉烽火众智数字技术有限责任公司 | 用于单枪机-多球机联动的空间建模方法 |
CN103761514B (zh) * | 2014-01-26 | 2017-08-29 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的***及方法 |
CN104270620A (zh) * | 2014-10-27 | 2015-01-07 | 成都新舟锐视科技有限公司 | 集成多摄像头实时联动智能跟踪预警*** |
CN104754302A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种基于枪球联动***的目标检测跟踪方法 |
CN104754302B (zh) * | 2015-03-20 | 2017-08-08 | 安徽大学 | 一种基于枪球联动***的目标检测跟踪方法 |
CN110113560A (zh) * | 2018-02-01 | 2019-08-09 | 中兴飞流信息科技有限公司 | 视频智能联动的方法及服务器 |
CN110412500A (zh) * | 2019-07-30 | 2019-11-05 | 苏州经贸职业技术学院 | 一种基于EMaC的超分辨率稀疏阵列波达角估计方法 |
CN110412500B (zh) * | 2019-07-30 | 2023-01-31 | 苏州经贸职业技术学院 | 一种基于EMaC的超分辨率稀疏阵列波达角估计方法 |
CN110503594A (zh) * | 2019-08-02 | 2019-11-26 | 长沙超创电子科技有限公司 | 视频跟踪装置、方法、***和视频跟踪设备 |
CN110809118A (zh) * | 2019-11-12 | 2020-02-18 | 成都新舟锐视科技有限公司 | 一种用于枪球联动的快速聚焦方法 |
CN110933372A (zh) * | 2019-12-03 | 2020-03-27 | 西安电子科技大学青岛计算技术研究院 | 一种基于ptz目标跟踪型监控方法 |
CN110933372B (zh) * | 2019-12-03 | 2024-03-19 | 西安电子科技大学青岛计算技术研究院 | 一种基于ptz目标跟踪型监控方法 |
CN111372050A (zh) * | 2020-03-17 | 2020-07-03 | 广东电网有限责任公司电力科学研究院 | 一种目标识别方法、装置和枪球联动监控方法、*** |
CN111581587A (zh) * | 2020-04-29 | 2020-08-25 | 苏州新舟锐视信息技术科技有限公司 | 一种基于曲面拟合的枪球联动坐标关联方法 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
CN113487683A (zh) * | 2021-07-15 | 2021-10-08 | 中国人民解放***箭军工程大学 | 一种基于三目视觉的目标跟踪*** |
CN113538596A (zh) * | 2021-07-15 | 2021-10-22 | 中国人民解放***箭军工程大学 | 一种基于三目视觉的运动目标跟踪*** |
CN113487683B (zh) * | 2021-07-15 | 2023-02-10 | 中国人民解放***箭军工程大学 | 一种基于三目视觉的目标跟踪*** |
CN113949814A (zh) * | 2021-11-09 | 2022-01-18 | 重庆紫光华山智安科技有限公司 | 一种枪球联动抓拍方法、装置、设备及介质 |
CN113949814B (zh) * | 2021-11-09 | 2024-01-26 | 重庆紫光华山智安科技有限公司 | 一种枪球联动抓拍方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102497543A (zh) | 一种基于dsp的多目标跟踪方法及*** | |
CN108230361B (zh) | 用无人机探测器和追踪器融合来增强目标追踪方法及*** | |
CN110692083B (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
US20190096081A1 (en) | Camera pose determination and tracking | |
CN103106667B (zh) | 一种面向遮挡和场景变换的运动对象追踪方法 | |
CN103997624B (zh) | 重叠域双摄像头目标跟踪***及方法 | |
CN101344965A (zh) | 基于双目摄像的跟踪*** | |
CN102142085B (zh) | 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 | |
Straka et al. | Skeletal Graph Based Human Pose Estimation in Real-Time. | |
CN106571014A (zh) | 一种在视频中识别异常动作的方法和*** | |
CN102708571B (zh) | 视频中剧烈运动的检测方法及其装置 | |
CN109816692A (zh) | 一种基于Camshift算法的运动目标跟踪方法 | |
CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位*** | |
CN102447835A (zh) | 无盲区多目标协同跟踪方法及*** | |
CN104574439A (zh) | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 | |
CN105374050A (zh) | 运动目标跟踪恢复方法及装置 | |
CN102915545A (zh) | 一种基于OpenCV的视频目标跟踪算法 | |
CN103581614A (zh) | 基于ptz的视频中目标跟踪方法及*** | |
CN110070565A (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
CN114038193A (zh) | 基于无人机和多目标追踪的智能交通流量数据统计方法及*** | |
CN105631900B (zh) | 一种车辆跟踪方法及装置 | |
CN109615641A (zh) | 基于kcf算法的多目标行人跟踪***及跟踪方法 | |
Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
Dong et al. | An automatic object detection and tracking method based on video surveillance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20120613 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |