CN107105159B - 基于SoC的嵌入式运动目标实时检测跟踪***及方法 - Google Patents
基于SoC的嵌入式运动目标实时检测跟踪***及方法 Download PDFInfo
- Publication number
- CN107105159B CN107105159B CN201710240232.8A CN201710240232A CN107105159B CN 107105159 B CN107105159 B CN 107105159B CN 201710240232 A CN201710240232 A CN 201710240232A CN 107105159 B CN107105159 B CN 107105159B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- tracking
- classifier
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000011897 real-time detection Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 96
- 238000004148 unit process Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了基于SoC的嵌入式运动目标实时检测跟踪***及方法；***包括：图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元；图像传感器由云台的带动在所监视的范围内进行360度的旋转拍摄；所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出云台控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果。
Description
技术领域
本发明涉及一种基于SoC(System on Chip，***级芯片)的嵌入式运动目标实时检测跟踪***及方法。
背景技术
随着社会的发展，科技在不断的进步，21世纪涌现出了一大批新兴科学与技术，使人类社会和人们的生活发生了翻天覆地的变化，智能技术、多媒体技术已成为信息时代的主导技术，计算机视觉、机器视觉、视频图像处理等领域已成为研究领域的前沿和热点。运动目标检测与跟踪技术的任务是在当前视频中发现被跟踪的目标，并完成目标的自动跟踪，该技术在工业制造、场景监控、社会生活、医疗、军事、交通道路监控等领域都有着广阔的应用前景和长久的经济价值。然而，传统的视频监控***自身存在体积大、效率低、实时性差等缺陷，因此随着社会的发展，人们迫切需要现代化技术来实现对场所或物体的监控。
目标跟踪为通过运动目标的特征信息来跟踪运动目标的运动轨迹，目前比较流行的目标跟踪方法主要有模板匹配法、卡尔曼滤波法、粒子滤波法和自适应均值滤波算法，但是它们的运算量都特别的大，在高清视频图像处理中的实时性和准确性都无法得到有力的保证。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于SoC的嵌入式运动目标实时检测跟踪***及方法，克服了传统视频监控***中存在的人为因素带来的实时性差、效率低的问题，及因其自身体积大带来的资源浪费问题，可以保证对运动目标进行检测与跟踪时的实时性及准确性的要求。
为了实现上述目的，本发明采用如下技术方案：
基于SoC的嵌入式运动目标实时检测跟踪***，包括：图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元；
图像传感器由云台的带动在所监视的范围内进行360度的旋转拍摄；所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出云台控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果。
所述图像处理单元包括彼此连接的ARM处理器和DSP处理器；图像处理单元接收到图像存储单元传输过来的图像后，ARM处理器里面存储的基于OpenCV库的目标检测跟踪算法开始对传送进来的图像进行处理，在处理的过程中，在算法调用OpenCV库里面的库函数对图像进行处理时，OpenCL会自动调用DSP处理器，将需要并行加速的部分通过高速总线分配给DSP处理器进行处理，DSP处理器处理后，通过高速总线将处理结果反馈给ARM处理器，ARM处理器根据DSP处理器反馈的结果继续后续处理，最后，ARM处理器将处理的结果发送给图像显示单元进行显示。
所述图像存储模块是指DDR/SDRAM存储模块；所述图像处理单元是指通过总线彼此连接的ARM处理器和DSP处理器；所述控制处理单元是指云台控制模块；所述图像显示单元是指VGA显示模块；所述采集卡是指CMOS数据采集模块；
所述DDR/SDRAM存储模块、CMOS数据采集模块、VGA显示模块和云台控制模块均通过总线与ARM处理器连接；
所述DDR/SDRAM存储模块、CMOS数据采集模块、VGA显示模块和云台控制模块均通过总线与DSP处理器连接。
OpenCV的全称是：Open Source Computer Vision Library；OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作***上。
OpenCL的全称是：Open Computing Language，开放运算语言。
所述需要并行加速的部分是指：在一个时钟周期内，在一帧图像内并行处理的多行像素。
基于SoC的嵌入式运动目标实时检测跟踪方法，包括：
步骤(1)：图像传感器对待检测跟踪的目标进行视频采集，获得待检测目标跟踪的视频流；
步骤(2)：将采集的待检测跟踪目标的视频流由采集卡进行格式转换：将模拟电压信号变为数字图像数据；
步骤(3)：将转换格式后的视频流图像传送到图像存储单元，存储后续传送过来的视频图像，图像存储单元将视频图像传输到图像处理单元进行图像处理；
步骤(4)：通过基于OpenCV库的运动目标检测跟踪算法选定待检测跟踪的目标，并对后续传送进来的视频图像进行处理，在视频图像进行处理的过程中，在调用OpenCV库里面的库函数对图像进行处理时，OpenCL会自动调用DSP处理器，将需要并行加速的部分通过高速总线分配给DSP处理器进行处理，DSP处理器处理后，通过高速总线将处理结果反馈给ARM处理器，ARM处理器根据DSP处理器反馈的结果继续后续处理，最后，ARM处理器检测并跟踪选定的目标，将当前帧中检测到的目标的位置发送给控制处理单元以及将图像处理结果发送给图像显示单元；
步骤(5)：控制处理单元接收由图像处理单元发送的信息，对云台进行控制，云台根据控制单元的控制指令带动图像传感器旋转至期望位置；
步骤(6)：图像显示单元显示由图像处理单元发送的处理后的图像，显示处理结果。
所述步骤(4)运动目标检测跟踪算法步骤如下：
步骤(4-1)：在视频图像中识别追踪处理的第1帧；框选目标区域图像作为跟踪目标P；
步骤(4-2)：根据跟踪目标P左上角的坐标、跟踪目标P的长和宽大小，根据不同的缩放尺度和移动步长创建滑动窗口，并保存所有滑动窗口的左上角坐标、滑动窗口的大小、滑动窗口的缩放尺度以及与跟踪目标P窗口的重叠率；
步骤(4-3)：在所有的滑动窗口中寻找与跟踪目标P距离最小的10个窗口，然后把找到的窗口保存到good_box容器，通过仿射变换产生正样本，把重叠率低于0.2的窗口归入bad_box容器，作为负样本；
步骤(4-4)：准备分类器，有三个部分：方差分类器、集合分类器、最近邻分类器，方差分类器、集合分类器、最近邻分类器三个分类器依次连接；
步骤(4-5)：在跟踪目标P中均值采样N个特征点，利用金字塔光流法跟踪N个特征点，预测前向轨迹，再往回跟踪，产生后向轨迹，然后调用OpenCV库里面的库函数计算前向和后向轨迹误差，根据误差阈值判断是否含有跟踪目标，若前向和后向轨迹误差大于误差阈值则表示有跟踪目标，进入步骤(4-6)；若前向和后向轨迹误差小于误差阈值则表示没有跟踪目标；进入下一帧图像的检测；
步骤(4-6)：通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口；
步骤(4-7)：根据最后的筛选出的候选目标窗口，选择与跟踪目标P距离最近的窗口作为下一帧的待检测跟踪目标。
所述步骤(4-6)的步骤为：
步骤(4-6-1)：方差分类器，利用积分图计算所有滑动窗口的方差，方差大于第一设定阈值的滑动窗口，表示含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入集合分类器；
步骤(4-6-2)：集合分类器，首先将滑动窗口进行了归一化处理得到图像块，然后得到图像块的特征值，然后计算该特征值对应的后验概率累加值，若后验概率值大于第二设定阈值，就认为含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入最近邻分类器；
步骤(4-6-3)：最近邻分类器，计算图像块到跟踪目标P的相关相似度，若相关相似度大于第三设定阈值，则认为含有跟踪目标P，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口。
所述重叠率就是每一个滑动窗口与跟踪目标P窗口的交集除以每一个滑动窗口与跟踪目标P窗口的并集。
所述图像块是将滑动窗口进行了归一化处理，大小为15*15的向量；
集合分类器(随机森林)，由10个基本分类器(10棵树)组成，每棵树由13个判断节点，每个图像块与每一个判断节点进行比较，产生0或者1，然后将这13个0或1组成13位的二进制码x(2^13种可能)，所述13位的二进制码x为特征值，每一个二进制码x对应一个后验概率p(y/x)＝p+/(p++n-)，p+代表正样本数目，n-代表负样本数目，一个集合分类器有10个后验概率，取均值，大于阈值，则含有跟踪目标P。
所述N＝100。
本发明的有益效果：
1精准实时跟踪运动目标；
2摄像头视角不固定，随目标的移动不断转动；
3监控***设备小，且不需过多人为的干预和控制。
附图说明
图1为本发明的结构示意图；
图2为本发明的***硬件结构示意图；
图3为本发明***的工作流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
图1为本发明的结构示意图，如图1所示，本发明提供的一种基于SoC的嵌入式运动目标实时检测跟踪***，包括图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元。
所述图像传感器用于视频图像的拍摄。
所述采集卡与所述图像传感器相连，将所述图像传感器拍摄的图像的模拟电压信号变为数字图像数据。
所述图像存储单元与所述采集卡相连，存储由所述采集卡传送的图像数据。
所述图像处理单元与所述图像存储单元相连，包括ARM(Advanced RISC Machine，RISC微处理器)芯片和DSP(Digital Signal Processing，数字信号处理)芯片，所述的图像处理单元在首帧图像中选中被跟踪的目标以及在后续输入图像帧中运动目标的检测跟踪。
其中，ARM主要存储运动目标检测跟踪算法，所述运动目标跟踪算法依赖OpenCV(Open Computer Vision，开源计算机视觉)库提供的图像处理函数对输入图像进行处理，DSP主要用于加速运算。
具体的，如图2所示，为本发明的***硬件结构示意图。如图所示，本发明提供的一种基于SoC的嵌入式运动目标实时监测跟踪***的硬件结构，包括ARM处理器、DSP处理器、DDR/SDRAM存储模块、CMOS数据采集模块、VGA显示模块和云台控制模块。首先由CMOS数据采集模块采集图像信息，并将采集的图像传送到DDR/SDRAM存储模块进行缓冲存储，然后通过总线将图像传送到ARM处理器，ARM处理器里存储的目标检测跟踪算法开始对传送进来的图像进行处理，由于本算法是基于OpenCV库进行开发的，在调用到OpenCV里的库函数对图像进行处理时，OpenCL会自动检索现有的设备(如CPU、DSP等)，并将需要并行加速的部分通过高速总线(如AHB、PCIE等)分配给检索到的设备(本发明采用的是DSP)，DSP将处理后的结果通过高速总线返回到ARM处理器，根据返回的结果继续后续处理，最后ARM处理器将处理的结果发送到VGA显示，同时将控制指令发送给云台控制。
所述控制处理单元接收由所述图像处理单元发送的指令，并控制所述云台的转动。
所述云台与所述图像传感器相连，带动所述图像传感器的转动，能够实时捕捉运动目标。
所述图像显示单元与所述图像处理单元相连，显示图像的处理结果。
图3为本发明的工作流程图，如图所示，图像传感器由云台的带动可以在所监视的范围内进行360度的旋转拍摄。所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出伺服机构控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果。具体实施步骤如下所示：
步骤1：对待检测跟踪的目标进行视频采集，获得待检测目标跟踪的视频流；
步骤2：将采集的待检测跟踪目标的视频流由采集卡进行格式转换；
步骤3：将转换格式后的视频流图像传送到图像存储单元，存储后续传送的视频图像，并传输到图像处理单元进行图像处理；
步骤4：通过运动目标检测跟踪算法选定待检测跟踪的目标，并对后续传送进来的视频图像进行处理，检测并跟踪选定的目标，将当前处理帧中检测到的目标的位置发送给控制处理单元以及将图像处理结果发送给图像显示单元；
步骤5：控制处理单元接收由图像处理单元发送的信息，对云台进行控制，云台根据控制单元的控制指令带动图像传感器旋转至期望位置；
步骤6：图像显示单元显示由图像处理单元发送的处理后的图像，显示处理结果。
所述步骤4运动目标检测跟踪算法步骤如下：
步骤(4-1)：在视频图像中识别追踪处理的第1帧；框选目标区域图像作为跟踪目标P；
步骤(4-2)：根据跟踪目标P的坐标和大小，创建滑动窗口，并保存所有滑动窗口的坐标、大小、尺度以及与跟踪目标P的重叠率；
步骤(4-3)：在所有的滑动窗口中寻找与跟踪目标P距离最小，即最相似的10个窗口，然后把这些窗口保存到good_box容器，通过仿射变换产生正样本，把重叠率低于0.2的窗口归入bad_box容器，作为负样本；
步骤(4-4)：准备分类器，有三个部分：方差分类器、集合分类器、最近邻分类器，三个分类器级联；
步骤(4-5)：在跟踪目标P中均值采样100个特征点，利用金字塔光流法跟踪预测前向轨迹，再往回跟踪，产生后向轨迹，然后计算向前和向后轨迹误差，根据误差阈值判断是否含有跟踪目标；
步骤(4-6)：方差分类器，利用积分图计算每一个待检测窗口的方差，方差大于阈值则认为含有前景目标，通过该分类器的进入集合分类器；
步骤(4-7)：集合分类器，首先得到图像块的特征值，然后计算该特征值对应的后验概率累加值，若后验概率值大于阈值，就认为含有前景目标，进入最近邻分类器；
步骤(4-7)：最近邻分类器，计算图像块到在线模型的相关相似度和保守相似度，若相似度大于阈值，则认为含有前景目标，通过三个分类器的窗口，作为最后的候选目标窗口；
步骤(4-8)：根据最后的筛选出的候选目标窗口，选择与跟踪目标P距离最近，即最为相似的窗口作为下一帧的待检测跟踪目标。
其中图像采集中通过视频解码芯片将模拟电压信号变为数字图像数据。
其中目标检测的算法采用检测-跟踪的方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.基于SoC的嵌入式运动目标实时检测跟踪***，其特征是，包括：图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元；
图像传感器由云台的带动在所监视的范围内进行360度的旋转拍摄；所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出云台控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果；
所述图像处理单元包括彼此连接的ARM处理器和DSP处理器；图像处理单元接收到图像存储单元传输过来的图像后，ARM处理器里面存储的基于OpenCV库的目标检测跟踪算法开始对传送进来的图像进行处理，在处理的过程中，在算法调用OpenCV库里面的库函数对图像进行处理时，OpenCL会自动调用DSP处理器，将需要并行加速的部分通过高速总线分配给DSP处理器进行处理，DSP处理器处理后，通过高速总线将处理结果反馈给ARM处理器，ARM处理器根据DSP处理器反馈的结果继续后续处理，最后，ARM处理器将处理的结果发送给图像显示单元进行显示；
所述目标检测跟踪算法如下：
在视频图像中识别追踪处理的第1帧；框选目标区域图像作为跟踪目标P；
根据跟踪目标P左上角的坐标、跟踪目标P的长和宽大小，根据不同的缩放尺度和移动步长创建滑动窗口，并保存所有滑动窗口的左上角坐标、滑动窗口的大小、滑动窗口的缩放尺度以及与跟踪目标P窗口的重叠率；
在所有的滑动窗口中寻找与跟踪目标P距离最小的10个窗口，然后把找到的窗口保存到good_box容器，通过仿射变换产生正样本，把重叠率低于0.2的窗口归入bad_box容器，作为负样本；
准备分类器，有三个部分：方差分类器、集合分类器、最近邻分类器，方差分类器、集合分类器、最近邻分类器三个分类器依次连接；
在跟踪目标P中均值采样N个特征点，利用金字塔光流法跟踪N个特征点，预测前向轨迹，再往回跟踪，产生后向轨迹，然后调用OpenCV库里面的库函数计算前向和后向轨迹误差，根据误差阈值判断是否含有跟踪目标，若前向和后向轨迹误差大于误差阈值则表示有跟踪目标，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口；
根据最后的筛选出的候选目标窗口，选择与跟踪目标P距离最近的窗口作为下一帧的待检测跟踪目标；
若前向和后向轨迹误差小于误差阈值则表示没有跟踪目标；进入下一帧图像的检测；
所述通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口中：
方差分类器，利用积分图计算所有滑动窗口的方差，方差大于第一设定阈值的滑动窗口，表示含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入集合分类器；
集合分类器，首先将滑动窗口进行了归一化处理得到图像块，然后得到图像块的特征值，然后计算该特征值对应的后验概率累加值，若后验概率值大于第二设定阈值，就认为含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入最近邻分类器；
最近邻分类器，计算图像块到跟踪目标P的相关相似度，若相关相似度大于第三设定阈值，则认为含有跟踪目标P，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口。
2.如权利要求1所述的基于SoC的嵌入式运动目标实时检测跟踪***，其特征是，所述图像存储模块是指DDR/SDRAM存储模块；所述图像处理单元是指通过总线彼此连接的ARM处理器和DSP处理器；所述控制处理单元是指云台控制模块；所述图像显示单元是指VGA显示模块；所述采集卡是指CMOS数据采集模块。
3.如权利要求2所述的基于SoC的嵌入式运动目标实时检测跟踪***，其特征是，所述DDR/SDRAM存储模块、CMOS数据采集模块、VGA显示模块和云台控制模块均通过总线与ARM处理器连接。
4.如权利要求2所述的基于SoC的嵌入式运动目标实时检测跟踪***，其特征是，所述DDR/SDRAM存储模块、CMOS数据采集模块、VGA显示模块和云台控制模块均通过总线与DSP处理器连接。
5.如权利要求1所述的基于SoC的嵌入式运动目标实时检测跟踪***，其特征是，
所述需要并行加速的部分是指：在一个时钟周期内，在一帧图像内并行处理的多行像素。
6.基于SoC的嵌入式运动目标实时检测跟踪方法，其特征是，包括：
步骤(1)：图像传感器对待检测跟踪的目标进行视频采集，获得待检测目标跟踪的视频流；
步骤(2)：将采集的待检测跟踪目标的视频流由采集卡进行格式转换：将模拟电压信号变为数字图像数据；
步骤(3)：将转换格式后的视频流图像传送到图像存储单元，存储后续传送过来的视频图像，图像存储单元将视频图像传输到图像处理单元进行图像处理；
步骤(4)：通过基于OpenCV库的运动目标检测跟踪算法选定待检测跟踪的目标，并对后续传送进来的视频图像进行处理，
在视频图像进行处理的过程中，在调用OpenCV库里面的库函数对图像进行处理时，OpenCL会自动调用DSP处理器，将需要并行加速的部分通过高速总线分配给DSP处理器进行处理，DSP处理器处理后，通过高速总线将处理结果反馈给ARM处理器，ARM处理器根据DSP处理器反馈的结果继续后续处理，最后，ARM处理器检测并跟踪选定的目标，将当前帧中检测到的目标的位置发送给控制处理单元以及将图像处理结果发送给图像显示单元；
步骤(5)：控制处理单元接收由图像处理单元发送的信息，对云台进行控制，云台根据控制单元的控制指令带动图像传感器旋转至期望位置；
步骤(6)：图像显示单元显示由图像处理单元发送的处理后的图像，显示处理结果；
所述步骤(4)运动目标检测跟踪算法步骤如下：
步骤(4-1)：在视频图像中识别追踪处理的第1帧；框选目标区域图像作为跟踪目标P；
步骤(4-2)：根据跟踪目标P左上角的坐标、跟踪目标P的长和宽大小，根据不同的缩放尺度和移动步长创建滑动窗口，并保存所有滑动窗口的左上角坐标、滑动窗口的大小、滑动窗口的缩放尺度以及与跟踪目标P窗口的重叠率；
步骤(4-3)：在所有的滑动窗口中寻找与跟踪目标P距离最小的10个窗口，然后把找到的窗口保存到good_box容器，通过仿射变换产生正样本，把重叠率低于0.2的窗口归入bad_box容器，作为负样本；
步骤(4-4)：准备分类器，有三个部分：方差分类器、集合分类器、最近邻分类器，方差分类器、集合分类器、最近邻分类器三个分类器依次连接；
步骤(4-5)：在跟踪目标P中均值采样N个特征点，利用金字塔光流法跟踪N个特征点，预测前向轨迹，再往回跟踪，产生后向轨迹，然后调用OpenCV库里面的库函数计算前向和后向轨迹误差，根据误差阈值判断是否含有跟踪目标，若前向和后向轨迹误差大于误差阈值则表示有跟踪目标，进入步骤(4-6)；若前向和后向轨迹误差小于误差阈值则表示没有跟踪目标；进入下一帧图像的检测；
步骤(4-6)：通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口；
步骤(4-7)：根据最后的筛选出的候选目标窗口，选择与跟踪目标P距离最近的窗口作为下一帧的待检测跟踪目标；
所述步骤(4-6)的步骤为：
步骤(4-6-1)：方差分类器，利用积分图计算所有滑动窗口的方差，方差大于第一设定阈值的滑动窗口，表示含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入集合分类器；
步骤(4-6-2)：集合分类器，首先将滑动窗口进行了归一化处理得到图像块，然后得到图像块的特征值，然后计算该特征值对应的后验概率累加值，若后验概率值大于第二设定阈值，就认为含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入最近邻分类器；
步骤(4-6-3)：最近邻分类器，计算图像块到跟踪目标P的相关相似度，若相关相似度大于第三设定阈值，则认为含有跟踪目标P，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口。
7.如权利要求6所述的方法，其特征是，
所述重叠率就是每一个滑动窗口与跟踪目标P窗口的交集除以每一个滑动窗口与跟踪目标P窗口的并集。
8.如权利要求6所述的方法，其特征是，
集合分类器，由10个基本分类器组成，每棵树由13个判断节点，每个图像块与每一个判断节点进行比较，产生0或者1，然后将这13个0或1组成13位的二进制码x，所述13位的二进制码x为特征值，每一个二进制码x对应一个后验概率p(y/x)＝p+/(p++n-)，p+代表正样本数目，n-代表负样本数目，一个集合分类器有10个后验概率，取均值，大于阈值，则含有跟踪目标P。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710240232.8A CN107105159B (zh) | 2017-04-13 | 2017-04-13 | 基于SoC的嵌入式运动目标实时检测跟踪***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710240232.8A CN107105159B (zh) | 2017-04-13 | 2017-04-13 | 基于SoC的嵌入式运动目标实时检测跟踪***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107105159A CN107105159A (zh) | 2017-08-29 |
| CN107105159B true CN107105159B (zh) | 2020-01-07 |
Family
ID=59676069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710240232.8A Active CN107105159B (zh) | 2017-04-13 | 2017-04-13 | 基于SoC的嵌入式运动目标实时检测跟踪***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107105159B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543496B (zh) * | 2017-09-22 | 2020-11-27 | 杭州海康威视数字技术股份有限公司 | 一种图像采集方法、装置、电子设备及*** |
| CN107909024B (zh) * | 2017-11-13 | 2021-11-05 | 哈尔滨理工大学 | 基于图像识别和红外避障的车辆跟踪***、方法及车辆 |
| CN108009554A (zh) * | 2017-12-01 | 2018-05-08 | 国信优易数据有限公司 | 一种图像处理方法以及装置 |
| CN109635749B (zh) * | 2018-12-14 | 2021-03-16 | 网易（杭州）网络有限公司 | 基于视频流的图像处理方法及装置 |
| CN109753036A (zh) * | 2018-12-27 | 2019-05-14 | 四川艾格瑞特模具科技股份有限公司 | 一种精密机械加工生产进度跟踪方法 |
| CN111861291B (zh) * | 2019-04-25 | 2024-05-17 | 北京京东振世信息技术有限公司 | 一种入库方法和入库*** |
| CN110211153A (zh) * | 2019-05-28 | 2019-09-06 | 浙江大华技术股份有限公司 | 目标跟踪方法、目标跟踪装置以及计算机存储介质 |
| CN111008994A (zh) * | 2019-11-14 | 2020-04-14 | 山东万腾电子科技有限公司 | 基于MPSoC的运动目标实时检测跟踪***及方法 |
| CN111832797B (zh) * | 2020-04-10 | 2024-06-04 | 北京嘀嘀无限科技发展有限公司 | 数据处理方法、数据处理装置、存储介质和电子设备 |
| CN113392777A (zh) * | 2021-06-17 | 2021-09-14 | 西安应用光学研究所 | 一种基于在线学习策略的实时目标检测方法 |
| CN113724324B (zh) * | 2021-08-30 | 2023-12-19 | 杭州华橙软件技术有限公司 | 云台的控制方法、装置、存储介质及电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103826105A (zh) * | 2014-03-14 | 2014-05-28 | 贵州大学 | 一种基于机器视觉技术的视频跟踪***及其实现方法 |
| CN104517125A (zh) * | 2014-12-26 | 2015-04-15 | 湖南天冠电子信息技术有限公司 | 高速物体的图像实时跟踪方法与*** |
| CN105631798A (zh) * | 2016-03-04 | 2016-06-01 | 北京理工大学 | 低功耗便携式实时图像目标检测与跟踪***及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438118B (zh) * | 2011-11-30 | 2013-09-25 | 哈尔滨工业大学 | 一种运动目标特征高速视觉捕捉装置 |
| US20140173203A1 (en) * | 2012-12-18 | 2014-06-19 | Andrew T. Forsyth | Block Memory Engine |
-
2017
- 2017-04-13 CN CN201710240232.8A patent/CN107105159B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103826105A (zh) * | 2014-03-14 | 2014-05-28 | 贵州大学 | 一种基于机器视觉技术的视频跟踪***及其实现方法 |
| CN104517125A (zh) * | 2014-12-26 | 2015-04-15 | 湖南天冠电子信息技术有限公司 | 高速物体的图像实时跟踪方法与*** |
| CN105631798A (zh) * | 2016-03-04 | 2016-06-01 | 北京理工大学 | 低功耗便携式实时图像目标检测与跟踪***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于ARM和DSP空中运动目标实时跟踪***研究;王永，熊显名，李小勇;《电视技术》;20151130;参见第68页第1节，图1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107105159A (zh) | 2017-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105159B (zh) | 基于SoC的嵌入式运动目标实时检测跟踪***及方法 | |
| WO2019101220A1 (zh) | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** | |
| CN109325456B (zh) | 目标识别方法、装置、目标识别设备及存储介质 | |
| WO2019129255A1 (zh) | 一种目标跟踪方法及装置 | |
| CN110781964A (zh) | 一种基于视频图像的人体目标检测方法及*** | |
| CN110175528B (zh) | 人体跟踪方法及装置、计算机设备及可读介质 | |
| CN101022505A (zh) | 复杂背景下运动目标自动检测方法和装置 | |
| CN116309781B (zh) | 一种基于跨模态融合的水下视觉目标测距方法及装置 | |
| CN110827320B (zh) | 基于时序预测的目标跟踪方法和装置 | |
| CN111008994A (zh) | 基于MPSoC的运动目标实时检测跟踪***及方法 | |
| CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| CN101320477B (zh) | 一种人体跟踪方法及其设备 | |
| CN114897762B (zh) | 一种煤矿工作面采煤机自动定位方法及装置 | |
| CN107358621B (zh) | 对象跟踪方法及装置 | |
| CN107909024B (zh) | 基于图像识别和红外避障的车辆跟踪***、方法及车辆 | |
| CN113112479A (zh) | 基于关键区块提取的渐进式目标检测方法和装置 | |
| CN111382606A (zh) | 摔倒检测方法、摔倒检测装置和电子设备 | |
| CN111784750A (zh) | 视频图像中移动物体追踪方法、装置、设备以及存储介质 | |
| CN111275733A (zh) | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 | |
| CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
| Huang et al. | Motion characteristics estimation of animals in video surveillance | |
| CN114494977A (zh) | 一种异常停车检测方法、电子设备及存储介质 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| CN115719362A (zh) | 一种高空抛物检测方法、***、设备及存储介质 | |
| CN111695404A (zh) | 行人跌倒检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shao Peng Inventor after: Zhang Yan Inventor after: Zhao Weilong Inventor after: Zhu Chunjian Inventor after: Wang Guang Inventor after: Zhang Zhen Inventor after: Zhang Guodong Inventor before: Zhang Yan Inventor before: Zhao Weilong Inventor before: Zhu Chunjian Inventor before: Wang Guang Inventor before: Zhang Zhen Inventor before: Zhang Guodong |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Guodong Inventor after: Zhao Weilong Inventor after: Zhang Yan Inventor after: Zhu Chunjian Inventor after: Shao Peng Inventor after: Wang Guang Inventor after: Zhang Zhen Inventor before: Shao Peng Inventor before: Zhang Yan Inventor before: Zhao Weilong Inventor before: Zhu Chunjian Inventor before: Wang Guang Inventor before: Zhang Zhen Inventor before: Zhang Guodong |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee after: Shandong Wanteng Digital Technology Co.,Ltd. Address before: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee before: SHANDONG WANTENG ELECTRONIC TECHNOLOGY CO.,LTD. |
|
| CP01 | Change in the name or title of a patent holder |