CN111221770A - 一种核化相关滤波目标跟踪方法及*** - Google Patents

Abstract

本发明提供一种核化相关滤波目标跟踪方法及***，该方法包括：获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位。通过该方案解决了前端嵌入式平台在处理高分辨率、大规模图像数据时处理速度慢的问题，可以有效提高图像数据处理速度，保障目标跟踪的实时性及鲁棒性。

Description

一种核化相关滤波目标跟踪方法及***

技术领域

本发明涉及图像处理领域，尤其涉及一种核化相关滤波目标跟踪方法及***。

背景技术

在计算机视觉领域，目标跟踪作为一个重要的研究方向，可以实现对连续图像序列中的感兴趣目标进行持续跟踪，已被应用于智能监控、光电侦查等领域。在前端嵌入式设备中，采集图像后需要实时的进行图像处理，快速检测定位到目标，以实现目标跟踪。

目前，目标跟踪算法已具有较好的鲁棒性和实时性，通过嵌入式芯片对图像复杂的Hog特征及颜色特征，进行多维傅里叶变化和逆变换等处理，得到检测目标。然而，随着图像分辨率的提高、以及数据量的增大，前端嵌入式数据处理平台的处理速度有限，难以满足实时图像处理要求。

发明内容

有鉴于此，本发明实施例提供了一种核化相关滤波目标跟踪方法及***，以解决高分辨率、大数据量的图像数据处理时，前端嵌入式硬件设备处理速度慢的问题。

在本发明实施例的第一方面，提供了一种核化相关滤波目标跟踪方法，包括：

获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

在本发明实施例的第二方面，提供了一种核化相关滤波目标跟踪***，包括：

图像传输模块，用于获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

算法执行模块，用于多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

本发明实施例中，通过高速串行接口SRIO将待处理图像传送至多核DSP；多核DSP并行执行相关滤波跟踪算法进行单目标跟踪定位；FPGA在每发送一帧待处理图像时会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至内部MSMC，主核通过核间中断控制从核执行相关滤波跟踪算法。基于多核间的核间通信、SRIO高速传输链路及EDMA数据搬迁机制，可以实现相关滤波目标跟踪算法在硬件设备上的并行执行，从而提高图像处理效率，解决了现有前端嵌入式硬件设备图像处理速度慢，难以满足实时性要求的问题，通过多核间的协同处理，能有效提高图像处理、目标定位的速度，保障目标跟踪的实时性和鲁棒性，使得嵌入式的图像处理设备可以进行高分辨图像的实时处理，保证目标跟踪的可靠快速进行。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的核化相关滤波目标跟踪方法的原理示意图；

图2为本发明的一个实施例提供的核化相关滤波目标跟踪方法的流程示意图；

图3为本发明的一个实施例提供的核化相关滤波目标跟踪***的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。

请参阅图1，图1为本发明一个实施例提供的核化相关滤波目标跟踪方法的原理示意图，如下：

所述FPGA(Field Programmable Gate Array，即现场可编程逻辑门阵列)为集成电路中一种半定制电路，是可编程的逻辑阵列，FPGA上每个逻辑单元与周围逻辑单元在重编程时已经确定，具有处理速度快的特点。通过FPGA控制将外部连接设备采集的图像数据经高速串行接口SRIO(Serial Rapid I/O)发送至DSP(Digital Signal Processing)微处理芯片。

在DSP芯片内部包含有多个内核，将其中一个核作为主核201，将其他核作为从核202，从核202一般有多个，用于执行相关滤波算法以进行图像数据处理，主核201用于控制从核执行相应的图像数据处理任务。

DSP芯片还可以通过UART(Universal Asynchronous Receiver/Transmitter，即通用异步收发传输器)与外部伺服控制***进行通信，基于数据处理结果对过程进行调控。

在图1的基础上，图2为本发明一个实施例提供的核化相关滤波目标跟踪方法的流程示意图，包括：

S201、获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

通过外部设备如摄像头，采集图像数据，所述图像可以为视频流中的每一帧图像。通过FPGA控制图像数据传送至DSP芯片，所述DSP芯片中包含有多个内核，如四核、八核等，由多核DSP芯片进行图像数据处理

S202、多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

所述DoorBell为一种快速通知类型的短消息，用于master srio设备通知slavesrio设备，可用于DSP间的消息通知，也可以用于FPGA与DSP间的消息通知。通过DoorBell触发EDMA(Enhanced Direct Memory Access，即快速数据交换技术)，进行数据传输，将预处理图像传至DSP中MSMC(即Enhanced Direct Memory Access，多核共享内存控制器)，通过MSMC管理核、内存及其他设备间的数据传输。

可以设定编号为0的主控制核，将其它核作为从核，从核从主核中获取执行任务，并将执行结果反馈给主核，主核通过核间中断实现核间通信，控制从核任务的获取。

可选的，在一个实施例中，还包括对相关滤波器的训练，包括：

选取采集的图像中预检测的兴趣目标，获取所述兴趣目标信息及采样窗口信息，根据采样窗口尺寸信息，生成并输出高斯标签；

对兴趣目标进行特征提取，并进行归一化处理、图像裁剪和PCA分析，得到兴趣目标的特征图；

对加窗后的特征图进行快速傅里叶变换，求取特征图的自相关分布；

根据所述高斯标签和自相关分布，训练目标跟踪的相关滤波器。

进一步的，对于待处理的图像，包括：

对所述待处理图像进行Hog特征提取，并进行归一化处理、裁剪及PCA分析得到特征图；

对加窗后的特征图进行快速傅里叶变换，求取互相关分析；

利用训练后的相关滤波器，求取特征图的频率响应图，对频率响应图进行反傅里叶变换，在时域中取最大值对应位置作为目标位置。

示例性的，根据windows_sz生成二维汉明窗coswindows，各特征加窗z＝map*coswindows，目标特征图进行傅里叶变换zf＝fft(z)，求取互相关系数Kxz＝zf*conj(xf),输出频域响应图yf＝alphaf*kxz，获取最大响应值对应位置。

可选的，提取待处理图像并计算所述待处理图像的傅里叶频谱；

若所述待处理图像不是初始帧，则计算当前初始帧在傅里叶域的置信分布图，选取最大响应值对应的点为定位位置，更新相关滤波器；

若所述待处理图像是初始帧，则求取所述待处理图像的自相关分析，并初始化相关滤波器。

通过本实施例提供的方法，可以提高图像处理速度，应用于监控摄像头、光电侦查等设备上，可以实现对高分辨率、大数据量的图像数据进行实时处理，解决现有嵌入式设备图像数据处理速度有限的问题。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3为本发明实施例提供的核化相关滤波目标跟踪***的结构示意图，包括：

图像传输模块310，用于获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

算法执行模块320，用于多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

可选的，所述算法执行模块310包括训练模块，其中，所述训练模块包括：

获取单元，选取采集的图像中预检测的兴趣目标，获取所述兴趣目标信息及采样窗口信息，根据采样窗口尺寸信息，生成并输出高斯标签；

提取单元，对兴趣目标进行特征提取，并进行归一化处理、图像裁剪和PCA分析，得到兴趣目标的特征图；

自相关分析单元，对加窗后的特征图进行快速傅里叶变换，求取特征图的自相关分布；

训练单元，根据所述高斯标签和自相关分布，训练目标跟踪的相关滤波器。

可选的，所述算法执行模块包括：

提取单元，对所述待处理图像进行Hog特征提取，并进行归一化处理、裁剪及PCA分析得到特征图；

互相关分析单元，对加窗后的特征图进行快速傅里叶变换，求取互相关分析；

获取单元，利用训练后的相关滤波器，求取特征图的频率响应图，对频率响应图进行反傅里叶变换，在时域中取最大值对应位置作为目标位置。

可选的，所述算法执行模块还包括：

计算单元，提取待处理图像并计算所述待处理图像的傅里叶频谱；

判断单元，若所述待处理图像不是初始帧，则计算当前初始帧在傅里叶域的置信分布图，选取最大响应值对应的点为定位位置，更新相关滤波器；

若所述待处理图像是初始帧，则求取所述待处理图像的自相关分析，并初始化相关滤波器。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，实时所述步骤S201-S202，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种核化相关滤波目标跟踪方法，其特征在于，包括：

获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBell中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

2.根据权利要求1所述的方法，其特征在于，所述多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位之前还包括：

选取采集的图像中预检测的兴趣目标，获取所述兴趣目标信息及采样窗口信息，根据采样窗口尺寸信息，生成并输出高斯标签；

对兴趣目标进行特征提取，并进行归一化处理、图像裁剪和PCA分析，得到兴趣目标的特征图；

对加窗后的特征图进行快速傅里叶变换，求取特征图的自相关分布；

根据所述高斯标签和自相关分布，训练目标跟踪的相关滤波器。

3.根据权利要求1所述的方法，其特征在于，所述多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位包括：

对所述待处理图像进行Hog特征提取，并进行归一化处理、裁剪及PCA分析得到特征图；

对加窗后的特征图进行快速傅里叶变换，求取互相关分析；

利用训练后的相关滤波器，求取特征图的频率响应图，对频率响应图进行反傅里叶变换，在时域中取最大值对应位置作为目标位置。

4.根据权利要求1所述的方法，其特征在于，所述多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位还包括：

提取待处理图像并计算所述待处理图像的傅里叶频谱；

若所述待处理图像不是初始帧，则计算当前初始帧在傅里叶域的置信分布图，选取最大响应值对应的点为定位位置，更新相关滤波器；

若所述待处理图像是初始帧，则求取所述待处理图像的自相关分析，并初始化相关滤波器。

5.一种核化相关滤波目标跟踪***，其特征在于，包括：

图像传输模块，用于获取待处理图像后，FPGA通过高速串行接口SRIO将所述待处理图像传送至多核DSP；

算法执行模块，用于多核DSP并行执行相关滤波跟踪算法以进行待处理图像中单目标跟踪定位；

其中，FPGA每发送一帧待处理图像会发送一个DoorBel l中断，触发DSP内部EDMA数据传输，将待处理图像传输至多核DSP内部MSMC，多核DSP中主核通过核间中断控制从核执行相关滤波跟踪算法。

6.根据权利要求5所述的***，其特征在于，所述算法执行模块包括训练模块，其中，所述训练模块包括：

获取单元，选取采集的图像中预检测的兴趣目标，获取所述兴趣目标信息及采样窗口信息，根据采样窗口尺寸信息，生成并输出高斯标签；

提取单元，对兴趣目标进行特征提取，并进行归一化处理、图像裁剪和PCA分析，得到兴趣目标的特征图；

自相关分析单元，对加窗后的特征图进行快速傅里叶变换，求取特征图的自相关分布；

训练单元，根据所述高斯标签和自相关分布，训练目标跟踪的相关滤波器。

7.根据权利要求5所述的***，其特征在于，所述算法执行模块包括：

提取单元，对所述待处理图像进行Hog特征提取，并进行归一化处理、裁剪及PCA分析得到特征图；

互相关分析单元，对加窗后的特征图进行快速傅里叶变换，求取互相关分析；

获取单元，利用训练后的相关滤波器，求取特征图的频率响应图，对频率响应图进行反傅里叶变换，在时域中取最大值对应位置作为目标位置。

8.根据权利要求5所述的***，其特征在于，所述算法执行模块还包括：

计算单元，提取待处理图像并计算所述待处理图像的傅里叶频谱；

判断单元，若所述待处理图像不是初始帧，则计算当前初始帧在傅里叶域的置信分布图，选取最大响应值对应的点为定位位置，更新相关滤波器；

若所述待处理图像是初始帧，则求取所述待处理图像的自相关分析，并初始化相关滤波器。

Images