CN108805901B - 一种基于多核dsp的视觉目标快速检测跟踪并行计算及融合方法 - Google Patents

Abstract

本发明公开一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，包括：针对视觉目标在高速运动过程中的复杂环境，训练高效的离线分类器进行目标的快速检测及锁定；锁定目标后，采用核相关滤波跟踪算法实现高速的目标跟踪；通过卡尔曼滤波预测、置信度比较策略的判断，将卡尔曼滤波算子、检测算子和跟踪算子有效融合，形成多核跟踪算法；采用适合图像数据并行计算的高主频多核DSP作为嵌入式程序移植载体，按任务将不同算子分配给DSP的多核；采用多核并行计算技术、软件流水技术加快图像处理速度。本发明适用于视觉目标快速检测跟踪的机载、车载嵌入式处理设备，尤其适合复杂场景下目标运动速度快、计算量大、对实时性和准确性有较高要求的场合。

Description

一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合 方法

技术领域

本发明涉及嵌入式视觉跟踪技术，具体涉及一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法。

背景技术

嵌入式视觉跟踪是数字图像视觉技术在嵌入式领域的应用，包含机器视觉、计算机视觉、视频信号处理、模式识别、嵌入式应用等多个学科的内容，智能追踪或定位设备、医疗诊断设备、工业自动化设备等对该技术的依赖日益增大。近年，在视觉目标跟踪方面不断涌现出新的算法，精准的跟踪往往意味着较大的计算量，但是由于算法的计算量和硬件平台的处理速度之间的矛盾，使得视觉目标跟踪的两个关键性能指标：实时性和准确性的平衡难以掌握。

嵌入式视觉硬件处理芯片主要有GPU、FPGA、DSP，其中GPU的能耗比大，成本也较高；FPGA具有可再定制性，相对成本低，但开发难度大；DSP在价格和开发难度上处于适中，适合作为低成本的嵌入式视觉处理平台。为了实现视觉目标嵌入式跟踪***中的实时性要求，则需要从软件优化、硬件***上采取软件流水、并行计算、多核任务分配等方式来提高算法的运算处理速度。

目前视觉目标跟踪的算法很多，例如基于时空上下文的跟踪、基于局部分块学习的跟踪、基于稀疏表示的跟踪、基于相关滤波的跟踪等。这些方法各自有其缺点，例如时空上下文跟踪对刚性形变，频繁出视场和低分辨率的情况效果不好；相关滤波跟踪对视场中尺度变化，快速运动，刚性形变等情况的目标跟踪效果不佳。为了使跟踪算法增强对目标的语义理解，达到长时间准确跟踪、自适应修复漂移误差的效果，长时跟踪是当前研究的热点，开发了诸如LCT(Long-term Correlation Tracking)、TLD(Tracking-Learning-Detection)等跟踪算法。基本思想都是将检测算子作为子算子加入到跟踪算法中，按照固定帧间隔或者时间间隔重新初始化跟踪区域，对漂移误差形成监督机制。例如LCT算法采用时间上下文模型，融合了目标空间位置和上下文信息，采用了在线随机fern分类器，对目标遮挡和尺度变化有很好的适应性。但是目前的长时跟踪算法复杂环境情况下存在可靠性不够的缺陷，短时段内漂移误差难以修复，因此在实际工程当中直接使用长时跟踪算法会存在较大隐患。

申请号为CN103177455的发明专利公开了一种基于多核DSP的KLT运动目标跟踪算法，但是该发明实现的算法是改进的光流法，对于复杂环境下的目标跟踪难以达到良好效果；申请号为CN105045658A的发明专利公开了一种利用多核嵌入式DSP实现动态任务调度分发的方法，申请号为CN103177455的发明专利公开了一种嵌入式并行计算***及采用其的并行计算方法，这两者都采用了多核DSP，但都只是技术方案，并不涉及复杂的应用算法；申请号为CN10909627.3的发明专利公开了一种基于多核DSP的多通道图像采集处理***，申请号为CN11052733.5的发明专利公开了一种基于多核DSP的快速视觉测量方法，这两者都采用了多核DSP并移植应用算法于多个内核中，但是采用的算法并非复杂的跟踪算法，更没有将硬件上的任务分核与软件上的融合效果统一起来。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，解决在复杂场景下目标运动速度快、计算量大、对实时性和准确性有较高要求的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，该方法包括：

a、针对视觉目标在快速运动过程中的实际环境，训练Adaboost离线分类器，作为Adaboost检测算子进行目标的快速锁定；

b、锁定目标后，采用核相关滤波跟踪算子实现高速的目标跟踪；

c、采用卡尔曼滤波进行运动估计，通过卡尔曼滤波预测判断、置信度比较策略，将卡尔曼滤波算子、Adaboost检测算子、核相关滤波跟踪算子有效融合，形成多核算法；

d、采用适合图像数据并行计算的多核DSP，作为多核算法的嵌入式移植载体，按照多核算法中各算子具体任务分配到DSP的不同内核中；

e、采用多核并行计算技术、软件流水技术优化多核算法，加快图像处理速度，完成目标的实时跟踪。

步骤a中针对目标的实际运动环境，训练适合的Adaboost离线分类器，作为检测算子进行目标的快速锁定；实现步骤如下：

(1)针对视觉目标在运动过程中的实际复杂环境，综合考虑训练量与检测效果，裁剪正负样本比例为1:4的图片作为训练样本；

(2)根据正负样本训练适合具体场景的Adaboost离线分类器，作为Adaboost检测算子进行目标的快速锁定，连续多帧在同一区域检测到目标视为锁定的稳定结果。

步骤b中锁定目标后，采用核相关滤波跟踪算子实现高速的目标跟踪；具体如下：

(1)全局检测锁定目标后，根据目标尺度确定跟踪ROI；

(2)采用核相关滤波跟踪算子实现快速的目标跟踪，得到目标的跟踪结果；

(3)根据跟踪结果，扩展ROI图像，作为下一帧的局部检测区域。

步骤c中采用卡尔曼滤波进行运动估计，通过卡尔曼滤波预测判断、置信度比较策略，将卡尔曼滤波算子、检测算子和跟踪算子有效融合，形成多核算法，过程为：

(1)将检测结果作为卡尔曼滤波初始状态值，同时设计卡尔曼滤波状态转移矩阵；采用卡尔曼滤波算子对目标的运动状态进行估计；

(2)以卡尔曼滤波结果作为参考量，分别设计检测结果、跟踪结果的置信度，与设定的经验阈值进行比较，决策当前结果的融合方式；

(3)通过上述策略将卡尔曼滤波算子结果、检测算子结果、跟踪算子结果有效融合，作为最终的计算结果，形成多核算法。

步骤d中采用适合图像数据并行计算的多核DSP，作为多核算法的嵌入式移植载体，按照多核算法中各算子具体任务分配到DSP的不同内核中；具体如下：

(1)经过多核算法的图像处理计算量分析，选用高主频的多核DSP，型号为TMS320C6678；

(2)按照多核算法中不同算子的任务：目标检测、目标跟踪、策略融合，将不同算子分配给DSP的不同内核中。

步骤e中采用多核并行计算技术、软件流水技术优化多核算法，加快图像处理速度，完成目标的实时跟踪，过程为：

(1)采用多核并行计算技术加快算法执行效率，多核间计算数据的交互采用EDMA的方式，多核间通信机制采用中断方式IPC；

(2)经过耗时分析，针对单核算子中耗时最长的函数，采用软件流水技术进行优化，缩短单核的计算时间。

发明与现有技术相比的优点在于：本发明提出的一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法；实现了检测跟踪算法上的融合与多核DSP硬件上任务分核并行运算的统一。首先，为解决单纯的跟踪算法需要给定跟踪初值的问题，采取融入离线检测器的方式来辅助跟踪算法，并融合卡尔曼滤波估计运动目标轨迹，提高了算法结果与目标贴合程度的准确性和鲁棒性；其次，对上述融合算法进行任务分解，并调度到多核DSP各个内核中，进行并行计算，从而缩短图像检测跟踪算法的处理时间，提高了实时性和数据更新率。

在离线检测器的不间断处理下，当目标出视场或受到长时间遮挡后仍能够快速重新抓获目标，有效抑制目标跟踪的漂移误差，同时多算子融合策略能够使跟踪框更加贴合目标，提高跟踪准确性及鲁棒性，为进一步三维重建或视觉测量作好铺垫。采用多核并行计算技术、软件流水技术加快图像处理速度，保证了算法的实时性能。本发明适用于视觉目标快速检测跟踪的机载、车载嵌入式处理设备，尤其适合复杂场景下目标运动速度快、计算量大、对鲁棒性和实时性有较高要求的场合。

附图说明

图1为本发明实施例中基于DSP的视觉目标快速检测跟踪并行计算及融合方法步骤图；

图2为本发明实施例中多算子融合策略示意图；

图3为本发明实施例中基于DSP的多核算法流程图；

图4为本发明实施例中多核DSP任务分配并行计算示意图；

图5为本发明实施例中软件流水加速技术示意图。

具体实施方式

本发明的基本思想是：通过置信度计算将卡尔曼滤波、目标检测、目标跟踪的计算结果融合，采用多核DSP为硬件处理平台，经过多核任务分配、并行计算、软件流水等手段加快运行速度，实现视觉目标快速检测跟踪。

下面结合附图和具体实施例，对本发明的技术方案作进一步详细说明。

如图1所示，本发明基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法主要包括以下步骤：

步骤11：针对目标的实际运动环境，训练适合的Adaboost离线分类器，作为检测算子进行目标的快速锁定。

具体包括以下步骤：

步骤111：针对视觉目标在运动过程中的实际复杂环境，综合考虑训练量与检测效果，裁剪正负样本比例为1:4的图片作为训练样本；；

为得到良好的分类效果，根据实际应用中特定的视觉目标运动环境，采集大量含有目标及其复杂场景的图片样本，其中视觉目标作为正样本，根据应用需求将大小归一为30*30像素，场景中非目标区域裁剪得到不同大小的图片作为负样本的主要来源。为兼顾嵌入式芯片的存储量、样本集的训练计算量、检测效果，应保证适中的样本量。过多的负样本会使正样本对分类器影响过小，每轮迭代会更新样本权重，如果正样本比例过小，随权重更新其影响应该也会变小，不利于分类器性能，因此正负训练样本的比例要适中，一般1:3到1:6之间，本发明选择的比例为1:4。

步骤112：根据正负样本训练适合具体场景的Adaboost离线分类器，作为检测算子进行目标的快速锁定，连续多帧在同一区域检测到目标视为锁定的稳定结果。

Adaboost离线分类器的训练过程可分为以下几个模块：(1)以样本集为输入，在给定的矩形特征原型下，计算并获得矩形特征集；(2)以特征集为输入，根据给定的弱学习算法，确定阈值，将特征与弱分类器一一对应，获得弱分类器集；(3)以弱分类器集为输入，在训练检出率和误判率限制下，使用Adaboost算法挑选最优的弱分类器构成强分类器；(4)以强分类器集为输入，将其组合为级联分类器；(5)以非目标图片集为输入，组合强分类器为临时的级联分类器，筛选并补充非目标样本。

采用分类器可以快速锁定目标，检测到错误目标会导致一系列连环的严重错误，因此为降低误检率，设计了防误检算子，只有在第一次检测到的目标区域内连续多帧检测到目标才认为检测正确，得到的目标结果才是稳定的。

步骤12：锁定目标后，采用核相关滤波跟踪算子实现高速的目标跟踪。

具体包括以下步骤：

步骤121：全局检测锁定目标后，根据目标尺度确定跟踪ROI。

采用检测算子在全局图像中锁定目标后，启用跟踪算法，由于跟踪算法缺乏对目标的语义理解，如果在整图上进行处理既耗费时间，又容易受到干扰和漂移。因此根据检测到稳定的目标尺度确定ROI，作为下一帧跟踪算子的处理区域。

步骤122：采用核相关滤波跟踪算子实现快速的目标跟踪，得到目标的跟踪结果。

论文“High-Speed Tracking with Kernelized Correlation Filters”从数学角度论证了循环矩阵对于稠密采样训练样本的速度贡献，以及核函数将低维空间映射到高维空间对脊回归分类器器的影响，并从50个基准视频测试集试验充分验证了算法的优良性能：兼具速度和跟踪效果。同时算法利用循环矩阵在傅里叶空间可对角化的性质，将矩阵的运算转化为向量的点乘，即加乘运算，符合DSP中多种加法器、乘法器的特点，因此本发明采用该论文所开发的算法，即核相关滤波算法，简称KCF算法，作为嵌入式综合算法的跟踪算子。利用该跟踪算子，在跟踪ROI内得到目标的跟踪结果。

步骤123：根据跟踪结果，扩展ROI图像，作为下一帧的局部检测区域。

当目标稳定跟踪时，考虑短时段内实际场景中目标的变化是渐变的，不需要每帧进行全局检测，只需要局部检测即可，因此由跟踪结果扩展生成局部检测ROI区域，作为下一帧的局部检测区域。同时由于Adaboost离线分类器作为检测算子，通过不同层级下不同尺度的搜索窗口在图像处理区域上的滑动进行匹配，耗时与处理区域大小呈正相关关系，对于1080P分别率的全图检测耗时会非常严重，但是ROI局部检测方式耗费时间短，且短时段内检测效果不受影响。为保证长时间准确、鲁棒的检测跟踪效果，本发明的融合策略将发挥作用。另外需要指出，当连续多帧检测不到目标时重新启动全局检测。

步骤13：采用卡尔曼滤波进行运动估计，通过卡尔曼滤波预测判断、置信度比较策略，将卡尔曼滤波算子、检测算子和跟踪算子有效融合，形成多核算法。

具体包括以下步骤：

步骤131：将检测结果作为卡尔曼滤波初始状态值，同时设计卡尔曼滤波状态转移矩阵；采用卡尔曼滤波算子对目标的运动状态进行估计。

不失一般性，将短时段内的目标运动假设为匀速直线运动，则检测跟踪的结果框边长、中心点的坐标位置都为匀速直线变化，设计卡尔曼滤波的状态转移矩阵H，具体如下：

全局检测稳定后的目标位置初值作为卡尔曼滤波的状态量初值，当前帧的计算结果作为卡尔曼滤波的测量结果。采用卡尔曼滤波算子对目标的运动状态进行估计。

步骤132：以卡尔曼滤波结果作为参考量，分别设计检测结果、跟踪结果的置信度，与设定的经验阈值进行比较，决策当前结果的融合方式。

定义卡尔曼滤波状态结果框为Rect_k＝(x_k,y_k,w_k,h_k)，结合检测结果框Rect_d＝(x_d,y_d,w_d,h_d)、跟踪结果框Rect_t＝(x_t,y_t,w_t,h_t)，共同设计检测置信度因子C_d，由检测比重因子S_d、检测中心位置因子C_d__cent及检测稳定度因子C_dk三部分组成，具体的：

C_d＝S_d·C_{d_cent}·C_dk (2)

其中S_d＝f_ov(Rect_d,Rect_t)，其中f_ov为计算重叠度函数；

C_{d_cent}＝f(p_N(x_d,y_d))，其中p_N～N(0,σ_d ²)，

N为正态分布，σ_d为方差；

类似地，跟踪置信度因子C_t同样由跟踪比重因子S_t、跟踪中心位置因子C_{t_cent}、跟踪稳定度因子C_tk3部分组成，具体的：

C_t＝S_t·C_{t_cent}·C_tk (3)

其中S_t＝1-S_d；

C_t__cent＝f(p_N(x_t,y_t))，其中p_N～N(0,σ_t ²)，

N为正态分布，σ_d为方差；

其中比重因子衡量检测与跟踪的性能比重、中心位置因子衡量算子计算效果、稳定度因子衡量与卡尔曼滤波估计的差异性；根据经验设定检测置信度因子、跟踪置信度因子的比较阈值Thre_d、Thre_t。

步骤133：通过上述策略将卡尔曼滤波算子结果、检测算子结果、跟踪算子结果有效融合，作为最终的计算结果，形成多核算法。

为提高计算结果的精度，鲁棒性，根据策略将卡尔曼滤波结果、检测结果、跟踪结果融合为一体，作为当前帧的最终结果Rect_f＝(x_f,y_f,w_f,h_f)，多算子融合策略示意图如图2所示。融合策略可以表示为：

其中m＝C_d/(C_d+C_t)，从步骤12可以得知全局检测结果为下一帧跟踪算子提供了ROI，跟踪结果为下一帧局部检测提供了ROI，因此算法具有上下帧目标位置预判的功能。融合卡尔曼滤波结果、步骤11中Adaboost离线检测结果、步骤12中KCF在线跟踪结果的综合算法具有更准确、更鲁棒的追踪效果。最终形成的多核算法流程图如图3所示。

步骤14：采用适合图像数据并行计算的多核DSP，作为多核算法的嵌入式移植载体，按照多核算法中各算子具体任务分配到DSP的不同内核中。

具体包括以下步骤：

步骤141：经过多核算法的图像处理计算量分析，选用高主频的多核DSP，型号为TMS320C6678，作为多核算法的嵌入式移植载体。

多核算法包含了卡尔曼滤波算子、检测算子、跟踪算子、策略融合算子，下面将该算法中的主要复杂运算划分为加法和乘法，对计算量进行大致的统计分析。每一帧图像数据中，卡尔曼滤波处理对象是对结果框的预测和赋值，计算量很小；检测算子的计算量与处理区域大小和分类器的大小息息相关，为达到预期效果，分类器不能过于轻量化，应该从缩小处理区域的角度出发，主要不同层级下的搜索窗口在处理区域内的匹配次数就会减少；跟踪算子主要耗时是在于多次的大点数FFT(Fast Fourier Transform)和多重循环的浮点计算，DSP有擅长于计算FFT的库函数，对于多重循环可以利用软件流水、循环展开等优化手段解决；策略融合算子的本质是数据结果的二次计算和筛选，计算量较小。

所选用DSP型号必须具备算法要求以上的计算能力，本发明选用了TI公司推出的性能极高的高速数字信号处理器八核TMS320C6678，该芯片具有功能强大的乘加运算器、并行处理结构和丰富的高速外设，该处理器是八核浮点型DSP，每个核最高工作频率达到1.4GHz，单个指令周期可以执行32个定点数据运算，或者执行16个浮点数据运算，整个芯片提供358.4GMAC定点计算或者179.2GFLOP浮点计算能力，完全满足算法要求。

在DSP的嵌入式移植过程中，要注意的问题是数据块的存储问题，需要对芯片的缓存结构和大小有清晰的认识，同时能够对CMD链接文件进行配置，对于不用频繁读写的数据可以存放在外存DDR中。另外，为了加快算法移植速度，将嵌入式opencv移植到程序中来，方便使用其中提供的数据结构。在了解Adaboost离线分类器训练机理的基础上认真分析xml文件的组成，实现文件类型的转换，以引用文件的形式移入到算法当中。

步骤142：按照多核算法中不同算子的任务：目标检测、目标跟踪、策略融合，将不同算子分配给DSP的不同内核中。

多核DSP任务分配并行计算示意图如图4所示，目标检测与目标跟踪是两个相对独立的任务；卡尔曼滤波算子计算量小，同时作为结果融合策略的比较对象，不宜与策略融合算子分开，因此作为一个任务来对待。由于在八个核中，0核有外设初始化、与外界信息交互、多核引导等独特的地位，因此将结果融合的任务分配给0核，目标检测任务和目标跟踪任务分别分配给1核和2核。为缩短从图像数据进入硬件层到输出处理结果需要的时间，应均衡多核任务的耗费时间，多核中最长的任务处理周期才能代表整个算法的实时处理性能。从该角度考虑，由于全局检测时间较长，步骤122中将全局检测转换为局部检测的策略也是有必要的。

步骤15：采用多核并行计算技术、软件流水技术优化多核算法，加快图像处理速度，完成目标的实时跟踪。

具体包括以下步骤：

步骤151：采用多核并行计算技术加快算法执行效率，多核间计算数据的交互采用EDMA的方式，多核间通信机制采用中断方式。

八核DSP并行计算理论上比单核运行的效率提高8倍，但是按任务多核分配的执行效率要根据最长耗费时间的核来具体计算。多核间的计算数据交互采用EDMA与外部存储器DDR读写的方式，DDR的数据供任意核读写，读写效率高、速度快，8核对图像处理过程中产生的数据量读写不会产生冲突。例如，1核、2核要将检测结果、跟踪结果传输给0核，只需要写入DDR，0核直接读取DDR即可。

多核处理器的核间通信机制采用中断的方式，由中断触发通信后，配置相应的寄存器即可完成通信。TMS320C6678有16个核间通信寄存器，其中8个IPC中断生成寄存器(IPCGR0～IPCGR7)和8个IPC中断确认寄存器(IPCAR0～IPCAR7)。例如1核、2核分别处理结束后，向0核发起中断，0核立即进入中断相应函数，确认中断后，进行策略融合。

步骤152：经过耗时分析，针对单核算子中耗时最长的函数，采用软件流水技术进行优化，缩短单核的计算时间。

针对多核任务中耗时最长的核，进行耗时分析，做进一步优化。本发明中某帧处理情况下多核任务具体的耗时是：0核-3.3ms；1核-33.8ms；2核-10.1ms。显然要对1核优化处理，把训练好的分类器加载到DDR中，在处理时直接调用即可，能节省内存，速度加快。继续细化检测算子中各函数的耗时分析：cvIntegral-3.0ms；cvRunHaarClassifierCascade-30.6ms。找到耗时的函数后进行分析发现，AdaBoost算子中几乎全部为浮点运算，编程时需要将浮点数转为定点数表示，在定点化过程中，将部分不影响精度的数据只用16bit甚至8bit表示，这样能够使用更多不同位数的加法器或乘法器，达到加速的目的。候选窗口遍历和层次分类器结构都利用到循环体，占用了DSP大量的运算时间。放大检测窗口，同时采用循环展开的循环体优化手段，可以充分利用编译器的软件流水，该加速技术的说明示意图如图5所示，编译器通过重新调整指令的位置，使得原本将发生阻塞的流水线得以充分利用，其中流水线被充分利用的一段代码称为流水核(Kernel)，流水核之前的一段填充过程代码称为流水填充(Prolog)，流水核之后的一段排空过程代码称为流水排空(Epilog)，需要注意的是只有开发环境开启-O2/-O3优化选项，编译器才能进行软件流水编排。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (5)

1.一种基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，其特征在于，包括以下步骤：

a、针对视觉目标在运动过程中的实际环境，训练Adaboost离线分类器，作为Adaboost检测算子进行目标的快速锁定；

b、锁定目标后，采用核相关滤波跟踪算子实现高速的目标跟踪；

c、采用卡尔曼滤波进行运动估计，通过卡尔曼滤波预测判断、置信度比较策略，将卡尔曼滤波算子、检测算子、跟踪算子有效融合，形成多核算法；

d、采用适合图像数据并行计算的多核DSP，作为多核算法的嵌入式移植载体，按照多核算法中各算子具体任务分配到DSP的不同内核中；

e、采用多核并行计算技术、软件流水技术优化多核算法，加快图像处理速度，完成目标的实时跟踪；

所述步骤c中采用卡尔曼滤波进行运动估计，通过卡尔曼滤波预测判断、置信度比较策略，将卡尔曼滤波算子、检测算子和跟踪算子有效融合，形成多核算法，过程为：

(1)将检测结果作为卡尔曼滤波初始状态值，同时设计卡尔曼滤波状态转移矩阵；采用卡尔曼滤波算子对目标的运动状态进行估计；

(2)以卡尔曼滤波结果作为参考量，分别设计检测结果和跟踪结果的置信度，与设定的经验阈值进行比较，决策当前结果的融合方式；

(3)通过上述策略实现卡尔曼滤波算子、检测算子、跟踪算子有效融合，获取最终计算结果，形成多核算法。

2.根据权利要求1所述的基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，其特征在于：步骤a中针对目标的实际运动环境，训练适合的Adaboost离线分类器，作为检测算子进行目标的快速锁定，实现步骤如下：

(1)针对视觉目标在运动过程中的实际复杂环境，根据训练量与检测效果，裁剪正负样本比例为1:4的图片作为训练样本；

(2)根据正负样本训练适合具体场景的Adaboost离线分类器，作为Adaboost检测算子进行目标的快速锁定，连续多帧在同一区域检测到目标视为锁定的稳定结果。

3.根据权利要求1所述的基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，其特征在于：步骤b中锁定目标后，采用核相关滤波跟踪算子实现高速的目标跟踪具体如下：

(1)全局检测锁定目标后，根据目标尺度确定跟踪ROI；

(2)采用核相关滤波跟踪算子实现快速的目标跟踪，得到目标的跟踪结果；

(3)根据跟踪结果，扩展ROI图像，作为下一帧的局部检测区域。

4.根据权利要求1所述的基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，其特征在于：步骤d中采用适合图像数据并行计算的多核DSP，作为多核算法的嵌入式移植载体，按照多核算法中各算子具体任务分配到DSP的不同内核中，具体如下：

(1)经过多核算法的图像处理计算量分析，选用高主频的多核DSP，型号为TMS320C6678；

(2)按照多核算法中不同算子的任务：目标检测、目标跟踪、策略融合，将不同算子分配给DSP的不同内核中。

5.根据权利要求1所述的基于多核DSP的视觉目标快速检测跟踪并行计算及融合方法，其特征在于：步骤e中采用多核并行计算技术、软件流水技术优化多核算法，加快图像处理速度，完成目标的实时跟踪过程为：

(1)采用多核并行计算技术加快算法执行效率，多核间计算数据的交互采用EDMA的方式，多核间通信机制采用中断方式IPC；

(2)经过耗时分析，针对单核算子中耗时最长的函数，采用软件流水技术进行优化，缩短单核的计算时间。

Images