CN110120063A - 一种基于多处理器的目标跟踪处理方法 - Google Patents

一种基于多处理器的目标跟踪处理方法 Download PDF

Info

Publication number
CN110120063A
CN110120063A CN201910329474.3A CN201910329474A CN110120063A CN 110120063 A CN110120063 A CN 110120063A CN 201910329474 A CN201910329474 A CN 201910329474A CN 110120063 A CN110120063 A CN 110120063A
Authority
CN
China
Prior art keywords
characteristic point
dsp
need
data
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910329474.3A
Other languages
English (en)
Inventor
赵尔鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201910329474.3A priority Critical patent/CN110120063A/zh
Publication of CN110120063A publication Critical patent/CN110120063A/zh
Priority to PCT/CN2020/086124 priority patent/WO2020216249A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多处理器的目标跟踪处理方法，通过CPU获取需进行目标跟踪的原始图像数据，并根据原始图像数据建立图像金字塔，并提取图像金字塔中各个分辨率层的需跟踪的特征点，根据处理器处理数据的上限量及需跟踪的特征点的数量，确定所需处理器的数量，将需跟踪的特征点分配给多个处理器进行光流计算，本发明实施例利用多核宽向量寄存器DSP的并行运算优势，结合特征点计算独立性进行负载均衡，在满足精度要求前提下，优化金字塔光流实现过程，使得***整体运行效率高，提高实时性。

Description

一种基于多处理器的目标跟踪处理方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于多处理器的目标跟踪处理方法。
背景技术
运动目标的检测、跟踪是数字图像处理技术的一个重要部分。人们在运动目标的检测和跟踪上不断开发新的算法，但是由于算法的计算量上和硬件平台的处理速度的约束，使得运动目标跟踪的两个关键性能指标：实时性与准确度的平衡难以掌握。为了实现运动目标跟踪***中的实时性要求，则需要采取一些措施来提高算法的运算处理速度，一是在算法上进行优化，二是在硬件***上进行改善。目前运动目标跟踪的算法很多，各自有各自的优点，金字塔光流算法借助对原始图像进行下采样提高了图像大运动的匹配精度，但由于金字塔光流资源需求较大，算法较复杂，处理效率较低，在现有嵌入式平台的CPU上实现多路同时跟踪，很难达到实时性的要求。
发明内容
因此，本发明提供一种基于多处理器的目标跟踪处理方法，克服了现有技术中现有嵌入式平台的CPU上实现多路同时跟踪时实时性差的不足。
本发明实施例提供一种基于多处理器的目标跟踪处理方法，包括：获取需进行目标跟踪的原始图像数据；根据所述原始图像数据建立图像金字塔，并提取所述图像金字塔中各个分辨率层的需跟踪的特征点；根据处理器处理数据的上限量及所述需跟踪的特征点的数量，确定所需处理器的数量；根据所述所需处理器的数量将所述需跟踪的特征点分配给多个处理器进行光流计算。
在一实施例中，所述多个处理器包括CPU及多个DSP，所述根据处理器处理数据的上限量及所述需跟踪的特征点的数量，确定所需处理器的数量的步骤，包括：获取所述图像金字塔各个分辨率层的需跟踪的特征点的总数量；获取每个DSP处理数据的上限量；根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量。
在一实施例中，所述根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量的步骤，包括：将所述需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断余数是否为0；当余数为0，所需DSP数量为商的数量，CPU处理需跟踪的特征点的数据量为0；当余数不为0时，所需DSP数量为商加一的数量，CPU处理需跟踪的特征点的数据量为0。
在一实施例中，所述根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量的步骤，包括：将所述需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断商是否大于DSP的实际数量；当商大于DSP的实际数量时，CPU处理需跟踪的特征点数据量为DSP处理需跟踪的特征点数据量之外的数据量。
在一实施例中，当商小于DSP的实际数量时且余数为0时，所需DSP的数量商的数量；当商小于DSP的实际数量时且余数不为0时，所需DSP的数量为商的数量加一。
在一实施例中，当商等于DSP的实际数量时，所需DSP的数量为实际数量。
在一实施例中，从分辨率最小的金字塔层的特征点开始分配给多个处理器进行光流计算。
在一实施例中，所述根据所述所需处理器的数量将所述需跟踪的特征点分配给多个处理器进行光流计算的步骤，包括：每个处理器计算分配到当前帧图像当前金字塔层的每个特征点与预设窗口的插值子像素；计算所述预设窗口所有像素第一方向的一阶导数、第二方向的一阶导数以及空间梯度矩阵，所述第一方向、第二方向相互垂直；对下一帧图像信息进行迭代计算每个特征点与预设窗口的插值子像素；根据当前帧图像与上一帧图像窗口内每个特征点与预设窗口的插值子像素，计算每个特征点对应的像素值误差；根据所述每个特征点对应的像素值误差及上一帧图像第一方向的一阶导数和第二方向的一阶导数获取残差矩阵；根据所述空间梯度矩阵和所述残差矩阵获取每个特征点坐标值偏移量；判断每个特征点坐标值偏移量是否小于预设阈值；当所述每个特征点坐标值偏移量小于预设阈值时，更新每个特征点坐标，进行下一金字塔层的计算。
在一实施例中，所述当所述每个特征点坐标值偏移量小于预设阈值时的步骤之后，还包括：判断当前金字塔层数是否为原始分辨率层，当为原始分辨率层时结束光流计算。
第二方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面提供的基于多处理器的目标跟踪处理方法。
本发明技术方案，具有如下优点：
本发明提供的基于多处理器的目标跟踪处理方法，通过CPU获取需进行目标跟踪的原始图像数据，并根据原始图像数据建立图像金字塔，并提取图像金字塔中各个分辨率层的需跟踪的特征点，根据处理器处理数据的上限量及需跟踪的特征点的数量，确定所需处理器的数量，根据所需处理器的数量将需跟踪的特征点分配给多个处理器进行光流计算，本发明实施例利用多核宽向量寄存器DSP的并行运算优势，结合特征点计算独立性进行负载均衡，在满足精度要求前提下，优化金字塔光流实现过程，使得***整体运行效率高，提高实时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多处理器的目标跟踪处理方法一个具体示例的流程图；
图2为本发明实施例提供的CPU与DSP硬件连接的框架示意图；
图3为本发明实施例提供的确定处理器的数量一个具体示例的流程图；
图4为本发明实施例提供的各处理器进行光流计算的一个具体示例的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种基于多处理器的目标跟踪处理方法，如图1所示，该基于多处理器的目标跟踪处理方法，包括如下步骤：
步骤S1:获取需进行目标跟踪的原始图像数据，并根据原始图像数据建立图像金字塔，并提取图像金字塔中各个分辨率层的需跟踪的特征点。
本发明实施例中，通过CPU获取外部需要进行目标跟踪的原始图像数据，并对原始图像数据建立图像金字塔及提前各个分辨率层需跟踪的特征点。在一可选的实施例中，CPU在获取原始图像后进行滤波除噪等预处理后，再建立图像金字塔。
步骤S2:根据处理器处理数据的上限量及需跟踪的特征点的数量，确定所需处理器的数量。
本发明实施例中，在CPU侧进行负载均衡，根据当前需要追踪的特征点数和DSP(digital signal processor，数字信号处理器)宽向量寄存器一次最多处理数据量，分配不同的特征点计算任务给每一个DSP，当各个DSP处理的数据量不能满足当前需要追踪的特征点数时，CPU处理各个DSP不能处理的数据量。
在一具体实施例中，如图2所示，为CPU与DSP的硬件连接关系，以一个DSP为例，DSP包括：DSP CORE、IRAM(Instruction RAM DSP，存放指令集的内存)、DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)、及缓冲存储器ICache(在调试DSP指令时，会有数据存入到缓冲存储器ICache)，首先由CPU加载DSP的程序到IRAM、DRAM和DDR里使其运行起来，，然后CPU通过中断通知DSP有任务要处理，最后DSP处理完后再用中断通知CPU任务完成的状态。芯片中内置的IDMA负责将图像数据从DDR导入到DRAM，DSPCORE从DRAM获取数据进行处理，处理结果写回DRAM，再用IDMA将数据导出到DDR。
在本发明实施例中可以采用海思Hi3559CV100SOC，该芯片提供了高效且丰富的计算资源，包括4个Vision DSP(图2中仅以一个DSP内部结构及与CPU连接关系的作为举例)。该系列DSP是给视觉处理加速的专用处理器，具有可编程的能力，基于Vision DSP既可以开发基础运算功能，也可以实现智能分析的复杂算法。
步骤S3:根据所需处理器的数量将需跟踪的特征点分配给多个处理器进行光流计算。
本发明实施例中，每个DSP CORE和CPU加载相应的需要追踪的特征点数，从分辨率最小的金字塔层的特征点开始分配给多个处理器进行光流计算。
在本发明实施中，多个处理器包括CPU及多个DSP，如图3所示，执行步骤S2的过程具体包括：
步骤S21：获取图像金字塔各个分辨率层的需跟踪的特征点的总数量。
步骤S22：获取每个DSP处理数据的上限量。
本发明实施例中，采用的Vision DSP具备512Bit宽度的向量寄存器，单个指令周期可以执行32个16Bit的数据或者16个32Bit的数据运算，仅以此举例，本发明并不以此为限。
步骤S23：根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量。
在一具体实施例中，只利用多个DSP对需要需跟踪的特征点的总数量进行处理，将需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，根据商和余数来确定DSP的数量。具体包括：将需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断余数是否为0；当余数为0时，所需DSP数量为商的数量；当余数不为0时，所需DSP数量为商加一的数量。例如，当前需要追踪280个特征点，每个DSP处理的上限量为70个，那么需要4个DSP就可以完成处理；当每个DSP处理的上限量为65个时，需要5个DSP才可以完成处理。
在另一具体实施例中，DSP实际数量的已知(例如上述的海思处理芯片包括4个Vision DSP)，根据需跟踪的特征点的总数量、DSP的实际数量及每个DSP处理数据的上限量，来确定每个DSP进行需跟踪的特征点计算的数量以及是否需要CPU进行需跟踪的特征点运算。具体包括：将所述需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断商是否大于DSP的实际数量；当商大于DSP的实际数量时，说明需处理的特征点的数量大于实际数量的DSP所能处理的数量，此时需要CPU协助处理部分特征点数据，CPU处理需跟踪的特征点数据量为实际数量的DSP所能处理的需跟踪的特征点数据量之外的数据量。当商小于DSP的实际数量时且余数为0时，所需DSP的数量即为商的数量；当商小于DSP的实际数量时且余数不为0时，所需DSP的数量为商的数量加一。当商等于DSP的实际数量时，所需DSP的数量为实际数量。例如当前需要追踪280个特征点，则DSP CORE0处理1～64特征点，DSP CORE1处理65～129特征点，DSP CORE2处理130～194特征点，DSP CORE3处理195～259特征点，CPU处理260～280特征点。
在一实施例中，执行步骤S3中光流计算，如图4所示，具体包括：
步骤S31：每个处理器计算分配到当前帧图像当前金字塔层的每个特征点与预设窗口的插值子像素。
本发明实施例以一个DSP为例进行说明，例如，该DSP分配到当前帧图像当前金字塔层的特征点为(p1,p2,…,p3)，以特征点坐标为中心，DSP利用DMA加载参考图像中前两个特征点p1(x1,y1)和p2(x2,y2)指定窗口大小(x-Wx/2,y-Wy/2,x+Wx/2,y+Wy/2)内，光流算法中常用窗口大小为5×5,7×7,13×13,21×21，而DSP宽度为512bit的寄存器可以加载32个16bit的像素数据，所以每次加载窗口内的一行像素数据到DSP寄存器中，不足32个数据则补齐；连续加载窗口内2行像素数据，使用DSP指令集对宽寄存器直接操作，按照线性插值的方法计算像素插值，直到窗口内所有像素插值计算完成。
步骤S32：计算预设窗口所有像素第一方向的一阶导数、第二方向的一阶导数以及空间梯度矩阵，所述第一方向、第二方向相互垂直。
本发明实施例中，第一方向是指X方向、第二方向是指Y方向，利用以下公式(1)计算窗口内每个像素的X方向梯度和Y方向梯度，及利用以下公式(2)计算每个特征点的空间梯度矩阵：
步骤S33：对下一帧图像信息进行迭代计算每个特征点与预设窗口的插值子像素。
本发明实施例中，各个处理器完成当前帧图像当前金字塔层的特征点的处理后，开始对当下一帧图像当前金字塔层的特征点进行处理。
步骤S34：根据当前帧图像与上一帧图像窗口内每个特征点与预设窗口的插值子像素，计算每个特征点对应的像素值误差。
本发明实施例中，根据以下公式(3)计算参考图像和当前图像窗口内对应点的像素差：
δIk(x,y)＝I(x,y)-J(x+Δx,y+Δy) (3)，
步骤S35：根据每个特征点对应的像素值误差及上一帧图像第一方向的一阶导数和第二方向的一阶导数获取残差矩阵。
本发明实施中，根据以下公式(4)计算每个特征点窗口内的残差矩阵：
步骤S36：根据空间梯度矩阵和残差矩阵获取每个特征点坐标值偏移量。
本发明实施例中，根据以下公式(5)计算每个特征点坐标值偏移量：
步骤S37：判断每个特征点坐标值偏移量是否小于预设阈值。
本发明实施例中，预设阈值可根据实际工程需要做适应设置。
步骤S38：当每个特征点坐标值偏移量小于预设阈值时，更新每个特征点坐标，进行下一金字塔层的计算。
本发明实施例中，梯度矩阵和残差矩阵每个元素为32bit，所以每16个特征点的空间梯度矩阵4个元素分别加载到4个DSP向量寄存器，对应特征点的残差矩阵2个元素分别加载到2个DSP向量寄存器，按照矩阵乘法，可以一次更新16个特征点的坐标，更新特征点坐标为：
在一较佳实施例中，当每个特征点坐标值偏移量小于预设阈值时的步骤之后，还包括：
步骤S39：判断当前金字塔层数是否为原始分辨率层，当为原始分辨率层时结束光流计算。
本发明实施例中，原始分辨率层为金字塔最后处理的一层，当判断当前金字塔层数是否为原始分辨率层时，说明当前帧图像个金字塔层的的各个特征点与上一帧图像的特征点都进行了光流计算，完成了目标跟踪的处理。
本发明实施例提供的基于多处理器的目标跟踪处理方法，通过CPU获取需进行目标跟踪的原始图像数据，并根据原始图像数据建立图像金字塔，并提取图像金字塔中各个分辨率层的需跟踪的特征点，根据处理器处理数据的上限量及需跟踪的特征点的数量，确定所需处理器的数量，将需跟踪的特征点分配给多个处理器进行光流计算，本发明实施例利用多核宽向量寄存器DSP的并行运算优势，结合特征点计算独立性进行负载均衡，在满足精度要求前提下，优化金字塔光流实现过程，使得***整体运行效率高，提高实时性。
实施例2
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1中的多处理器的目标跟踪处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于多处理器的目标跟踪处理方法，其特征在于，包括：
获取需进行目标跟踪的原始图像数据，并根据所述原始图像数据建立图像金字塔，并提取所述图像金字塔中各个分辨率层的需跟踪的特征点；
根据处理器处理数据的上限量及所述需跟踪的特征点的数量，确定所需处理器的数量；
根据所述所需处理器的数量将所述需跟踪的特征点分配给多个处理器进行光流计算。
2.根据权利要求1所述的基于多处理器的目标跟踪处理方法，其特征在于，所述多个处理器包括CPU及多个DSP，所述根据处理器处理数据的上限量及所述需跟踪的特征点的数量，确定所需处理器的数量的步骤，包括：
获取所述图像金字塔各个分辨率层的需跟踪的特征点的总数量；
获取每个DSP处理数据的上限量；
根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量。
3.根据权利要求2所述的基于多处理器的目标跟踪处理方法，其特征在于，所述根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量的步骤，包括：
将所述需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断余数是否为0；
当余数为0，所需DSP数量为商的数量，CPU处理需跟踪的特征点的数据量为0；
当余数不为0时，所需DSP数量为商加一的数量，CPU处理需跟踪的特征点的数据量为0。
4.根据权利要求2所述的基于多处理器的目标跟踪处理方法，其特征在于，所述根据需跟踪的特征点数量及每个DSP处理数据的上限量，确定所需DSP的数量及CPU处理需跟踪的特征点的数据量的步骤，包括：
将所述需跟踪的特征点的总数量除以每个DSP处理数据的上限量，获取商及余数，判断商是否大于DSP的实际数量；
当商大于DSP的实际数量时，CPU处理需跟踪的特征点数据量为DSP处理需跟踪的特征点数据量之外的数据量。
5.根据权利要求4所述的基于多处理器的目标跟踪处理方法，其特征在于，
当商小于DSP的实际数量时且余数为0时，所需DSP的数量商的数量；
当商小于DSP的实际数量时且余数不为0时，所需DSP的数量为商的数量加一。
6.根据权利要求1所述的基于多处理器的目标跟踪处理方法，其特征在于，
当商等于DSP的实际数量时，所需DSP的数量为实际数量。
7.根据权利要求1所述的基于多处理器的目标跟踪处理方法，其特征在于，从分辨率最小的金字塔层的特征点开始分配给多个处理器进行光流计算。
8.根据权利要求1所述的基于多处理器的目标跟踪处理方法，其特征在于，所述根据所述所需处理器的数量将所述需跟踪的特征点分配给多个处理器进行光流计算的步骤，包括：
每个处理器计算分配到当前帧图像当前金字塔层的每个特征点与预设窗口的插值子像素；
计算所述预设窗口所有像素第一方向的一阶导数、第二方向的一阶导数以及空间梯度矩阵，所述第一方向、第二方向相互垂直；
对下一帧图像信息进行迭代计算每个特征点与预设窗口的插值子像素；
根据当前帧图像与上一帧图像窗口内每个特征点与预设窗口的插值子像素，计算每个特征点对应的像素值误差；
根据所述每个特征点对应的像素值误差及上一帧图像第一方向的一阶导数和第二方向的一阶导数获取残差矩阵；
根据所述空间梯度矩阵和所述残差矩阵获取每个特征点坐标值偏移量；
判断每个特征点坐标值偏移量是否小于预设阈值；
当所述每个特征点坐标值偏移量小于预设阈值时，更新每个特征点坐标，进行下一金字塔层的计算。
9.根据权利要求8所述的基于多处理器的目标跟踪处理方法，其特征在于，所述当所述每个特征点坐标值偏移量小于预设阈值时的步骤之后，还包括：
判断当前金字塔层数是否为原始分辨率层，当为原始分辨率层时结束光流计算。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-9中任一项所述的基于多处理器的目标跟踪处理方法。
CN201910329474.3A 2019-04-23 2019-04-23 一种基于多处理器的目标跟踪处理方法 Pending CN110120063A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910329474.3A CN110120063A (zh) 2019-04-23 2019-04-23 一种基于多处理器的目标跟踪处理方法
PCT/CN2020/086124 WO2020216249A1 (zh) 2019-04-23 2020-04-22 一种基于多处理器的目标跟踪处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910329474.3A CN110120063A (zh) 2019-04-23 2019-04-23 一种基于多处理器的目标跟踪处理方法

Publications (1)

Publication Number Publication Date
CN110120063A true CN110120063A (zh) 2019-08-13

Family

ID=67521303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910329474.3A Pending CN110120063A (zh) 2019-04-23 2019-04-23 一种基于多处理器的目标跟踪处理方法

Country Status (2)

Country Link
CN (1) CN110120063A (zh)
WO (1) WO2020216249A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216249A1 (zh) * 2019-04-23 2020-10-29 深圳市道通智能航空技术有限公司 一种基于多处理器的目标跟踪处理方法
CN112842257A (zh) * 2019-11-12 2021-05-28 磅客策(上海)机器人有限公司 一种血管定位方法及装置
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
CN113079336A (zh) * 2020-01-03 2021-07-06 深圳市春盛海科技有限公司 高速影像的录像方法及装置
WO2023123395A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种计算任务处理装置、方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192156B1 (en) * 1998-04-03 2001-02-20 Synapix, Inc. Feature tracking using a dense feature array
CN102202216A (zh) * 2011-05-13 2011-09-28 南京信息工程大学 一种鼠虫监控装置及采用其进行图像跟踪识别的方法
CN102523374A (zh) * 2011-12-19 2012-06-27 北京理工大学 一种实时并行的电子稳像***设计方法
CN104317768A (zh) * 2014-10-15 2015-01-28 中国人民解放军国防科学技术大学 面向cpu+dsp异构***的矩阵乘加速方法
CN106599918A (zh) * 2016-12-13 2017-04-26 开易（深圳）科技有限公司 车辆追踪方法及***
CN107358238A (zh) * 2017-03-01 2017-11-17 郑州云海信息技术有限公司 一种提取图像特征信息的方法及***
CN108475426A (zh) * 2017-06-30 2018-08-31 深圳市大疆创新科技有限公司 光流跟踪装置和方法
CN109509212A (zh) * 2018-09-30 2019-03-22 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
CN101923718B (zh) * 2009-06-12 2012-12-19 新奥特（北京）视频技术有限公司 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
CN103177455B (zh) * 2013-03-20 2016-04-20 南京理工大学 基于多核dsp的klt运动目标跟踪算法的实现方法
CN107358938A (zh) * 2017-08-14 2017-11-17 绍兴市上虞东虞塑料电器有限公司 一种可调变调夹
CN110120063A (zh) * 2019-04-23 2019-08-13 深圳市道通智能航空技术有限公司 一种基于多处理器的目标跟踪处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192156B1 (en) * 1998-04-03 2001-02-20 Synapix, Inc. Feature tracking using a dense feature array
CN102202216A (zh) * 2011-05-13 2011-09-28 南京信息工程大学 一种鼠虫监控装置及采用其进行图像跟踪识别的方法
CN102523374A (zh) * 2011-12-19 2012-06-27 北京理工大学 一种实时并行的电子稳像***设计方法
CN104317768A (zh) * 2014-10-15 2015-01-28 中国人民解放军国防科学技术大学 面向cpu+dsp异构***的矩阵乘加速方法
CN106599918A (zh) * 2016-12-13 2017-04-26 开易（深圳）科技有限公司 车辆追踪方法及***
CN107358238A (zh) * 2017-03-01 2017-11-17 郑州云海信息技术有限公司 一种提取图像特征信息的方法及***
CN108475426A (zh) * 2017-06-30 2018-08-31 深圳市大疆创新科技有限公司 光流跟踪装置和方法
CN109509212A (zh) * 2018-09-30 2019-03-22 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216249A1 (zh) * 2019-04-23 2020-10-29 深圳市道通智能航空技术有限公司 一种基于多处理器的目标跟踪处理方法
CN112842257A (zh) * 2019-11-12 2021-05-28 磅客策(上海)机器人有限公司 一种血管定位方法及装置
CN113079336A (zh) * 2020-01-03 2021-07-06 深圳市春盛海科技有限公司 高速影像的录像方法及装置
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
WO2023123395A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种计算任务处理装置、方法及电子设备

Also Published As

Publication number Publication date
WO2020216249A1 (zh) 2020-10-29

Similar Documents

Publication Publication Date Title
CN110120063A (zh) 一种基于多处理器的目标跟踪处理方法
AU2020100893A4 (en) Tunnel measurement and control method based on combination of three-dimensional laser scanner and bim
JP2022532460A (ja) モデル訓練方法、装置、端末及びプログラム
Ding et al. Crack detection and quantification for concrete structures using UAV and transformer
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN107657599B (zh) 基于混合粒度划分和动态负载分配的遥感图像融合***并行实现方法
CN103177455B (zh) 基于多核dsp的klt运动目标跟踪算法的实现方法
CN107123142A (zh) 位姿估计方法和装置
CN113377888A (zh) 训练目标检测模型和检测目标的方法
US20180365891A1 (en) Method in constructing a model of a scenery and device therefor
CN114584785B (zh) 视频图像的实时稳像方法及装置
CN112396657A (zh) 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN111080682A (zh) 点云数据的配准方法及装置
CN105869141A (zh) 图像配准方法及装置
CN104299241A (zh) 基于 Hadoop 的遥感图像显著性目标检测方法及***
CN116385520A (zh) 融合全光源图像的磨损表面形貌光度立体重建方法及***
GB2501171A (en) A parallel multi-frame superresolution image processing system
CN113409404A (zh) 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN117876397A (zh) 一种基于多视角数据融合的桥梁构件三维点云分割方法
CN110059658B (zh) 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN101718674A (zh) 一种测量散粒物料颗粒形状参数的方法
CN104598600B (zh) 一种基于分布式内存的并行数字地形分析优化方法
CN116310197A (zh) 一种非遗建筑物的三维模型构建方法、装置及存储介质
CN114022518B (zh) 图像的光流信息获取方法、装置、设备和介质
CN114170376B (zh) 一种针对室外大场景的多源信息融合分组式运动恢复结构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant before: AUTEL ROBOTICS Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813