CN110322477B - 特征点观察窗口设置方法、跟踪方法、装置、设备和介质 - Google Patents

特征点观察窗口设置方法、跟踪方法、装置、设备和介质 Download PDF

Info

Publication number
CN110322477B
CN110322477B CN201910494926.3A CN201910494926A CN110322477B CN 110322477 B CN110322477 B CN 110322477B CN 201910494926 A CN201910494926 A CN 201910494926A CN 110322477 B CN110322477 B CN 110322477B
Authority
CN
China
Prior art keywords
size
image
tracking
observation window
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910494926.3A
Other languages
English (en)
Other versions
CN110322477A (zh
Inventor
罗汉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201910494926.3A priority Critical patent/CN110322477B/zh
Publication of CN110322477A publication Critical patent/CN110322477A/zh
Application granted granted Critical
Publication of CN110322477B publication Critical patent/CN110322477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像金字塔的特征点观察窗口设置方法、跟踪方法、装置、设备和介质，该方法包括确定当前层图像的观察窗口的初始尺寸，获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态，获取预设尺寸调节步长，基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置当前层图像的观察窗口的尺寸，该方案能够结合上一层图像对特征点进行跟踪的跟踪收敛状态合理设置当前层图像的观察窗口的尺寸，实现对各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于该灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。

Description

特征点观察窗口设置方法、跟踪方法、装置、设备和介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点观察窗口设置装置、基于图像金字塔的特征点跟踪方法、基于图像金字塔的特征点跟踪装置、计算机设备和计算机可读存储介质。
背景技术
在计算机视觉***当中，特征纹理匹配属于重要的图像处理任务，特征纹理匹配是指在多张图像中提取出一些特征纹理，这些特征纹理被称为特征点，然后将这些特征点匹配起来。
传统技术通常通过检测固定大小的观察窗口下的像素点强度随时间的变换率，来求出相应特征点的移动速度和方向，从而实现对特征点的跟踪。然而，这种技术为了准确找到匹配点的位置，通常会采用一个较大的观察窗口来对特征点进行跟踪，而随着观察窗口的增大，运算量会极大地增大，对特征点进行跟踪的效率就会变低，导致这种技术对特征点进行跟踪的灵活性较低，难以兼顾对特征点进行跟踪的准确性和效率。
发明内容
基于此，有必要针对传统技术对特征点进行跟踪的灵活性较低的技术问题，提供一种基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点观察窗口设置装置、基于图像金字塔的特征点跟踪方法、基于图像金字塔的特征点跟踪装置、计算机设备和计算机可读存储介质。
一种基于图像金字塔的特征点观察窗口设置方法，包括步骤：
确定当前层图像的观察窗口的初始尺寸；
获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；
获取预设的尺寸调节步长；
基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸。
一种基于图像金字塔的特征点跟踪方法，包括步骤：
分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；
基于如上所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；
在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
一种基于图像金字塔的特征点观察窗口设置装置，包括：
初始尺寸确定模块，用于确定当前层图像的观察窗口的初始尺寸；
收敛状态获取模块，用于获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；
调节步长获取模块，用于获取预设的尺寸调节步长；
窗口尺寸设置模块，用于基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸。
一种基于图像金字塔的特征点跟踪装置，包括：
建立模块，用于分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；
设置模块，用于基于如上所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；
跟踪模块，用于在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
确定当前层图像的观察窗口的初始尺寸；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；获取预设的尺寸调节步长；基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸。
一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；基于如上所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
确定当前层图像的观察窗口的初始尺寸；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；获取预设的尺寸调节步长；基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；基于如上所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
上述基于图像金字塔的特征点观察窗口设置方法、跟踪方法、装置、计算机设备和存储介质，确定当前层图像的观察窗口的初始尺寸，获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态，获取预先设定的尺寸调节步长，然后基于该跟踪收敛状态，利用初始尺寸和尺寸调节步长来对当前层图像的观察窗口的尺寸进行设置，该方案能够结合上一层图像对特征点进行跟踪的跟踪收敛状态来合理设置当前层图像的观察窗口的尺寸，从而实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
附图说明
图1为一个实施例中基于图像金字塔的特征点观察窗口设置方法的应用场景图；
图2为一个实施例中基于图像金字塔的特征点观察窗口设置方法的流程示意图；
图3为一个实施例中图像金字塔的示意图；
图4为一个实施例中观察窗口的示意图；
图5为一个实施例中光流向量的示意图；
图6为一个实施例中基于图像金字塔的特征点跟踪方法的流程示意图；
图7为一个实施例中跟踪特征点的一种效果对比图；
图8为一个实施例中跟踪特征点的另一种效果对比图；
图9为一个实施例中基于图像金字塔的特征点观察窗口设置装置的结构框图；
图10为一个实施例中基于图像金字塔的特征点跟踪装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明提供的基于图像金字塔的特征点观察窗口设置方法，可以应用于如图1所示的应用场景当中，图1为一个实施例中基于图像金字塔的特征点观察窗口设置方法的应用场景图，该应用场景包括计算机设备100，该计算机设备100可以是具有图像处理能力的终端或服务器，其中，终端可以包括各种个人计算机、笔记本电脑和平板电脑等，服务器可以用独立的服务器或多个服务器组成的服务器集群来实现。
计算机设备100可以对多张图像中的特征点进行跟踪匹配，一般而言，在对特征点进行跟踪时，可以通过固定大小的观察窗口下图像的特征点灰度随时间的变化率，从而求出该特征点的移动速度和方向，以实现对该特征点的跟踪，而传统技术采用固定大小的观察窗口来对特征点进行跟踪，如图1所示，计算机设备100可以利用图像金字塔来对特征点进行跟踪，其中，设特征点K为图像上的目标物200的角点，在利用图像金字塔对特征点K跟踪时，传统技术在本层图像I1中所采用的观察窗口W1与在上一层图像I2中所采用的观察窗口W2的大小是相同的，而为了在各层图像中对特征点的跟踪具有较高的准确率，传统技术一般会将观察窗口的尺寸设置得比较大，但随着观察窗口尺寸的增大，计算机设备100在对特征点进行跟踪的运算量会极大地增大。
本发明提供的图像金字塔的特征点观察窗口设置方法，计算机设备100确定当前层图像的观察窗口的初始尺寸，并获取预设的尺寸调节步长，以及获取上一层图像中对特征点进行跟踪得到的跟踪收敛状态，最后，计算机设备100基于该跟踪收敛状态，利用初始尺寸和尺寸调节步长对当前层图像的观察窗口的尺寸进行设置，结合了上一层图像对特征点进行跟踪的跟踪收敛状态来合理设置当前层图像的观察窗口的尺寸，实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
在一个实施例中，提供了一种基于图像金字塔的特征点观察窗口设置方法，参考图2，图2为一个实施例中基于图像金字塔的特征点观察窗口设置方法的流程示意图，该方法可以基于图1所示的计算机设备100进行实现，该基于图像金字塔的特征点观察窗口设置方法可以包括以下步骤：
步骤S101，确定当前层图像的观察窗口的初始尺寸。
在对图像的特征点进行跟踪时，可以基于图像金字塔对特征点进行跟踪。其中，图像金字塔一般包括多层图像，如图3所示，图3为一个实施例中图像金字塔的示意图，图像金字塔化一般包括两个步骤，首先对图像进行一次低通滤波进行平滑，然后对图像的像素点在横纵两个方向上进行1/2抽样处理，从而得到一系列尺度缩小的图像。设L表示图像金字塔的层级，如图3所示，当L＝0时，为原图，当向图像金字塔的上层移动时，图像的尺寸和分辨率降低，伴随的细节就越少。基于图像金字塔对特征点进行跟踪时，一般是从顶层(L＝3)开始对目标特征点进行跟踪，先获得一个粗糙的跟踪结果，然后将跟踪结果作为下一层的初始点再进行跟踪，不断迭代直到到达第L＝0层，作为一种由粗到细的分析策略。
本步骤中，当前层图像是指在图像金字塔中，正在对特征点进行跟踪处理的当前层级对应的图像，举例来说，若正在L＝2这一层级对特征点进行跟踪处理，则当前层图像指的是L＝2这一层级对应的图像。需要说明的是，在采用图像金字塔对图像的特征点进行跟踪时，图像金字塔的每一层级都包括两张图像，一张是原图像，另一张是目标图像。原图像是指特征点所在的图像，目标图像是指匹配点所在的图像，所谓匹配点是指与特征点相匹配的点，而对原图像特征点进行跟踪，也就是要根据原图像的特征点的相关信息，在目标图像中找到匹配点的位置。在一个实施例中，原图像和目标图像可以是视频图像中相邻两帧的图像。在利用图像金字塔对图像的特征点进行跟踪时，可以为原图像和目标图像分别建立图像金字塔，而每一层级的图像都包括与原图像和目标图像对应的图像。
本步骤中，当前层图像可以包括当前层原图像和当前层目标图像，在当前层图像对特征点进行跟踪时，首先确定当前层图像的观察窗口的初始尺寸。对于观察窗口的初始尺寸，初始尺寸可以是预先设定好的固定值，每一层图像都采用相同的初始尺寸，也可以是每一层图像采用不同的初始尺寸，如顶层图像采用尺寸A的观察窗口，顶层图像的下一层采用尺寸B的观察窗口等等。而对于观察窗口的形状，为了计算的方便，可以采用正方形的观察窗口来跟踪特征点，对于正方形的观察窗口，其尺寸的大小可以通过边长的长短来衡量，边长越长则观察窗口的尺寸越大，本步骤在当前层原图像和当前层目标图像中采用尺寸相同的观察窗口来对特征点进行跟踪，该观察窗口在特征点跟踪过程中所起到的主要功能是，通过检测位于该观察窗口内的特征点强度随时间的变化率等信息来求出其移动速度和方向，从而对该特征点进行跟踪。
具体的，下面结合图4对观察窗口进行说明，图4为一个实施例中观察窗口的示意图，图4示出了原图像310和目标图像320，原图像310上具有特征点K1，该特征点K1是原图像310上目标物31的一个角点，目标图像320上具有目标物32，该目标物32是与目标物31相对应的，可以看作是相邻两帧视频图像中的同一个物体从目标物31的位置移动到目标物32的位置，而在目标图像320中具有特征点K2，该特征点K2是与特征点K1相匹配的，即特征点K2为匹配点，对原图像310的特征点K1进行跟踪，即在目标图像320中找出特征点K2的位置。观察窗口W可以用于在原图像310和目标图像320中跟踪特征点K1，找出特征点K2的位置，具体可以如采用光流法等特征点跟踪方法基于该观察窗口W计算出特征点K1的在目标图像320上的位置偏移量A，然后根据位置偏移量A和特征点K1在原图像310的位置即可跟踪到特征点K2在目图像320上的位置。
步骤S102，获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态。
本步骤中，上一层图像是指当前层图像的上一层图像，以图3为例，若当前层图像是L＝2层级对应的图像，则上一层图像是指顶层图像(即L＝3对应的图像)。本步骤主要是获取上一层图像中对特征点进行跟踪得到的跟踪收敛状态，在图像金字塔的各层图像对特征点进行跟踪时会得到相应的跟踪结果，而跟踪收敛状态是指在上一层图像中查找特征点时是否收敛，即在上一层图像中能否找到与特征点的观察窗口相对应的相似纹理。本步骤，跟踪收敛状态可以包括收敛和不收敛，其中，跟踪收敛状态为收敛通常是在一定的时间或迭代次数内，能找到匹配点的位置，而不收敛则一般是不能在设定的时间或迭代次数内找到匹配点的位置，或是在设定的时间或迭代次数内找到匹配点，但该匹配点的位置与特征点的位置偏移过大。
步骤S103，获取预设的尺寸调节步长。
本步骤中，尺寸调节步长用于对当前层图像的观察窗口的尺寸进行调节，可以利用该尺寸调节步长增大或减小当前层图像的观察窗口，其中，尺寸调节步长可以是预先设置好的固定值，即对于每一层图像均采用相同的尺寸调节步长来调节观察窗口的尺寸。
对于尺寸调节步长的具体设置方式，可以结合图像金字塔的层级数来设置，在一个实施例中，可以在获取预设的尺寸调节步长之前，先确定该图像金字塔的金字塔层数，然后获取观察窗口的最大尺寸和最小尺寸，与该最大尺寸、最小尺寸以及金字塔层数设置尺寸调节步长。
具体的，设Lm表示给定的金字塔层数，观察窗口的最大尺寸为Wmax，最小尺寸为Wmin，则尺寸调节步长step可以表示为：
Figure BDA0002088246070000061
本实施例采用固定步长来调节观察窗口的尺寸可以使得计算机设备100对特征点进行跟踪时更加高效。
对于观察窗口的最大尺寸和最小尺寸的设置，以金字塔层数为Lm的图像金字塔为例，该图像金字塔的最顶层的图像是最底层图像分辨率的
Figure BDA0002088246070000062
所以如果观察窗口的尺寸为W，宽和高分别为w和h，则在顶层的图像中，观察窗口所包括的实质图像内容范围是
Figure BDA0002088246070000071
和
Figure BDA0002088246070000072
当观察窗口足够大，使得观察窗口大于特征点的运动范围，设w＝h＝21，Lm＝3，则观察窗口最大能包括的范围168×168的图像范围，即如果特征点的位移小于84个像素时(最大范围的一半)，该观察窗口都可以观察得到。因此，在设定观察窗口的最大尺寸时，可以根据该特征点的平均位移长度来进行确定，设该特征点的平均位移长度为
Figure BDA0002088246070000073
则需要设置一个合适的金字塔层数(一般为3)和观察窗口的最大尺寸Wmax，使得
Figure BDA0002088246070000074
而观察窗口的最小尺寸应该足够的小，使得最大化减少运算时间，但是若观察窗口太小，会容易被噪点干扰，一般情况下，可以将观察窗口的最小尺寸Wmin设置为9×9。
步骤S104，基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸。
本步骤主要是根据上一层图像的跟踪收敛状态，通过初始尺寸和尺寸调节步长来设置当前层图像的观察窗口的尺寸。
具体而言，若上一层图像对特征点进行跟踪得到的跟踪收敛结果为不收敛，可以利用初始尺寸和尺寸调节步长为观察窗口设置一个较大尺寸，较大尺寸是相对于上一层图像的观察窗口而言的，即假设上一层的观察窗口的尺寸为W1，则可以利用初始尺寸和尺寸调节步长为当前层图像设置一个尺寸大于W1的观察窗口，即在上一层图像对特征点跟踪不收敛时，尝试通过增大观察窗口来增加找到匹配点的概率。相应的，如果上一层图像对特征点进行跟踪得到的跟踪收敛结果为收敛，则可以利用初始尺寸和尺寸调节步长为当前层图像设置一个尺寸小于W1的观察窗口，以减少当前层图像对特征点进行跟踪的运算量，使得当前层图像的观察窗口的尺寸能够基于上一层图像对特征点进行跟踪的跟踪收敛状态进行灵活调节。而在设置好当前层图像的观察窗口的尺寸后，在一个实施例中，可以基于如光流法等特征点跟踪方法，利用该观察窗口在当前层图像中对特征点进行跟踪。需要说明的是，若当前层图像为顶层图像，由于顶层图像不具有上一层图像，因此，对于顶层图像而言，可以采用预先设置好的最大尺寸的观察窗口来对特征点进行跟踪，以确保在顶层图像中能够找到匹配点的位置，后续在下层图像中调节相应层图像的观察窗口的大小以平衡对特征点进行跟踪的效率和准确率。
上述基于图像金字塔的特征点观察窗口设置方法，确定当前层图像的观察窗口的初始尺寸，获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态，获取预先设定的尺寸调节步长，然后基于该跟踪收敛状态，利用初始尺寸和尺寸调节步长来对当前层图像的观察窗口的尺寸进行设置，该方案能够结合上一层图像对特征点进行跟踪的跟踪收敛状态来合理设置当前层图像的观察窗口的尺寸，从而实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
在图像金字塔的各层图像中可以采用光流法对特征点进行跟踪，传统的KLT光流法基于灰度不变假设，即空间中的同一点，在不同图像中的灰度值固定不变，在这个假设之下，通过检测设定尺寸的观察窗口中像素点强度随时间的变化率来求出相应特征点的移动速度和方向，从而实现特征点的跟踪。
上一层图像中可以采用光流法来对特征点进行跟踪，在一个实施例中，上一层图像对特征点进行跟踪得到的跟踪收敛状态可以是利用光流法在该上一层图像中对特征点进行迭代跟踪，得到的跟踪收敛状态。
其中，利用光流法可以在上一层图像中对特征点进行跟踪时进行多次迭代运算，每一次迭代运算得到的结果为该次迭代的光流向量pk，k表示迭代次数，每一次迭代运算都会得到一个光流向量，多次迭代运算得到的光流向量的和表示匹配点与特征点的位置偏移量。结合图5对光流向量进行说明，图5为一个实施例中光流向量的示意图，设在上一层图像400中利用光流法对特征点进行3次迭代跟踪，各次迭代跟踪得到的光流向量分别为p1、p2和p3，则该三个光流向量的和表示该上一层图像400得到的匹配点与特征点的位置偏移量，可以认为在上一层图像400中得到的匹配点为x4。
进一步的，在一个实施例中，上述获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态的步骤具体可以包括：确定用于在上一层图像中对特征点进行迭代跟踪的迭代次数；获取上一层图像在迭代次数下的光流向量；根据光流向量获取跟踪收敛状态。
在对当前层图像的观察窗口的尺寸进行设置之前，需要获取上一层图像对特征点进行跟踪的跟踪收敛状态，本实施例可以基于上一层图像采用光流法对特征点进行跟踪的情况下，先确定在上一层图像中对特征点进行迭代跟踪的迭代次数，而迭代次数一般为30次，然后可以获取上一层图像在该迭代次数下的光流向量，这里的该迭代次数下是指最大迭代次数，如果迭代次数设置为30，则获取上一层图像在迭代次数为30次时得到的光流向量，最后根据该光流向量获取跟踪收敛状态。由于光流向量具有一定大小，而最大迭代次数对应的光流向量能够反映出在上一层图像对特征点进行跟踪时，在规定的迭代次数下是否收敛(即能否找到特征点)，因此根据最大迭代次数对应的光流向量即可准确判断上一层图像的跟踪收敛状态，如果不收敛，则需要增大观察窗口的尺寸使得在当前层图像准确找到匹配点的位置，反之可以减小该观察窗口的尺寸以加快运算速度。
在一个实施例中，上述根据该光流向量获取跟踪收敛状态的步骤具体可以包括：获取上述迭代次数下的光流向量的模，然后根据该光流向量的模判断上一层图像对特征点进行跟踪的跟踪收敛状态。
本实施例中，光流向量pk表示特征点在第k次迭代次数下的光流向量，即相应迭代次数下找到的匹配点与特征点的位置偏移量，||pk||表示光流向量pk的模，即表示位置偏移量的长度，在正常的迭代过程中，随着每一次迭代过程的进行，||pk||的值会越来越小，直到到达正确的匹配位置(即找到正确的匹配点)时，||pk||的值会变成0，但变成0是理想状态下||pk||所能达到的值，在实际情况下，||pk||通常不会为0。因此，为了准确判断上一层图像对特征点进行跟踪的跟踪收敛状态，可以将光流向量||pk||于设定的阈值(如1e-4)进行比较，当||pk||的值小于该阈值时，可以认为跟踪收敛状态为收敛，若在最大迭代次数K下，光流向量pK仍然没有小于阈值，则判断跟踪状态为不收敛，采用这种方式能够快速且有效地获取上一层图像对特征点的跟踪收敛状态。
在得到上一层图像对特征点的跟踪收敛状态以后，可以根据跟踪收敛状态为收敛或是不收敛两种情况，对当前层图像的观察窗口的尺寸进行调节。
在其中一个实施例中，基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸的步骤可以包括：若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到观察窗口的尺寸。
本实施例通过将初始尺寸和尺寸调节步长进行作差从而得到当前层图像的观察窗口的尺寸，能够在上一层图像对特征点的跟踪收敛状态为收敛的情况下，缩小当前层图像的观察窗口的尺寸，相比于采用固定大小观察窗口的方式，本实施例的方案可以达到在当前层图像中减少对特征点进行跟踪的运算量的效果。
在另一个实施例中，基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸的步骤可以包括：若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到观察窗口的尺寸。
本实施例通过将初始尺寸和尺寸调节步长进行求和，从而得到当前层图像的观察窗口的尺寸，能够在上一层图像对特征点的跟踪收敛状态为不收敛的情况下，尝试通过增加观察窗口的尺寸的方式来增大在当前层图像中找到匹配点的概率。
进一步的，在上述将初始尺寸和尺寸调节步长进行求和处理，得到观察窗口的尺寸的过程中，若求和处理得到的观察窗口的尺寸小于最大尺寸，则将该观察窗口的尺寸设为最大尺寸，以最大尺寸的观察窗口在当前层图像中对特征点进行跟踪。这主要是考虑到即使按照步长来增大观察窗口的大小，但也很难只通过一次就能使得对特征点的跟踪收敛，有时需要多次增大窗口才能使得跟踪收敛，而过多的调整会降低跟踪的效率，因此可以一次性将当前层图像的观察窗口的尺寸调节为最大尺寸来对特征点进行跟踪，采用这种方式效率会更高，而且也更能准确在当前层图像跟踪特征点。
在一个实施例中，还提供了一种基于图像金字塔的特征点跟踪方法，参考图6，图6为一个实施例中基于图像金字塔的特征点跟踪方法的流程示意图，该方法可以包括如下步骤：
步骤S401，分别对原图像和目标图像建立图像金字塔。
本步骤中，在对特征点进行跟踪之前，可以先对原图像和目标图像建立图像金字塔，其中，原图像是指特征点所在的图像，目标图像是指匹配点所在的图像，所谓匹配点是指与特征点相匹配的点，而图像金字塔则包括多层图像，图像金字塔的各层图像可以包括各层原图像和各层目标图像。以具有3个层级的图像金字塔为例，第2层级的图像可以包括第2层级的原图像和第2层级的目标图像，在第2层级的图像中对特征点进行跟踪是指，基于第2层级的原图像上的特征点的相关信息，在第2层级的目标图像中找到与该特征点相匹配的匹配点的位置。
步骤S402，基于如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸。
本步骤主要是利用如上所述的基于图像金字塔的特征点观察窗口设置方法，来设置图像金字塔中，各层原图像和各层目标图像的观察窗口的尺寸。
在一个实施例中，若当前层图像是顶层图像，则将当前层原图像和当前层目标图像的观察窗口尺寸均设为最大尺寸，即以最大尺寸的观察窗口在顶层图像上对特征点进行跟踪，这样有利于在顶层图像上准确到特征点的位置。
而若当前层图像不是顶层图像，则将上一层图像的观察窗口的尺寸设为当前层图像的观察窗口的初始尺寸，即采用上一层图像在跟踪特征点时所采用的观察窗口的尺寸作为当前层图像的观察窗口的初始尺寸，基于该初始尺寸对当前层图像的观察窗口的尺寸进行调节。然后，获取预设的尺寸调节步长，以及获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态。
其中，若跟踪收敛状态为收敛，则将上述初始尺寸和尺寸调节步长进行作差处理，得到当前层图像的观察窗口的尺寸；若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到当前层图像的观察窗口的尺寸。
步骤S403，在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，各层图像包括各层原图像和各层目标图像。
本步骤中，在图像金字塔的各层图像中利用相应尺寸的观察窗口来对特征点进行跟踪，使得图像金字塔各层图像所采用的观察窗口的尺寸，能够基于上一层图像对特征点跟踪的跟踪收敛状态来灵活调节，平衡跟踪的效率和准确率。
在一个实施例中，上述在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪的步骤具体包括：
在当前层原图像中，利用相应尺寸的观察窗口计算特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算特征点的海森矩阵。
本步骤，给定原图像I和位于其上的一个特征点的位置x，在目标图像J中找到匹配点的位置x′。假设目标图像J上的初始匹配点的位置为x′init，观察窗口的最小尺寸为Wmin，最大尺寸为Wmax。可以分别为原图像I和目标图像J建立图像金字塔{IL}L＝0...Lm和{JL}L＝0...Lm，图像金字塔可以包括多层，Lm表示给定的金字塔层数，一般为3，计算观察窗口调节步长
Figure BDA0002088246070000111
设当前层原图像的观察窗口为W＝{(u,v)|0＜u＜w,0＜v＜h}，其中，w为观察窗口的宽，h为观察窗口的高，u和v表示观察窗口内的像素点的坐标。
在当前层原图像中，计算特征点的第一灰度值和第一灰度梯度值，并根据第一灰度梯度值计算特征点的海森矩阵的具体步骤可以包括：
首先获取当前层原图像IL上的特征点的第一灰度值IL(x)，然后基于该第一灰度值IL(x)计算该特征点在当前层原图像IL上横坐标方向X和纵坐标方向Y的梯度矩阵
Figure BDA0002088246070000112
和
Figure BDA0002088246070000113
该横坐标方向和纵坐标方向两个方向的梯度矩阵可以作为特征点的第一灰度梯度值。
接着基于观察窗口W，计算当前层原图像IL在位置xL＝[px py]T的海森矩阵H(pxpy)：
Figure BDA0002088246070000121
其中，(u,v)表示观察窗口W内像素点的坐标，H(px py)为一个2×2大小的矩阵，体现的是在当前层原图像IL中，在xL＝[px py]T位置的图像灰度二阶导数。
然后，在当前层目标图像中，利用相应尺寸的观察窗口计算初始匹配点的第二灰度值；初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量。
具体而言，以上步骤可以采用光流法，并利用迭代的方式计算当前层图像的光流向量。其中，可以设定变量k从1到K，用于控制如下步骤的迭代次数，一般设置为30，迭代以下操作：
在当前层目标图像JL中，采用观察窗口W计算初始匹配点的第二灰度值，该初始匹配点是预设于在当前层目标图像JL上的像素点，该初始匹配点在当前层目标图像JL上的位置表示为
Figure BDA0002088246070000122
其中，
Figure BDA0002088246070000123
和
Figure BDA0002088246070000124
为预设的匹配偏移位置
Figure BDA0002088246070000125
中的参数，其中
Figure BDA0002088246070000126
可以预设为[0 0]T，而
Figure BDA0002088246070000127
和
Figure BDA0002088246070000128
为第k-1次迭代过程中的位置迭代参数，其中，该迭代参数初始化为γ0＝[0 0]T。基于观察窗口W，可以计算初始匹配点的第二灰度值为JL(q′x+u,q′y+v)，然后可以计算灰度偏差值为IL(px+u,py+v)-JL(q′x+u,q′y+v)，其中，IL(px+u,py+v)表示第一灰度值。接着可以计算当前层图像的光流向量pk：
Figure BDA0002088246070000129
其中，光流向量pk表示了特征点在该次迭代的跟踪偏移量，该光流向量pk包含了灰度偏差信息和灰度梯度信息。
最后，基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，匹配点为当前层目标图像上与特征点相匹配的像素点。
上述步骤中，在得到光流向量pk后，更新位置迭代参数γk＝γk-1-pk，如果||pk||小于一个给定的阈值(如1e-4)，则说明迭代已经收敛，可以退出迭代过程，如果||pk||大于一个给定的阈值，则继续进行迭代。如果迭代次数k大于K，则说明在规定的迭代次数下没有收敛(即没有找到特征点)，此时可以增大观察窗口的大小W＝W+step，如果增大后的观察窗口没有大于Wmax，则以增大后的观察窗口进行跟踪。如果在规定的迭代次数下收敛，则可以根据该光流向量pk获取最终的位置迭代参数γk＝γk-1-pk，并可以确定在当前层图像(如第L层金字塔)最终匹配偏移为：dL＝γk，然后基于该最终匹配偏移并结合初始匹配点在当前层目标图像上的位置，可以相加得到匹配点在当前层目标图像上的位置。而该匹配点在当前层目标图像上的位置可以用于初始化下一层金字塔的匹配偏移位置：gL-1＝2(gL+dL)，然后设置L＝L-1，重新在下一层金字塔图像中查找匹配点的位置。最后，在L＝0层图像中，特征点x在目标图像J中的匹配点的最终位置可以表示为x′＝x′init+g0+d0。
上述基于图像金字塔的特征点跟踪方法的效果可以参考图7和图8。其中，如图7所示，图7为一个实施例中跟踪特征点的一种效果对比图，原图像701和目标图像702对应于传统的光流法对特征点进行跟踪的效果图，原图像703和目标图像704对应于本发明实施例的特征点跟踪方法的效果图，图中的矩形方块中点表示特征点和匹配点的位置，矩形的大小为最终观察窗口的大小，可以看出，两种方法的匹配结果基本一致，而且本发明实施例的特征点跟踪方法在使用可变的观察窗口策略下，大多数特征点都可以通过最小的观察窗口找到相应的匹配点，部分较难找到的匹配点对应的观察窗口会较大。
如图8所示，图8为一个实施例中跟踪特征点的另一种效果对比图，该效果图表示对一个测试集分别使用传统的光流法(原光流法)和本发明实施例提供的特征点跟踪方法(可变窗口策略光流法)进行特征点匹配的时间花销结果，纵坐标表示时间花销，可以看出，本发明实施例提供的特征点跟踪方法在运算效率上具有明显的优势。
可见，本发明实施例提供的上述基于图像金字塔的特征点跟踪方法，能够结合上一层图像对特征点进行跟踪的跟踪收敛状态来合理设置当前层图像的观察窗口的尺寸，从而实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
在一个实施例中，提供了一种基于图像金字塔的特征点观察窗口设置装置，参考图9，图9为一个实施例中基于图像金字塔的特征点观察窗口设置装置的结构框图，该装置可以包括：
初始尺寸确定模块101，用于确定当前层图像的观察窗口的初始尺寸；
收敛状态获取模块102，用于获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；
调节步长获取模块103，用于获取预设的尺寸调节步长；
窗口尺寸设置模块104，用于基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸。
在一个实施例中，跟踪收敛状态为利用光流法在上一层图像中对特征点进行迭代跟踪，得到的跟踪收敛状态；收敛状态获取模块102进一步用于：确定用于在上一层图像中对特征点进行迭代跟踪的迭代次数；获取上一层图像在迭代次数下的光流向量；根据光流向量获取跟踪收敛状态。
在一个实施例中，收敛状态获取模块102还进一步用于：获取光流向量的模；若光流向量的模大于或等于阈值，则判断跟踪收敛状态为不收敛；若光流向量的模小于所述阈值，则判断跟踪收敛状态为收敛。
在一个实施例中，窗口尺寸设置模块104进一步用于：若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到观察窗口的尺寸。
在一个实施例中，窗口尺寸设置模块104进一步用于：若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到观察窗口的尺寸。
在一个实施例中，窗口尺寸设置模块104还进一步用于：若求和处理得到的观察窗口的尺寸小于最大尺寸，则将观察窗口的尺寸设为最大尺寸。
在一个实施例中，上述基于图像金字塔的特征点观察窗口设置装置，还可以包括：调节步长设置单元，用于：确定图像金字塔的金字塔层数；获取观察窗口的最大尺寸和最小尺寸；根据最大尺寸、最小尺寸和金字塔层数设置尺寸调节步长。
在一个实施例中，上述基于图像金字塔的特征点观察窗口设置装置，还可以包括：特征点跟踪单元，用于利用观察窗口在当前层图像中对特征点进行跟踪。
本发明的基于图像金字塔的特征点观察窗口设置装置与本发明的基于图像金字塔的特征点观察窗口设置方法一一对应，关于基于图像金字塔的特征点观察窗口设置装置的具体限定可以参见上文中对于基于图像金字塔的特征点观察窗口设置方法的限定，在上述基于图像金字塔的特征点观察窗口设置方法的实施例阐述的技术特征及其有益效果均适用于基于图像金字塔的特征点观察窗口设置装置的实施例中，在此不再赘述。上述基于图像金字塔的特征点观察窗口设置装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种基于图像金字塔的特征点跟踪装置，参考图10，图10为一个实施例中基于图像金字塔的特征点跟踪装置的结构框图，该装置可以包括：
建立模块401，用于分别对原图像和目标图像建立图像金字塔；图像金字塔包括多层图像；
设置模块402，用于基于如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；
跟踪模块403，用于在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，各层图像包括各层原图像和各层目标图像。
在一个实施例中，设置模块402进一步用于：若当前层图像是顶层图像，则将当前层原图像和当前层目标图像的观察窗口尺寸设为最大尺寸；若当前层图像不是顶层图像，则将上一层图像的观察窗口的尺寸设为当前层图像的观察窗口的初始尺寸；获取预设的尺寸调节步长；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到当前层图像的观察窗口的尺寸；若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到当前层图像的观察窗口的尺寸。
在一个实施例中，跟踪模块403进一步用于：在当前层原图像中，利用相应尺寸的观察窗口计算特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算特征点的海森矩阵；在当前层目标图像中，利用相应尺寸的观察窗口计算初始匹配点的第二灰度值；初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，匹配点为当前层目标图像上与特征点相匹配的像素点。
本发明的基于图像金字塔的特征点跟踪装置与本发明的基于图像金字塔的特征点跟踪方法一一对应，关于基于图像金字塔的特征点跟踪装置的具体限定可以参见上文中对于基于图像金字塔的特征点跟踪方法的限定，在上述基于图像金字塔的特征点跟踪方法的实施例阐述的技术特征及其有益效果均适用于基于图像金字塔的特征点跟踪装置的实施例中，在此不再赘述。上述基于图像金字塔的特征点跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是具有图像处理能力的终端或服务器，其内部结构图可以如图11所示，图11为一个实施例中计算机设备的内部结构图。该计算机设备包括通过***总线连接的处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点跟踪方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点跟踪方法。
在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定当前层图像的观察窗口的初始尺寸；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；获取预设的尺寸调节步长；基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定用于在上一层图像中对特征点进行迭代跟踪的迭代次数；获取上一层图像在迭代次数下的光流向量；根据光流向量获取跟踪收敛状态；其中，跟踪收敛状态为利用光流法在上一层图像中对特征点进行迭代跟踪，得到的跟踪收敛状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取光流向量的模；若光流向量的模大于或等于阈值，则判断跟踪收敛状态为不收敛；若光流向量的模小于阈值，则判断跟踪收敛状态为收敛。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到观察窗口的尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到观察窗口的尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若求和处理得到的观察窗口的尺寸小于最大尺寸，则将观察窗口的尺寸设为最大尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定图像金字塔的金字塔层数；获取观察窗口的最大尺寸和最小尺寸；根据最大尺寸、最小尺寸和金字塔层数设置尺寸调节步长。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用观察窗口在当前层图像中对特征点进行跟踪。
在一个实施例中，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
分别对原图像和目标图像建立图像金字塔；图像金字塔包括多层图像；基于如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，各层图像包括各层原图像和各层目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若当前层图像是顶层图像，则将当前层原图像和当前层目标图像的观察窗口尺寸设为最大尺寸；若当前层图像不是顶层图像，则将上一层图像的观察窗口的尺寸设为当前层图像的观察窗口的初始尺寸；获取预设的尺寸调节步长；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到当前层图像的观察窗口的尺寸；若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到当前层图像的观察窗口的尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在当前层原图像中，利用相应尺寸的观察窗口计算特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算特征点的海森矩阵；在当前层目标图像中，利用相应尺寸的观察窗口计算初始匹配点的第二灰度值；初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，匹配点为当前层目标图像上与特征点相匹配的像素点。
上述计算机设备，通过所述处理器上运行的计算机程序，实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
本领域普通技术人员可以理解实现如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点跟踪方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此，在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法、基于图像金字塔的特征点跟踪方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
确定当前层图像的观察窗口的初始尺寸；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；获取预设的尺寸调节步长；基于跟踪收敛状态，利用初始尺寸和尺寸调节步长设置观察窗口的尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定用于在上一层图像中对特征点进行迭代跟踪的迭代次数；获取上一层图像在迭代次数下的光流向量；根据光流向量获取跟踪收敛状态；其中，跟踪收敛状态为利用光流法在上一层图像中对特征点进行迭代跟踪，得到的跟踪收敛状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取光流向量的模；若光流向量的模大于或等于阈值，则判断跟踪收敛状态为不收敛；若光流向量的模小于阈值，则判断跟踪收敛状态为收敛。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到观察窗口的尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到观察窗口的尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若求和处理得到的观察窗口的尺寸小于最大尺寸，则将观察窗口的尺寸设为最大尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定图像金字塔的金字塔层数；获取观察窗口的最大尺寸和最小尺寸；根据最大尺寸、最小尺寸和金字塔层数设置尺寸调节步长。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用观察窗口在当前层图像中对特征点进行跟踪。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
分别对原图像和目标图像建立图像金字塔；图像金字塔包括多层图像；基于如上任一项实施例所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，各层图像包括各层原图像和各层目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若当前层图像是顶层图像，则将当前层原图像和当前层目标图像的观察窗口尺寸设为最大尺寸；若当前层图像不是顶层图像，则将上一层图像的观察窗口的尺寸设为当前层图像的观察窗口的初始尺寸；获取预设的尺寸调节步长；获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；若跟踪收敛状态为收敛，则将初始尺寸和尺寸调节步长进行作差处理，得到当前层图像的观察窗口的尺寸；若跟踪收敛状态为不收敛，则将初始尺寸和尺寸调节步长进行求和处理，得到当前层图像的观察窗口的尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在当前层原图像中，利用相应尺寸的观察窗口计算特征点的第一灰度值和第一灰度梯度值，根据第一灰度梯度值计算特征点的海森矩阵；在当前层目标图像中，利用相应尺寸的观察窗口计算初始匹配点的第二灰度值；初始匹配点为预设于当前层目标图像上的像素点；将第一灰度值和第二灰度值进行作差，得到灰度偏差值；根据灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；基于光流向量和初始匹配点在当前层目标图像上的位置，获取匹配点在当前层目标图像上的位置；其中，匹配点为当前层目标图像上与特征点相匹配的像素点。
上述计算机可读存储介质，通过其存储的计算机程序，实现对图像金字塔的各层图像的观察窗口进行动态设置，使得观察窗口的尺寸能够灵活变化，基于灵活变化的观察窗口能够提高对特征点进行跟踪的灵活性，根据跟踪收敛状态对观察窗口进行动态设置，也有利于在确保准确跟踪特征点的同时，减少对特征点跟踪时间。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种基于图像金字塔的特征点观察窗口设置方法，其特征在于，包括步骤：
若当前层图像为非顶层图像，则将上一层图像的观察窗口的尺寸作为所述当前层图像的观察窗口的初始尺寸；
获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；
获取预设的尺寸调节步长；
基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸；
其中，所述基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸，包括：
所述跟踪收敛状态为收敛时，将所述初始尺寸和尺寸调节步长进行作差处理，得到所述观察窗口的尺寸；
所述跟踪收敛状态为不收敛时，将所述初始尺寸和尺寸调节步长进行求和处理，得到所述观察窗口的尺寸；
还包括：
若所述当前层图像为顶层图像，则将所述当前层图像的观察窗口的尺寸设为最大尺寸。
2.根据权利要求1所述的方法，其特征在于，所述跟踪收敛状态为利用光流法在所述上一层图像中对所述特征点进行迭代跟踪，得到的跟踪收敛状态；
所述获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态的步骤包括：
确定用于在所述上一层图像中对所述特征点进行迭代跟踪的迭代次数；
获取所述上一层图像在所述迭代次数下的光流向量；
根据所述光流向量获取所述跟踪收敛状态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述光流向量获取所述跟踪收敛状态的步骤包括：
获取所述光流向量的模；
若所述光流向量的模大于或等于阈值，则判断所述跟踪收敛状态为不收敛；
若所述光流向量的模小于所述阈值，则判断所述跟踪收敛状态为收敛。
4.根据权利要求1所述的方法，其特征在于，所述将所述初始尺寸和尺寸调节步长进行求和处理，得到所述观察窗口的尺寸的步骤包括：
若求和处理得到的所述观察窗口的尺寸小于最大尺寸，则将所述观察窗口的尺寸设为所述最大尺寸。
5.根据权利要求1所述的方法，其特征在于，在所述获取预设的尺寸调节步长的步骤之前，还包括：
确定图像金字塔的金字塔层数；
获取所述观察窗口的最大尺寸和最小尺寸；
根据所述最大尺寸、最小尺寸和金字塔层数设置所述尺寸调节步长。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸的步骤之后，还包括：
利用所述观察窗口在所述当前层图像中对所述特征点进行跟踪。
7.一种基于图像金字塔的特征点跟踪方法，其特征在于，包括步骤：
分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；
基于如权利要求1至6任一项所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；
在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
8.根据权利要求7所述的方法，其特征在于，所述基于如权利要求1至6任一项所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸的步骤包括：
若当前层图像是顶层图像，则将当前层原图像和当前层目标图像的观察窗口尺寸设为最大尺寸；
若所述当前层图像不是所述顶层图像，则将上一层图像的观察窗口的尺寸设为所述当前层图像的观察窗口的初始尺寸；获取预设的尺寸调节步长；获取在所述上一层图像中对特征点进行跟踪得到的跟踪收敛状态；若所述跟踪收敛状态为收敛，则将所述初始尺寸和尺寸调节步长进行作差处理，得到所述当前层图像的观察窗口的尺寸；若所述跟踪收敛状态为不收敛，则将所述初始尺寸和尺寸调节步长进行求和处理，得到所述当前层图像的观察窗口的尺寸。
9.根据权利要求7所述的方法，其特征在于，所述在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪的步骤包括：
在当前层原图像中，利用所述相应尺寸的观察窗口计算所述特征点的第一灰度值和第一灰度梯度值，根据所述第一灰度梯度值计算所述特征点的海森矩阵；
在当前层目标图像中，利用所述相应尺寸的观察窗口计算初始匹配点的第二灰度值；所述初始匹配点为预设于所述当前层目标图像上的像素点；
将所述第一灰度值和第二灰度值进行作差，得到灰度偏差值；
根据所述灰度偏差值、第一灰度梯度值和海森矩阵计算当前层图像的光流向量；
基于所述光流向量和所述初始匹配点在所述当前层目标图像上的位置，获取匹配点在所述当前层目标图像上的位置；其中，所述匹配点为所述当前层目标图像上与所述特征点相匹配的像素点。
10.一种基于图像金字塔的特征点观察窗口设置装置，其特征在于，包括：
初始尺寸确定模块，用于若当前层图像为非顶层图像，则将上一层图像的观察窗口的尺寸作为所述当前层图像的观察窗口的初始尺寸；
收敛状态获取模块，用于获取在上一层图像中对特征点进行跟踪得到的跟踪收敛状态；
调节步长获取模块，用于获取预设的尺寸调节步长；
窗口尺寸设置模块，用于基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸；
其中，所述基于所述跟踪收敛状态，利用所述初始尺寸和尺寸调节步长设置所述观察窗口的尺寸，包括：
所述跟踪收敛状态为收敛时，将所述初始尺寸和尺寸调节步长进行作差处理，得到所述观察窗口的尺寸；
所述跟踪收敛状态为不收敛时，将所述初始尺寸和尺寸调节步长进行求和处理，得到所述观察窗口的尺寸；
其中，所述当前层图像为顶层图像时，所述当前层图像的观察窗口的尺寸为最大尺寸。
11.一种基于图像金字塔的特征点跟踪装置，其特征在于，包括：
建立模块，用于分别对原图像和目标图像建立图像金字塔；所述图像金字塔包括多层图像；
设置模块，用于基于如权利要求1至6任一项所述的基于图像金字塔的特征点观察窗口设置方法，设置各层原图像和各层目标图像的观察窗口的尺寸；
跟踪模块，用于在各层图像中，利用相应尺寸的观察窗口对特征点进行跟踪；其中，所述各层图像包括各层原图像和各层目标图像。
12.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
CN201910494926.3A 2019-06-10 2019-06-10 特征点观察窗口设置方法、跟踪方法、装置、设备和介质 Active CN110322477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494926.3A CN110322477B (zh) 2019-06-10 2019-06-10 特征点观察窗口设置方法、跟踪方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494926.3A CN110322477B (zh) 2019-06-10 2019-06-10 特征点观察窗口设置方法、跟踪方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110322477A CN110322477A (zh) 2019-10-11
CN110322477B true CN110322477B (zh) 2022-01-04

Family

ID=68120860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494926.3A Active CN110322477B (zh) 2019-06-10 2019-06-10 特征点观察窗口设置方法、跟踪方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110322477B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307936A (zh) * 2020-10-28 2021-02-02 江苏云从曦和人工智能有限公司 基于头肩检测的客流量分析方法、***及装置
CN112748682B (zh) * 2020-12-07 2021-12-14 珠海格力电器股份有限公司 信号采样处理方法、装置、设备和存储介质
CN112929567B (zh) * 2021-01-27 2023-04-28 咪咕音乐有限公司 拍摄位置的确定方法、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置
CN102609945A (zh) * 2012-02-09 2012-07-25 西北工业大学 可见光和热红外图像序列自动配准方法
CN103247058A (zh) * 2013-05-13 2013-08-14 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
CN103745458A (zh) * 2013-12-26 2014-04-23 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN104599286A (zh) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 一种基于光流的特征跟踪方法及装置
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
US9307251B2 (en) * 2009-08-19 2016-04-05 Sharp Laboratories Of America, Inc. Methods and systems for determining data-adaptive weights for motion estimation in a video sequence
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN106228578A (zh) * 2016-08-12 2016-12-14 上海盟云移软网络科技股份有限公司 一种改进光流法的动作捕捉算法
CN107111878A (zh) * 2016-06-07 2017-08-29 深圳市大疆创新科技有限公司 数据处理方法、装置及***
CN109345564A (zh) * 2018-07-30 2019-02-15 深圳市艾为智能有限公司 一种解决由于自相似特征产生光流场与运动场不符的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014421B2 (en) * 2011-09-28 2015-04-21 Qualcomm Incorporated Framework for reference-free drift-corrected planar tracking using Lucas-Kanade optical flow
EP2884461A1 (en) * 2013-12-16 2015-06-17 Thales Nederland B.V. A video enhancing device and method
US10499870B2 (en) * 2017-05-19 2019-12-10 The Chinese University Of Hong Kong Methods and apparatuses for quantifying vascular fluid motions from DSA
CN108846856B (zh) * 2018-06-12 2020-11-03 广州视源电子科技股份有限公司 图片特征点的跟踪方法和跟踪装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置
US9307251B2 (en) * 2009-08-19 2016-04-05 Sharp Laboratories Of America, Inc. Methods and systems for determining data-adaptive weights for motion estimation in a video sequence
CN102609945A (zh) * 2012-02-09 2012-07-25 西北工业大学 可见光和热红外图像序列自动配准方法
CN103247058A (zh) * 2013-05-13 2013-08-14 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
CN104599286A (zh) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 一种基于光流的特征跟踪方法及装置
CN103745458A (zh) * 2013-12-26 2014-04-23 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
CN107111878A (zh) * 2016-06-07 2017-08-29 深圳市大疆创新科技有限公司 数据处理方法、装置及***
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN106228578A (zh) * 2016-08-12 2016-12-14 上海盟云移软网络科技股份有限公司 一种改进光流法的动作捕捉算法
CN109345564A (zh) * 2018-07-30 2019-02-15 深圳市艾为智能有限公司 一种解决由于自相似特征产生光流场与运动场不符的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Adaptive Window Strategy for High-Speed and Robust KLT Feature Tracker;Nirmala Ramakrishnan 等;《PSIVT2015：Image and Video Technology》;20160204;第355-367页 *
Multi scale feature point tracking;Reza Serajeh 等;《2014 22nd Iranian Conference on Electrical Engineering (ICEE)》;20150105;第1079-1102页 *
Nirmala Ramakrishnan 等.Adaptive Window Strategy for High-Speed and Robust KLT Feature Tracker.《PSIVT2015：Image and Video Technology》.2016,第355-367页. *

Also Published As

Publication number Publication date
CN110322477A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110322477B (zh) 特征点观察窗口设置方法、跟踪方法、装置、设备和介质
CN109359602B (zh) 车道线检测方法和装置
CN108702512B (zh) 运动估计方法和装置
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
CN111598779B (zh) 图像超分辨率处理方法和装置、电子设备及存储介质
US20050265453A1 (en) Image processing apparatus and method, recording medium, and program
CN109711419A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110738707A (zh) 一种相机的畸变校正方法及装置、设备、存储介质
TW202103106A (zh) 一種圖像深度估計方法、電子設備、儲存介質
CN111754429B (zh) 运动矢量后处理方法和装置、电子设备及存储介质
CN112258418A (zh) 图像畸变校正方法、装置、电子设备和存储介质
EP2446612A1 (en) Real time video stabilization
CN109690611B (zh) 一种图像校正方法及装置
CN112017215B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112132769A (zh) 图像融合方法、装置以及计算机设备
WO2020173194A1 (zh) 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
CN109859142B (zh) 图像亮度的调节方法、装置、计算机设备和存储介质
CN112733773B (zh) 一种对象检测方法、装置、计算机设备和存储介质
Lee et al. Fast 3D video stabilization using ROI-based warping
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN108846856B (zh) 图片特征点的跟踪方法和跟踪装置
WO2021223127A1 (zh) 基于全局运动估计的时域滤波方法、装置及存储介质
CN110322478B (zh) 特征点观察窗口处理方法、跟踪方法、装置、设备和介质
CN113436256B (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant