CN107038710A - 一种以纸张为目标的视觉跟踪算法 - Google Patents

Abstract

本发明公开了一种以纸张为目标的视觉跟踪算法，在第一帧图像中进行正负样本的分类，计算所有正样本和负样本的特征值，并确定一个目标区域，在第二帧后的每帧图像在上一帧的目标区域周围用采样块进行取样，结合上一帧的正、负样本的特征值计算所有采样块的得分，取得分最高的采样块，对每一个采样块利用LSD直线检测算法，找到存在夹角[70°,110°]的且两条直线交点在该采样块内部，进一步选择两直线交点最靠近中心的一个采样块作为目标块，这样考虑到了纸张在移动过程中与摄像头存在拍摄角度的问题，使得最终得到的跟踪目标更加准确。

Description

一种以纸张为目标的视觉跟踪算法

技术领域

本发明涉及计算机视觉跟踪技术领域，具体涉及一种以纸张为目标的视觉跟踪算法。

背景技术

基于视觉的目标跟踪在视频监控、人机交互等领域的应用逐渐普及，这方面的研究也是计算机视觉领域的研究热点。目前这种视觉目标跟踪的绝大部分应用场景都具有非常丰富的纹理细节，如人脸、行人和车辆等，这些纹理细节为目标跟踪提供了足够多的特征信息，构成了目标跟踪的特征计算空间，尽管由于光照或姿态等导致特征跳变会影响跟踪的鲁棒性。但对于一些特别简单的场景，如办公桌面上纸张或卡片等目标，因为纹理信息极其匮乏，如何跟踪同样是一个值得深入研究的课题。

现有跟踪算法严重依赖于检测出的特征点，对于本专利来说，特征点数量严重不足，导致跟踪的鲁棒性不够。本算法通过强化纸张顶角的跟踪来获得整个纸张的跟踪，鲁棒性得到大大提高，而且在部分被遮挡的情况下仍然可以实现鲁棒跟踪。

发明内容

为了解决现有技术的不足，本发明提供一种，通过以下技术方案予以实现：

一种以纸张为目标的视觉跟踪算法，选取一张无纹理信息的矩形纸，记录纸张的大小，将这张纸放在无纹理信息的桌面上，将该纸张在桌面上进行随意移动和旋转,实时并连续获取纸张在桌面上进行随意移动和旋转过程的视频图像。

步骤1：获取视频图像的第一帧，选取该纸张的一个角，将标记窗口的中心与该角的顶点重合，且将该标记窗口的各边与纸张的各边平行，得到一个标记区域，记录该标记区域中心点的位置信息并将该矩形区域作为目标区域；选取该标记窗口对该角所在的区域进行任意标记得到多个样本图像，根据正样本和负样本的确定方法得到m个正样本和n个负样本；

所述的正样本和负样本的确定方法为：计算样本图像的中心点与目标区域的中心点的距离，将距离小于h的样本图像标记为正样本，将距离大于h且小于v的样本图像标记为负样本图像，所述的h取[4,8]，v取[20,25]；

步骤2：利用特征值的计算方法分别计算第一帧图像中的正样本和负样本的特征值；

所述的特征值计算方法为：

对于任意一个正样本或负样本，将该样本所在的当前帧图像转化成灰度图，对该灰度图进行梯度计算，得到该灰度图像的梯度模，构建该梯度模的积分图；

分别利用t个特征模板对该样本进行采样，得到t个采样区域，利用积分图计算出每个采样区域梯度模的像素和为利用公式(1)分别计算每个正样本和负样本的特征值，其中，t的取值范围为50-200；

其中，公式(1)中f表示特征值，k＝0.06，I_x为该帧图像在x轴方向上的变化率，I_y该帧图像在y轴方向上的变化率；

步骤3：计算视频图像第一帧中所有正样本的特征值在第i维度的期望和标准差计算所有负样本的特征值在第i维度的期望和标准差其中i取值为1‐50；

步骤4：获取视频图像的第二帧作为当前帧，根据采样块生成规则在当前帧图像上生成m个采样块，将每一个采样块作为一个正样本，利用特征值计算方法计算每一个采样块的特征值，其中m取[500,1000]；利用得分计算方法计算每一个采样块的得分，得到得分最高的十个采样块；

所述的采样块生成规则为：

对于当前帧图像，在上一帧确定的目标区域周围随机生成多个采样块，所述的采样块大小标记窗口大小相同，所述的采样块与上一帧确定的目标区域在该帧图像的像素空间上存在重叠；

所述的得分计算方法为：

利用公式(4)计算每一个采样块的值H(v)即为得分；

其中n表示特征值的维度数，n＝50；

其中p(v_i|y＝1)为该采样块为正样本的第i维度的条件概率，通过公式(2)计算；其中，f_i为该采样块在第i维度下的特征值，和为上一帧视频图中的所有正样本特征值在第i维度的期望和标准差；

p(v_i|y＝0)为该样本为负样本的第i维度的条件概率为p(v_i|y＝0)，通过公式(3)计算；其中f_i为该采样块在第i维度下的特征值，和为上一帧视频图像中的所有负样本特征值在第i维度的期望和标准差；

步骤5：对于步骤5获得的得分最高的十个采样块采用目标块确定方法找到需要的一个采样块作为目标块；将步骤4中得到每一个采样块当作一个样本图像，将得到的目标块当作一个目标区域，跟踪根据正样本和负样本的确定方法区分当前帧图像中的正样本和负样本，根据期望和标准差更新方法更新当前帧所有正样本和负样本的期望和标准差，得到更新后的正样本和负样本在第i维度的期望和标准差，其中i取值为1‐50之间任意整数；

所述的目标块的确定方法为：

对于得分最高的十个采样块中的每一个，分别利用LSD直线检测，得到每个采样块内部存在的直线，找到内部存在两条直线夹角在[70°,110°]且该两条直线交点在该采样块内部的采样块作为备选目标块，选择两直线交点最靠近中心的一个备选目标块作为目标块；

所述的期望和标准差更新方法为：

根据特征值计算方法得到正样本和负样本的特征值，分别计算正样本和负样本的特征值在第i维度的期望和标准差；根据公式(5)计算更新后的当前帧的正样本的特征值在第i维的期望和标准差，其中i取值为1‐50；

式(5)中表示上一帧正样本的特征值在第i维的期望，是当前帧正样本的特征值在第i维的期望，是更新后的当前帧正样本的特征值在第i维的期望；是上一帧正样本的特征值在第i维的标准差，是当前帧正样本的特征值在第i维的标准差，是更新后当前帧正样本的特征值在第i维的标准差，其中0<λ<1；

根据公式(6)更新当前帧的负样本的特征值在第i维的期望和标准差；

式(6)中表示上一帧负样本的特征值在第i维的期望，为当前帧负样本的特征值在第i维的期望，是更新后的当前帧负样本的特征值在第i维的期望，表示上一帧负样本的特征值在第i维的标准差，是当前帧负样本的特征值在第i维的标准差，是更新后的当前帧负样本的特征值在第i维的标准差。

步骤6：对于纸张的其余三个角，重复步骤1-5，找到纸张每个角对应的目标块，根据纸张四个顶角对应的目标块的中心在在当前帧图像中的位置，得到纸张的四个顶角位置，确定纸张在该帧图像中的位置；

步骤7：获取视频图像的接下来的每一帧作为当前帧，重复步骤4、5，得到该帧图像中的四个目标块，获取目标块的中心在当前帧图像中的位置作为纸张的四个顶角位置，根据四个顶角位置确定纸张在该帧图像中的位置；

其中重复步骤(4)时，生成采样块时，将上一帧确定的目标块当作采样块生产方法中的目标区域；

其中在重复步骤4时，公式(2)中的和为上一帧视频图中更新后的所有正样本特征值在第i维度的期望和标准差，公式(3)中的和为上一帧视频图像中更新后的所有负样本的特征值在第i维度的期望和标准差。

其中，所述的标记窗口的大小为32*32，所述的m取4000-6000之间任意整数，n取1000-2000之间任意整数。

其中，所述特征模版为矩形且长宽均小于标记窗口的随机边长，每一个特征模版随机生成一个随机因子W。

其中，所述的步骤5、6、7中，若某个顶角对应的得分最高的十个采样块中，利用LSD直线检测找到的每个采样块内部的直线，对于这十个采样块，均未找到内部存在两条直线夹角在[70°,110°]的采样块，或者虽找到两条直线夹角在[70°,110°]范围内但这两条直线交点不在该采样块内部时，则认为未找到目标块，此时根据平行四边形法则，利用其它3个顶角的目标块确定这一个角的目标块。

以上技术方案与现有技术相比具有以下技术效果：

1、本算法中，在采样块中选取十个得分最高的采样块，对每一个采样块利用LSD直线检测算法，找到存在夹角[70°,110°]的且两条直线交点在该采样块内部，进一步选择两直线交点最靠近中心的一个采样块作为目标块，这样考虑到了纸张在移动过程中与摄像头存在拍摄角度的问题，使得最终得到的跟踪目标更加准确。

2、本算法中，在计算采样块特征值时，是在灰度图像的梯度模空间进行，去掉了很多干扰信息，计算特征值时采用了角点响应增强了特征值的计算，如公式(1)，使得对角的跟踪得到强化，最终提高纸张顶角跟踪的鲁棒性。

3、本算法中，对于整张纸的跟踪是通过对纸张的4个顶角的跟踪来实现的。如果跟踪过程，某个顶角跟踪失败，即没有找到该顶角的对应的目标块，则直接利用平行四边形法则，直接利用其它三个顶角对应的目标块的中心位置来推算该顶角的位置。最终可以提高纸张在被部分遮挡的情况下跟踪的鲁棒性。

附图说明

图1是本算法的流程图；

图2是本算法在第一帧视频图像中标记的目标区域示意图；

图3是本算法在第一帧视频图像中标记的多个样本图像的示意图；

图4是本算法对采样块利用LSD直线检测可能得到的8种结果示意图；

图5是本算法在第三帧图像得到的十个得分最高的采样块进行LSD直线检测的结果；

图6是利用目标块确定的方法找到第三帧图像中某角对应的目标块内部直线示意图；

图7是利用本算法得到的纸张四个角的目标块的示意图；

图8是根据纸张三个角对应的目标块确定另一个目标块的示意图。

具体实施方式

本发明中在记录跟踪目标的位置信息时，对于每一帧视频图像，以视频图像的左上角为坐标原点，以水平方向为Y轴，以竖直方向为X轴建立坐标系，记录跟踪目标在该坐标系中的坐标，将该坐标作为跟踪目标的位置信息。

本发明选取一张的无纹理信息的矩形纸，将这张纸放在无纹理信息的桌面上，将该纸张在桌面上进行随意移动和旋转,实时并连续获取纸张在桌面上进行随意移动和旋转过程的视频图像；

获取视频图像的第一帧，选取的标记窗口的大小为32*32，如图2为第一帧视频图像中标记的跟踪目标示意图，h取8，v取20，得到4506个正样本和1364个负样本，随机生成50个特征模版。

本发明的得分计算方法中，在计算第二帧图像中采样块的得分时， 分别为第一帧中确定的正样本和负样本的期望和标准差，从第三帧及以后的每帧计算采样块得分时，采用的均为当前帧更新后的，期望和标准差可通过数据计算得到。

实施例1

本实施例中，选取一张空白的矩形纸张放在一个白色光滑桌面上(无纹理信息)，将该纸张在桌面上进行随意移动和旋转,实时并连续获取纸张在桌面上进行随意移动和旋转过程的视频图像。

获取视频图像的第一帧，选取该纸张的一个角，选取的标记窗口的大小为32*32，将标记窗口的中心与该角的顶点重合，且将该标记窗口的各边与纸张的各边平行，得到一个标记区域，记录该标记区域中心点的位置信息并将该矩形区域作为目标区域；如图2为第一帧视频图像中标记的目标区域示意图，在确定正样本和负样本时，h取8，v取20，如图3在第一帧视频图像中标记的多个样本图像的示意图，再根据正负样本的确定方法，确定样本图像中的正样本和负样本，根据正样本和负样本的确定方法得到5234个正样本和1456个负样本。

计算第一帧图像中正样本和负样本的特征值，本实施例中在计算样本图像时，先将当前帧图像转化成灰度图，对该灰度图进行梯度计算，得到该灰度图像的梯度模，进一步构建该梯度模的积分图，并构建了120个特征模版对每一个正样本或者负样本进行采样，在根据积分图计算每个样本图像的像素和，这样减少了算法遍历的次数，提高了计算效率。

同时在计算采样块特征值时，是在灰度图像的梯度模空间进行，去掉了很多干扰信息，计算特征值时采用了角点响应增强了特征值的计算，如公式(1)，使得对角的跟踪得到强化，最终提高纸张顶角跟踪的鲁棒性。

分别计算视频图像第一帧中所有正样本和负样本的特征值在1‐50维度下的每隔维度的期望和标准差；

获取视频图像的第二帧作为当前帧，在第一帧确定的目标区域的像素空间位置的周围随机生成800个采样块，生成的采样块的大小和标记窗口的大小相同，即采样块的大小和正样本、负样本同等大小，在第一帧时获取了目标区域的位置信息，在当前帧生成采样块时，必须保证生成的采样块和上帧中的目标区域在像素空间上存在重叠，这样生成的采样块就是潜在的正样本；同时为了进一步在这些采样块中寻找目标块；本实施例中通过计算所有采样块的得分，选择十个得分最高的采样块。

本实施例中提供了一种跟踪目标的确定方法,计算出十个得分最高的采样块，对于第三帧得到的得分最高的是个采样块的得分分别为，1227、1216、1210、1203、1199、1188、1183、1179、1168、1136，对每一个采样块进行LSD直线检测；因为即使得分最高的一个采样块也并一定不是我们需要的目标块，因为对每个采样块进行通过直线检测，得到结果可能有八种情况，如图4为本算法中利用LSD对采样块进行直线检测可能得到的8种结果示意图，由图可以看出，所有采样块内部的检测到的直线形式各不相同，共有八种情况。

本算法中，对第三帧图像得到的得分最高的十个采样块进行直线检测，结果如图5所示，可以看到这十个采样块内部存在的直线形式比较接近，图5中，第一个采样块两条直线夹角为82°，且直线的夹角靠近采样块的中心，第2、3、5、6、8、9和10采样块的夹角也在[70°,110°]范围内，但直线交点和第一个采样块相比偏离采样块的中心，第7个采样块夹角为125°，不在我们要求的范围内。

此时若找到内部存在两条直线夹角在[70°,110°]的且两条直线交点在该采样块内部，则将该采样块作为备选目标块，这样考虑到了纸张在移动过程中与摄像头存在拍摄角度的问题，所以纸张的顶角角度可能发生变化，经大量实验后发现取[70°,110°]时，得到的结果更加精确，使得最终得到的跟踪目标更加准确；在备选目标中选择两直线交点最靠近中心的一个作为目标块；利用此方法找到的目标块如图6所示，图6中的采样块内部的直线夹角为82°，且和其他九个采样块相比，该采样块内部的两条直线的交点靠近采样块的中心，则将该采样块作为目标块。

未找到内部存在两条直线夹角在[70°,110°]的或者虽找到两条直线但两条直线交点不在该采样块内部时，则认为未找到目标块。和现有的只取一个得分最高的采样块作为跟踪目标相比，本实施例提供的利用LSD直线检测对得分最高的十个采样块进行检测，能更加精确的确定跟踪目标，同时考虑到在纸张移动和旋转过程中，摄像头和纸张的拍摄角度问题，将通过直线检测获得的两条直线夹角在[70°,110°]更为合理，同时为了使得到的跟踪目标更加精确，本实施例中在备选特征块中选择两直线交点最靠近采样块中心的作为跟踪目标。

现有技术仅取得分最高的一个特征块就作为跟踪目标，这样得到的跟踪目标准确性不高，因为通过直线检测，即使得分最高的十个特征块内部的直线的形式也不同，所以本发明通过获得的两条直线夹角在[70°,110°]且交点最靠近采样块中心的作为目标块，重复上述方法，找到纸张每个角对应的目标块，如图7为根据本实施例找到的某帧图像中纸张四个角对应的目标块，根据将目标块的中心作为纸张该角的位置，通过四个目标块即可确定纸张在该帧图像中的位置。

本实施例中，在根据找到的几个顶角对应的目标块的中心位置来确定纸张的位置信息时，若有一个或者两个角的未找到对应的目标块时，可以根据已经确定的其他角的目标块，结合平行四边形法则和已知的纸张大小，来确定其余两个角对应的目标块，进而确定纸张在当前帧视频图像中的位置信息，这样的得到的每个角的目标块都是准确的，提高了算法的鲁棒性，如图8找了三个角对应的跟踪目标，根据这三个跟踪目标的位置信息，利用平行四边形法则，结合已知的纸张大小，即可确定纸张最后一个角的位置信息。

每帧视频图像大多都能找到符合要求的特征块作为跟踪目标，只有少数情况会出现某个角未找到对应的跟踪目标。

在第二帧后的每一帧图像，当目标块确定后，为了下一帧确定的目标块更加准确，需要对该帧的正负样本的期望和标准差进行更新，结合上一帧的期望和标准差对本帧的期望和标准差进行调和，这样在下一帧计算每个采样块的得分时，采用的上一帧的期望和标准差就是已经进行更新后的，使得得分的目标块更加准确，提高了跟踪算法的精确性。

Claims (4)

1.一种以纸张为目标的视觉跟踪算法，选取一张无纹理信息的矩形纸，记录纸张的大小，将这张纸放在无纹理信息的桌面上，将该纸张在桌面上进行随意移动和旋转,实时并连续获取纸张在桌面上进行随意移动和旋转过程的视频图像，其特征在于，

步骤1：获取视频图像的第一帧，选取该纸张的一个角，将标记窗口的中心与该角的顶点重合，且将该标记窗口的各边与纸张的各边平行，得到一个标记区域，记录该标记区域中心点的位置信息并将该矩形区域作为目标区域；选取该标记窗口对该角所在的区域进行任意标记得到多个样本图像，根据正样本和负样本的确定方法得到m个正样本和n个负样本；

所述的正样本和负样本的确定方法为：计算样本图像的中心点与目标区域的中心点的距离，将距离小于h的样本图像标记为正样本，将距离大于h且小于v的样本图像标记为负样本图像，所述的h取[4,8]，v取[20,25]；

步骤2：利用特征值的计算方法分别计算第一帧图像中的正样本和负样本的特征值；

所述的特征值计算方法为：

对于任意一个正样本或负样本，将该样本所在的当前帧图像转化成灰度图，对该灰度图进行梯度计算，得到该灰度图像的梯度模，构建该梯度模的积分图；

分别利用t个特征模板对该样本进行采样，得到t个采样区域，利用积分图计算出每个采样区域梯度模的像素和为利用公式(1)分别计算每个正样本和负样本的特征值，其中，t的取值范围为50-200；

其中，公式(1)中f表示特征值，k＝0.06，I_x为该帧图像在x轴方向上的变化率，I_y该帧图像在y轴方向上的变化率；

步骤3：计算视频图像第一帧中所有正样本的特征值在第i维度的期望和标准差计算所有负样本的特征值在第i维度的期望和标准差其中i取值为1‐50；

步骤4：获取视频图像的第二帧作为当前帧，根据采样块生成规则在当前帧图像上生成m个采样块，将每一个采样块作为一个正样本，利用特征值计算方法计算每一个采样块的特征值，其中m取[500,1000]；利用得分计算方法计算每一个采样块的得分，得到得分最高的十个采样块；

所述的采样块生成规则为：

对于当前帧图像，在上一帧确定的目标区域周围随机生成多个采样块，所述的采样块大小标记窗口大小相同，所述的采样块与上一帧确定的目标区域在该帧图像的像素空间上存在重叠；

所述的得分计算方法为：

利用公式(4)计算每一个采样块的值H(v)即为得分；

其中n表示特征值的维度数，n＝50；

其中p(v_i|y＝1)为该采样块为正样本的第i维度的条件概率，通过公式(2)计算；其中，f_i为该采样块在第i维度下的特征值，和为上一帧视频图中的所有正样本特征值在第i维度的期望和标准差；

p(v_i|y＝0)为该样本为负样本的第i维度的条件概率为p(v_i|y＝0)，通过公式(3)计算；其中f_i为该采样块在第i维度下的特征值，和为上一帧视频图像中的所有负样本特征值在第i维度的期望和标准差；

步骤5：对于步骤5获得的得分最高的十个采样块采用目标块确定方法找到需要的一个采样块作为目标块；将步骤4中得到每一个采样块当作一个样本图像，将得到的目标块当作一个目标区域，跟踪根据正样本和负样本的确定方法区分当前帧图像中的正样本和负样本，根据期望和标准差更新方法更新当前帧所有正样本和负样本的期望和标准差，得到更新后的正样本和负样本在第i维度的期望和标准差，其中i取值为1‐50之间任意整数；

所述的目标块的确定方法为：

对于得分最高的十个采样块中的每一个，分别利用LSD直线检测，得到每个采样块内部存在的直线，找到内部存在两条直线夹角在[70°,110°]且该两条直线交点在该采样块内部的采样块作为备选目标块，选择两直线交点最靠近中心的一个备选目标块作为目标块；

所述的期望和标准差更新方法为：

根据特征值计算方法得到正样本和负样本的特征值，分别计算正样本和负样本的特征值在第i维度的期望和标准差；根据公式(5)计算更新后的当前帧的正样本的特征值在第i维的期望和标准差，其中i取值为1‐50；

式(5)中表示上一帧正样本的特征值在第i维的期望，是当前帧正样本的特征值在第i维的期望，是更新后的当前帧正样本的特征值在第i维的期望；是上一帧正样本的特征值在第i维的标准差，是当前帧正样本的特征值在第i维的标准差，是更新后当前帧正样本的特征值在第i维的标准差，其中0<λ<1；

根据公式(6)更新当前帧的负样本的特征值在第i维的期望和标准差；

式(6)中表示上一帧负样本的特征值在第i维的期望，为当前帧负样本的特征值在第i维的期望，是更新后的当前帧负样本的特征值在第i维的期望，表示上一帧负样本的特征值在第i维的标准差，是当前帧负样本的特征值在第i维的标准差，是更新后的当前帧负样本的特征值在第i维的标准差。

步骤6：对于纸张的其余三个角，重复步骤1-5，找到纸张每个角对应的目标块，根据纸张四个顶角对应的目标块的中心在在当前帧图像中的位置，得到纸张的四个顶角位置，确定纸张在该帧图像中的位置；

步骤7：获取视频图像的接下来的每一帧作为当前帧，重复步骤4、5，得到该帧图像中的四个目标块，获取目标块的中心在当前帧图像中的位置作为纸张的四个顶角位置，根据四个顶角位置确定纸张在该帧图像中的位置；

其中重复步骤(4)时，生成采样块时，将上一帧确定的目标块当作采样块生产方法中的目标区域；

其中在重复步骤4时，公式(2)中的和为上一帧视频图中更新后的所有正样本特征值在第i维度的期望和标准差，公式(3)中的和为上一帧视频图像中更新后的所有负样本的特征值在第i维度的期望和标准差。

2.如权利要求1所述的以纸张为目标的视觉跟踪算法，其特征在于，所述的标记窗口的大小为32*32，所述的m取4000-6000之间任意整数，n取1000-2000之间任意整数。

3.如权利要求1所述的以纸张为目标的视觉跟踪算法，其特征在于，所述特征模版为矩形且长宽均小于标记窗口的随机边长，每一个特征模版随机生成一个随机因子W。

4.如权利要求1所述的以纸张为目标的视觉跟踪算法，其特征在于，所述的步骤5、6、7中，若某个顶角对应的得分最高的十个采样块中，利用LSD直线检测找到的每个采样块内部的直线，对于这十个采样块，均未找到内部存在两条直线夹角在[70°,110°]的采样块，或者虽找到两条直线夹角在[70°,110°]范围内但这两条直线交点不在该采样块内部时，则认为未找到目标块，此时根据平行四边形法则，利用其它3个顶角的目标块确定这一个角的目标块。