CN101216941B - 剧烈光照变化下基于角点匹配与光流法的运动估计方法 - Google Patents

Abstract

一种计算机视觉技术领域的剧烈光照变化下基于角点匹配与光流法的运动估计方法，包括如下步骤：首先，对当前帧进行角点检测；其次，对当前帧与上一帧进行旋转不变的归一化角点匹配；然后，对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数，针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对前一帧进行运动补偿；再次，针对运动补偿之后的前一帧分块进行分块线性光照补偿；最后，利用已经进行线性光照补偿的图像与当前图像帧进行光流计算，对下一帧的全局运动矢量进行估计。本发明克服了由于剧烈的光照变化以及大幅度旋转等不良条件而导致的光流法失效的缺点，获得较高的准确率。

Description

剧烈光照变化下基于角点匹配与光流法的运动估计方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种剧烈光照变化下基于角点匹配与光流法的运动估计方法。

背景技术

光流法是分析序列图像中物体运动的重要方法，在视频图像分析方面有着极其重要的应用。当物体在摄像机前运动或者摄像机在环境中运动时，就会发现图像的改变，图像模式运动的速度分布就称为光流，图像上的每一点就形成光流场。但是由于相邻帧之间亮度恒常条件假设的存在，使得其应用范围大为缩减。光流场的计算的问题主要在于两个方面：1，由相对运动所引起的运动不连续性；2，剧烈的光照变化破坏光流恒定方程。当物体在具有与背景所不相同的速度进行运动时，所产生的运动的不连续性打破了Horn-Schunck(霍恩-舒恩克)光流法的基本假设。

经对现有的技术文献检索发现，Hulya Yalcin等在Background Estimationunder Rapid Gain Change in Thermal Imagery(快速增益变化下红外图像中的背景预测)，Second IEEE Workshop on Object Tracking and Classification inand Beyond the Visible Spectrum(OTCBVS’05)，June，2005(第二届可见谱与非可见谱物体跟踪与分类电气和电子工程师协会研讨会，2005年六月)，该文中针对红外图像中增益变化比较大的情况提出了一种用已经进行运动补偿后的前一帧I^s _t-1来对当前帧I_t利用表示式I_t＝m*I^s _t-1+b进行线性光照补偿的模型。但是这种模型相对比较粗糙，还存在如下不足：1、由于其图片为红外图片，所以暗含假设为如果光照增益强度发生变化，那么必定是各像素点增益都按照同样方式发生变化，并且变化均为线性。但是这显然与平常我们所用的视频监控摄像机进行由亮处到暗处的扫描时图像光照强度的非均匀变化情况不符；2、由于其用归一化的互相关函数来进行匹配，而互相关函数受旋转，以及仿射变换等因素影响比较大，因此不适合于运动情况比较剧烈以及运动为非线性的情况；3、对于运动物体上角点数目比较多的情况，此方法也并没有提出一种有效的解决方案来将物体上的运动矢量误判为全局运动矢量的情况消除。

发明内容

本发明针对上述现有技术中的不足，提出了一种剧烈光照变化下基于角点匹配与光流法的运动估计方法，使其既能够提高普通情况下光流法的精度，又能够在外界光照环境极其恶劣的情况下提供较为可靠的运动的估计，使其在下一步的视频编解码以及提取和稳像当中发挥用处。

本发明是通过以下技术方案来实现，本发明包括如下步骤：

①对当前帧进行角点检测；

②对当前帧与上一帧进行旋转不变的归一化角点匹配；

③对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数，针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对前一帧进行运动补偿；

④针对运动补偿之后的前一帧分块进行分块线性光照补偿；

⑤利用已经进行线性光照补偿的图像与当前图像帧进行光流计算，对下一帧的全局运动矢量进行估计。

所述的旋转不变，是指在经过基于图像中物体表面的梯度或者弧度的最大化的角点检测方法将图像帧当中的角点显式的表现出来以后，提取各个角点附近的特征以及角点域选择时均采用不依赖于旋转的方法，具体是采用对于旋转不敏感的拉普拉斯高斯滤波器来对图像进行滤波来选取特征，采用半径为r的一个圆来作为角点域，r为3像素至10像素。

所述的旋转不变的归一化角点匹配，是指选取旋转不变的特征以及角点域并对此特征进行匹配，得到每个角点区域内的总滤波图像像素值、平均滤波图像像素值、滤波之前的总图像像素值、平均图像像素值，以上四个值构成表征图像每个角点的四个特征，然后将此四个特征进行归一化处理，来消除由光照突然变化所引起的影响，形成每个象素点的归一化特征向量，利用此特征向量来寻找前一帧中在以本角点附近区域范围内的角点，选取与此角点特征向量平方误差最小的特征向量所代表的角点作为其匹配角点。

所述计算所分的每一个块内的仿射变换参数，是指将整幅图像帧分为十六个块，每次分别任意选取不相邻的三个块，再在每一个块中随机挑选一个匹配点对，再利用分块挑选的随机挑选一致性(RANSAC)方法，对于前景运动物体上角点数目占所有角点数目的比例达到1/3的图像帧进行图像仿射运动参数的计算，得到仿射坐标的六个参数，再由仿射坐标的六个参数，计算运动矢量。

所述的进行分块线性光照补偿，是指：将整幅图像划分为n个块，对于前一帧与已经进行运动补偿之后的当前帧的每一块都进行除灰度值为零的点外的对应块的逐点比较，并且由线性回归式

得到补偿系数，其中

代表补偿后的图像灰度值，I′代表补偿前像素灰度值，i代表第i个块，i＜n，(u，v)表示前一帧中某一点位置，m，b为线性补偿系数，由线性回归式，得到任意点(u，v)处的光强，对于连接缝处所出现的光照突变，采用邻域的局部平均法来消除。

所述的进行光流计算，是指：将经由分块线性光照补偿之后的前一帧图像与当前像素帧之间的运动假设为六参数模型的仿射运动，那么根据光流恒定方程和能量最小化原则，并且根据仿射运动模型计算出仿射运动的六参数a₁，a₂，a₃，a₄，b₁，b₂，u，v表示前一帧中某一点位置，u′，v′表示当前帧中此点位置。

与现有技术相比，本发明具有如下有益效果：本发明在进行光流法计算运动矢量之前先采用旋转不变的归一化的角点匹配方法来对图像进行光照补偿操作，克服了由于剧烈的光照变化以及大幅度旋转等不良条件而导致的光流法失效的缺点，获得较高的准确率；经实验验证，本发明较普通光流法而言能减少上面所述恶劣情况下误检率的10％以上至35％之间。并且本发明采用分块化的方法来进行运动补偿，克服了运动物体上角点数目比较多而导致运动矢量误判的情况，利用分块方法进行光照补偿使得本发明在普通摄像机在由亮到暗扫描时的检测具有鲁棒性。所以本发明结合了归一化角点匹配方法对噪声抑制良好具有良好稳健性和光流法运算精度高的优点，可以应用于视频监控、视频编解码、电子稳像、视频分割等技术领域。

附图说明

图1是在微弱光照变化以及小运动尺度的含有运行汽车的视频中的图片帧；

图2是与图1相隔5帧的在微弱光照变化以及小运动尺度的含有运行汽车的视频中的图片帧；

图3是大运动尺度含有起自行车行人的视频中的图片帧；

图4是与图3相隔5帧的大运动尺度含有起自行车行人的视频中的图片帧；

图5是强烈光照变化下含有行人的视频中的图片帧；

图6是与图5相隔5帧的强烈光照变化下含有行人的视频中的图片帧。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例所采用的***于拍摄的具有光照突变的多物体视频库。

本实施例包括如下具体步骤：

步骤一，采用Harris(哈里斯)角点检测法，对图像进行一阶或者二阶差分，计算每个像素点的平均平方梯度矩阵：

其中，

分别为图像帧I(x)与标准差为s^σ的高斯核微分进行卷积运算得到

后对u，v分别所求的-阶偏导，其中

为两维矢量，为卷积后图像上某点的像素值

在u，v方向上的混合偏导。

特征值

判断R是否大于设定的域值即可判定所选点是否是角点，本实施例中域值的设置为根据角点数目进行互锁的自动调整，也就是说，预先设置一个域值th＝40000，以及一个锁变量s＝0，p＝0使其中的角点数目为300～400，如果数目不在此范围内，则自动将域值进行开平方或乘3/2次方进行操作，但是对于域值开平方后所得的角点数目初次大于300，则令s＝1；域值乘3/2次方后所得的角点数目初次小于400，则令p＝1；迭代对此域值进行调整，直到角点数目为300～400或者无论进行开平方或乘3/2次方中的哪项操作都将使得s＝1，并且p＝1为止。其中，det为矩阵的行列式，tr是矩阵的直迹，k为一个经验值取值为0.04～0.06，本例中取k＝0.05。

步骤二，由于视频监控摄像头会根据目标作一定程度的旋转，并且在做仿射变换时，也会使得通常的匹配方法产生误判，因此采用旋转不变的归一化角点匹配。

首先，提取各个角点附近区域的特征，采用对每个角点周围选取半径为5像素的一个圆构成角点域来采用对于旋转不敏感的拉普拉斯高斯滤波器来对图像进行滤波，得到每个角点两个特征值，即总滤波图像像素值与平均滤波图像像素值，然后与滤波之前图像的角点域内的总图像像素值与平均图像像素值构成表征图像每个角点的四个特征；

其次，将此四个特征进行归一化处理，形成每个象素点的特征向量，利用这个特征向量来寻找前一帧中在以本角点附近20*20区域范围内的所有角点，选取与此角点特征向量平方误差最小的特征向量所代表的角点作为其匹配角点。

步骤三，由匹配好的角点进行分块仿射运动参数的计算，以及由此参数来对当前帧进行全局运动矢量的估计与补偿；

对于监控摄像头的全局性运动，只涉及到旋转和平移，因此采取仿射坐标六参数模型来进行对其进行模拟，用u，v来表示前一帧中某一点位置，用u′，v′来表示当前帧中此点位置，仿射关系如下：

$\left\{\begin{array}{c}{u}^{\′}=a_{1}u+a_{2}v+b_1\\ v^{\′}=a_{3}u+a_{4}v+b_2\end{array}\right.$

其中：a₁，a₂，a₃，a₄，b₁，b₂均为仿射运动参数。

从步骤二匹配成功的匹配角点中利用随机挑选一致性方法(RANSAC)方法选取点对来对此参数进行估计。

本实施例中使用RANSAC对数据进行多次随机取样来进行仿射参数的计算，随机挑选一致性方法是一种有效的具有鲁棒性的方法。

所述随机挑选一致性方法，具体如下：

第一步，根据随机挑选的次数的经验公式：

来估算所需迭代的次数，其中：z，w分别为所要求的结果正确的概率以及所取点为好点的概率，本实施例中需要结果正确的概率z＝0.99，w＝0.5也就是说有一半点是好点，根据上述公式可以得到K＝17，为确保正确性，本方法采用K＝30。

第二步，每次随机取出三个匹配角点对来确定仿射模型参数，即由公式：

$\left\{\begin{array}{c}{u_1}^{\′}=a_1{u}_1+a_2{v}_1+b_1\\ {v_1}^{\′}=a_3{u}_1+a_4{v}_1+b_2\\ {u_2}^{\′}=a_1{u}_2+a_2{v}_2+b_1\\ {v_2}^{\′}=a_3{u}_2+a_4{v}_2+b_2\\ {u_3}^{\′}=a_1{u}_3+a_2{v}_3+b_1\\ {v_3}^{\′}=a_3{u}_3+a_4{v}_3+b_2\end{array}\right.$

拟合出仿射参数a₁，a₂，a₃，a₄，b₁，b₂，

第三步，选取一个判断点是否拟合的比较好的阈值t，对于采样点以外的所有点用t来比较此点与利用第二步中拟合出来的由六个参数建立模型的计算点之间的距离，如果此距离小于t，那么确定点是很靠近的，将之确定为好点；如果大于t，那么将之确定为坏点，并且记录此点对的好点数目d。

这样连续迭代第二，三步K＝30次选取找出好点数目d最多的三个匹配的角点对，以此角点对作为计算模型参数的候选点进行仿射六参数a₁，a₂，a₃，a₄，b₁，b₂的计算。

利用RANSAC方法可以比较准确的搜索计算背景占有整个图像帧中绝大部分面积中的仿射参数，然而对于前景对象比较大的图像帧来讲，由于前景运动物体以及背景上面角点数目占所有角点数目的比例非常多，在这种情况下，显然这样的随机挑选完全有可能将前景信息当作背景信息，从而导致错误的计算结果，因此，本实施例采取一种分块挑选的方法，也就是说将整幅图像分为十六个块，每次分别任意选取不相邻的三个块，再在每一个块中随机挑选一个匹配点队，这样就大大降低了所有选取的点均选取在同一个运动物体上的概率，同时也降低误算的概率。

对于计算出来的仿射坐标的六个参数，采用来计算出运动矢量，由此来对当前帧进行全局运动补偿，使当前帧中的所有点稳定到前一帧的位置，并将新出现的点灰度值置零。

步骤四，对进行运动补偿之后的前一帧与当前帧划块进行分块线性光照补偿；

本实施例中假设光源为单一的点光源，对于任意选取的相邻帧的标准参考小块之间由于相机与光源之间相对变化所产生的光强的突变可利用一个线性函数来表示，但是对于图像帧上其余的与此标准参考小块之间距离比较远的参考点之间由于距离不同而导致的光强变化用此模型就表示的不确切，本步骤仍然采取分块求解的方法。

所述分块线性光照补偿方法，具体为：将整幅图像划分为九个块，对于前一帧与运动补偿之后的当前帧的每一块都进行除灰度值为零的点外的对应块的逐点比较，并且由线性回归式

得到补偿系数，其中代表补偿后的图像灰度值，I′代表补偿前像素灰度值，i代表第i个块，由线性回归式，得到图像帧上任意一点(u，v)处的光强，但在图像块连接处会可能会出现亮度差，因此，对于连接缝处采用四点邻域的局部平均法消除此现象，这样可以得到亮度比较平滑的效果。

步骤五，利用消除光照影响后的前一帧图像与当前图像帧，利用光流法估计下一帧的全局运动矢量具体为：将这种全局性的运动假设为六参数模型的仿射运动，根据光流恒定方程

其中，Iu，Iv，It分别为光强对于尺度空间上u，v方向的偏导，和对于时间的偏导，x，y为运动矢量，再依据能量最小化原则

其中为运动矢量

的向量表示，并且根据仿射运动模型

变换为其矩阵形式：

其中，

计算出仿射运动的六参数为

$\stackrel{\→}{a}={\left(\underset{\mathrm{allpixels}}{\mathrm{\Σ}}{\stackrel{\→}{X}}^T\mathrm{\ΔI}{\mathrm{\ΔI}}^T\stackrel{\→}{X}\right)}^{-1}(-\underset{\mathrm{allpixels}}{\mathrm{\Σ}}\stackrel{\→}{X}\mathrm{\Δ}{\mathrm{II}}_t).$

这样，由此六参数可以由式

以及

来得到运动向量，即为所求的运动估计向量。

与现有技术相比，本实施的有益效果在于：本实施例在结合角点匹配方法与光流方法基础之上所提出的运动向量估计方法，通过大量试验证明，本实施例方法较之以往方法能较好的进行运动的向量的估计。

图1，2是普通视频中相隔5帧的两张图片帧，图1(a)、图2(a)是当前图像帧，图1(b)、图2(b)为在由本实施例方法所得的运动向量补偿给前一帧基础之上进行的相邻帧差分，由此来进行准确性比较，由图1，2所示可以看出，由本实施例方法所得到的结果可以在微弱光照变化以及小运动尺度的情况下准确的将运行的汽车检测出来。

图3，4是大运动尺度视频中相隔5帧的两张图片，图3(a)、图4(a)是当前图像帧，图3(b)、图4(b)为在由本实施例方法所得的运动向量补偿给前一帧基础之上进行的相邻帧差分，由此来进行准确性比较，由附图3，4所示可以看出，由本实施例方法所得到的结果可以在微弱光照变化以及大运动尺度的情况下准确的将其自行车的人检测出来。

图5，6是强烈光照变化视频中相隔5帧的两张图片，图5(a)、图6(a)是当前图像帧，图5(b)、图6(b)为在由本实施例方法所得的运动向量补偿给前一帧基础之上进行的相邻帧差分，由此来进行准确性比较，由附图5，6所示可以看出，由本实施例方法所得到的结果可以在强烈光照变化以及大运动尺度的情况下准确的将行人检测出来，并且其中的误检比较少。

Claims (4)

1.一种剧烈光照变化下基于角点匹配与光流法的运动估计方法，其特征在于，包括如下步骤：

①对当前帧进行角点检测；

②对当前帧与上一帧进行旋转不变的归一化角点匹配：选取旋转不变的特征以及角点域并对此特征进行匹配，得到每个角点区域内的总滤波图像像素值、平均滤波图像像素值、滤波之前的总图像像素值、平均图像像素值，以上四个值构成表征图像每个角点的四个特征，然后将此四个特征进行归一化处理，来消除由光照突然变化所引起的影响，形成每个象素点的归一化特征向量，利用此特征向量来寻找前一帧中在以本角点附近区域范围内的角点，选取与此角点特征向量平方误差最小的特征向量所代表的角点作为其匹配角点；

③对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数，针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对当前帧进行运动补偿；

所述计算所分的每一个块内的仿射变换参数，是指将整幅图像帧分为十六个块，每次分别任意选取不相邻的三个块，在每一个块中随机挑选一个匹配点对，再利用分块挑选的随机挑选一致性方法，对于前景运动物体上角点数目占所有角点数目的比例达到1/3的图像帧进行图像仿射运动参数的计算，得到仿射坐标的六个参数，再由仿射坐标的六个参数，计算运动矢量；

④针对运动补偿之后的前一帧与当前帧分块进行分块线性光照补偿；

⑤利用已经进行线性光照补偿的前一图像帧与当前图像帧进行光流计算，对下一帧的全局运动矢量进行估计。

2.根据权利要求1所述的剧烈光照变化下基于角点匹配与光流法的运动估计方法，其特征是，所述的旋转不变，是指在经过基于图像中物体表面的梯度或者弧度的最大化的角点检测方法将图像帧当中的角点显式的表现出来以后，采用拉普拉斯高斯滤波器来对图像进行滤波来选取特征，采用半径为r的一个圆来作为角点域，r为3像素至10像素。

3.根据权利要求1所述的剧烈光照变化下基于角点匹配与光流法的运动估计方法，其特征是，所述的进行分块线性光照补偿，是指：将整幅图像划分为n个块，对于前一帧与已经进行运动补偿之后的当前帧的每一块都进行除灰度值为零的点外的对应块的逐点比较，并且由线性回归式

得到补偿系数，其中

代表补偿后的图像灰度值，I′代表补偿前像素灰度值，i代表第i个块，i＜n，(u，v)表示前一帧中某一点位置，m，b为线性补偿系数，由线性回归式，得到任意点(u，v)处的光强，对于连接缝处所出现的光照突变，采用邻域的局部平均法来消除。

4.根据权利要求1所述的剧烈光照变化下基于角点匹配与光流法的运动估计方法，所述的进行光流计算，是指：将经由分块线性光照补偿之后的前一帧图像与当前像素帧之间的运动假设为六参数模型的仿射运动，根据光流恒定方程和能量最小化原则，并且根据仿射运动模型

计算出仿射运动的六参数a₁，a₂，a₃，a₄，b₁，b₂，u，v表示前一帧中某一点位置，u′，v′表示当前帧中此点位置。

Images