CN103700080B - 基于Skinner概率自动机的图像误匹配对去除方法 - Google Patents

Abstract

本发明公开了一种基于Skinner概率自动机的图像误匹配对去除方法，包括：进行图像匹配，得到匹配对；确定匹配结果的Skinner概率自动机数学模型；从匹配对中按照概率随机抽取匹配对，并且求出图像间的基础矩阵，然后将此基础矩阵带入所有匹配对，根据判决函数求出每个匹配对之间的极对距离和平均极对距离；根据权重调节函数、每个匹配对的极对距离和平均极对距离对每个匹配对进行权重的调整，并且计算每个匹配对的提取概率；判断当前基础矩阵是否具有最多正确匹配对数目，并结合三个判断条件控制算法迭代过程。本发明引入仿生学和认知心理学，在缺乏错匹配概率先验知识的情况下提出了三种迭代终止条件，提高了算法的自主性。

Description

基于Skinner概率自动机的图像误匹配对去除方法

技术领域

本发明涉及一种图像误匹配对去除算法，具体涉及一种基于Skinner概率自动机的图像误匹配对去除方法（Skinner-Ransac）。

技术背景

在航天器光学定位、无人机和机器人的自主光学导航中，图像匹配技术无疑发挥着核心作用，并且图像间的匹配效果直接影响着导航的精准度。但是，由于图像间存在几何变化、光照、抖震以及噪声等因素的影响，使得图像间的匹配结果中总是存在部分错误的匹配对，从而对导航与定位产生不利的影响。因此，如何在匹配结果中找到误匹配对就成为图像匹配过程中至关重要的一步。目前，针对图像间错误匹配对的去除问题主要有以下三类：线性法，迭代法和鲁棒法。线性法主要有七点法，八点法和改进八点法，该算法对于误匹配点敏感，在误匹配率低的情况下也容易造成误匹配点的漏去除。迭代算法的算法精度要高于线性法，但是时效性差。鲁棒算法是三类算法中效果最好的一类，近几年基于这一类算法的成果较多，如M估计法，LMeds和Ransac算法等。M估计法是通过将问题转化为带有加权的最小二乘法问题，用一个余差函数来代替余差平方，从而抑制大的余差对于估计结果的影响，但是该方法对于初始的依赖强，并且对于错误匹配对也敏感。LMeds是一种最小中值算法，该算法通过最小化余差平方中值来估计图像间的变换模型，它对于错匹配对具有较好的鲁棒性，但是当数据中的错匹配概率超过50%时该算法不再适用。Ransac算法与前两个相比在算法精度以及鲁棒性均具有明显的优势，当数据中错匹配的概率超过50%时，图像间的基础矩阵可以估计出来，所以该算法已被广泛的应用于机器视觉中。

Ransac算法的主要特点在于匹配对是通过算法被动选取进行图像间基础矩阵的计算，然后将估算的基础矩阵带入其它的匹配对中，通过计算极对距离并且与设定好的阈值作比较可以估算出该基础矩阵在这些匹配点的符合率，通过多次迭代后选取符合率最大的基础矩阵作为最终模型参数的选取。上述特点使该算法在错匹配率大的时候算法效率降低。由于算法的迭代次数是根据匹配对中的错匹配率事先确定，而在多数情况下匹配结果中的错匹配率是未知的，这又使算法的自主性变差。2012年，鲁珊，雷英杰等在《控制与决策》上发表的论文“基于概率抽样一致性的基础矩阵估计算法”中提出一种预检验方法，用于获得较优的基础矩阵集合，并且在经过迭代后得到只包含正确匹配对的样本子集，从而计算出图像间的最终基础矩阵。但是经过试验发现，当匹配结果中的错误概率较高时，无论是预检验过程，还是迭代过程均会有很高的计算量，并且迭代次数的设定也要根据匹配结果的错匹配率进行提前设定，所以不能达到理想的效果。2009年，刘坤，葛俊峰等在《计算机辅助设计与图形学学报》上发表的论文“概率引导的随机采样一致性算法”中，提出了利用每次抽样得到的基础矩阵回带入所有样本计算相应的极对距离，然后利用极对距离的倒数作为每个样本加权的方法。该方法相比以前方法提高了每个样本在抽取过程中的主动性，但是没有对每个样本的极对距离进行规范，导致某些错误基础矩阵在一些错误样本上的极对距离极小，这就使得加权值极大，从而造成最后得到错误的结果，并且该方法的迭代次数也是根据匹配结果中的错匹配率进行提前设定。申请号为200810063012.3的发明专利提出了一种基于抽样结果的样本加权方法，但是该方法对于迭代次数也是提前设定，不具备自主性。

综上所述，如何使算法具有高的运行效率，以及如何使算法在错匹配未知的条件下具备自主的迭代终止条件是当前需要解决的两个重要问题。

美国心理学教授Skinner在1938年提出了操作条件反射(operantconditioning，OC)的概念，并且通过鸽子实验提出了著名的Skinner操作条件反射理论，后来的学者利用这一理论发展出了基于Skinner条件反射的概率自动机。如果将Skinner概率自动机原理用于改进Ransac算法，使每个匹配对和每个动物个体一样对于每次选择根据之前的积累反馈具有不同的主动性，将会提高Ransac算法的运行效率；如果将样本的概率变化率应用到算法的迭代终止条件，则会提高算法的自主性。

发明内容

本发明的目的是提出一种基于Skinner概率自动机的图像误匹配对去除算法（Skinner-Ransac），对每个匹配对赋予权值，权值的变化随着抽样结果的反馈进行更新，从而使其抽样概率发生相应的变化。本发明利用仿生学和认知心理学对匹配点根据当前的抽样结果进行相应的主动性调整，从而逐渐提高正确匹配点的抽样概率。本发明在缺乏错匹配概率先验知识的情况下提出了三种迭代终止条件，从而提高了算法的自主性。

一种基于Skinner概率自动机的图像误匹配对去除方法，包括以下步骤：

步骤一，进行图像特征点或特征区域的检测与匹配，得到匹配对。

步骤二，根据图像匹配结果确定匹配结果的Skinner概率自动机数学模型Skinner-Ransac。

Ransac-Ransac为一个九元组，其表达式为：

Skinner-Ransac＝{M,W,P,T,O,Inmost,Mo,N,Stc}（1）

M＝{m_i|i＝1,2,…,n},m_i＝{（x_i,y_i）,(x′_i,y′_i)}（2）

W＝{w_i|i＝1,2,…,n}（3）

$P=\left\{p_i\right|i=\mathrm{1,2},\·\·\·,n\},p_i=w_i/\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_j---\left(4\right)$

$T:d_i=\left\{\begin{array}{cc}c,& d_i\&GreaterEqual;c\\ d_i,& d_i<c\end{array}\right.i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n---\left(5\right)$

$O\&RightArrow;w_i=\left\{\begin{array}{cc}{w}_i+\min (\mathrm{round}(\stackrel{\&OverBar;}{d}/d_i),H),& \stackrel{\&OverBar;}{d}/d_i>1\\ \max (w_i-\mathrm{1,1})& \stackrel{\&OverBar;}{d}/d_i\&le;1\end{array}\right.i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n---\left(6\right)$

其中，M是图像间匹配对集合，m_i为图像间的第i个匹配对，包括两个图像的对应点坐标，n为总的匹配对数目；W是每个匹配对的权值，初始值w_i＝1；P是每个匹配对的提取概率，p_i的初始概率为1/n；T是判断每个匹配对在当前基础矩阵下是否为正确匹配对的判决函数，并且对所有错误匹配对之间的极对距离d_i(i＝1,2,…,n)赋予一个常数c，这个常数一般在算法执行前可根据经验进行确定；O是针对匹配对权重的调节函数，根据的值对每个匹配对的权值进行调节，为平均极对距离，等于d_i的平均值，round为四舍五入函数，Η为最大奖励程度；Inmost是用来记录当前最多正确匹配对数量，初始值为0；Mo用来存储当前最多正确匹配对数所对应的基础矩阵，初始值为3×3全零矩阵；N是算法最大迭代次数，当迭代次数大于N时，将停止迭代，一般情况下将N设置为1000；Stc是概率自动机中的迭代停止条件，在本发明中利用匹配对抽取概率的变化情况作为算法的终止条件。

步骤三，从匹配对中按照概率随机抽取m个匹配对（m为7或8），并且按照m点法求出图像间的基础矩阵，然后将此基础矩阵带入所有匹配对，根据概率自动机中的判决函数T求出每个匹配对之间的极对距离d_i和平均极对距离

步骤四，根据概率自动机中的权重调节函数O、每个匹配对的极对距离d_i和平均极对距离对每个匹配对进行权重的调整，并且根据调整后的权重计算每个匹配对的提取概率P。

步骤五，判断当前基础矩阵是否具有最多正确匹配对数目，如果没有，转步骤三；如果有，且满足下面条件之一便结束算法迭代：

条件1：

$K\&GreaterEqual;\frac{\log (1-p)}{\log (1-{(\mathrm{Inmost}/n)}^m)}---\left(7\right)$

其中，p为置信概率，m为每次抽取匹配对的数目。

条件2：概率自动机中的迭代停止条件Stc，以匹配对抽取概率的变化情况作为算法的终止条件，其表达式为：

$\frac{\underset{j=K-L+1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|(p_i^j-p_i^{j-1})\right|}{L}\&le;\mathrm{\&lambda;}---\left(8\right)$

其中，K为当前迭代次数；L为步长，通常设定为10；λ为概率变化阈值，为一个很小的正数，一般设定λ为0.01。

条件3：当前迭代次数K等于自动机最大迭代次数N，其表达式为：

K＝N（9）

如果以上条件全不满足，则转步骤三。

步骤一中图像匹配可以根据实际情况选择不同的特征点提取与匹配算法，其目的在于尽可能形成精度高的匹配对，减少错误匹配对，提高误匹配对的去除准确率。

步骤三中的m点法针对三维环境中的视角变化，由于图像中点的坐标为二维，需要对每个匹配对的两个点坐标赋予Z轴方向的坐标，通常为常数1。

步骤四中的匹配对权重调整函数根据每个匹配对对当前基础矩阵的适应程度调整匹配对权重的大小，适应程度的大小由给出，适应程度好的给予相应的奖励，依据适应程度确定奖励大小；对于适应程度不好的给予相应的惩罚，惩罚程度同等。

步骤五中第一个终止条件中的置信概率p要在算法运行前进行人为设定，一般取p=0.98。

与现有技术相比，本发明的优点在于：

（1）本发明将Skinner概率自动机的思想应用于图像错匹配消除中，加入了心理学，仿生学的思想，使得每个样本如同一个动物个体一样对于每一次抽样结果的反馈作相应的主动性上的调整，经过数次迭代后正确的样本和错误的样本在主动性上产生了明显的分化，从而提高了算法的运行效率。

（2）本发明对正确匹配对概率未知问题提出了三种迭代终止条件，从而提高了算法的自主性。

附图说明

图1为本发明所涉及的方法流程图；

图2为本发明在不同错匹配率下所需平均迭代次数曲线图；

图3为Ransac算法在不同错匹配率下所需平均迭代次数曲线图；

图4为本发明和Ransac算法在不同错匹配率下的平均正确匹配对查全率比较图；

图5为本发明正确匹配对和错误匹配对得出的抽样概率与迭代次数的关系曲线；

图6为从不同视角对同一场景拍摄的两幅真实图像；

图7为采用Sift算法对图6的匹配效果图；

图8为本发明和Ransac算法在不同迭代次数下抽取到的正确匹配对数目对比图；

图9为采用本发明所述方法迭代300次后的正确匹配对提取效果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明所述方法的流程图如图1所示，主要包括以下几个步骤：

步骤一，进行图像特征点或特征区域的检测与匹配，得到匹配对。

图像匹配往往根据图像的实际情况选择合适的特征点提取与匹配算法，其目的在于能够在不同环境下有效地完成特征点提取与匹配，在误匹配对去除前，能够保证图像匹配结果具有高的正确匹配率。对于拍摄间隔较短的图像，由于图像间差异小，可以选择实时性突出的Harris角点提取与匹配算法。对于拍摄间隔长且图像间差异大的图像，可以选择针对仿射变换鲁棒性好的Sift、Surf、PCA-Surf和Mser等算法。

步骤二，根据图像匹配结果确定匹配结果的Skinner概率自动机数学模型Ransac-Ransac。

Ransac-Ransac为一个九元组，其表达式及各量的含义如式（1）～（7）。

步骤三，从匹配对中按照概率随机抽取7或8个匹配对，并且按照7点法或者8点法求出图像间的基础矩阵，然后将此基础矩阵带入所有匹配对，根据概率自动机中的判决函数T求出每个匹配对之间的极对距离d_i和平均极对距离7点法和8点法针对于三维环境中的视角变化，由于图像中点的坐标为二维，需要对每个匹配对的两个点坐标赋予Z轴方向的坐标，通常为常数1。

步骤四，根据概率自动机中的权重调节函数O和每个匹配对的极对距离d_i和平均极对距离对每匹配对进行权重的调整，并且根据调整后的权重计算每个匹配对的提取概率P。匹配对权重调整函数根据每个匹配对对当前基础矩阵的适应程度调整匹配对权重的大小，适应程度的大小由给出，适应程度好的给予相应的奖励，依据适应程度确定奖励大小；对于适应程度不好的给予相应的惩罚，惩罚程度同等。

步骤五，判断当前基础矩阵是否具有最多正确匹配对数目，如果没有则转向步骤二，如果满足式（7）～（9）三个条件之一便结束算法迭代。如果三个条件全不满足时，则算法转向步骤二。

下面给出本发明的两个应用实例。

实验1：对模拟数据进行检验

模拟数据是一组符合一定仿射变换的匹配对，对每个匹配对施加方差为三个像素的高斯噪声，匹配对数目为1000，错匹配对数量分别设置为800、700、600、500、400、300，即错匹配率分别为80%、70%、60%、50%、40%和30%。实验过程中，利用8点法计算基础矩阵，根据本发明提出的Skinner-Ransac模型，置信概率p设置为0.98，最大迭代次数为1000，每个匹配对的初始权重为1，初始概率为1/1000，错匹配的极对距离c设置为1.5个像素，每个匹配对的最大奖励幅度Η为30，惩罚幅度为恒定值1，终止条件Stc中的步长L设置为10，阈值λ设置为0.01。采用本发明的Skinner-Ransac算法和Ransac算法分别对不同的错误率数据进行20次试验，计算两种算法在不同错误率数据的平均次数和平均正确匹配对查全率，图2给出了本发明Skinner-Ransac算法的平均迭代次数结果，图3给出了Ransac算法的平均迭代次数结果，图4给出了平均正确匹配对查全率比较图，图5给出了本发明Skinner-Ransac算法在数据错匹配率为80%时正确匹配对与错误匹配对得出的抽样概率随着迭代次数增加的趋势图。实验结果表明，本发明的实时性和精确性均优于Ransac算法，并且在数据错误率大的情况下仍然具有理想的效果。

实验2：对真实图像进行检验

真实图像选自从不同视角对同一场景拍摄的两幅图像，如图6所示。特征点的提取与匹配利用Sift算法，得到的匹配图像如图7所示，该匹配结果共有1340对。实验过程中，利用8点法计算基础矩阵，根据本发明提出的Skinner-Ransac模型，置信概率p设置为0.98，最大迭代次数为1000，每个匹配对的初始权重为1，则每个匹配对的初始概率为1/n，n为匹配对数目，错匹配的极对距离c设置为1.5个像素，每个匹配对的最大奖励幅度Η为30，惩罚幅度为恒定值1，终止条件Stc中长L设置为10，阈值λ设置为0.01。图8给出了本发明的Skinner-Ransac算法和Ransac算法在不同迭代次数下抽取到的正确匹配对数目对比图。每种算法在不同的迭代次数下进行20次试验，然后取其平均值，图9给出了利用Skinner-Ransac算法迭代300次后的正确匹配对提取效果。实验结果表明，本发明与Ransac算法相比在有限的迭代次数下具有较高的准确率。

Claims (6)

1.一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于包括以下步骤：

步骤一，进行图像特征点或特征区域的检测与匹配，得到匹配对；

步骤二，根据图像匹配结果确定匹配结果的Skinner概率自动机数学模型，其表达式为：

Skinner-Ransac＝{M,W,P,T,O,Inmost,Mo,N,Stc}

M＝{m_i|i＝1,2,…,n},m_i＝{(x_i,y_i),(x′_i,y′_i)}

W＝{w_i|i＝1,2,…,n}

$P=\left\{p_i\right|i=1,2,...,n\},p_i=w_i/\underset{j=1}{\overset{n}{\&Sigma;}}{w}_j$

$T:d_i=\left\{\begin{array}{cc}c,& d_i\&GreaterEqual;c\\ d_i,& d_i<c\end{array}\right.,i=1,2,...,n$

$O\&RightArrow;w_i=\left\{\begin{array}{cc}{w}_i+min\left(round\right(\stackrel{\&OverBar;}{d}/d_i),H),& \stackrel{\&OverBar;}{d}/d_i>1\\ \max (w_i-1,1)& \stackrel{\&OverBar;}{d}/d_i\&le;1\end{array}\right.,i=1,2,...,n$

其中，M是图像间匹配对集合，m_i为图像间的第i个匹配对，包括两个图像的对应点坐标，n为总的匹配对数目；W是每个匹配对的权值，初始值w_i＝1；P是每个匹配对的提取概率，p_i的初始概率为1/n；T是判断每个匹配对在当前基础矩阵下是否为正确匹配对的判决函数，并且对所有错误匹配对之间的极对距离d_i赋予一个常数c，这个常数在算法执行前进行确定；O是针对匹配对权重的调节函数，根据的值对每个匹配对的权值进行调节，为平均极对距离，等于d_i的平均值，round为四舍五入函数，H为最大奖励程度；Inmost是用来记录当前最多正确匹配对数量，初始值为0；Mo用来存储当前最多正确匹配对数所对应的基础矩阵，初始值为3×3全零矩阵；N是算法最大迭代次数，当迭代次数大于N时，将停止迭代，将N设置为1000；Stc是概率自动机中的迭代停止条件，利用匹配对抽取概率的变化情况作为算法的终止条件；

步骤三，从匹配对中按照概率随机抽取m个匹配对，并且按照m点法求出图像间的基础矩阵，然后将此基础矩阵带入所有匹配对，根据概率自动机中的判决函数T求出每个匹配对之间的极对距离d_i和平均极对距离

步骤四，根据概率自动机中的权重调节函数O、每个匹配对的极对距离d_i和平均极对距离对每个匹配对进行权重的调整，并且根据调整后的权重计算每个匹配对的提取概率P；

步骤五，判断当前基础矩阵是否具有最多正确匹配对数目，如果没有，转步骤三；如果有，且满足下面条件之一便结束算法迭代：

条件1：

$K\&GreaterEqual;\frac{log(1-p)}{log(1-{\left(Inmost/n\right)}^m)}$

其中，p为置信概率，m为每次抽取匹配对的数目；

条件2：概率自动机中的迭代停止条件Stc，以匹配对抽取概率的变化情况作为算法的终止条件，其表达式为：

$\frac{\underset{j=K-L+1}{\overset{K}{\&Sigma;}}\underset{i=1}{\overset{n}{\&Sigma;}}\left|(p_i^j-p_i^{j-1})\right|}{L}\&le;\mathrm{\&lambda;}$

其中，K为当前迭代次数；L为步长设定为10；λ为概率变化阈值，为一个正数，设定λ为0.01；

条件3：当前迭代次数K等于自动机最大迭代次数N，其表达式为：

K＝N

如果以上条件全不满足，则转步骤三。

2.根据权利要求1所述的一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于，所述步骤一中图像匹配能够选择不同的特征点提取与匹配算法，其目的在于尽可能形成精度高的匹配对，减少错误匹配对，提高误匹配对的去除准确率。

3.根据权利要求1所述的一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于，所述步骤三中的m等于7或8。

4.根据权利要求1所述的一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于，所述步骤三中的m点法针对三维环境中的视角变化，由于图像中点的坐标为二维，需要对每个匹配对的两个点坐标赋予Z轴方向的坐标，其为常数1。

5.根据权利要求1所述的一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于，所述步骤四中的匹配对权重调整函数根据每个匹配对对当前基础矩阵的适应程度调整匹配对权重的大小，适应程度的大小由给出，适应程度好的给予相应的奖励，依据适应程度确定奖励大小；对于适应程度不好的给予相应的惩罚，惩罚程度同等。

6.根据权利要求1所述的一种基于Skinner概率自动机的图像误匹配对去除方法，其特征在于，所述步骤五中第一个终止条件中的置信概率p要在算法运行前进行人为设定，取p＝0.98。