CN101826206B - 一种相机自定标的方法 - Google Patents

Abstract

本发明提供了一种相机自定标的方法，包括：步骤A1，针对同一场景多角度拍摄的多幅图像，通过基于仿射变化的区域扩张算法提取二维准密集点，并跟踪得到二维准密集点在邻域图像上的二维匹配点；步骤A2，利用二维准密集点和及其在邻域图像上的二维匹配点，通过SFM算法获得准密集点的三维位置，恢复得到相机参数和三维场景结构；步骤A3，进行三维场景结构和相机参数的迭代优化；步骤A4，结合相机的参数选取每幅图像对应的邻域图像集合；步骤A5，对准密集点及相应匹配点进行重采样；返回步骤A2，多次循环执行步骤A2至步骤A5；其中，最后一次执行到步骤A3结束。通过本发明，提高了定标结果的精确性和鲁棒性。

Description

一种相机自定标的方法

技术领域

本发明涉及数字图像处理和计算机视觉技术领域，特别是涉及一种相机自定标的方法。 

背景技术

相机定标是计算机视觉领域中的重要研究内容，它是从二维图像提取三维空间信息必不可少的步骤，被广泛应用于三维重建、导航、视觉监控等领域。在小孔相机模型中，求解投影矩阵P的过程被称为相机定标(Cameracalibration)；相应地，求解内参数(Intrinsic parameter)矩阵K的过程被称为内定标，而求解外参数(Extrinsic parameter)R和t的过程被称为外定标。 

广义上的相机定标分为三种：传统定标方法、基于主动视觉的定标方法和自定标方法。传统定标方法需要使用经过精密加工的定标块，通过建立定标块上三维坐标已知的点与其图像点间的对应，来计算相机的内外参数，该方法的定标过程费时费力，不适用于在线定标和不可能使用定标块的场合。基于主动视觉的定标方法需要控制相机做某些特殊运动，利用这种运动的特殊性可以线性计算出内参数，该方法不能适用于相机运动未知或无法控制的场合。以上两种定标方法均利用到场景或相机运动的信息，不适用于场景任意、相机运动未知的最一般的情形，因此不能满足大多实际应用的要求。 

1992年，Maybank和Faugeras等人首先提出了自定标(Self-calibration)的概念[O.D.Faugeras，Q.T.Luong，and S.J.Maybank.Camera self-calibration：Theory and experiments.In European Conference on Computer Vision，pp.321-334，1992.]，使得在场景未知和摄像机任意运动的一般情形下定标成为可能。就相机自标定的研究而言，通过十多年的不懈努力，理论上的问题已基本解决，但是在现有的自定标算法实现过程中，经常会碰到不同的场景造成的算法在数值上的不稳定现象；即使成功定标，但是精度方面也很难与传统定标算法相媲美。 

影响自定标算法的因素很多，其中两个主要的因素即图像之间匹配点的 精确提取和跟踪，以及对定标结果的更合理优化算法。 

第一，由于自定标方法完全是根据图像中跟踪的匹配点(也称对应点)来估计相机的内外参数，因此匹配点的提取和跟踪算法的优劣是影响定标精度和鲁棒性的重要因素之一。但是输入的图像常常存在：拍摄路径相对比较自由、光照的变化，遮挡现象，拍摄的场景纹理单一或存在重复纹理等，这些都会对匹配点的精确提取和跟踪带来很大的困难。大部分定标算法基于稀疏的特征点，2005年Lhuillier和Quan提出了准密集点的概念[M.Lhuillierand L.Quan，A quasi-dense approach to surface reconstruction from uncalibratedimages，IEEE Tran.PAMI，Vol.27，No.3，pp.418-433，2005.]，他们基于特征匹配点，通过扩张、采样过程获得较密集的对应点，该方法折衷了稀疏点和稠密点的不足，并且相对于稀疏点来说，准密集点对基于未定标图像的三维重建具有更重要意义。但是在该种扩张算法中采用较贪婪的匹配策略，没有更严格的过滤机制，因此势必存在大量的误匹配，进而影响准密集点的精度。另外，其中采用的种子点扩张算法也不太适用于宽基线情形，因此在实际应用中仍存在不足。 

第二，集束优化(Bundle adjustment)算法是在定标过程和三维建模领域广泛应用的一种优化算法，它通过最小化重投影误差作为目标函数优化相机参数和场景的结构，但是当输入图像的个数和3D点个数较多时，它的开销变得非常大，甚至优化失败。当然它也可以将相机参数和场景的结构分别优化，但是采用相同的优化策略，都是将最小化重投影误差作为目标函数。 

由上面的分析可以看出，在自定标中，标定算法的鲁棒性和精度是在实际应用过程中存在的两个比较突出的问题。 

发明内容

本发明所要解决的技术问题是提供一种相机自定标的方法，提高定标的精确性和鲁棒性。 

为了解决上述问题，本发明公开了一种相机自定标的方法，包括： 

步骤A1，针对同一场景多角度拍摄的多幅图像，通过基于仿射变化的区域扩张算法并进行重采样和过滤提取二维准密集点，并跟踪得到二维准密集点在邻域图像上的二维匹配点；

其中过滤具体包括：一次过滤，剔除匹配相关系数小于预置系数阈值的采样点及其匹配点； 

二次过滤，剔除采样点和匹配点间对称对极距离大于预置距离阈值的采样点及其匹配点； 

三次过滤，剔除采样点在邻域图像上对应的匹配点的个数小于预置个数阈值的采样点及其匹配点； 

则过滤后剩下的采样点为二维准密集点，过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点； 

步骤A2，利用二维准密集点和及其在邻域图像上的二维匹配点，通过SFM算法获得准密集点的三维位置，恢复得到相机参数和三维场景结构； 

步骤A3，进行三维场景结构和相机参数的迭代优化； 

步骤A4，结合相机的参数选取每幅图像对应的邻域图像集合；其中，保证参考图像和邻域图像集合的每个图像之间的基线的同时，保证邻域图像集合的两两图像之间的基线； 

步骤A5，利用重投影误差作为权重，按预置准则计算准密集点对应的权值，当对应的权值大于零时，保留该准密集点及相应匹配点的策略对二准密集点及相应匹配点进行重采样，并用于引导SFM算法的前两个步骤； 

返回步骤A2，多次循环执行步骤A2至步骤A5；其中，最后一次执行到步骤A3结束。 

具体的，所述步骤A1包括： 

进行二维特征点的提取，并根据所述特征点得到两两图像间的二维匹配点； 

将匹配相关系数大于预置系数阈值的二维匹配点作为种子点，并将种子点按照匹配相关系数由大到小排列成种子点队列； 

针对每一个种子点进行区域扩张，并根据扩张点的匹配相关系数的大小将其***种子点队列，作为新的种子点作进一步的扩张，直到所有种子点的 区域扩张完成； 

通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点，及其在邻域图像上二维匹配点。 

优选的， 

采用仿射不变特征检测算子进行二维特征点的提取； 

利用SFIT特征描述算子描述特征并获得二维特征点对应的二维匹配点。 

优选的，所述区域扩张满足的条件为：种子点的四邻域点初始的仿射参数与该种子点的相同，且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。 

优选的，对所述扩张后得到的点进行重采样具体为： 

将每个图像划分成多个β×β的像素单元，取每个像素单元的中心点作为新的采样点； 

通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。 

进一步，所述步骤A2中具体包括： 

选择两个图像作为初始的基准图像，对两幅图像上的准密集点进行三维重建； 

将其余图像逐个引入，根据已重建的三维准密集点估计引入图像对应的相机参数； 

利用得到的相机参数重建图像上尚未重建的点，不断的更新相机参数和三维场景结构；其中引入一次图像进行一次优化。 

优选的，所述步骤A3中三维场景结构和相机参数的迭代优化具体为： 

相机参数不变，优化三维场景结构；三维场景结构不变，优化相机参数； 

其中，所述三维场景结构的优化具体为：利用颜色一致性策略对准密集点的三维位置，以及在该位置的切平面的法向量同时优化； 

所述相机参数通过全局目标函数进行优化。 

优选的，所述步骤A4中每幅图像对应的邻域图像集合的选取策略为： 

采样点对应的匹配点的个数大于预置个数阈值； 

以及，三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。 

与现有技术相比，本发明具有以下优点： 

首先，本发明将基于仿射变换的优化模型引入区域扩张过程，优化新扩张的匹配点的位置，该算法适用于宽基线情况下的稠密匹配，对于较密集点的精确定位具有重要的意义。另外，通过对扩张后得到的点进行重采样和过滤剔除误匹配点，为定标提供更精确的候选匹配点。 

其次，本发明通过两次迭代优化方案提高了现有的自定标算法的精度和鲁棒性。其中，首次迭代的局部颜色一致性和全局最优性分别用于场景的结构和相机参数的优化，并且两个过程交替执行。首次迭代优化后，通过邻域视图的选取策略和准密集对应采样策略，为第二次的迭代提供更可靠地初始条件。 

总之，本发明的方法较之原有的自定标算法，其结果更加精确，鲁棒性高，有效地降低了光照突变、纹理重复或单一等因素的影响。 

附图说明

图1是本发明一种相机自定标的方法实施例的流程图； 

图2是本发明实施例中恢复获得相机参数和三维场景结构的示意图。 

图3是本发明实施例中三维准密集点及其在多幅图像上对应二维匹配点的示意图； 

图4(a)是本发明实施例中两幅图像的初始特征点的示意图； 

图4(b)是本发明实施例中两幅图像的初始匹配点的示意图； 

图4(c)是本发明实施例中两幅图像经过扩张、采样并过滤后的匹配点的示意图； 

图5是本发明实施例中一个三维点迭代优化前后在不同图像上的重投影点与原始跟踪的匹配点的比较示意图； 

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

参照图1，示出了本发明一种相机自定标的方法实施例的流程图，包括： 

步骤101，针对同一场景多角度拍摄的多幅图像，通过基于仿射变化的区域扩张算法提取二维准密集点，并跟踪得到二维准密集点在邻域图像上的二维匹配点； 

具体的，所述步骤101包括如下子步骤： 

子步骤1011，进行二维特征点的提取，并根据所述特征点得到两两图像间的二维匹配点； 

首先，对同一场景在不同角度进行多幅图像的采集，采用Hessian仿射不变特征检测算子在各个图像上提取二维特征点。进一步，利用SIFT特征描述算子对特征进行描述，针对每一个特征点，在两两图像上获得相应成对的匹配点，得到初始的匹配特征。即，通过此步骤获得每幅图像上的特征点及其在其他图像上与之相对应的匹配点，此时的特征点和匹配点均为二维点。 

子步骤1012，将匹配相关系数大于预置系数阈值的二维匹配点作为种子点，并将种子点按照匹配相关系数由大到小排列成种子点队列； 

在本发明实施例中，利用较鲁棒的自适应RANSAC算法，由初始特征的匹配点估计基本矩阵F。需要说明的是，对极几何是两幅视图之间内在的射影几何，它的代数表示即F，它是通过两视图间的匹配点估计得到，在估计过程中，由于采用的是鲁棒性的估计算法，则可以同时剔除大量误匹配。RANSAC算法是通过N组样本数据估计F，然后根据估计的F通过Sampson距离测量一对匹配点满足对极几何的接近程度来区分外点(即误匹配点)和内点(即剔除后剩余的匹配点)，在一定的采样次数内，选择具有最多内点的那个F，并由得到的所有内点重新估计F。实际中人为的设置抽样次数在很多情况下不太适合，因此本发明实施例中利用在抽样过程中自动调整抽样次数的自适应RANSAC方法。 

由此，大量误匹配点同时被剔除，所有剔除后剩余的匹配点的集合将作为种子点用于下一步的区域扩张，并且每个种子点包括对应匹配点的位置 {x，x′}。需要说明的是，此处的x仅是个符号，不是数学意义上的坐标。此外，还包括对应仿射区域的相关仿射参数{A₀，d₀，u₀，δ₀，S_zncc}。其中，角标“0”表示初始的尚未扩张的点(即种子点)的参数。 

为了理解上述参数的意义，先看下面模型： 

μI₂(Ax+d)+δ＝I₁(x) 

其中，I₁(x)表示在点x处的像素亮度值。 

首先，引入基线的概念。基线一般是伴随立体像对提出的，它是指两个相机摄影中心的连线。通俗的讲，窄基线就是两个相机的视差比较小，获得的立体像对中的两幅图像看起来相差不大；宽基线就是指两个相机的视差比较大，获得的立体像对中的两幅图像看起来相差很大。所以说宽基线立体像对匹配比窄基线立体像对匹配困难，定标的精确性要差。 

由于宽基线情况下，图像间存在光照变化，为了降低光照变化对匹配精度的影响，故图像间的对应点采用以上模型描述。该模型中，A表示对应邻域窗口间的仿射变换矩阵，μ表示对应邻域窗口间亮度变化的比例因子，δ为局部恒定的加性噪声，d是为了精确定位而引入的较小的偏移量。S_zncc则是对应匹配点的零均值归一化相关系数，其作为匹配相关系数。所有种子点按照S_zncc的大小由高到低排列成种子点队列Q，如果S_zncc小于某个预置系数阈值z，则从该队列剔除，并且相关性高的匹配点优先用于后面的扩张过程。在本发明的一个优选实施例中，预置系数阈值z取值为0.8。 

子步骤1013，针对每一个种子点进行区域扩张，并根据扩张点的匹配相关系数的大小将其***种子点队列，作为新的种子点作进一步的扩张，直到所有种子点的区域扩张完成； 

为了使扩张算法适用于宽基线的情形，并且为了获得更精确的亚像素级的密集匹配点，我们将上述步骤中的仿射变换结果引入区域扩张过程。 

优选的，所述区域扩张满足的条件为：种子点的四邻域点初始的仿射参数与该种子点的相同，且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。 

在扩张过程中，每个种子点的四邻域(即该种子点的上、下、左、右四 个点)初始参数和种子点相同，然后对通过对下列式子取最小值获得扩张点的最佳参数值： 

$\mathrm{\ϵ}=\underset{x\∈W}{\mathrm{\Σ}}{[({\mathrm{\μI}}_2(\mathrm{Ax}+d)+\mathrm{\δ})-I_1\left(x\right)]}^2.$

其中，W为待扩张点的邻域窗口。 

如果在指定的预置迭代次数内，ε最小时且相应仿射参数对应的S_zncc大于预置系数阈值z，则认为扩张成功，并且根据对应的S_zncc的大小将这些新扩张得到的亚像素级的匹配点***种子点队列中，作为新的种子点用于下一步的扩张。多次扩张直到每一个种子点都扩张完成。 

子步骤1014，通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点，及其在邻域图像上二维匹配点。 

区域扩张后，通过重采样策略以及过滤策略实现准密集点的确定和准密集点在多幅图像上的跟踪。 

优选的，对所述扩张后得到的点进行重采样具体为： 

将每个图像划分成多个β×β的像素单元，取每个像素单元的中心点作为新的采样点；通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。 

即，将每个图像作为参考图像R划分成多个β×β(一般取8×8)的像素单元，取每个单元的中心点作为新的采样点x_i；进一步，在参考图像R的邻域图像集合V_R中的每个图像上的匹配点，可以通过H_jx_i获得。其中，H_j是通过对像素单元(即采样单元)内对应的较密集的亚像素级匹配点采用鲁棒的自适应RANSAC算法拟合得到。每个参考图像对应的初始的邻域图像集合V_R通过设定两个图像间匹配点的个数的阈值确定。 

优选的，对所述扩张后得到的点进行过滤具体为： 

一次过滤，剔除匹配相关系数小于预置系数阈值的采样点及其匹配点； 

即计算每个新的采样点和匹配点间的零均值归一化相关系数S_zncc(即匹配相关系数)，如果S_zncc小于预置系数阈值z(例如为0.8)，则将该采样点和匹配点剔除； 

二次过滤，剔除采样点和匹配点间对称对极距离大于预置距离阈值的采 样点及其匹配点； 

结合给定的对称对极距离ED(Epipolar Distance)进一步过滤： 

ED＝d(x_i，F^Tx′_i)+d(x′_i，Fx_i) 

其中，两视图间的极线约束，即基础矩阵F是利用采样点和初始种子点重新进行的鲁棒性估计，如果对称对极距离大于预置距离阈值(例如取1.5)，则将该采样点所对应的匹配点剔除。 

三次过滤，剔除采样点对应的匹配点的个数小于预置个数阈值的采样点及其匹配点； 

例如，在本发明优选实施例中当某个采样点对应的匹配点个数大于3时，该采样点及其对应的匹配点才予以保留，并被用于后面的自定标。 

则滤后剩下的采样点为二维准密集点，过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点。 

步骤102，利用二维准密集点和及其在邻域图像上的二维匹配点，通过SFM算法获得准密集点的三维位置，恢复得到相机参数和三维场景结构； 

利用运动恢复结构(SFM，structure from motion)算法，将上述步骤101中跟踪得到的二维点，得到三维点以及相机参数。具体步骤包括： 

选择两个图像作为初始的基准图像，对两幅图像上的准密集点进行三维重建；将其余图像逐个引入，根据已重建的三维准密集点估计引入图像对应的相机参数；利用得到的相机参数重建图像上尚未重建的点，不断的更新相机参数和三维场景结构；其中引入一次图像进行一次优化。 

如图2所示，为本发明实施例中恢复获得相机参数和三维场景结构的示意图。在多幅图像中选择两个图像作为初始的基准图像，并使世界坐标系与第一幅图像的坐标系相同，得到它们的摄像机矩阵规范化相机参数——投影矩阵为P_i和P_j，然后利用三角重构原理，对两幅图像上所有的准密集匹配点进行三维重构，并将相机参数和准密集三维点进行集束优化。如图2所示，由已知P_i和P_j重建3D点M。 

将其余图像逐个引入，根据已重建的3D准密集点估计新引入图像对应的相机参数，即由以重建的3D点求P_k，然后再利用求出的相机矩阵重建图 像上尚未重建的点，从而不断的更新相机参数和场景的结构，最终完成所有图像的重建；其中每引入一幅或几幅图像进行一次集束优化。 

步骤103，进行三维场景结构和相机参数的迭代优化； 

三维场景结构恢复后，对相机参数和场景结构的初始估计。假定有m幅图像，重构的三维点有n个，在第三步全局优化过程中，由于每个相机有11个自由度，而每个三维点有3个自由度，则需要优化3n+11m个参数。当m和n增加时，它的开销变得非常大，甚至最终不可行。 

因此，本发明实施例通过交替迭代的方式，分别采用不同的策略优化相机参数和场景结构。三维场景结构和相机参数的迭代优化具体为：相机参数不变，优化三维场景结构；三维场景结构不变，优化相机参数；其中，所述三维场景结构的优化具体为：利用颜色一致性策略对准密集点的三维位置，以及在该位置的切平面的法向量同时优化；所述相机参数通过全局目标函数进行优化。 

场景的结构的优化，即重构的三维点的位置的优化：利用颜色一致性策略对三维点的位置，以及在该位置的切平面的法向量同时优化。假定三维点对应的位置及其法向表示为p(x，y，z， 

)。优化的目标函数为归一化相关系数NCC的均值C(p)： 

$C\left(P\right)=\left({\mathrm{\Σ}}_{{I\∈V}_p^v}\mathrm{NCC}(p,R,I)\right)/\left|\right|V_p^v\left|\right|$

$V_p^v=\left\{I\right|I\∈V_p,\mathrm{NCC}(p,R,I)>\mathrm{\ξ}\}$

其中，V_p即最终过滤之后跟踪的每组采样后匹配点对应的图像集合(包括参考图像和新的邻域图像集合)。如果三维点的位置和法向迭代优化后，Vpv集合的个数，即 

且具有最高C(p)的参数为该三维点优化后的参数。 

而对于相机参数的优化，通过下列全局目标函数优化实现： 

$f=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(\right||x_{\mathrm{ji}}-\hat{x}(P_i,X_j)|\left|\right)$

此时，三维点X_j作为已知参数，仅仅优化相机参数P_i。两种类型的参数通过交替的方式迭代优化。 

步骤104，结合相机的参数选取每幅图像对应的邻域图像集合； 

至此，已经获得了相机参数，但是为了提高自定标的精度和鲁棒性，引 入了步骤104和步骤105，为进一步的优化提供更好的初始条件。 

其中，每幅图像对应邻域图像的选取的策略为：采样点对应的匹配点的个数大于预置个数阈值；以及，三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。 

尽管匹配点个数的多少是邻域视图选取的非常重要的一个因素，但是保证图像间具有足够宽的基线也是影响最终定标精度的重要的因素之一。定标之前，衡量基线宽窄是比较困难的事情，但是定标之后变得较容易。因此，为了得到较为稳定的匹配特征，对于邻域图像集合的选取，采用下列策略： 

$S_p\left(V\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}w(f_i,R,V)$

$w(f_i,R,V)=\underset{V_1^{*},V_2^{*}\∈R\∪V_R}{\mathrm{\Π}}\mathrm{\φ}(f_i,V_1^{*},V_2^{*})$

$\mathrm{\&phi;}(f_i,V_1^{*},V_2^{*})=\left\{\begin{array}{cc}1& \mathrm{\&alpha;}\&GreaterEqual;{\mathrm{\&alpha;}}_{\min }\\ \mathrm{\&alpha;}/{\mathrm{\&alpha;}}_{\min }& \mathrm{\&alpha;}<{\mathrm{\&alpha;}}_{\min }\end{array}\right.$

其中，f_i是图像V₁ ^*，V₂ ^*中的一对匹配点，且f_i在参考图像R中是可见的，α是三维点和两幅图像的光心连线的夹角。如果夹角很小，说明两幅图像基线较窄。通过它可以保证参考图像R和邻域图像V_R中两两都具有足够宽的基线。对每个参考图像R，取λ个具有最高S_p(V)得分的图像作为其新的邻域图像集合，并记作V′_R。 

步骤105，对准密集点及相应匹配点进行重采样； 

返回步骤102，多次循环执行步骤102至步骤105；其中，最后一次执行到步骤103结束。 

步骤105的目的是为了选取更可靠的点用于SFM。步骤104为每个参考图像确定了新的邻域集合V′_R，则与该参考图像相关的每个三维点对应的图像集合也随之变为V′_p(其中V′_p＝V_p-(V_R-V′_R))。假定X_j是三维空间中一个准密集点，P_i表示相机参数，x_ji是该三维点在图像i(i∈V′_p)上的投影点。如图3所示，为三维准密集点及其在多幅图像上对应二维匹配点的示意图。 

其中，准密集点及相应匹配点进行重采样的策略为：利用重投影误差作为权重，按预置准则计算准密集点对应的权值，当对应的权值大于零时，保留该准密集点及相应匹配点。 

具体的，所有的准密集点按下列准则都被指派一个权值： 

$w_{\mathrm{ji}}=\left\{\begin{array}{cc}\frac{\left|\right|x_{\mathrm{ji}}-\hat{x}(P_i,X_j)\left|\right|}{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\left(\right||x_{\mathrm{ji}}-\hat{x}(P_i,X_j)|\left|\right)}& \left|\right|x_{\mathrm{ji}}-\hat{x}(P_i,X_j)\left|\right|<\mathrm{\&delta;}\\ -1& \left|\right|x_{\mathrm{ji}}-\hat{x}(P_i,X_j)\left|\right|\&GreaterEqual;\mathrm{\&delta;}\end{array}\right.$

只有当权值大于0时，相应点才被用于新一轮的SFM。 

上述权值w_ji还将用于引导SFM算法的前两个步骤，即在所述多幅图像中选择两个图像作为初始的基准图像；将其余图像逐个引入获得准密集点的三维位置并优化。 

首先，在初始基准图像的选择上，同样需要保证两幅图像间具有足够宽的基线： 

$S(I_i,I_t)=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}w(x_{\mathrm{ji}},x_{\mathrm{jt}})$

$w(x_{\mathrm{ji}},x_{\mathrm{jt}})=\left\{\begin{array}{ccc}1& \mathrm{\&alpha;}>{\mathrm{\&alpha;}}_{\min },& w_{\mathrm{ji}},w_{\mathrm{jt}}\&NotEqual;1\\ 0& \mathrm{others}& \end{array}\right.$

其次，在其它图像逐个引入时，在所有未重建(未引入)图像中搜索与已重建(已引入)点匹配个数最多的图像，将其选为要添加的图像，并且所统计的匹配个数必须保证在权值大于0的前提下进行。 

然后，返回步骤102，循环多次执行步骤102至步骤105进行迭代优化，最后一次执行到步骤103结束，即进行三维场景结构和相机参数的最后一次迭代优化后输出结果。一般循环的次数选为四次即可达到定标的精确度和鲁棒性。 

上述的优化过程可以分为两层(内层和外层)迭代优化：其中，内层迭代优化即首次进行的三维场景结构和相机参数的迭代优化；外层迭代优化即在内层迭代优化后，通过准密集点的邻域图像选取以及准密集点的匹配点重采样，执行新一轮的SFM后再次进行的三维场景结构和相机参数的迭代优化，由此可以看出，外层迭代优化包括内层迭代优化。 

在本发明实施例中，将仿射变换引入区域扩张。对于宽基线情况下的匹配点的精确定位具有很重要的意义。当宽基线情况下，图像间存在较大的透 视畸变导致无法直接建立相应特征点邻域窗口之间的相似性度量关系，因此，需要建立相应邻域窗口之间的几何畸变模型。基于仿射变换的模型被广泛应用于特征点的精确定位上，将其引入扩张过程，优化新扩张的匹配点的位置。另外，采用较严格的过滤策略剔除误匹配，为定标提供更精确的候选匹配点。在现有技术的方法中，直接建立特征点邻域窗口之间的相似性度量关系，因此，不适用于宽基线情况。另外，现有技术也没有额外的过滤策略，扩张后存在大量误匹配没有被剔除。 

为了说明匹配算法的精度，利用平均对极距离进行了对比实验，平均对极距离越小表示匹配精度越高。 

图4为本发明实施例中两幅图像特征点、匹配点的示意图。其中，图4(a)为两幅图像的初始特征点的示意图；图4(b)为两幅图像的初始匹配点的示意图；图4(c)为两幅图像经过扩张、采样并过滤后的匹配点的示意图。为了便于显示，本发明实施例中采样单元大小为32×32，在实际应用中，可以对采样单元的大小进行灵活选择，一般采样单元大小可以定为8×8。 

表1扩张算法的比较 

从表1看出，在本发明实施例中，扩张并过滤后不仅获得较多的匹配点个数，而且具有较低的平均对极距离。 

在本发明的进行了两层迭代优化：对于内层迭代优化，采用不同的优化策略，将相机的参数和场景的结构分别优化并迭代执行；对于外层迭代优化，通过对准密集点得重新采样以及邻域视图选择方案，为后面的迭代定标提供更精确的跟踪的匹配点，降低由于光照变化，遮挡现象等因素造成的误匹配的影响。为了证明算法的有效性，在本发明实施例中，对迭代前后的平均重投影误差进行了对比。结果证明，迭代后得到较小的平均重投影误差。 

如图5所示，为本发明实施例中一个三维点迭代优化前后在不同图像上 的重投影点与原始的跟踪的匹配点的比较示意图。“+”表示在不同图像上的重投影点，“○”的中心表示原始跟踪的匹配点。第一列是迭代前的分布；第二列是迭代前该点及周围截取并放大后的图；第三列是迭代后的分布放大图。 

从图5容易看出，迭代后重投影误差降低。我们对所有3D点进行了比较，迭代后得到较小的平均重投影误差。因此，本发明实施例提出的相机定标方法具有较强的鲁棒性和精准度。 

以上对本发明所提供的一种相机自定标的方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。 

Claims (8)

1.一种相机自定标的方法，其特征在于，包括：

步骤A1，针对同一场景多角度拍摄的多幅图像，通过基于仿射变化的区域扩张算法并进行重采样和过滤提取二维准密集点，并跟踪得到二维准密集点在邻域图像上的二维匹配点；

其中过滤具体包括：一次过滤，剔除匹配相关系数小于预置系数阈值的采样点及其匹配点；

二次过滤，剔除采样点和匹配点间对称对极距离大于预置距离阈值的采样点及其匹配点；

三次过滤，剔除采样点在邻域图像上对应的匹配点的个数小于预置个数阈值的采样点及其匹配点；

则过滤后剩下的采样点为二维准密集点，过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点；

步骤A2，利用二维准密集点和及其在邻域图像上的二维匹配点，通过SFM算法获得准密集点的三维位置，恢复得到相机参数和三维场景结构；

步骤A3，进行三维场景结构和相机参数的迭代优化；

步骤A4，结合相机的参数选取每幅图像对应的邻域图像集合；其中，保证参考图像和邻域图像集合的每个图像之间的基线的同时，保证邻域图像集合的两两图像之间的基线；

步骤A5，利用重投影误差作为权重，按预置准则计算准密集点对应的权值，当对应的权值大于零时，保留该准密集点及相应匹配点的策略对二维准密集点及相应匹配点进行重采样，并用于引导SFM算法的前两个步骤；

返回步骤A2，多次循环执行步骤A2至步骤A5；其中，最后一次执行到步骤A3结束。

2.如权利要求1所述的方法，其特征在于，所述步骤A1包括：

进行二维特征点的提取，并根据所述特征点得到两两图像间的二维匹配点；

将匹配相关系数大于预置系数阈值的二维匹配点作为种子点，并将种子点按照匹配相关系数由大到小排列成种子点队列； 

针对每一个种子点进行区域扩张，并根据扩张点的匹配相关系数的大小将其***种子点队列，作为新的种子点作进一步的扩张，直到所有种子点的区域扩张完成；

通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点，及其在邻域图像上二维匹配点。

3.如权利要求2所述的方法，其特征在于，

采用仿射不变特征检测算子进行二维特征点的提取；

利用SIFT特征描述算子描述特征并获得二维特征点对应的二维匹配点。

4.如权利要求3所述的方法，其特征在于，

所述区域扩张满足的条件为：种子点的四邻域点初始的仿射参数与该种子点的相同，且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。

5.如权利要求2所述的方法，其特征在于，对所述扩张后得到的点进行重采样具体为：

将每个图像划分成多个β×β的像素单元，取每个像素单元的中心点作为新的采样点；

通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。

6.如权利要求1所述的方法，其特征在于，所述步骤A2中具体包括：

选择两个图像作为初始的基准图像，对两幅图像上的准密集点进行三维重建；

将其余图像逐个引入，根据已重建的三维准密集点估计引入图像对应的相机参数；

利用得到的相机参数重建图像上尚未重建的点，不断的更新相机参数和三维场景结构；其中引入一次图像进行一次优化。

7.如权利要求1所述的方法，其特征在于，所述步骤A3中三维场景结构和相机参数的迭代优化具体为：

相机参数不变，优化三维场景结构；三维场景结构不变，优化相机参数； 

其中，所述三维场景结构的优化具体为：利用颜色一致性策略对准密集点的三维位置，以及在该位置的切平面的法向量同时优化；

所述相机参数通过全局目标函数进行优化。

8.如权利要求1所述的方法，其特征在于，所述步骤A4中每幅图像对应的邻域图像集合的选取策略为：

采样点对应的匹配点的个数大于预置个数阈值；

以及，三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。 

Images