CN101826206A - 一种相机自定标的方法 - Google Patents
一种相机自定标的方法 Download PDFInfo
- Publication number
- CN101826206A CN101826206A CN 201010137334 CN201010137334A CN101826206A CN 101826206 A CN101826206 A CN 101826206A CN 201010137334 CN201010137334 CN 201010137334 CN 201010137334 A CN201010137334 A CN 201010137334A CN 101826206 A CN101826206 A CN 101826206A
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- image
- density
- dimentional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种相机自定标的方法,包括:步骤A1,针对同一场景多角度拍摄的多幅图像,通过基于仿射变化的区域扩张算法提取二维准密集点,并跟踪得到二维准密集点在邻域图像上的二维匹配点;步骤A2,利用二维准密集点和及其在邻域图像上的二维匹配点,通过SFM算法获得准密集点的三维位置,恢复得到相机参数和三维场景结构;步骤A3,进行三维场景结构和相机参数的迭代优化;步骤A4,结合相机的参数选取每幅图像对应的邻域图像集合;步骤A5,对准密集点及相应匹配点进行重采样;返回步骤A2,多次循环执行步骤A2至步骤A5;其中,最后一次执行到步骤A3结束。通过本发明,提高了定标结果的精确性和鲁棒性。
Description
技术领域
本发明涉及数字图像处理和计算机视觉技术领域,特别是涉及一种相机自定标的方法。
背景技术
相机定标是计算机视觉领域中的重要研究内容,它是从二维图像提取三维空间信息必不可少的步骤,被广泛应用于三维重建、导航、视觉监控等领域。在小孔相机模型中,求解投影矩阵P的过程被称为相机定标(Cameracalibration);相应地,求解内参数(Intrinsic parameter)矩阵K的过程被称为内定标,而求解外参数(Extrinsic parameter)R和t的过程被称为外定标。
广义上的相机定标分为三种:传统定标方法、基于主动视觉的定标方法和自定标方法。传统定标方法需要使用经过精密加工的定标块,通过建立定标块上三维坐标已知的点与其图像点间的对应,来计算相机的内外参数,该方法的定标过程费时费力,不适用于在线定标和不可能使用定标块的场合。基于主动视觉的定标方法需要控制相机做某些特殊运动,利用这种运动的特殊性可以线性计算出内参数,该方法不能适用于相机运动未知或无法控制的场合。以上两种定标方法均利用到场景或相机运动的信息,不适用于场景任意、相机运动未知的最一般的情形,因此不能满足大多实际应用的要求。
1992年,Maybank和Faugeras等人首先提出了自定标(Self-calibration)的概念[O.D.Faugeras,Q.T.Luong,and S.J.Maybank.Camera self-calibration:Theory and experiments.In European Conference on Computer Vision,pp.321-334,1992.],使得在场景未知和摄像机任意运动的一般情形下定标成为可能。就相机自标定的研究而言,通过十多年的不懈努力,理论上的问题已基本解决,但是在现有的自定标算法实现过程中,经常会碰到不同的场景造成的算法在数值上的不稳定现象;即使成功定标,但是精度方面也很难与传统定标算法相媲美。
影响自定标算法的因素很多,其中两个主要的因素即图像之间匹配点的精确提取和跟踪,以及对定标结果的更合理优化算法。
第一,由于自定标方法完全是根据图像中跟踪的匹配点(也称对应点)来估计相机的内外参数,因此匹配点的提取和跟踪算法的优劣是影响定标精度和鲁棒性的重要因素之一。但是输入的图像常常存在:拍摄路径相对比较自由、光照的变化,遮挡现象,拍摄的场景纹理单一或存在重复纹理等,这些都会对匹配点的精确提取和跟踪带来很大的困难。大部分定标算法基于稀疏的特征点,2005年Lhuillier和Quan提出了准密集点的概念[M.Lhuillierand L.Quan,A quasi-dense approach to surface reconstruction from uncalibratedimages,IEEE Tran.PAMI,Vol.27,No.3,pp.418-433,2005.],他们基于特征匹配点,通过扩张、采样过程获得较密集的对应点,该方法折衷了稀疏点和稠密点的不足,并且相对于稀疏点来说,准密集点对基于未定标图像的三维重建具有更重要意义。但是在该种扩张算法中采用较贪婪的匹配策略,没有更严格的过滤机制,因此势必存在大量的误匹配,进而影响准密集点的精度。另外,其中采用的种子点扩张算法也不太适用于宽基线情形,因此在实际应用中仍存在不足。
第二,集束优化(Bundle adjustment)算法是在定标过程和三维建模领域广泛应用的一种优化算法,它通过最小化重投影误差作为目标函数优化相机参数和场景的结构,但是当输入图像的个数和3D点个数较多时,它的开销变得非常大,甚至优化失败。当然它也可以将相机参数和场景的结构分别优化,但是采用相同的优化策略,都是将最小化重投影误差作为目标函数。
由上面的分析可以看出,在自定标中,标定算法的鲁棒性和精度是在实际应用过程中存在的两个比较突出的问题。
发明内容
本发明所要解决的技术问题是提供一种相机自定标的方法,提高定标的精确性和鲁棒性。
为了解决上述问题,本发明公开了一种相机自定标的方法,包括:
步骤A1,针对同一场景多角度拍摄的多幅图像,通过基于仿射变化的区域扩张算法提取二维准密集点,并跟踪得到二维准密集点在邻域图像上的二维匹配点;
步骤A2,利用二维准密集点和及其在邻域图像上的二维匹配点,通过SFM算法获得准密集点的三维位置,恢复得到相机参数和三维场景结构;
步骤A3,进行三维场景结构和相机参数的迭代优化;
步骤A4,结合相机的参数选取每幅图像对应的邻域图像集合;
步骤A5,对准密集点及相应匹配点进行重采样;
返回步骤A2,多次循环执行步骤A2至步骤A5;其中,最后一次执行到步骤A3结束。
具体的,所述步骤A1包括:
进行二维特征点的提取,并根据所述特征点得到两两图像间的二维匹配点;
将匹配相关系数大于预置系数阈值的二维匹配点作为种子点,并将种子点按照匹配相关系数由大到小排列成种子点队列;
针对每一个种子点进行区域扩张,并根据扩张点的匹配相关系数的大小将其***种子点队列,作为新的种子点作进一步的扩张,直到所有种子点的区域扩张完成;
通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点,及其在邻域图像上二维匹配点。
优选的,
采用仿射不变特征检测算子进行二维特征点的提取;
利用SFIT特征描述算子描述特征并获得二维特征点对应的二维匹配点。
优选的,所述区域扩张满足的条件为:种子点的四邻域点初始的仿射参数与该种子点的相同,且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。
优选的,对所述扩张后得到的点进行重采样具体为:
将每个图像划分成多个β×β的像素单元,取每个像素单元的中心点作为新的采样点;
通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。
优选的,对所述扩张后得到的点进行过滤具体为:
一次过滤,剔除匹配相关系数小于预置系数阈值的采样点及其匹配点;
二次过滤,剔除采样点和匹配点间对称对极距离大于预置距离阈值的采样点及其匹配点;
三次过滤,剔除采样点对应的匹配点的个数小于预置个数阈值的采样点及其匹配点;
则滤后剩下的采样点为二维准密集点,过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点。
进一步,所述步骤A2中具体包括:
选择两个图像作为初始的基准图像,对两幅图像上的准密集点进行三维重建;
将其余图像逐个引入,根据已重建的三维准密集点估计引入图像对应的相机参数;
利用得到的相机参数重建图像上尚未重建的点,不断的更新相机参数和三维场景结构;其中引入一次图像进行一次优化。
优选的,所述步骤A3中三维场景结构和相机参数的迭代优化具体为:
相机参数不变,优化三维场景结构;三维场景结构不变,优化相机参数;
其中,所述三维场景结构的优化具体为:利用颜色一致性策略对准密集点的三维位置,以及在该位置的切平面的法向量同时优化;
所述相机参数通过全局目标函数进行优化。
优选的,所述步骤A4中每幅图像对应的邻域图像集合的选取策略为:
采样点对应的匹配点的个数大于预置个数阈值;
以及,三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。
优选的,所述步骤A5中准密集点及相应匹配点进行重采样的策略为:
利用重投影误差作为权重,按预置准则计算准密集点对应的权值,当对应的权值大于零时,保留该准密集点及相应匹配点。
与现有技术相比,本发明具有以下优点:
首先,本发明将基于仿射变换的优化模型引入区域扩张过程,优化新扩张的匹配点的位置,该算法适用于宽基线情况下的稠密匹配,对于较密集点的精确定位具有重要的意义。另外,通过对扩张后得到的点进行重采样和过滤剔除误匹配点,为定标提供更精确的候选匹配点。
其次,本发明通过两次迭代优化方案提高了现有的自定标算法的精度和鲁棒性。其中,首次迭代的局部颜色一致性和全局最优性分别用于场景的结构和相机参数的优化,并且两个过程交替执行。首次迭代优化后,通过邻域视图的选取策略和准密集对应采样策略,为第二次的迭代提供更可靠地初始条件。
总之,本发明的方法较之原有的自定标算法,其结果更加精确,鲁棒性高,有效地降低了光照突变、纹理重复或单一等因素的影响。
附图说明
图1是本发明一种相机自定标的方法实施例的流程图;
图2是本发明实施例中恢复获得相机参数和三维场景结构的示意图。
图3是本发明实施例中三维准密集点及其在多幅图像上对应二维匹配点的示意图;
图4(a)是本发明实施例中两幅图像的初始特征点的示意图;
图4(b)是本发明实施例中两幅图像的初始匹配点的示意图;
图4(c)是本发明实施例中两幅图像经过扩张、采样并过滤后的匹配点的示意图;
图5是本发明实施例中一个三维点迭代优化前后在不同图像上的重投影点与原始跟踪的匹配点的比较示意图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明一种相机自定标的方法实施例的流程图,包括:
步骤101,针对同一场景多角度拍摄的多幅图像,通过基于仿射变化的区域扩张算法提取二维准密集点,并跟踪得到二维准密集点在邻域图像上的二维匹配点;
具体的,所述步骤101包括如下子步骤:
子步骤1011,进行二维特征点的提取,并根据所述特征点得到两两图像间的二维匹配点;
首先,对同一场景在不同角度进行多幅图像的采集,采用Hessian仿射不变特征检测算子在各个图像上提取二维特征点。进一步,利用SIFT特征描述算子对特征进行描述,针对每一个特征点,在两两图像上获得相应成对的匹配点,得到初始的匹配特征。即,通过此步骤获得每幅图像上的特征点及其在其他图像上与之相对应的匹配点,此时的特征点和匹配点均为二维点。
子步骤1012,将匹配相关系数大于预置系数阈值的二维匹配点作为种子点,并将种子点按照匹配相关系数由大到小排列成种子点队列;
在本发明实施例中,利用较鲁棒的自适应RANSAC算法,由初始特征的匹配点估计基本矩阵F。需要说明的是,对极几何是两幅视图之间内在的射影几何,它的代数表示即F,它是通过两视图间的匹配点估计得到,在估计过程中,由于采用的是鲁棒性的估计算法,则可以同时剔除大量误匹配。RANSAC算法是通过N组样本数据估计F,然后根据估计的F通过Sampson距离测量一对匹配点满足对极几何的接近程度来区分外点(即误匹配点)和内点(即剔除后剩余的匹配点),在一定的采样次数内,选择具有最多内点的那个F,并由得到的所有内点重新估计F。实际中人为的设置抽样次数在很多情况下不太适合,因此本发明实施例中利用在抽样过程中自动调整抽样次数的自适应RANSAC方法。
由此,大量误匹配点同时被剔除,所有剔除后剩余的匹配点的集合将作为种子点用于下一步的区域扩张,并且每个种子点包括对应匹配点的位置{x,x′}。需要说明的是,此处的x仅是个符号,不是数学意义上的坐标。此外,还包括对应仿射区域的相关仿射参数{A0,d0,u0,δ0,Szncc}。其中,角标“0”表示初始的尚未扩张的点(即种子点)的参数。
为了理解上述参数的意义,先看下面模型:
μI2(Ax+d)+δ=I1(x)
其中,I1(x)表示在点x处的像素亮度值。
首先,引入基线的概念。基线一般是伴随立体像对提出的,它是指两个相机摄影中心的连线。通俗的讲,窄基线就是两个相机的视差比较小,获得的立体像对中的两幅图像看起来相差不大;宽基线就是指两个相机的视差比较大,获得的立体像对中的两幅图像看起来相差很大。所以说宽基线立体像对匹配比窄基线立体像对匹配困难,定标的精确性要差。
由于宽基线情况下,图像间存在光照变化,为了降低光照变化对匹配精度的影响,故图像间的对应点采用以上模型描述。该模型中,A表示对应邻域窗口间的仿射变换矩阵,μ表示对应邻域窗口间亮度变化的比例因子,δ为局部恒定的加性噪声,d是为了精确定位而引入的较小的偏移量。Szncc则是对应匹配点的零均值归一化相关系数,其作为匹配相关系数。所有种子点按照Szncc的大小由高到低排列成种子点队列Q,如果Szncc小于某个预置系数阈值z,则从该队列剔除,并且相关性高的匹配点优先用于后面的扩张过程。在本发明的一个优选实施例中,预置系数阈值z取值为0.8。
子步骤1013,针对每一个种子点进行区域扩张,并根据扩张点的匹配相关系数的大小将其***种子点队列,作为新的种子点作进一步的扩张,直到所有种子点的区域扩张完成;
为了使扩张算法适用于宽基线的情形,并且为了获得更精确的亚像素级的密集匹配点,我们将上述步骤中的仿射变换结果引入区域扩张过程。
优选的,所述区域扩张满足的条件为:种子点的四邻域点初始的仿射参数与该种子点的相同,且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。
在扩张过程中,每个种子点的四邻域(即该种子点的上、下、左、右四个点)初始参数和种子点相同,然后对通过对下列式子取最小值获得扩张点的最佳参数值:
其中,W为待扩张点的邻域窗口。
如果在指定的预置迭代次数内,ε最小时且相应仿射参数对应的Szncc大于预置系数阈值z,则认为扩张成功,并且根据对应的Szncc的大小将这些新扩张得到的亚像素级的匹配点***种子点队列中,作为新的种子点用于下一步的扩张。多次扩张直到每一个种子点都扩张完成。
子步骤1014,通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点,及其在邻域图像上二维匹配点。
区域扩张后,通过重采样策略以及过滤策略实现准密集点的确定和准密集点在多幅图像上的跟踪。
优选的,对所述扩张后得到的点进行重采样具体为:
将每个图像划分成多个β×β的像素单元,取每个像素单元的中心点作为新的采样点;通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。
即,将每个图像作为参考图像R划分成多个β×β(一般取8×8)的像素单元,取每个单元的中心点作为新的采样点xi;进一步,在参考图像R的邻域图像集合VR中的每个图像上的匹配点,可以通过Hjxi获得。其中,Hj是通过对像素单元(即采样单元)内对应的较密集的亚像素级匹配点采用鲁棒的自适应RANSAC算法拟合得到。每个参考图像对应的初始的邻域图像集合VR通过设定两个图像间匹配点的个数的阈值确定。
优选的,对所述扩张后得到的点进行过滤具体为:
一次过滤,剔除匹配相关系数小于预置系数阈值的采样点及其匹配点;
即计算每个新的采样点和匹配点间的零均值归一化相关系数Szncc(即匹配相关系数),如果Szncc小于预置系数阈值z(例如为0.8),则将该采样点和匹配点剔除;
二次过滤,剔除采样点和匹配点间对称对极距离大于预置距离阈值的采样点及其匹配点;
结合给定的对称对极距离ED(Epipolar Distance)进一步过滤:
ED=d(xi,FTx′i)+d(x′i,Fxi)
其中,两视图间的极线约束,即基础矩阵F是利用采样点和初始种子点重新进行的鲁棒性估计,如果对称对极距离大于预置距离阈值(例如取1.5),则将该采样点所对应的匹配点剔除。
三次过滤,剔除采样点对应的匹配点的个数小于预置个数阈值的采样点及其匹配点;
例如,在本发明优选实施例中当某个采样点对应的匹配点个数大于3时,该采样点及其对应的匹配点才予以保留,并被用于后面的自定标。
则滤后剩下的采样点为二维准密集点,过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点。
步骤102,利用二维准密集点和及其在邻域图像上的二维匹配点,通过SFM算法获得准密集点的三维位置,恢复得到相机参数和三维场景结构;
利用运动恢复结构(SFM,structure from motion)算法,将上述步骤101中跟踪得到的二维点,得到三维点以及相机参数。具体步骤包括:
选择两个图像作为初始的基准图像,对两幅图像上的准密集点进行三维重建;将其余图像逐个引入,根据已重建的三维准密集点估计引入图像对应的相机参数;利用得到的相机参数重建图像上尚未重建的点,不断的更新相机参数和三维场景结构;其中引入一次图像进行一次优化。
如图2所示,为本发明实施例中恢复获得相机参数和三维场景结构的示意图。在多幅图像中选择两个图像作为初始的基准图像,并使世界坐标系与第一幅图像的坐标系相同,得到它们的摄像机矩阵规范化相机参数——投影矩阵为Pi和Pj,然后利用三角重构原理,对两幅图像上所有的准密集匹配点进行三维重构,并将相机参数和准密集三维点进行集束优化。如图2所示,由已知Pi和Pj重建3D点M。
将其余图像逐个引入,根据已重建的3D准密集点估计新引入图像对应的相机参数,即由以重建的3D点求Pk,然后再利用求出的相机矩阵重建图像上尚未重建的点,从而不断的更新相机参数和场景的结构,最终完成所有图像的重建;其中每引入一幅或几幅图像进行一次集束优化。
步骤103,进行三维场景结构和相机参数的迭代优化;
三维场景结构恢复后,对相机参数和场景结构的初始估计。假定有m幅图像,重构的三维点有n个,在第三步全局优化过程中,由于每个相机有11个自由度,而每个三维点有3个自由度,则需要优化3n+11m个参数。当m和n增加时,它的开销变得非常大,甚至最终不可行。
因此,本发明实施例通过交替迭代的方式,分别采用不同的策略优化相机参数和场景结构。三维场景结构和相机参数的迭代优化具体为:相机参数不变,优化三维场景结构;三维场景结构不变,优化相机参数;其中,所述三维场景结构的优化具体为:利用颜色一致性策略对准密集点的三维位置,以及在该位置的切平面的法向量同时优化;所述相机参数通过全局目标函数进行优化。
场景的结构的优化,即重构的三维点的位置的优化:利用颜色一致性策略对三维点的位置,以及在该位置的切平面的法向量同时优化。假定三维点对应的位置及其法向表示为p(x,y,z,)。优化的目标函数为归一化相关系数NCC的均值C(p):
而对于相机参数的优化,通过下列全局目标函数优化实现:
此时,三维点Xj作为已知参数,仅仅优化相机参数Pi。两种类型的参数通过交替的方式迭代优化。
步骤104,结合相机的参数选取每幅图像对应的邻域图像集合;
至此,已经获得了相机参数,但是为了提高自定标的精度和鲁棒性,引入了步骤104和步骤105,为进一步的优化提供更好的初始条件。
其中,每幅图像对应邻域图像的选取的策略为:采样点对应的匹配点的个数大于预置个数阈值;以及,三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。
尽管匹配点个数的多少是邻域视图选取的非常重要的一个因素,但是保证图像间具有足够宽的基线也是影响最终定标精度的重要的因素之一。定标之前,衡量基线宽窄是比较困难的事情,但是定标之后变得较容易。因此,为了得到较为稳定的匹配特征,对于邻域图像集合的选取,采用下列策略:
其中,fi是图像V1 *,V2 *中的一对匹配点,且fi在参考图像R中是可见的,α是三维点和两幅图像的光心连线的夹角。如果夹角很小,说明两幅图像基线较窄。通过它可以保证参考图像R和邻域图像VR中两两都具有足够宽的基线。对每个参考图像R,取λ个具有最高Sp(V)得分的图像作为其新的邻域图像集合,并记作V′R。
步骤105,对准密集点及相应匹配点进行重采样;
返回步骤102,多次循环执行步骤102至步骤105;其中,最后一次执行到步骤103结束。
步骤105的目的是为了选取更可靠的点用于SFM。步骤104为每个参考图像确定了新的邻域集合V′R,则与该参考图像相关的每个三维点对应的图像集合也随之变为V′p(其中V′p=Vp-(VR-V′R))。假定Xj是三维空间中一个准密集点,Pi表示相机参数,xji是该三维点在图像i(i∈V′p)上的投影点。如图3所示,为三维准密集点及其在多幅图像上对应二维匹配点的示意图。
其中,准密集点及相应匹配点进行重采样的策略为:利用重投影误差作为权重,按预置准则计算准密集点对应的权值,当对应的权值大于零时,保留该准密集点及相应匹配点。
具体的,所有的准密集点按下列准则都被指派一个权值:
只有当权值大于0时,相应点才被用于新一轮的SFM。
上述权值wji还将用于引导SFM算法的前两个步骤,即在所述多幅图像中选择两个图像作为初始的基准图像;将其余图像逐个引入获得准密集点的三维位置并优化。
首先,在初始基准图像的选择上,同样需要保证两幅图像间具有足够宽的基线:
其次,在其它图像逐个引入时,在所有未重建(未引入)图像中搜索与已重建(已引入)点匹配个数最多的图像,将其选为要添加的图像,并且所统计的匹配个数必须保证在权值大于0的前提下进行。
然后,返回步骤102,循环多次执行步骤102至步骤105进行迭代优化,最后一次执行到步骤103结束,即进行三维场景结构和相机参数的最后一次迭代优化后输出结果。一般循环的次数选为四次即可达到定标的精确度和鲁棒性。
上述的优化过程可以分为两层(内层和外层)迭代优化:其中,内层迭代优化即首次进行的三维场景结构和相机参数的迭代优化;外层迭代优化即在内层迭代优化后,通过准密集点的邻域图像选取以及准密集点的匹配点重采样,执行新一轮的SFM后再次进行的三维场景结构和相机参数的迭代优化,由此可以看出,外层迭代优化包括内层迭代优化。
在本发明实施例中,将仿射变换引入区域扩张。对于宽基线情况下的匹配点的精确定位具有很重要的意义。当宽基线情况下,图像间存在较大的透视畸变导致无法直接建立相应特征点邻域窗口之间的相似性度量关系,因此,需要建立相应邻域窗口之间的几何畸变模型。基于仿射变换的模型被广泛应用于特征点的精确定位上,将其引入扩张过程,优化新扩张的匹配点的位置。另外,采用较严格的过滤策略剔除误匹配,为定标提供更精确的候选匹配点。在现有技术的方法中,直接建立特征点邻域窗口之间的相似性度量关系,因此,不适用于宽基线情况。另外,现有技术也没有额外的过滤策略,扩张后存在大量误匹配没有被剔除。
为了说明匹配算法的精度,利用平均对极距离进行了对比实验,平均对极距离越小表示匹配精度越高。
图4为本发明实施例中两幅图像特征点、匹配点的示意图。其中,图4(a)为两幅图像的初始特征点的示意图;图4(b)为两幅图像的初始匹配点的示意图;图4(c)为两幅图像经过扩张、采样并过滤后的匹配点的示意图。为了便于显示,本发明实施例中采样单元大小为32×32,在实际应用中,可以对采样单元的大小进行灵活选择,一般采样单元大小可以定为8×8。
表1扩张算法的比较
从表1看出,在本发明实施例中,扩张并过滤后不仅获得较多的匹配点个数,而且具有较低的平均对极距离。
在本发明的进行了两层迭代优化:对于内层迭代优化,采用不同的优化策略,将相机的参数和场景的结构分别优化并迭代执行;对于外层迭代优化,通过对准密集点得重新采样以及邻域视图选择方案,为后面的迭代定标提供更精确的跟踪的匹配点,降低由于光照变化,遮挡现象等因素造成的误匹配的影响。为了证明算法的有效性,在本发明实施例中,对迭代前后的平均重投影误差进行了对比。结果证明,迭代后得到较小的平均重投影误差。
如图5所示,为本发明实施例中一个三维点迭代优化前后在不同图像上的重投影点与原始的跟踪的匹配点的比较示意图。“+”表示在不同图像上的重投影点,“○”的中心表示原始跟踪的匹配点。第一列是迭代前的分布;第二列是迭代前该点及周围截取并放大后的图;第三列是迭代后的分布放大图。
从图5容易看出,迭代后重投影误差降低。我们对所有3D点进行了比较,迭代后得到较小的平均重投影误差。因此,本发明实施例提出的相机定标方法具有较强的鲁棒性和精准度。
以上对本发明所提供的一种相机自定标的方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种相机自定标的方法,其特征在于,包括:
步骤A1,针对同一场景多角度拍摄的多幅图像,通过基于仿射变化的区域扩张算法提取二维准密集点,并跟踪得到二维准密集点在邻域图像上的二维匹配点;
步骤A2,利用二维准密集点和及其在邻域图像上的二维匹配点,通过SFM算法获得准密集点的三维位置,恢复得到相机参数和三维场景结构;
步骤A3,进行三维场景结构和相机参数的迭代优化;
步骤A4,结合相机的参数选取每幅图像对应的邻域图像集合;
步骤A5,对准密集点及相应匹配点进行重采样;
返回步骤A2,多次循环执行步骤A2至步骤A5;其中,最后一次执行到步骤A3结束。
2.如权利要求1所述的方法,其特征在于,所述步骤A1包括:
进行二维特征点的提取,并根据所述特征点得到两两图像间的二维匹配点;
将匹配相关系数大于预置系数阈值的二维匹配点作为种子点,并将种子点按照匹配相关系数由大到小排列成种子点队列;
针对每一个种子点进行区域扩张,并根据扩张点的匹配相关系数的大小将其***种子点队列,作为新的种子点作进一步的扩张,直到所有种子点的区域扩张完成;
通过对所述扩张后得到的点进行重采样和过滤获得二维准密集点,及其在邻域图像上二维匹配点。
3.如权利要求2所述的方法,其特征在于,
采用仿射不变特征检测算子进行二维特征点的提取;
利用SFIT特征描述算子描述特征并获得二维特征点对应的二维匹配点。
4.如权利要求3所述的方法,其特征在于,
所述区域扩张满足的条件为:种子点的四邻域点初始的仿射参数与该种子点的相同,且在预置优化次数内仿射参数对应的匹配相关系数大于预置系数阈值。
5.如权利要求2所述的方法,其特征在于,对所述扩张后得到的点进行重采样具体为:
将每个图像划分成多个β×β的像素单元,取每个像素单元的中心点作为新的采样点;
通过自适应RANSAC算法获得采样点在邻域图像上的二维匹配点。
6.如权利要求5所述的方法,其特征在于,对所述扩张后得到的点进行过滤具体为:
一次过滤,剔除匹配相关系数小于预置系数阈值的采样点及其匹配点;
二次过滤,剔除采样点和匹配点间对称对极距离大于预置距离阈值的采样点及其匹配点
三次过滤,剔除采样点对应的匹配点的个数小于预置个数阈值的采样点及其匹配点;
则滤后剩下的采样点为二维准密集点,过滤后剩下的匹配点为相应二维准密集点在邻域图像上的二维匹配点。
7.如权利要求1所述的方法,其特征在于,所述步骤A2中具体包括:
选择两个图像作为初始的基准图像,对两幅图像上的准密集点进行三维重建;
将其余图像逐个引入,根据已重建的三维准密集点估计引入图像对应的相机参数;
利用得到的相机参数重建图像上尚未重建的点,不断的更新相机参数和三维场景结构;其中引入一次图像进行一次优化。
8.如权利要求1所述的方法,其特征在于,所述步骤A3中三维场景结构和相机参数的迭代优化具体为:
相机参数不变,优化三维场景结构;三维场景结构不变,优化相机参数;
其中,所述三维场景结构的优化具体为:利用颜色一致性策略对准密集点的三维位置,以及在该位置的切平面的法向量同时优化;
所述相机参数通过全局目标函数进行优化。
9.如权利要求1所述的方法,其特征在于,所述步骤A4中每幅图像对应的邻域图像集合的选取策略为:
采样点对应的匹配点的个数大于预置个数阈值;
以及,三维点和两幅图像的光心连线的夹角大于等于预置夹角阈值。
10.如权利要求1所述的方法,其特征在于,所述步骤A5中准密集点及相应匹配点进行重采样的策略为:
利用重投影误差作为权重,按预置准则计算准密集点对应的权值,当对应的权值大于零时,保留该准密集点及相应匹配点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101373345A CN101826206B (zh) | 2010-03-31 | 2010-03-31 | 一种相机自定标的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101373345A CN101826206B (zh) | 2010-03-31 | 2010-03-31 | 一种相机自定标的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101826206A true CN101826206A (zh) | 2010-09-08 |
CN101826206B CN101826206B (zh) | 2011-12-28 |
Family
ID=42690112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101373345A Expired - Fee Related CN101826206B (zh) | 2010-03-31 | 2010-03-31 | 一种相机自定标的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101826206B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102938229A (zh) * | 2012-09-18 | 2013-02-20 | 中国人民解放军装甲兵工程学院 | 三维数字全息光子地图 |
CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
CN105279789A (zh) * | 2015-11-18 | 2016-01-27 | 中国兵器工业计算机应用技术研究所 | 一种基于图像序列的三维重建方法 |
WO2017008516A1 (zh) * | 2015-07-15 | 2017-01-19 | 华为技术有限公司 | 双摄像头相对位置计算方法、装置和设备 |
CN104541304B (zh) * | 2012-08-23 | 2017-09-12 | 微软技术许可有限责任公司 | 使用多个相机的目标对象角度确定 |
WO2018153374A1 (zh) * | 2017-02-27 | 2018-08-30 | 安徽华米信息科技有限公司 | 相机标定 |
WO2019024793A1 (zh) * | 2017-07-31 | 2019-02-07 | 腾讯科技(深圳)有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
CN109829502A (zh) * | 2019-02-01 | 2019-05-31 | 辽宁工程技术大学 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
CN110070610A (zh) * | 2019-04-17 | 2019-07-30 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
CN110163909A (zh) * | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 用于获得设备位姿的方法、装置和存储介质 |
CN111862352A (zh) * | 2020-08-03 | 2020-10-30 | 字节跳动有限公司 | 定位模型优化方法、定位方法和定位设备 |
CN111899305A (zh) * | 2020-07-08 | 2020-11-06 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定优化方法及相关***、设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000078055A1 (en) * | 1999-06-11 | 2000-12-21 | Emile Hendriks | Acquisition of 3-d scenes with a single hand held camera |
CN101320473A (zh) * | 2008-07-01 | 2008-12-10 | 上海大学 | 自由多视角、实时的三维重建***和方法 |
CN101419705A (zh) * | 2007-10-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
-
2010
- 2010-03-31 CN CN2010101373345A patent/CN101826206B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000078055A1 (en) * | 1999-06-11 | 2000-12-21 | Emile Hendriks | Acquisition of 3-d scenes with a single hand held camera |
CN101419705A (zh) * | 2007-10-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
CN101320473A (zh) * | 2008-07-01 | 2008-12-10 | 上海大学 | 自由多视角、实时的三维重建***和方法 |
Non-Patent Citations (3)
Title |
---|
《IEEE International Conference on Acoustics Speech and Signal Processing》 20100319 Yanli Wan et al Reconstruction of Dense Point Cloud from Uncalibrated Wide-baseline Images 第1231-1233页3-4节 1-3,5,7-9 , 2 * |
《IEEE Transactions on Pattern Analysis and Machine Intelligence》 20050331 Maxime Lhuillier et al A Quasi-Dense Approach to Surface Reconstruction from Uncalibrated Images 第419页2.1节第2段 2 第27卷, 第3期 2 * |
《International Journal of Computer Vision》 20081130 Noah Snavely et al Modeling the World from Internet Photo Collections 第194-195页4.2节第1-5段 7 第80卷, 第2期 2 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104541304B (zh) * | 2012-08-23 | 2017-09-12 | 微软技术许可有限责任公司 | 使用多个相机的目标对象角度确定 |
CN102938229A (zh) * | 2012-09-18 | 2013-02-20 | 中国人民解放军装甲兵工程学院 | 三维数字全息光子地图 |
CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
CN103759670B (zh) * | 2014-01-06 | 2016-09-28 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
CN106709899A (zh) * | 2015-07-15 | 2017-05-24 | 华为终端(东莞)有限公司 | 双摄像头相对位置计算方法、装置和设备 |
WO2017008516A1 (zh) * | 2015-07-15 | 2017-01-19 | 华为技术有限公司 | 双摄像头相对位置计算方法、装置和设备 |
US10559090B2 (en) | 2015-07-15 | 2020-02-11 | Huawei Technologies Co., Ltd. | Method and apparatus for calculating dual-camera relative position, and device |
CN106709899B (zh) * | 2015-07-15 | 2020-06-02 | 华为终端有限公司 | 双摄像头相对位置计算方法、装置和设备 |
CN105279789B (zh) * | 2015-11-18 | 2016-11-30 | 中国兵器工业计算机应用技术研究所 | 一种基于图像序列的三维重建方法 |
CN105279789A (zh) * | 2015-11-18 | 2016-01-27 | 中国兵器工业计算机应用技术研究所 | 一种基于图像序列的三维重建方法 |
WO2018153374A1 (zh) * | 2017-02-27 | 2018-08-30 | 安徽华米信息科技有限公司 | 相机标定 |
US11222442B2 (en) | 2017-07-31 | 2022-01-11 | Tencent Technology (Shenzhen) Company Limited | Method for augmented reality display, method for determining pose information, and apparatuses |
WO2019024793A1 (zh) * | 2017-07-31 | 2019-02-07 | 腾讯科技(深圳)有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
US11763487B2 (en) | 2017-07-31 | 2023-09-19 | Tencent Technology (Shenzhen) Company Limited | Method for augmented reality display, method for determining pose information, and apparatuses |
CN110163909A (zh) * | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 用于获得设备位姿的方法、装置和存储介质 |
CN109829502A (zh) * | 2019-02-01 | 2019-05-31 | 辽宁工程技术大学 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
CN109829502B (zh) * | 2019-02-01 | 2023-02-07 | 辽宁工程技术大学 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
CN110070610B (zh) * | 2019-04-17 | 2023-04-18 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
CN110070610A (zh) * | 2019-04-17 | 2019-07-30 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
CN111899305A (zh) * | 2020-07-08 | 2020-11-06 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定优化方法及相关***、设备 |
CN111862352A (zh) * | 2020-08-03 | 2020-10-30 | 字节跳动有限公司 | 定位模型优化方法、定位方法和定位设备 |
Also Published As
Publication number | Publication date |
---|---|
CN101826206B (zh) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101826206B (zh) | 一种相机自定标的方法 | |
CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
CN103218783B (zh) | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 | |
Wu | Towards linear-time incremental structure from motion | |
US10438366B2 (en) | Method for fast camera pose refinement for wide area motion imagery | |
Deng et al. | Noisy depth maps fusion for multiview stereo via matrix completion | |
CN103822616A (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
Antone et al. | Scalable extrinsic calibration of omni-directional image networks | |
CN103235810B (zh) | 遥感影像控制点数据智能检索方法 | |
CN101882308A (zh) | 提高图像拼接精度和稳定性的方法 | |
CN108759788B (zh) | 无人机影像定位定姿方法及无人机 | |
Schönberger et al. | Structure-from-motion for MAV image sequence analysis with photogrammetric applications | |
CN107220996B (zh) | 一种基于三角结构一致的无人机线阵与面阵影像匹配方法 | |
CN104182968A (zh) | 宽基线多阵列光学探测***模糊动目标分割方法 | |
Yao et al. | Relative camera refinement for accurate dense reconstruction | |
Cui et al. | Tracks selection for robust, efficient and scalable large-scale structure from motion | |
Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
CN108447084B (zh) | 基于orb特征的立体匹配补偿方法 | |
Magri et al. | Bending the doming effect in structure from motion reconstructions through bundle adjustment | |
CN114563000B (zh) | 一种基于改进型激光雷达里程计的室内外slam方法 | |
Gómez et al. | Improving the pair selection and the model fusion steps of satellite multi-view stereo pipelines | |
Chang et al. | 3D shape registration using regularized medial scaffolds | |
Wang et al. | Fast and accurate satellite multi-view stereo using edge-aware interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111228 Termination date: 20120331 |