CN102682468A - 一种基于平行平面和无穷远点的仿射重构的方法 - Google Patents
一种基于平行平面和无穷远点的仿射重构的方法 Download PDFInfo
- Publication number
- CN102682468A CN102682468A CN2011100610831A CN201110061083A CN102682468A CN 102682468 A CN102682468 A CN 102682468A CN 2011100610831 A CN2011100610831 A CN 2011100610831A CN 201110061083 A CN201110061083 A CN 201110061083A CN 102682468 A CN102682468 A CN 102682468A
- Authority
- CN
- China
- Prior art keywords
- infinity
- point
- plane
- homography matrix
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于平行平面和无穷远点的仿射重构的方法,对场景中包含一组平行平面和一对无穷远点的情况实现仿射重构,拍摄两幅包含三个可视面(其中一组为平行平面)的图像;提取图像中所需各点的图像坐标,确定场景中平行平面所对应的单应矩阵,在利用无穷远点对无穷远单应矩阵的约束,建立对无穷远单应的线性约束方程,并线性解出该矩阵。最后,建立摄像机矩阵,求出空间点的世界坐标,完成对场景中物体的仿射重建。本发明在求解过程中所涉及的运算,全部是线性运算,避免了一定的误差,具有一定的精度。
Description
技术领域
本发明属于计算机视觉中的三维重建的领域,是一种利用一组平行平面和一对无穷远点来对空间物体仿射重构的新方法。
背景技术
三维重建是计算机视觉领域中一个重要的研究领域,它是指从两幅或者多幅图像的像点坐标来恢复与之对应的空间点的世界坐标,即,恢复物体的三维空间结构。一般来说,在摄像机内参数不变的情况下,重构的框架可以分为两大类:第一类是基于基本矩阵和对极几何来计算内参数,最常见的是在两幅图像之间建立Kruppa方程;第二类是分层逐步自标定重构,即:首先对序列图像做射影重构,在此基础之上,进行仿射重构和欧式重构。
由于三维重建涉及到计算机视觉,计算机图形学,图像处理,虚拟现实等技术领域,因此,近些年一直是研究的热点。目前对其的研究主要是从特征检测,特征点匹配和摄像机标定这3个方面进行的。在分层重构过程中,射影重构的关键是确定基本矩阵,仿射重构则是确定无穷远平面的单应矩阵,而度量重构一般则是在仿射重构的基础之上来完成的。三维重建的过程就是根据上述的方法来确定摄像机外部参数的过程,即物体空间点的世界坐标。
随着计算机视觉技术的不断发展,三维重构技术也出现了多种多样的算法。1992年Hartley和Faugeras提出了由未标定的图像序列进行三维重构的算法,即先仅由二维图像上的对应点对三维物体进行射影重构,然后根据场景信息、摄像机的运动参数信息进行仿射重构,最后由摄像机内部结构信息得到度量重构。文献“基于两幅图像的三维物体分层重构”中(赵为民,梁栋,唐俊.计算机工程与应用,2003,36:78-80)提出了基于摄像机内参数不变的实验靶标为两个长方体的分层重构算法,其采用的内参数模型是5参数模型,在摄像机标定过程中至少需要两幅图像。
文献“由平行平面的投影确定无穷远平面的单应矩阵”(孙凤梅,胡占义,吴福朝.软件学报,2003,14(5):936-948)中提出了利用平行平面来确定无穷远平面的单应矩阵,进而可以对三维物体直接仿射重构,但是该文的算法是需要两组平行平面,由于不是所有的物体都可以包含两组平行平面,而有的空间物体只含有一组平行平面,所以这种算法具有一定的局限性,有待于进一步研究。针对能否使用一幅图像就可以线性的高精度的恢复物体的三维空间结构,就是我们目前的研究重点。
发明内容
本发明采用了正三棱柱为靶标,利用一组平行平面和一对无穷远点来线性的确定无穷远平面的单应矩阵,进而完成对空间物体的仿射重构,该方法具有运算简单,且精度较高等优点。
本发明的技术解决方案
一种基于平行平面和无穷远点的仿射重构的方法,其主要是用于包含一组平行平面和一对无穷远点的场景中,我们取场景中所包含的一组平行平面,利用单应矩阵对无穷远平面形成一个约束,然后在利用无穷远点来完成无穷远单应的求解,最后利用三角原理来确定空间点的世界坐标,进而完成仿射重建。具体步骤包括:平行平面所对应的单应矩阵的求解,无穷远单应矩阵的求解和空间点的世界坐标的求解。
(1)计算平行平面所对应的单应矩阵
对任一平面中任意四点,其中三点不共线的,分别找到其在两幅图像上的所对应的象点,利用m2=Hm1,求出H,则H即为平面所对应的单应矩阵。
(2)利用平行平面的单应矩阵来求解α(α=K-Tn)
根据前面知识单应矩阵可以表示为:(nd=n/d)当d→∞,H∞=K′RK-1,所以,任意的单应矩阵都可以用无穷远平面的单应矩阵表示出来,即:设π1,π2为一组平行平面,H1,H2为其对应的一组单应矩阵,故可以用无穷远平面的单应矩阵表示出来, (s1,s2为非零常数),将上面两个式子做差,可以得到则上式可以转化为xH1+e′yT=H2,利用线性方程组可以求出x,y,在相差一个非零常数数因子的意义下可以线性确定向量α。
(3)利用无穷远点来确定无穷远单应矩阵H∞
在场景中找到一对对应的无穷远点,并且满足P′=H∞P,带入式子H∞=s1H1-λe′yT中,所以P′=H∞P=(s1H1-λe′yT)P,这样在利用一组无穷远点就可以线性的确定s1和λ。即:可以求出无穷远平面的单应矩阵H∞。
(4)构建仿射重建矩阵,利用三角原理来确定空间点的世界坐标
根据前面的步骤,在求出无穷远平面的单应矩阵之后,我们可以得出所对应的摄像机矩阵P,P′,则,任意空间点X的世界坐标可以表示为λ1m=pX,λ2m′=p′X,由于像点坐标我们在角点提取中可以得到,故X的世界点坐标可以得到。
本发明的优点是:
(1)本发明主要适用于拍摄场景中含有一组平行平面和一对无穷远点的情况,属于非接触式测量方法,可以直接提取图像中相关点的信息。
(2)本发明采用的算法采用的是一组平行平面和一对无穷远点的有关性质,来完成对无穷远单应矩阵的求解,进而完成对空间物体的仿射重建。
(3)在求解过程中,全是线性求解,计算量比较小,结果精度也比较高。
附图说明
图1本发明利用空间正三棱柱靶标完成仿射重建的流程图。
图2本发明采用的标定靶标结构示意图。
图3正三棱柱仿射重建示意图。
具体实施方式
下面是对本发明做进一步的详细说明。提出了一种基于平行平面和无穷远点的仿射重构的方法,其特征在于它适用于包含一组平行平面和一对无穷远点的场景中,我们首先利用平行平面的单应矩阵来对无穷远平面的单应矩阵形成约束,在利用一对无穷远点来进一步求出无穷远平面的单应矩阵。这样,我们就可以得到摄像机矩阵,从而可以利用三角原理来完成三维空间物体的仿射重构。
(1)计算平行平面所对应的单应矩阵
设X是空间平面上的任意一点,其在两摄像机下的像点坐标分别是m,m′,由于空间平面与两个像平面之间存在两个矩阵H1,H2,且满足m=H1X,m′=H2X,(H1,H2为可逆矩阵),因此m,m′也存在一个变换即m′=Hm。其中H为两幅图像之间的单应矩阵。故,选取平面上任意四点,其中三点不共线,就可以分别求出平行平面所对应的单应矩阵。
(2)利用平行平面的单应矩阵来求解α(α=K-Tn)
根据前面知识单应矩阵可以表示为:(nd=n/d)当d→∞,H∞=K′RK-1,所以,任意的单应矩阵都可以用无穷远平面的单应矩阵表示出来,即:设π1,π2为一组平行平面,H1,H2为其对应的一组单应矩阵,故可以用无穷远平面的单应矩阵表示出来, (s1,s2为非零常数),将上面两个式子做差,可以得到则上式可以转化为xH1+e′yT=H2,利用线性方程组可以求出x,y,在相差一个非零常数数因子的意义下可以线性确定向量α。
(3)利用无穷远点来确定无穷远单应矩阵H∞
在场景中找到一对对应的无穷远点,并且满足P′=H∞P,带入式子H∞=s1H1-λe′yT中,所以P′=H∞P=(s1H1-λe′yT)P,这样在利用一组无穷远点就可以线性的确定s1和λ。即:可以求出无穷远平面的单应矩阵H∞。
(4)构建仿射重建矩阵,利用三角原理来确定空间点的世界坐标
根据前面的步骤,在求出无穷远平面的单应矩阵之后,我们可以得出所对应的摄像机矩阵P,P′,则,任意空间点X的世界坐标可以表示为λ1m=pX,λ2m′=p′X,由于像点坐标我们在角点提取中可以得到,故X的世界点坐标可以得到。
实施例
本发明提出了一种基于平行平面和无穷远点的仿射重构的方法,具体操作如流程如图1所示:本发明所选用的实验靶标是一个任意棱长的正三棱柱,如图2所示,不妨设其棱长为30cm,取点A1为坐标系原点,在三角形A1B1C1所在平面分别取B1C1的中点所在直线和与其相互垂直直线为y轴和x轴,以通过点A1且与xy平面相互垂直直线为z轴,建立右手直角坐标系A1-xyz,则估计出A,B,C,D,E,F,G及A1,B1,C1,D1,O,O1(如图2)的坐标分别为:A(0,0,30),
具体的步骤如下:
(1)制作正三棱柱模型,摄像机拍摄两组图像,选择包含三个可视面(其中一组为平行平面)的图像。
(2)用OpenCV中的函数cvGoodFeaturesToTrack提取出图像中角点坐标。
(3)求解平行平面对应的单应矩阵
设ma,mb,mc,me,m′a,m′b,m′c,m′e分别是空间正三棱柱ABC-A1B1C1中点A,B,C,E所对应的两幅图像上的像点坐标,根据m′=Hm,分别将对应的像点坐标带入,就可以求得对应平面的单应矩阵。下面以求解三角形ABC所在平面的单应矩阵为例,给出求解过程。在三角形ABC所在平面任选取四点以A,B,C,E为例,其中任三点不共线,选取任意一幅包含三个可视面(其中一组为平行平面)的图像,提取出特征点A,B,C,E的在两幅图像上的像点坐标,分别为:ma(397,50),mb(83,34),mc(225,234),me(278,81),m′a(528,121),m′b(262,104),m′c(399,281),m′e(436,149),由m′=Hm,分别将对应点的坐标带入,就可以求出H。
即三角形ABC所在平面的单应矩阵为:
(4)利用平行平面的单应矩阵来求解α(α=K-Tn)
设正三棱柱中三角形ABC所在平面和三角形A1B1C1所在平面对应的单应矩阵分别为H1,H2,则存在非零常数s1,s2,满足 由于e′≈Kt,α=K-Tn,存在非零常数λ,使得e′=λKt,将上面两个式子相减可得:
于是有:
则上式可以转化为xH1+e′yT=H2,利用线性方程组可以求出x,y,在相差一个非零常数因子的意义下可以线性确定向量α。
(5)利用无穷远点来确定无穷远单应矩阵H∞。
设P,P′图像中中一对对应的无穷远点,其坐标分别为P=(u,v,1),P′=(u′,v′,1),则满足P′=H∞P;
又
所以H∞=s1H1-λe′yT,
故有P′=H∞P=(s1H1-λe′yT)P;这样在利用一组无穷远点就可以线性的确定s1和λ。进而可以求出无穷远单应矩阵,
(6)构建仿射重建矩阵,利用三角原理来确定空间点的世界坐标
构造摄像机对P,P′,设Xa为正三棱柱中一顶点A的世界坐标:Xa=(X,Y,Z,1)T,在摄像机P下的坐标为ma=(u,v,1)T,在摄像机P′下的坐标为m′a=(u′,v′,1)T,根据λ1ma=pXa,λ2m′a=p′Xa,将上面的式子转换成线性方程组可得:AX=B,
其中 X=(X,Y,Z)T,
解此线性方程组可以确定空间点Xa的世界坐标,
Xa=(-251553.949843553,18840.725385731,1)。
类似的,可以求出正三棱柱其他顶点的坐标。进而可以完成正三棱柱的仿射重建,如图3所示。
本发明提出的仿射重建方法比较简单易行,鲁棒性好,只需要场景中包含一组平行平面和一对无穷远点即可。
Claims (1)
1.一种基于平行平面和无穷远点的仿射重构的方法。该方法的特征在于场景中包含一组平行平面和一对无穷远点,我们根据一对平行平面可以求出其对应的单应矩阵,利用无穷远点可以对无穷远单应矩阵形成约束,将上面的结合在一起就可以求解出无穷远单应矩阵。最后,根据所求出的无穷远单应构建摄像机矩阵,求出空间点的世界坐标,进而完成放射重建。具体步骤包括:所需平行平面的单应矩阵的求解,利用无穷远点的约束和平行平面的单应矩阵来求解无穷远单应矩阵,空间点的世界坐标的求解。
(1)利用无穷远点的约束和平行平面的单应矩阵来求解无穷远单应矩阵
设一组平行平面所对应的单应矩阵分别是H1,H2,则存在非零常数s1,s2,
使得:
将上面两个式子做差,可以得到
则上式可以转化为xH1+e′yT=H2,利用线性方程组可以求出x,y,在相差一个非零常数因子的意义下可以线性确定向量α,
另外在设P,P′为图像上相对应的无穷远点,其坐标分别为P=(u,v,1),P′=(u′,v′,1),则满足P′=H∞P;
又
所以H∞=s1H1-λe′yT,
故有P′=H∞P=(s1H1-λe′yT)P;这样在利用一组无穷远点的像点坐标就可以线性的确定s1和λ;进而可以求解出无穷远单应矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100610831A CN102682468A (zh) | 2011-03-15 | 2011-03-15 | 一种基于平行平面和无穷远点的仿射重构的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100610831A CN102682468A (zh) | 2011-03-15 | 2011-03-15 | 一种基于平行平面和无穷远点的仿射重构的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102682468A true CN102682468A (zh) | 2012-09-19 |
Family
ID=46814332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100610831A Pending CN102682468A (zh) | 2011-03-15 | 2011-03-15 | 一种基于平行平面和无穷远点的仿射重构的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102682468A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628310A (zh) * | 2018-04-27 | 2018-10-09 | 华中科技大学 | 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 |
CN111380480A (zh) * | 2019-12-31 | 2020-07-07 | 吉林大学 | 基于三角形阵列仿射不变量的汽车形貌重建***与方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040096097A1 (en) * | 2000-11-16 | 2004-05-20 | David Nister | Scene reconstruction and camera calibration with robust use of cheirality |
CN101226638A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种对多相机***的标定方法及装置 |
-
2011
- 2011-03-15 CN CN2011100610831A patent/CN102682468A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040096097A1 (en) * | 2000-11-16 | 2004-05-20 | David Nister | Scene reconstruction and camera calibration with robust use of cheirality |
CN101226638A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种对多相机***的标定方法及装置 |
Non-Patent Citations (1)
Title |
---|
YUE ZHAO等: "Parallel Planes and Infinite Points Based Three-Dimensional Reconstruction", 《JOURNAL OF COMPUTATIONAL INFORMATION SYSTEMS 6》, 30 November 2010 (2010-11-30), pages 3 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628310A (zh) * | 2018-04-27 | 2018-10-09 | 华中科技大学 | 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 |
CN111380480A (zh) * | 2019-12-31 | 2020-07-07 | 吉林大学 | 基于三角形阵列仿射不变量的汽车形貌重建***与方法 |
CN111380480B (zh) * | 2019-12-31 | 2024-06-07 | 吉林大学 | 基于三角形阵列仿射不变量的汽车形貌重建***与方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103714571B (zh) | 一种基于摄影测量的单像机三维重建方法 | |
CN103900583B (zh) | 用于即时定位与地图构建的设备和方法 | |
Zhang et al. | A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection | |
CN103198524B (zh) | 一种大规模室外场景三维重建方法 | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及*** | |
KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
WO2019219014A1 (zh) | 基于光影优化的三维几何与本征成份重建方法及装置 | |
CN102521586B (zh) | 一种用于拍照手机的高分辨率三维人脸扫描方法 | |
CN102982551B (zh) | 空间三条不平行直线线性求解抛物折反射摄像机内参数 | |
CN103106661B (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN104034269A (zh) | 一种单目视觉测量方法与装置 | |
WO2015179216A1 (en) | Orthogonal and collaborative disparity decomposition | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
WO2023005457A1 (zh) | 位姿计算方法和装置、电子设备、可读存储介质 | |
CN102136140A (zh) | 一种基于矩形图样的视频图像距离检测方法 | |
CN105374067A (zh) | 一种基于pal相机的三维重建方法及其重建*** | |
CN106683163A (zh) | 一种视频监控的成像方法及*** | |
CN111047678A (zh) | 一种三维人脸采集装置和方法 | |
CN103020946A (zh) | 基于三正交方向消失点的摄像机自标定方法 | |
CN104200476A (zh) | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 | |
CN111311659A (zh) | 一种基于斜交平面镜三维成像的校准方法 | |
CN102110290B (zh) | 一种利用正三棱柱靶标求解摄像机内参数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120919 |