CN103632334A - 一种基于平行光轴结构摄像机的无穷远图像对齐方法 - Google Patents
一种基于平行光轴结构摄像机的无穷远图像对齐方法 Download PDFInfo
- Publication number
- CN103632334A CN103632334A CN201310567434.5A CN201310567434A CN103632334A CN 103632334 A CN103632334 A CN 103632334A CN 201310567434 A CN201310567434 A CN 201310567434A CN 103632334 A CN103632334 A CN 103632334A
- Authority
- CN
- China
- Prior art keywords
- plane
- coordinate
- point
- obtains
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括如下步骤,S1设定垂直于摄像机光轴方向的平面,从该平面上均匀选取匹配点,S2利用匹配点,求解描述基于该平面关系的单应矩阵,S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表,S4设置一个垂直于摄像机光轴方向的等效无穷远的平面,计算无穷远平面上对应点的视差,平移坐标映射表,转换为基于无穷远平面对齐的坐标映射表。本发明的优势在于不需要通过摄像机的标定获得摄像机的内参矩阵和旋转矩阵,就能实现两张图像的公共区域在无穷远平面的对齐。
Description
技术领域
本发明涉及图像配准领域,具体涉及一种基于平行光轴结构摄像机的无穷远图像对齐方法。
背景技术
图像配准是图像合成中的关键步骤,现阶段的配准方法主要有直接配准和分部配准。其中分部配准的方法通常是首先进行极线矫正(或投影矫正),将两幅图像的对应点坐标矫正到同一水平线上,从而降低搜索维度,有些文献将满足这一关系图像对称作满足扫描线特性,然后在再采用一维方向上的搜索策略,完成对应点间的匹配。
极线矫正可以使用投影变换的方法进行,对两张图像分别进行投影变换,或者仅对一张图像进行。投影变换的常用工具是单应矩阵(简称H矩阵),因此计算单应矩阵的方法将是重要步骤。
无穷远图像对齐针对的是H∞矩阵的计算,多几何视觉中,H∞描述的是两个视角关于无穷远平面的映射关系。有如下公式描述:
如图2所示,其中K′和K分别是第一视角1和第二视角2的内参矩阵,R是第一视角1到第二视角2的旋转矩阵。因此,需要首先对第一视角1和第二视角2的摄像机进行标定,分别计算其内参矩阵,然后再计算两台摄像机之间的旋转矩阵,这种方法计算步骤较为繁琐,由于步骤多,使得精度往往难以保证。
另外,可以通过DLT直接线性变换算法计算H∞。由于无穷远平面需要距离摄像机较远,则难以找到分布均匀且足够数量的匹配点,同时匹配点坐标的精度也难以保证。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种基于平行光轴结构摄像机的无穷远图像对齐方法。
本发明提供一种计算等效H∞的方法,用于实现无穷远平面的图像对齐。
本发明采用如下技术方案:
一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括如下步骤:
S1设定一个垂直于摄像机光轴方向的平面,然后从该平面上均匀选取匹配点;
S2利用匹配点,求解描述基于该平面关系的单应矩阵;
S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表;
S4设置一个垂直于摄像机光轴方向的等效无穷远平面,利用投影变换、计算无穷远平面上对应点的视差,平移S3得到的坐标映射表,然后得到无穷远平面对齐的坐标映射表。
所述步骤S1包括如下步骤:
S1.1设置两台具有平行光轴,且并排放置的摄像机;
S1.2设定垂直于摄像机光轴方向的平面,并在该平面上张贴棋盘格纸;
S1.3以棋盘格的角点作为特征点,两台摄像机获取图像,分别记为左图和右图,然后从左图和右图中均匀选取匹配点,所述匹配点对数为至少4对。
所述步骤S2包括如下步骤:
S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A,通过SVD分解,得到h矩阵的近似解;
S2.4通过反归一化处理,求解描述Pl和Pr映射关系的H矩阵。
所述步骤S3具体包括如下步骤:
S3.1根据右图或左图图像大小,建立离散坐标映射表;
S3.2利用双线性差值及离散坐标映射表,得到完整的图像的坐标映射表。
所述步骤S4具体包括:
S4.1设置一个距离摄像机的等效无穷远平面,该平面与S1所述平面平行,利用S3得到的坐标映射表,计算左图或右图的投影变换图像;
S4.2比较其中一张投影变换图像与另一张原始图像在等效无穷远平面的视差值;
S4.3利用视差值平移S3得到的坐标映射表,得到无穷远平面对齐的坐标映射表。
所述S3.1根据右图或左图图像大小,建立坐标映射表,具体如下:
建立一张与右图图像大小相同的坐标映射表,然后遍历该图横纵坐标均能被4或8或16整除的点Pr(i,j),利用单应矩阵H计算其映射坐标Pl(i,j),其中i,j均为4或8或16的倍数,并对该映射坐标进行定点化处理,乘以64或128,然后四舍五入取整,获取离散坐标映射表。
所述S4.1中所述等效无穷远平面与摄像机之间的距离是两个摄像机之间基线的100倍以上。
本发明的有益效果:
本发明避免了摄影机定标的繁琐步骤,提出了利用一个平面和DLT(直接线性变换方法)求取基于平面的图像对齐,在通过平移,得到等效无穷远对齐的坐标映射表或等效H∞矩阵;通过无穷远平面对齐,可用于实现立体图像的快速配准,以及深度图像的获取。
附图说明
图1是本发明的方法流程图;
图2是本发明现有技术中具有平行光轴结构摄像机的第一视角及第二视角的结构示意图;
图3是本发明具体实施方式棋盘格平面示意图。
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例:
如图1所示,一种基于平行光轴结构摄像机的无穷远图像对齐方法,包括如下步骤:
S1设定一个垂直于摄像机光轴方向的平面,然后从该平面上均匀选取匹配点;
设置两台具有平行光轴结构的摄像机,且并排放置,在摄像机的正前方,设定一个垂直于摄像机光轴方向的平面,并张贴上棋盘格纸,棋盘格图纸的设计可以参照图3所示,但又不仅限于此。棋盘格要尽可能的占满两台摄像机的图像,选择棋盘格的角点作为特征点,两台摄像机分别获取一张图像,记为左图像和右图像(原始图像),然后从中均匀选取匹配点对,所述匹配点对数至少4对,例如20对匹配点,分别是Pl和Pr,Pl表示左图的匹配点,Pr表示右图的匹配点,并记录下来。
S2利用匹配点,求解描述基于该平面关系的单应矩阵;具体包括如下步骤:
S2.1对匹配点坐标进行归一化。
现对左图坐标点进行归一化采用如下公式:
Pl=[Xl,Yl,1]T
假设垂直于摄像机光轴方向的平面上任意点p,在左、右两图像中的投影点归一化后的坐标分别是Xi′和Xi;
S2.3将S2.1得到的归一化坐标代入S2.2得到的系数矩阵A,通过SVD分解,得到h矩阵的近似解,也就是描述归一化坐标之间的单应矩阵h;
具体为:
公式如下:A=UDVT
对A矩阵进行SVD分解,h由矩阵V的最后一列构成,并将其整理成3*3的形式:
S2.4通过反归一化处理,求解描述原始图像匹配点坐标映射关系的单应矩阵,具体为通过反归一化,计算直接描述Pl和Pr映射关系的H矩阵公式如下:
TlPl=kh*TrPr
得到左图映射点和右图映射点的关系式如下:
Pl=HPr
通过该H矩阵,即可建立起基于S1所述平面的图像对齐。
S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表;
S3.1计算原始图像的离散坐标映射表,具体为:
假设计算右图坐标点对应的映射坐标,建立一张坐标映射表,以右图图像坐标系为基准,一般取8*8的方框(前提是图像的长、宽均能被8整除)覆盖满整个右图。根据不同的精度要求,方框也可以选择4*4或16*16。在每个8*8的方框顶点Pr(i,j)使用S2.4求解出的H矩阵计算出映射坐标Pl(i,j)。其中i,j均为8的倍数,并对该坐标进行定点化处理,乘以64或128,然后四舍五入取整,获取离散的坐标映射表。
S3.2计算完整的坐标映射表,步骤如下:
通过S3.1得到右图Pr(i,j)(其中i,j均为8的倍数)的映射坐标,对于右图其他位置的点,需要用插值方法来计算。
采用双线性插值方法,按照8*8的方框逐个进行。在每一个方框内部,利用如下公式计算出四条边上坐标点的映射坐标。
f(k)=(f(1)*(8-k)+f(2)*k)/8; (0<k<8)
利用如下公式计算出方框的内部区域坐标点的映射坐标。
f(x,y)=(f(1)*(8-x)*(8-y)+f(2)*(x)*(8-y)+f(3)*(8-x)*(y)+f(4)*x*y)/64
(0<x,y<7)
其中f(1),f(2),f(3),f(4)分别为方框四个顶点位置的映射坐标。遍历整张右图内的每一个方框,都使用上述插值方法,即可得到一张完整图像的坐标映射表。
S4设置一个垂直于摄像机光轴方向的等效无穷远平面,利用投影变换、计算无穷远平面上对应点的视差,平移S3得到坐标映射表,然后得到无穷远平面对齐的坐标映射表。
所述等效无穷远平面与S1中的平面平行,均垂直于摄像机光轴方向,且等效无穷远平面距离摄像机的距离是两摄像机之间基线距离的100倍以上,上面两个条件是为了保证经过投影变换后,无穷远平面上的点存在相同的视差;同时对距离的规定,保证了可以等效到无穷远。如两台摄相机之间的基线距离为0.1m,则要求无穷远平面的距离为10m以上。
S4.1设置一个垂直摄像机光轴方向的等效无穷远平面,利用S3得到的坐标映射表和双线性插值算法,计算左图的投影变换图像即PT图像;
具体为:
首先为PT图像申请与右图等大小的图像空间,遍历PT图像上每一个像素位置,利用步骤S3得到的坐标映射表,确定该点在左图上位置,利用周围最近的四个像素点,通过双线性插值算法,计算出映射表指向位置的颜色值,填充到新建的这张图像上,即为PT图像。
S4.2在等效无穷远平面上,找到多个PT图像与右图的对应点,计算其水平方向视差的均值即坐标值之差,并记录下来。
Offset=abs(Pr-HPl)
由于摄像机之间具有平行光轴结构并排摆放,PT图像与右图对应点之间,即Pr和HPl之间仅存在水平视差,故这里只计算水平方向的视差。
等效无穷远平面与S1所述平面平行,且均垂直于光轴方向,使得等效无穷远平面上的任意点到摄像机位置的深度是相等的。因为深度相等,故Pr和HPl之间的视差是一个定值。
S4.3利用视差值平移S3.2得到的坐标映射表,得到无穷远平面对齐的坐标映射表即H∞矩阵。
H矩阵的第一行第三列元素(即H13)的作用是控制水平方向的平移,也可通过加减该参数,来求取H∞矩阵。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种基于平行光轴结构摄像机的无穷远图像对齐方法,其特征在于,包括如下步骤:
S1设定垂直于摄像机光轴方向的平面,然后从该平面上均匀选取匹配点;
S2利用匹配点,求解描述基于该平面关系的单应矩阵;
S3利用单应矩阵和双线性插值算法,求解基于该平面对齐的坐标映射表;
S4设置一个垂直于摄像机光轴方向的等效无穷远平面,利用投影变换、计算无穷远平面上对应点的视差,平移S3得到的坐标映射表,得到无穷远平面对齐的坐标映射表。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括如下步骤:
S1.1设置两台具有平行光轴,且并排放置的摄像机;
S1.2设定垂直于摄像机光轴方向的平面,并在该平面上张贴棋盘格纸;
S1.3将两台摄像机获取图像分别记为左图和右图,以棋盘格上的角点作为特征点,然后从左图和右图中均匀选取匹配点,所述匹配点对数为至少4对。
4.根据权利要求1所述的方法,其特征在于,所述步骤S3具体包括如下步骤:
S3.1根据右图或左图图像大小,建立离散坐标映射表;
S3.2利用双线性差值及离散坐标映射表,得到完整的图像的坐标映射表。
5.根据权利要求1所述的方法,其特征在于,所述步骤S4具体包括:
S4.1设置一个距离摄像机的等效无穷远平面,该平面与S1所述平面平行,利用S3得到的坐标映射表,计算左图或右图的投影变换图像;
S4.2比较其中一张投影变换图像与另一张原始图像在等效无穷远平面的视差值;
S4.3利用视差值平移S3得到坐标映射表,得到无穷远平面对齐的坐标映射表。
6.根据权利要求4所述的方法,其特征在于,所述S3.1根据右图或左图图像大小,建立离散坐标映射表,具体如下:
建立一张与右图或左图图像大小相同的坐标映射表,然后遍历该图横纵坐标均能被4或8或16整除的点Pr(i,j),利用单应矩阵H计算其映射坐标Pl(i,j),其中i,j均为4或8或16的倍数,并对该映射坐标进行定点化处理,乘以64或128,然后四舍五入取整,获取离散坐标映射表。
7.根据权利要求5所述的方法,其特征在于,所述S4.1中所述等效无穷远平面与摄像机之间的距离是两个摄像机之间基线的100倍以上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310567434.5A CN103632334B (zh) | 2013-11-13 | 2013-11-13 | 一种基于平行光轴结构摄像机的无穷远图像对齐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310567434.5A CN103632334B (zh) | 2013-11-13 | 2013-11-13 | 一种基于平行光轴结构摄像机的无穷远图像对齐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103632334A true CN103632334A (zh) | 2014-03-12 |
CN103632334B CN103632334B (zh) | 2017-02-08 |
Family
ID=50213353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310567434.5A Active CN103632334B (zh) | 2013-11-13 | 2013-11-13 | 一种基于平行光轴结构摄像机的无穷远图像对齐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103632334B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
CN107407994A (zh) * | 2015-03-27 | 2017-11-28 | 精工爱普生株式会社 | 交互式投影仪以及交互式投影*** |
CN108154535A (zh) * | 2017-12-04 | 2018-06-12 | 中国人民解放军国防科技大学 | 基于平行光管的摄像机标定方法 |
CN110174059A (zh) * | 2019-06-12 | 2019-08-27 | 合肥中车轨道交通车辆有限公司 | 一种基于单目图像的受电弓导高及拉出值测量方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109493387B (zh) * | 2017-09-11 | 2021-01-05 | 北京图森未来科技有限公司 | 一种多摄像头光轴对齐的方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013021A1 (en) * | 2008-03-19 | 2011-01-20 | Sanyo Electric Co., Ltd. | Image processing device and method, driving support system, and vehicle |
CN101998136A (zh) * | 2009-08-18 | 2011-03-30 | 华为技术有限公司 | 单应矩阵的获取方法、摄像设备的标定方法及装置 |
-
2013
- 2013-11-13 CN CN201310567434.5A patent/CN103632334B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013021A1 (en) * | 2008-03-19 | 2011-01-20 | Sanyo Electric Co., Ltd. | Image processing device and method, driving support system, and vehicle |
CN101998136A (zh) * | 2009-08-18 | 2011-03-30 | 华为技术有限公司 | 单应矩阵的获取方法、摄像设备的标定方法及装置 |
Non-Patent Citations (4)
Title |
---|
刘维: ""基于双目立体视觉的物体深度信息提取***研究"", 《中南大学硕士学位论文》, 11 December 2009 (2009-12-11) * |
吴福朝 等: ""线性确定无穷远平面的单应矩阵和摄象机自标定"", 《自动化学报》, vol. 28, no. 4, 31 July 2002 (2002-07-31), pages 488 - 496 * |
孙凤梅 等: ""由平行平面的投影确定无穷远平面的单应矩阵"", 《软件学报》, vol. 14, no. 5, 31 May 2003 (2003-05-31), pages 936 - 946 * |
杨忠根 等: ""无穷远平面单应性矩阵的线性复原算法"", 《上海海事大学学报》, vol. 26, no. 1, 31 March 2005 (2005-03-31) * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
CN104200450B (zh) * | 2014-08-25 | 2017-08-25 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
CN107407994A (zh) * | 2015-03-27 | 2017-11-28 | 精工爱普生株式会社 | 交互式投影仪以及交互式投影*** |
CN108154535A (zh) * | 2017-12-04 | 2018-06-12 | 中国人民解放军国防科技大学 | 基于平行光管的摄像机标定方法 |
CN108154535B (zh) * | 2017-12-04 | 2020-02-11 | 中国人民解放军国防科技大学 | 基于平行光管的摄像机标定方法 |
CN110174059A (zh) * | 2019-06-12 | 2019-08-27 | 合肥中车轨道交通车辆有限公司 | 一种基于单目图像的受电弓导高及拉出值测量方法 |
CN110174059B (zh) * | 2019-06-12 | 2021-03-02 | 合肥中车轨道交通车辆有限公司 | 一种基于单目图像的受电弓导高及拉出值测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103632334B (zh) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Alidoost et al. | Comparison of UAS-based photogrammetry software for 3D point cloud generation: a survey over a historical site | |
US10580204B2 (en) | Method and device for image positioning based on 3D reconstruction of ray model | |
CN101706957B (zh) | 一种双目立体视觉装置的自标定方法 | |
CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
CN104392435B (zh) | 鱼眼相机标定方法及标定装置 | |
CN103115613B (zh) | 一种空间三维定位方法 | |
CN103632334A (zh) | 一种基于平行光轴结构摄像机的无穷远图像对齐方法 | |
CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN106767533A (zh) | 基于条纹投影轮廓术的高效相位‑三维映射方法及*** | |
CN104794713B (zh) | 基于arm和双目视觉的温室作物数字化成像方法 | |
CN111126148A (zh) | 一种基于视频卫星影像的dsm生成方法 | |
CN101577004B (zh) | 一种极线矫正方法、装置和*** | |
CN102800127A (zh) | 一种基于光流优化的三维重建方法及装置 | |
CN103093479A (zh) | 一种基于双目视觉的目标定位方法 | |
CN104778716B (zh) | 基于单幅图像的卡车车厢体积测量方法 | |
WO2020237492A1 (zh) | 三维重建方法、装置、设备及存储介质 | |
CN104539928A (zh) | 一种光栅立体印刷图像合成方法 | |
CN104881866A (zh) | 一种扩展小孔成像模型的鱼眼相机矫正与标定方法 | |
CN103218812A (zh) | 基于摄影测量的树木形态模型参数快速获取方法 | |
CN102447917A (zh) | 立体图像匹配方法及其设备 | |
CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
CN105741296A (zh) | 一种360度全视角鸟瞰全景行车辅助标定方法 | |
CN111091076A (zh) | 基于立体视觉的隧道限界数据测量方法 | |
CN102914295A (zh) | 基于计算机视觉立方体标定的三维测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |