CN107330856B - 一种基于投影变换和薄板样条的全景成像方法 - Google Patents
一种基于投影变换和薄板样条的全景成像方法 Download PDFInfo
- Publication number
- CN107330856B CN107330856B CN201710459891.0A CN201710459891A CN107330856B CN 107330856 B CN107330856 B CN 107330856B CN 201710459891 A CN201710459891 A CN 201710459891A CN 107330856 B CN107330856 B CN 107330856B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- matching
- algorithm
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000010845 search algorithm Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于投影变换和薄板样条的全景成像方法,首先采集三幅图像;然后采用sift算法提取图像特征点,采用brute‑force搜索算法结合比率验证对相邻图像的特征点进行匹配,采用多结构拟合算法对特征匹配做筛选,拟合出地平面和远景两个平面模型,将每幅图像的特征点分为上下两部分;接着对相邻两幅图像上部分的特征匹配采用DLT算法估计出投影变换矩阵,将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中,并基于薄板样条函数对第一、第三图像进行变形处理;最后根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中,得到全景图。本发明对包含双平面的图像进行全景拼接,提高了图像的对齐能力,减轻了投影畸变。
Description
技术领域
本发明属于计算机视觉和图像处理领域,具体涉及一种基于投影变换和薄板样条的全景成像方法
背景技术
户外场景图像拼接在地面车载全景、旅游景区摄影、街景车等方面有广泛的应用。拼接这类户外场景的常规做法是采用相机旋转模型采集图像,采用投影变换模型对齐图像,这种常规做法存在的问题是:当相机的光心发生偏移时很容易引入视差,采用投影变换模型对齐能力不足。
为了解决光心不一致情形下的图像拼接问题,现有技术多结合局部变换和图像变形的方法,比如APAP(As-Projective-As-Possible)算法和DHW(Dual-HomographyWarping)算法。DHW算法需要根据图像上下两部分的特征匹配,分别评估两个单应变换,但是户外场景图像的下部分一般是路面,纹理信息较少,根据此部分的特征匹配评估单应变换鲁棒性不高。APAP算法虽然优化了局部对齐能力,但保留了全局单应性约束,全景拼接结果仍然存在投影失真和对齐质量差的问题。
发明内容
本发明的目的在于提供一种基于投影变换和薄板样条的全景成像方法,以解决双平面场景图像拼接中存在的投影失真过大和对齐质量差的问题。
实现本发明目的的解决方案为:一种基于投影变换和薄板样条的全景成像方法,包括以下步骤:
步骤1、从左到右采集三幅图像,依次为第一图像、第二图像和第三图像,相邻两幅图像在水平方向存在部分重叠;
步骤2、采用sift算法对每幅图像提取特征点,并生成特征描述向量;
步骤3、采用brute-force搜索算法结合比率验证方法对相邻图像的特征点进行匹配;
步骤4、采用多结构拟合算法对相邻两幅图像的特征匹配做进一步的筛选,拟合出地平面和远景两个平面模型;
步骤5、根据拟合的平面模型确定一条水平界线,将每幅图像的特征点分为上下两部分,得到上下两个子图像;
步骤6、对相邻两幅图像上部分的特征匹配采用直接线性变换(DLT)算法估计出第一图像、第三图像到第二图像的投影变换矩阵,并根据投影变换矩阵将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中;
步骤7、将第一、第三图像下部分子图像的特征点和映射点分别作为薄板样条变形前后的控制点,基于薄板样条函数对第一、第三图像进行变形处理;
步骤8、根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中,使得3幅图像上下两部分都得到了对齐,得到全景图。
步骤1中相邻图像之间有20%-60%的重叠区域。
步骤3进行特征点匹配的具体方法为:
步骤3.1、对相邻两幅图像的特征描述向量集合做循环遍历,选择两幅图像中欧式距离小于距离阈值的特征向量对作为单向匹配候选;
步骤3.2、从单向匹配候选集中选择每个特征向量的两个最近邻描述向量,仅当第一近邻匹配的欧式距离与第二近邻的比值小于比值阈值时,则确认是正确的匹配,否则确认是错误的匹配,将其剔除。
步骤4的多结构拟合算法采用残差排序获得的信息引导并加速假设采样过程。
步骤6的DLT算法表示如下:
Aih=0
步骤7中薄板样条变换函数表示如下:
式中,φ(ri)=ri 2log ri为径向基函数,其中x和y分别是两幅图像中像素点的横纵坐标,xi和yi分别是控制点的横纵坐标,w1i和w2i表示径向基函数的权值;a11、a12、a21、a22、b1、b2是6个仿射系数,n是控制点的数目。
本发明与现有技术相比,其显著优点是:本发明方法针对包含远景平面和地平面的场景进行全景拼接,对远景平面部分使用该部分的特征匹配估计出的单应性矩阵进行变换,得到了“保直性”的效果,减小了投影畸变;对地平面部分采用了薄板样条插值的算法,需要更少的特征点就得到较好的对齐效果,契合了地面纹理信息少的特点;本发明方法提高了图像的对齐能力,减轻了投影畸变。
附图说明
图1是本发明的方法流程图。
图2是本发明的多源输入图像。
图3是本发明的特征匹配筛选与分割的结果图。
图4是本发明的薄板样条图像变形示意图。
图5是本发明的全局投影变换结果图。
图6是本发明的相邻两幅图像的拼接过程图。
图7是本发明的全景效果图。
具体实施方式
下面结合附图和具体实施例,对本发明方案做进一步的说明。
如图1所示,基于投影变换和薄板样条的全景成像方法,以中间图像为参考基准,左右侧图像分别与之对齐,生成全景图,包括以下步骤:
步骤1、相机做水平旋转运动,从左到右采集三幅图像,依次为第一图像、第二图像和第三图像,每幅图像为分辨率是730×487的3通道图像。如图2所示,图像包含了地面信息,第一与第二图像、第二与第三图像之间分别具有50%和57%的重叠区域。为了产生有区分的结果,拍摄场景的相机的光心位置允许有一定位移,这打破了拼接场景必须符合单一单应性变换的假设。
步骤2、采用sift特征提取算法分别提取3幅图像的角点特征;
步骤3、采用brute-force算法加入比率验证获得相邻图像之间的初始匹配,具体方法为:
步骤3.1、对相邻两幅图像的特征描述向量集合做循环遍历,选择两幅图像中欧式距离小于距离阈值的特征向量对作为单向匹配候选;
步骤3.2、从单向匹配候选集中选择每个特征向量的两个最近邻描述向量,仅当第一近邻匹配的欧式距离与第二近邻的比值小于比值阈值时,则确认是正确的匹配,否则确认是错误的匹配,将其剔除。
步骤4、为了筛除局外点,同时保留不属于同一模型但正确的匹配点,采用多结构拟合算法对相邻两幅图像的特征匹配进行过滤,拟合出地平面和远景两个平面模型。多结构拟合算法采用残差排序获得的信息引导并加速假设采样过程。第二图像和第三图像经过多结构拟合算法过滤后的特征匹配结果如图3所示,其中远景平面的特征匹配有42对,地平面的特征匹配有21对。
步骤5、根据多结构拟合算法得到两个不同单应性变换模型对应的内点,将匹配点分为上下两部分,并据此划定图像上下分割边界。
步骤6、选定图像上部分的特征点,用DLT算法计算出第一图像、第三图像上的匹配点集映射到第二图像上的匹配点集的单应性矩阵H1和H2。
DLT算法表示如下:
Aih=0
H1和H2的结果分别为:
步骤7、对路面场景做基于薄板样条函数的非刚性配准拼接,从给定的稀疏特征匹配得到两幅图像的稠密对应。为了保留全局单应性约束,根据两个投影变换矩阵,将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中。在第一、第三图像下部分子图像中,将初始的特征点和映射点分别作为薄板样条变形前后的控制点,对第一、第三图像做变形处理。对第三图像做薄板样条变形的结果如图4所示。
薄板样条变换函数表示如下:
式中,φ(ri)=ri 2log ri为径向基函数,其中x和y分别是两幅图像中像素点的横纵坐标,xi和yi分别是控制点的横纵坐标,w1i和w2i表示径向基函数的权值;a11、a12、a21、a22、b1、b2是6个仿射系数,n是控制点的数目。
步骤8、将变形后的第一、第三图像分别经由单应性矩阵H1和H2变换到参考图像,即第二图像的坐标系中,这样3幅图像中的场景落在了统一的坐标系下,实现了图像的对齐,得到了全景图。
图5显示了采用全局投影变换对齐之后3幅图像的位置和形状。图6显示了相邻两幅图像的拼接过程,图7显示了最终的全景图。从图7可以看出,本发明方法具有“保直性”的效果、投影畸变更小,得到的全景图整体效果和对齐细节都较好。
Claims (5)
1.一种基于投影变换和薄板样条的全景成像方法,其特征在于,包括以下步骤:
步骤1、从左到右采集三幅图像,依次为第一图像、第二图像和第三图像,相邻两幅图像在水平方向存在部分重叠;
步骤2、采用sift算法对每幅图像提取特征点,并生成特征描述向量;
步骤3、采用brute-force搜索算法结合比率验证方法对相邻图像的特征点进行匹配;
步骤4、采用多结构拟合算法对相邻两幅图像的特征匹配做进一步的筛选,拟合出地平面和远景两个平面模型;
步骤5、根据拟合的平面模型确定一条水平界线,将每幅图像的特征点分为上下两部分,得到上下两个子图像;
步骤6、对相邻两幅图像上部分的特征匹配采用DLT算法估计出第一图像、第三图像到第二图像的投影变换矩阵,并根据投影变换矩阵将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中;
步骤7、将第一、第三图像下部分子图像的特征点和映射点分别作为薄板样条变形前后的控制点,基于薄板样条函数对第一、第三图像进行变形处理;
步骤8、根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中,使得3幅图像上下两部分都得到了对齐,得到全景图;
步骤3进行特征点匹配的具体方法为:
步骤3.1、对相邻两幅图像的特征描述向量集合做循环遍历,选择两幅图像中欧式距离小于距离阈值的特征向量对作为单向匹配候选;
步骤3.2、从单向匹配候选集中选择每个特征向量的两个最近邻描述向量,仅当第一近邻匹配的欧式距离与第二近邻的比值小于比值阈值时,则确认是正确的匹配,否则确认是错误的匹配,将其剔除。
2.根据权利要求1所述的基于投影变换和薄板样条的全景成像方法,其特征在于,步骤1中相邻图像之间有20%-60%的重叠区域。
3.根据权利要求1所述的基于投影变换和薄板样条的全景成像方法,其特征在于,步骤4的多结构拟合算法采用残差排序获得的信息引导并加速假设采样过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710459891.0A CN107330856B (zh) | 2017-06-17 | 2017-06-17 | 一种基于投影变换和薄板样条的全景成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710459891.0A CN107330856B (zh) | 2017-06-17 | 2017-06-17 | 一种基于投影变换和薄板样条的全景成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107330856A CN107330856A (zh) | 2017-11-07 |
CN107330856B true CN107330856B (zh) | 2020-11-13 |
Family
ID=60195224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710459891.0A Expired - Fee Related CN107330856B (zh) | 2017-06-17 | 2017-06-17 | 一种基于投影变换和薄板样条的全景成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107330856B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544447B (zh) * | 2018-10-26 | 2022-10-21 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
CN110059711A (zh) * | 2019-01-28 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 图像的对齐方法、装置及设备 |
CN112215749A (zh) * | 2020-04-30 | 2021-01-12 | 北京的卢深视科技有限公司 | 基于柱面投影的图像拼接方法、***、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7623731B2 (en) * | 2005-06-20 | 2009-11-24 | Honda Motor Co., Ltd. | Direct method for modeling non-rigid motion with thin plate spline transformation |
CN102208025A (zh) * | 2011-05-27 | 2011-10-05 | 中国科学院自动化研究所 | 一种文本图像几何畸变的矫正方法 |
US8055028B2 (en) * | 2007-02-14 | 2011-11-08 | Samsung Electronics Co., Ltd. | Object pose normalization method and apparatus and object recognition method |
CN106548462A (zh) * | 2016-11-02 | 2017-03-29 | 西安电子科技大学 | 基于薄板样条插值的非线性sar图像几何校正方法 |
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017027638A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3d reconstruction and registration of endoscopic data |
-
2017
- 2017-06-17 CN CN201710459891.0A patent/CN107330856B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7623731B2 (en) * | 2005-06-20 | 2009-11-24 | Honda Motor Co., Ltd. | Direct method for modeling non-rigid motion with thin plate spline transformation |
US8055028B2 (en) * | 2007-02-14 | 2011-11-08 | Samsung Electronics Co., Ltd. | Object pose normalization method and apparatus and object recognition method |
CN102208025A (zh) * | 2011-05-27 | 2011-10-05 | 中国科学院自动化研究所 | 一种文本图像几何畸变的矫正方法 |
CN106548462A (zh) * | 2016-11-02 | 2017-03-29 | 西安电子科技大学 | 基于薄板样条插值的非线性sar图像几何校正方法 |
CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
Non-Patent Citations (3)
Title |
---|
《 Application of thin‐plate spline transformations to finite element models, or, how to turn a bog turtle into a spotted turtle to analyze both》;Stayton C T;《 Evolution: International Journal of Organic Evolution》;20091231;第63卷(第5期);1348-1355 * |
《Thermal management technology of high-power light-emitting diodes for automotive headlights》;Qu H M等;《 IEICE Electronics Express》;20141231;第11卷(第23期);1-9 * |
《三次透视投影变换图像拼接》;颜无瑕 等;《光学精密工程》;20151231;第23卷(第9期);2724-2731 * |
Also Published As
Publication number | Publication date |
---|---|
CN107330856A (zh) | 2017-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2430591C (en) | Techniques and systems for developing high-resolution imagery | |
CN100556153C (zh) | 一种多视点图像的预处理方法 | |
CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
CN110211043A (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN115205489A (zh) | 一种大场景下的三维重建方法、***及装置 | |
CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及*** | |
CN108257089B (zh) | 一种基于迭代最近点的大视场视频全景图拼接的方法 | |
CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
CN111553845B (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
WO2014183385A1 (zh) | 一种终端及其实现图像处理的方法 | |
CN108830925B (zh) | 一种基于球幕视频流的三维数字化建模方法 | |
CN108171735B (zh) | 基于深度学习的十亿像素视频对齐方法及*** | |
CN105023260A (zh) | 一种全景图像融合方法及融合装置 | |
CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
JP2002524937A (ja) | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN103841298A (zh) | 一种基于颜色恒量和几何不变特征的视频稳像方法 | |
CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
CN108090877A (zh) | 一种基于图像序列的rgb-d相机深度图像修复方法 | |
CN114693760A (zh) | 图像校正方法、装置及***、电子设备 | |
CN113538569A (zh) | 一种弱纹理物***姿估计方法和*** | |
CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
CN113052765B (zh) | 基于最优栅格密度模型的全景图像拼接方法 | |
CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
CN110580715A (zh) | 一种基于照度约束和格网变形的图像对齐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201113 |