CN108171651B - 基于多模型几何拟合和分层单应变换的图像对齐方法 - Google Patents
基于多模型几何拟合和分层单应变换的图像对齐方法 Download PDFInfo
- Publication number
- CN108171651B CN108171651B CN201711432105.4A CN201711432105A CN108171651B CN 108171651 B CN108171651 B CN 108171651B CN 201711432105 A CN201711432105 A CN 201711432105A CN 108171651 B CN108171651 B CN 108171651B
- Authority
- CN
- China
- Prior art keywords
- transformation
- homography
- point
- image
- matching point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 30
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 238000000844 transformation Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 12
- 238000011426 transformation method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理方法,为更好的针对不同的平面区域进行不同的单应变换,本发明采取的技术方案是,基于多模型几何拟合和分层单应变换的图像对齐方法,利用多模型几何拟合的方法将提取的特征匹配点分类,分类之后,图像就有了基础层和过渡层,在基础层采用动态直接线性变换方法,在过渡层采用分层单应估计来提高单应变换的精确度。本发明主要应用于图像处理场合。
Description
技术领域
本发明属于图像处理方法,关于图像对齐的问题,本发明介绍了一种通过多模型拟合和分层单应变换来处理图像对齐的新方法,能够对于多平面、复杂的图像达到很好的对齐效果,避免重影和模糊。
背景技术
随着科学技术的发展,图像对齐在点云编码、视频稳定以及计算机视觉占据重要地位。图像对齐的基本过程是通过至少两张不同角度拍摄的图像,构造成一个无缝、高清晰和具有更大视野的图像。
图像对齐的核心和关键问题是图像配准问题,而图像配准的性能又取决于估计的单应变换的精确性。因此,图像的单应变换是多年来图像对齐技术研究的重点和难点。
对于图像对齐的研究,国内外研究人员也提出了很多的对齐算法。Hartley等提出了一种基于全局单应变换的方法,可是这种方法要求视差较小而且由于全局变换的局限性(单应矩阵单一),这种方法导致了严重的重影和图像变形。Zaragoza等提出了一种局部单应变换的方法,基于动态直接线性变换让多单应矩阵尽可能相似来处理图像对齐的问题。Xiang等提出了线性约束和局部变换相结合的方法,这种方法保证了图像对齐的连续性。图像对齐的算法日益成熟,然而,由于在图像重叠区域直接选取两幅图像其中一个进行变形,这种方法容易在重叠区域产生明显的缝隙。如何对多幅图像进行无缝对齐,仍然是一个具有挑战性的问题。
发明内容
由于图像对齐主要依赖于单应变换的准确性,因此,对于单应变换的研究就成为了对齐问题的处理关键。为了更好的针对不同的平面区域进行不同的单应变换,本发明采取的技术方案是,基于多模型几何拟合和分层单应变换的图像对齐方法,利用多模型几何拟合的方法将提取的特征匹配点分类,分类之后,图像就有了基础层和过渡层,在基础层采用动态直接线性变换方法,在过渡层采用分层单应估计来提高单应变换的精确度。
具体步骤是,
1)针对输入源图像I和目标图像I′,利用尺度不变特征转换方法,获得一系列的特征匹配点—Ω={xi}和Ω′={xi′ },xi和xi′ 分别是I和I′的第i个特征匹配点,将Ω和特征匹配点分类并且每个类的单应变换最小化xi到相应的匹配点xi′ 的距离,目标函数为:
数据项的作用是最小化x和它对应的匹配点x′的距离,Hi是3×3的单应变换矩阵,是xi的齐次坐标,φ(·)代表齐次坐标到非齐次坐标的变换,距离优化函数和D(Hi,xi,xi′ )衡量的是xi的变换点到它对应的匹配点xi′ 的距离;
1-2)
2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签,相同的标签作为一类,这样,就将所有的匹配点分类到了几个不同的区域,每个区域的边界划分公式如下:
其中,Ωm是第m个区域的匹配点的集合,s(xm,i)是特征点xm,i的尺度分量,W是源图像的宽度,根据公式(5),(6)可知,Bm,l和Bm,r分别表示划分的第m个区域的左边界和右边界,考虑到建筑物图像主要是在前面进行拍摄,所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域,按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。
权重参数wi *的定义如下:
wi *=max(exp(-||x*-xi||2/δ2),γ) (10)
xi是所处理区域的第i个匹配点,x*是所处理区域的网格个中心点坐标,δ是尺度参数,γ是为了防止处理方法失去其灵活性;
pk是第k个元胞的中心点。
4-2)平滑项定义为:
Ht是第k个元胞的邻域元胞的单应变换。
本发明的特点及有益效果是:
本发明利用多模型几何拟合和分层单应变换估计的方法,完成了多平面,复杂图像的对齐问题,它具有以下特点:
1、简单易懂,复杂度相对较低,易于实现。
2、对于图像对齐问题,提出一种新的思路,并不是单纯优化单应矩阵,而是从处理过程上进行探索。
3、利用多模型几何拟合的方法,使得复杂的图像可以分成几个不同的区域,有利于后续处理。
4、能量目标函数的优化运用灵活。
附图说明:
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解:
图1是算法流程图;
图2是不同区域的分割图(对应于公式(5)(6)的计算结果);
图3是4种实验方法的结果比较,从左到右依次是,(a)动态直接线性变换,(b)保形半射影,(c)相似投影,(d)我们的实验结果。每一列从上到下分别是原始图,中间图,结果图,放大图。
具体实施方式
本发明利用多模型几何拟合对图像特证匹配点进行分类,对不同的区域使用不同的单应矩阵估计方法,完成了多平面,复杂图像的对齐问题。
为了更好的针对不同的平面区域进行不同的单应变换,本发明采取的技术方案是,利用多模型几何拟合的方法将提取的特征匹配点分类,分类之后,图像就有了基础层和过渡层,在基础层采用动态直接线性变换方法,在过渡层采用分层单应估计来提高单应变换的精确度。具体方法包括以下步骤:
1)针对输入的两张图像(源图像I和目标图像I′),利用尺度不变特征转换方法,获得一系列的特征匹配点—Ω={xi}和Ω′={xi′ },xi和xi′ 分别是I和I′的第i个特征匹配点。我们的目标是将Ω和特征匹配点分类并且每个类的单应变换可以最小化xi到相应的匹配点xi′ 的距离,目标函数为:
数据项的作用是最小化x和它对应的匹配点x′的距离,Hi是3×3的单应变换矩阵,是xi的齐次坐标,φ(·)代表齐次坐标到非齐次坐标的变换,距离优化函数和D(Hi,xi,xi′ )衡量的是xi的变换点到它对应的匹配点xi′ 的距离。
1-2)
2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签,相同的标签作为一类,这样,就将所有的匹配点分类到了几个不同的区域,每个区域的边界划分公式如下:
其中,Ωm是第m个区域的匹配点的集合,s(xm,i)是特征点xm,i的尺度分量,W是源图像的宽度,根据公式(5),(6)可知,Bm,l和Bm,r分别表示划分的第m个区域的左边界和右边界。考虑到建筑物图像主要是在前面进行拍摄,所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域,按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。
3)由于基础区域仍然不是一个完美的平面场景,所以利用基本的单应变换会产生非对齐现象,所以,我们采用动态直接线性变换的方法来估计局部的单应变换。源图像的第m个区域的特征点x*通过下面的公式变换到对应的匹配点
权重参数wi *的定义如下:
wi *=max(exp(-||x*-xi||2/δ2),γ) (10)
xi是所处理区域的第i个匹配点,x*是所处理区域的网格个中心点坐标,δ是尺度参数,γ是为了防止处理方法失去其灵活性。
pk是第k个元胞的中心点。
4-2)平滑项定义为:
Ht是第k个元胞的邻域元胞的单应变换。
下面结合附图和具体实施方式进一步详细说明本发明。
1)针对输入的两张图像(源图像I和目标图像I′),利用尺度不变特征转换方法,获得一系列的特征匹配点—Ω={xi}和Ω′={xi′ },xi和xi′ 分别是I和I′的第i个特征匹配点。我们的目标是将Ω和特征匹配点分类并且每个类的单应变换可以最小化xi到相应的匹配点xi′ 的距离,目标函数为:
数据项的作用是最小化x和它对应的匹配点x′的距离,Hi是3×3的单应变换矩阵,是xi的齐次坐标,φ(·)代表齐次坐标到非齐次坐标的变换,距离优化函数和D(Hi,xi,xi′ )衡量的是xi的变换点到它对应的匹配点xi′ 的距离。
1-2)
2)多模型拟合的方法使得源图像的每一个匹配点都被标记了标签,相同的标签作为一类,这样,就将所有的匹配点分类到了几个不同的区域,每个区域的边界划分公式如下:
其中,Ωm是第m个区域的匹配点的集合,s(xm,i)是特征点xm,i的尺度分量,W是源图像的宽度,根据公式(5),(6)可知,Bm,l和Bm,r分别表示划分的第m个区域的左边界和右边界。考虑到建筑物图像主要是在前面进行拍摄,所以边界只划分出来了左右边界。只包含一类特征点的区域称之为基础区域,按照上述公式计算出来的包含两种特征点的区域称之为过渡区域。
3)由于基础区域仍然不是一个完美的平面场景,所以利用基本的单应变换会产生非对齐现象,所以,我们采用动态直接线性变换的方法来估计局部的单应变换。源图像的第m个区域的特征点x*通过下面的公式变换到对应的匹配点
权重参数wi *的定义如下:
wi *=max(exp(-||x*-xi||2/δ2),γ) (9)
xi是所处理区域的第i个匹配点,x*是所处理区域的网格个中心点坐标,δ是尺度参数,γ是为了防止处理方法失去其灵活性。
pk是第k个元胞的中心点。
4-2)平滑项定义为:
Ht是第k个元胞的邻域元胞的单应变换。
Claims (2)
1.一种基于多模型几何拟合和分层单应变换的图像对齐方法,其特征是,利用多模型几何拟合的方法将提取的特征匹配点分类,分类之后,图像就有了基础层和过渡层,在基础层采用动态直接线性变换方法,在过渡层采用分层单应估计来提高单应变换的精确度,其中,
多模型几何拟合步骤如下:
1)针对输入源图像I和目标图像I′,利用尺度不变特征转换方法,获得一系列的特征匹配点—Ω={xi}和Ω′={xi′},xi和xi′分别是I和I′的第i个特征匹配点,将Ω和特征匹配点分类并且每个类的单应变换最小化xi到相应的匹配点xi′的距离,目标函数为:
数据项的作用是最小化x和它对应的匹配点x′的距离,Hi是3×3的单应变换矩阵,是xi的齐次坐标,φ(·)代表齐次坐标到非齐次坐标的变换,距离优化函数和D(Hi,xi,xi′)衡量的是xi的变换点到它对应的匹配点xi′的距离;
1-2)
分层单应估计具体步骤如下:
pk是第k个元胞的中心点,
(2)平滑项定义为:
Ht是第k个元胞的邻域元胞的单应变换。
2.如权利要求1所述的基于多模型几何拟合和分层单应变换的图像对齐方法,其特征是,具体步骤是,
1)利用多模型几何拟合的方法将提取的特征匹配点分类
2)利用多模型几何拟合使得源图像的每一个匹配点都被标记了标签,相同的标签作为一类,这样,就将所有的匹配点分类到了几个不同的区域,每个区域的边界划分公式如下:
其中,Ωm是第m个区域的匹配点的集合,s(xm,i)是特征点xm,i的尺度分量,W是源图像的宽度,根据公式(5),(6)可知,Bm,l和Bm,r分别表示划分的第m个区域的左边界和右边界,考虑到建筑物图像主要是在前面进行拍摄,所以边界只划分出来了左右边界,只包含一类特征点的区域称之为基础区域,按照上述公式计算出来的包含两种特征点的区域称之为过渡区域;
权重参数wi *的定义如下:
wi *=max(exp(-||x*-xi||2/δ2),γ) (10)
xi是所处理区域的第i个匹配点,x*是所处理区域的网格个中心点坐标,δ是尺度参数,γ是为了防止处理方法失去其灵活性;
4)过渡层区域采用离散的单应变换进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711432105.4A CN108171651B (zh) | 2017-12-26 | 2017-12-26 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711432105.4A CN108171651B (zh) | 2017-12-26 | 2017-12-26 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108171651A CN108171651A (zh) | 2018-06-15 |
CN108171651B true CN108171651B (zh) | 2021-07-09 |
Family
ID=62520877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711432105.4A Expired - Fee Related CN108171651B (zh) | 2017-12-26 | 2017-12-26 | 基于多模型几何拟合和分层单应变换的图像对齐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171651B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166077B (zh) * | 2018-08-17 | 2023-04-18 | 广州视源电子科技股份有限公司 | 图像对齐方法、装置、可读存储介质及计算机设备 |
CN110223250B (zh) * | 2019-06-02 | 2021-11-30 | 西安电子科技大学 | 基于单应变换的sar几何校正方法 |
CN111083480B (zh) * | 2019-12-10 | 2022-11-04 | 四川新视创伟超高清科技有限公司 | 一种基于cpu的8k超高清视频高速编码方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910208A (zh) * | 2017-03-07 | 2017-06-30 | 中国海洋大学 | 一种存在运动目标的场景图像拼接方法 |
CN107194959A (zh) * | 2017-04-25 | 2017-09-22 | 北京海致网聚信息技术有限公司 | 基于切片进行图像配准的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025876B2 (en) * | 2012-03-05 | 2015-05-05 | Thomson Licensing | Method and apparatus for multi-label segmentation |
-
2017
- 2017-12-26 CN CN201711432105.4A patent/CN108171651B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910208A (zh) * | 2017-03-07 | 2017-06-30 | 中国海洋大学 | 一种存在运动目标的场景图像拼接方法 |
CN107194959A (zh) * | 2017-04-25 | 2017-09-22 | 北京海致网聚信息技术有限公司 | 基于切片进行图像配准的方法和装置 |
Non-Patent Citations (2)
Title |
---|
图像拼接技术研究;方贤勇;《中国优秀博硕士学位论文全文数据库 (博士) 信息科技辑》;20060415(第04期);全文 * |
基于局部特征的图像配准算法及应用研究;张超;《中国博士学位论文全文数据库 信息科技辑》;20160215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108171651A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
CN105513064B (zh) | 一种基于图像分割和自适应权重的立体匹配方法 | |
CN106709948A (zh) | 一种基于超像素分割的快速双目立体匹配方法 | |
CN104463859B (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
KR20210053202A (ko) | 컴퓨터 비전 훈련 시스템 및 그 방법 | |
CN108171651B (zh) | 基于多模型几何拟合和分层单应变换的图像对齐方法 | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
CN111414931B (zh) | 一种基于图像深度的多分支多尺度小目标检测方法 | |
CN106651897B (zh) | 一种基于超像素分割的视差修正方法 | |
CN112288628B (zh) | 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及*** | |
Liu et al. | Image de-hazing from the perspective of noise filtering | |
CN106097252B (zh) | 基于图Graph模型的高光谱图像超像素分割方法 | |
CN113159466A (zh) | 一种短时光伏发电功率预测***及方法 | |
CN103714556A (zh) | 一种基于金字塔表观模型的运动目标跟踪方法 | |
CN114429555A (zh) | 由粗到细的图像稠密匹配方法、***、设备及存储介质 | |
CN106952304A (zh) | 一种利用视频序列帧间相关性的深度图像计算方法 | |
CN109462748B (zh) | 一种基于单应性矩阵的立体视频颜色校正算法 | |
CN109741358A (zh) | 基于自适应超图学习的超像素分割方法 | |
CN106296749B (zh) | 基于l1范数约束的rgb-d图像本征分解方法 | |
Zhang et al. | Boosting transferability of physical attack against detectors by redistributing separable attention | |
Shi et al. | Misalignment-eliminated warping image stitching method with grid-based motion statistics matching | |
Baha et al. | Accurate real-time neural disparity MAP estimation with FPGA | |
CN110211090B (zh) | 一种用于评价视角合成图像质量的方法 | |
Ling et al. | Flowacc: Real-time high-accuracy dnn-based optical flow accelerator in fpga |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210709 |
|
CF01 | Termination of patent right due to non-payment of annual fee |