CN112907452A - 一种用于图像拼接的最佳缝合线搜寻方法 - Google Patents

一种用于图像拼接的最佳缝合线搜寻方法 Download PDF

Info

Publication number
CN112907452A
CN112907452A CN202110381507.6A CN202110381507A CN112907452A CN 112907452 A CN112907452 A CN 112907452A CN 202110381507 A CN202110381507 A CN 202110381507A CN 112907452 A CN112907452 A CN 112907452A
Authority
CN
China
Prior art keywords
image
points
cost
suture line
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110381507.6A
Other languages
English (en)
Inventor
王宇
张哲�
李猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202110381507.6A priority Critical patent/CN112907452A/zh
Publication of CN112907452A publication Critical patent/CN112907452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于混合范数的最佳缝合线搜寻方法。该方法在计算相邻像素的成本时，将L1和L2范数相结合，可以很好地平衡图像平滑与边缘细节信息。同时，成本函数采用指数的形式，可以放大色差权重，加强了重合区域中显著物体边缘和非边缘区域的区分，从而避免搜寻到的缝合线穿过重合区域中的显著物体。首先分别对每幅图像使用SIFT算法进行特征点提取，并进行特征点对匹配；然后计算相邻图像间的单应性矩阵，并通过该单应性矩阵找到图像间的重合区域；在重合区域内进行基于混合范数的最佳缝合线搜寻，在获得最佳缝合线的基础上，完成图像拼接。

Description

一种用于图像拼接的最佳缝合线搜寻方法
技术领域
本发明属于图像处理技术领域，特别是涉及到一种用于图像拼接的最佳缝合线搜寻方法。
背景技术
图像拼接是将在同一场景下含有重叠区域的两幅或多幅图像拼接为一幅具有高分辨率、宽视角的图像。图像拼接技术的目的是为了获得增大图像视角，有利于更直观、更全面的掌握信息。与普通视角的图像相比，可以呈现出更多的内容。该技术广泛地应用在医学成像、遥感技术、虚拟现实、视频编辑等方面。
经典的图像拼接流程主要包括图像配准和图像融合两个关键步骤。目前主流的图像配准方法是基于局部特征的方法，图像融合是为了实现图像重合区域的平滑过渡以及减少光照对图像的影响。但当在具有运动物体或者具有不同深度的物体的场景中，传统的线性加权或者多波段融合方法，很容易导致拼接好的图像出现拼接质量问题，如重合区域出现目标错位或伪影等。而最佳缝合线搜寻方法就能够很好的解决上述问题。
目前国内外学者对用于图像拼接的最佳缝合线搜寻已经做了很多研究，也取得了不错的成果，例如，基于感知的接缝切割方法(Nan L,Liao T,Chao W.Perception-basedseam cutting for image stitching[J].Signal Image and Video Processing,2018,12(3):1-8.)、基于更优赋范能量函数的拼接方法(Qiu X,Li Q.Artefact-free imagestitching via a better normed seam-cutting energy function.IET ImageProcess.2020；1–11.)等，这些方法可以有效地消除局部错位产生的伪影，但对于有的较大视差或高纹理区域，还会出现拼接的质量较差的现象。
发明内容
本发明提出一种基于混合范数的最佳缝合线搜寻方法。该方法在计算相邻像素的成本时，将L1和L2范数相结合，可以很好地平衡图像平滑与边缘细节信息。同时，成本函数采用指数的形式，可以放大色差权重，加强了重合区域中显著物体边缘和非边缘区域的区分，从而避免搜寻到的缝合线穿过重合区域中的显著物体。首先分别对每幅图像使用SIFT算法进行特征点提取，并进行特征点对匹配；然后计算相邻图像间的单应性矩阵，并通过该单应性矩阵找到图像间的重合区域；在重合区域内进行基于混合范数的最佳缝合线搜寻，在获得最佳缝合线的基础上，完成图像拼接。
本发明采取的技术方案包括下列步骤：
(1)读取两幅待拼接图像，分别记为I1和I2；
(2)采用SIFT算法对图像I1和I2进行特征点提取；
(3)使用K-D树对检测到的特征点进行匹配，得到特征点对；
(4)采用RANSAC算法对已经标出特征点的图像进行特征点对剔除(误匹配)并求单应性矩阵H；
(5)根据单应性矩阵H对图像I1和I2进行变换，变换后的两幅图像分别记为J1和J2；
(6)获得重合区域Ω，并搜寻最佳缝合线；
(6a)取图像J1和J2的交集，得到重合区域Ω图像；
(6b)计算图像J1与重合区域Ω的边界B1以及图像J2与重合区域Ω的边界B2，并将边界B1与边界B2的两个交叉点分别记为S和T；
(6c)遍历重合区域所有像素点，分别计算每个像素点p与其四邻域像素点q间的成本，成本函数计算如下：
(1)如果像素点p或q位于边界B1∪B2时，则将两点间的成本赋值为无穷大；
(2)如果像素点p和q位于同一幅图像J1或J2时，则将两点间的成本赋值为0；
(3)如果像素点p和q位于不同图像时，则两点间的成本V(p,q)
根据式(1)计算：
V(p,q)＝V(p)+V(q) (1)
V(x)＝[ω·||x||2+(1-ω)·||x||1]4 (2)
其中，ω为权重系数，ω∈[0,1]，||x||2＝||J1(x)-J2(x)||2为L2范数，||x||1＝||J1(x)-J2(x)||1为L1范数。
(6d)从起始点S开始，根据步骤(6c)中计算的像素间成本寻找最小成本的链路，直到结束点T停止，则这一系列点组成的曲线就是最佳缝合线。
本发明与现有技术相比，具有如下优点：
(1)结合了L1范数和L2范数优势，L1范数具有保持图像边缘信息的优势，L2范数具有对图像平坦区域噪声抑制的特性，因此，基于混合范数的成本函数不仅可以平滑图像，还能够很好的保持图像的边缘细节信息。
(2)成本函数采用指数的形式，可以放大色差权重，加强了重合区域中显著物体边缘和非边缘区域的区分，从而避免找寻到的缝合线穿过重合区域中的显著物体。
因此，本发明能够在较大视差下搜寻到一条最佳的缝合线，可以有效消减或避免出现物体目标错位、伪影等拼接质量问题。
附图说明
图1为本发明实现用于图像拼接的最佳缝合线搜寻的流程图。
图2(a)为本实例中使用的第一幅实验图像。
图2(b)为本实例中使用的第二幅实验图像。
图3(a)为第一幅实验图像的变换图像。
图3(b)为第二幅实验图像的变换图像。
图4为两幅变换图像的重合区域图像。
图5为搜寻最佳缝合线的实例。
图6为用本发明对图2(a)(b)进行最佳缝合线搜寻的拼接图。
图7(a)为基于感知的接缝切割方法的拼接图。
图7(b)为图7(a)的局部放大图。
图8(a)为基于更优赋范能量函数的拼接方法的拼接图。
图8(b)为图8(a)的局部放大图。
具体实施方式
下面通过附图和具体实例对本发明及技术效果进行详细说明：
本实例提供一种用于图像拼接的最佳缝合线搜寻方法，具体流程图如图1所示，具体实现步骤如下：
步骤1，读取两幅待拼接图像，分别记为I1和I2，本实例中需要处理的图像如图2(a)和图2(b)所示。两幅图像是从两个角度对同一大场景进行拍摄的，并保证两幅图像有公共区域。
步骤2，对图像I1和I2使用SIFT算法分别进行特征点提取。本发明选择SIFT算法，是因为SIFT特征具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。
步骤3，使用K-D树算法对检测到的特征点进行匹配，得到特征点对。
(3a)选取图像I1中的特征点，计算该点与图像I2中所有特征点的欧氏距离，从所有特征点中选出最近邻欧氏距离特征点以及次近邻欧氏距离特征点，距离分别记为d1和d2；
(3b)计算d1和d2的比值，并将该比值与给定阈值0.4进行比较；
如果该比值小于0.4，则认为是正确匹配的特征点，实现两幅图像的特征点匹配；否则视为错误匹配。
步骤4，采用RANSAC算法对已经标出特征点的图像进行特征点对剔除(误匹配)并求解单应性矩阵H。
(4a)将步骤(3)得到的匹配点对作为样本集，并在样本集中随机抽取4个匹配点对，且保证同一图像中的任意3点不共线，根据这个匹配点对计算当前单应性矩阵H*；
(4b)根据当前单应性矩阵H*和重映射误差方法剔除误匹配的匹配点对，得到正确的匹配点对；
(4c)根据所有正确匹配点对，使用最小二乘法可以计算出最优单应性矩阵H。
步骤5，根据单应性矩阵H对两幅带拼接的图像进行变换，变换后的两幅图像分别记为J1和J2，如图3(a)和图3(b)所示。
步骤6，获得重合区域Ω，并搜寻最佳缝合线。
(6a)取图像J1和J2的交集，得到重合区域Ω图像，如图4所示；
(6b)计算图像J1与重合区域Ω的边界B1以及图像J2与重合区域Ω的边界B2，并将边界B1与边界B2的两个交叉点分别记为S和T；
(6c)遍历重合区域所有像素点，分别计算每个像素点p与其四邻域像素点q间的成本，成本函数计算如下：
(1)如果像素点p或q位于边界B1∪B2时，则将两点间的成本赋值为无穷大；
(2)如果像素点p和q位于同一幅图像J1或J2时，则将两点间的成本赋值为0；
(3)如果像素点p和q位于不同图像时，则根据式(3)计算两点间的成本V(p,q)：
V(p,q)＝V(p)+V(q) (3)
V(x)＝[ω·||x||2+(1-ω)·||x||1]4 (4)
其中，本发明实例中权重系数ω取0.2，||x||2＝||J1(x)-J2(x)||2为L2范数，||x||1＝||J1(x)-J2(x)||1为L1范数。
(6d)从起始点S开始，根据步骤(6c)中计算的像素间成本寻找最小成本的链路，直到结束点T停止，则这一系列点组成的曲线就是最佳缝合线。
图5为搜寻最佳缝合线的实例，每个灰色圆圈表示一个像素，而灰色圆圈之间的连线上的数字是根据步骤(6c)计算出像素间的成本。从S点开始，比较其与四邻域像素间的成本，选择成本数值最小的链路。在图5中粗线段表示最小成本的链路，由所有粗线段组成的就是最佳缝合线。
步骤7，使用泊松融合算法，沿着最佳缝合线两侧融合两幅变换图像的像素，形成拼接图像。拼接图像如图6所示。

Claims (1)

1.一种用于图像拼接的最佳缝合线搜寻方法,其特征在于包括下列步骤：
(1)读取两幅待拼接图像，分别记为I1和I2；
(2)采用SIFT算法对图像I1和I2进行特征点提取；
(3)使用K-D树对检测到的特征点进行匹配，得到特征点对；
(4)采用RANSAC算法对已经标出特征点的图像进行特征点对剔除(误匹配)并求单应性矩阵H；
(5)根据单应性矩阵H对图像I1和I2进行变换，变换后的两幅图像分别记为J1和J2；
(6)获得重合区域Ω，并搜寻最佳缝合线；
(6a)取图像J1和J2的交集，得到重合区域Ω图像；
(6b)计算图像J1与重合区域Ω的边界B1以及图像J2与重合区域Ω的边界B2，并将边界B1与边界B2的两个交叉点分别记为S和T；
(6c)遍历重合区域所有像素点，分别计算每个像素点p与其四邻域像素点q间的成本，成本函数计算如下：
(1)如果像素点p或q位于边界B1∪B2时，则将两点间的成本赋值为无穷大；
(2)如果像素点p和q位于同一幅图像J1或J2时，则将两点间的成本赋值为0；
(3)如果像素点p和q位于不同图像时，则两点间的成本V(p,q)根据式(1)计算：
V(p,q)＝V(p)+V(q) (1)
V(x)＝[ω·||x||2+(1-ω)·||x||1]4 (2)
其中，ω为权重系数，ω∈[0,1]，||x||2＝||J1(x)-J2(x)||2为L2范数，||x||1＝||J1(x)-J2(x)||1为L1范数。
(6d)从起始点S开始，根据步骤(6c)中计算的像素间成本寻找最小成本的链路，直到结束点T停止，则这一系列点组成的曲线就是最佳缝合线。
CN202110381507.6A 2021-04-09 2021-04-09 一种用于图像拼接的最佳缝合线搜寻方法 Pending CN112907452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381507.6A CN112907452A (zh) 2021-04-09 2021-04-09 一种用于图像拼接的最佳缝合线搜寻方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381507.6A CN112907452A (zh) 2021-04-09 2021-04-09 一种用于图像拼接的最佳缝合线搜寻方法

Publications (1)

Publication Number Publication Date
CN112907452A true CN112907452A (zh) 2021-06-04

Family

ID=76110477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381507.6A Pending CN112907452A (zh) 2021-04-09 2021-04-09 一种用于图像拼接的最佳缝合线搜寻方法

Country Status (1)

Country Link
CN (1) CN112907452A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957007A (zh) * 2016-05-05 2016-09-21 电子科技大学 基于特征点平面相似度的图像拼接方法
CN107146213A (zh) * 2017-05-08 2017-09-08 西安电子科技大学 基于缝合线的无人机航拍图像拼接方法
US20190108615A1 (en) * 2016-04-22 2019-04-11 Cyclomedia Technology B.V. Image Stitching Method and Device
CN109961399A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 基于图像距离变换的最佳缝合线搜寻方法
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法
CN110349086A (zh) * 2019-07-03 2019-10-18 重庆邮电大学 一种非同心成像条件的图像拼接方法
CN112365518A (zh) * 2020-12-08 2021-02-12 杭州电子科技大学 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108615A1 (en) * 2016-04-22 2019-04-11 Cyclomedia Technology B.V. Image Stitching Method and Device
CN105957007A (zh) * 2016-05-05 2016-09-21 电子科技大学 基于特征点平面相似度的图像拼接方法
CN107146213A (zh) * 2017-05-08 2017-09-08 西安电子科技大学 基于缝合线的无人机航拍图像拼接方法
CN109961399A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 基于图像距离变换的最佳缝合线搜寻方法
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法
CN110349086A (zh) * 2019-07-03 2019-10-18 重庆邮电大学 一种非同心成像条件的图像拼接方法
CN112365518A (zh) * 2020-12-08 2021-02-12 杭州电子科技大学 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XIANGYAN QIU 等: "Artefact-free image stitching via a better normed seam-cutting energy function", 《IET IMAGE PROCESSING》 *
刘雨航 等: "基于ＳＩＦＴ 特征提取和最佳缝合线的图像拼接技术", 《机械与电子》 *
张帆等: "低空林地航拍图像拼接的改进缝合线算法", 《北京林业大学学报》 *
王宇 等: "基于元素图像拼接的集成成像计算重构", 《光学学报》 *
瞿中等: "一种消除图像拼接缝和鬼影的快速拼接算法", 《计算机科学》 *

Similar Documents

Publication Publication Date Title
CN104376548B (zh) 一种基于改进型surf算法的图像快速拼接方法
US6865289B1 (en) Detection and removal of image occlusion errors
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
Yuan et al. Superpixel-based seamless image stitching for UAV images
CN106940876A (zh) 一种基于surf的快速无人机航拍图像拼接算法
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
US20080232715A1 (en) Image processing apparatus
CN106407983A (zh) 图像主体的识别、矫正与配准方法
CN111784576A (zh) 一种基于改进orb特征算法的图像拼接方法
CN103258321A (zh) 一种图像拼接方法
CN111800609B (zh) 基于多平面多感知缝合线的矿井巷道视频拼接方法
CN112365518A (zh) 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法
CN107194866A (zh) 减少拼接图像错位的图像融合方法
CN111563867A (zh) 一种用于提升图像清晰度的图像融合方法
Attard et al. Image mosaicing of tunnel wall images using high level features
JP3659426B2 (ja) エツジ検出方法及びエツジ検出装置
CN112907452A (zh) 一种用于图像拼接的最佳缝合线搜寻方法
CN114241436A (zh) 一种改进色彩空间和搜索窗口的车道线检测方法及***
CN113362362A (zh) 基于总变分区域选取的明视野显微镜全景图像对齐算法
CN111192280B (zh) 一种基于局部特征的视盘边缘检测方法
CN111260555A (zh) 一种基于surf的改进图像拼接方法
CN112308773B (zh) 一种无人机航摄影像无损放大和拼接融合方法
CN115082314A (zh) 一种自适应特征提取的光学表面缺陷图像分步拼接的方法
JP2981382B2 (ja) パターンマッチング方法
CN114897966B (zh) 一种大元件的视觉识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210604