CN113160048A - 一种缝合线引导的图像拼接方法 - Google Patents

一种缝合线引导的图像拼接方法 Download PDF

Info

Publication number
CN113160048A
CN113160048A CN202110144460.1A CN202110144460A CN113160048A CN 113160048 A CN113160048 A CN 113160048A CN 202110144460 A CN202110144460 A CN 202110144460A CN 113160048 A CN113160048 A CN 113160048A
Authority
CN
China
Prior art keywords
image
suture
fusion
optimal
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110144460.1A
Other languages
English (en)
Inventor
杨明
黄丹
罗华军
沈平生
李金洋
祁宗
蔡克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing High Tech Zone Feima Innovation Research Institute
Original Assignee
Chongqing High Tech Zone Feima Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing High Tech Zone Feima Innovation Research Institute filed Critical Chongqing High Tech Zone Feima Innovation Research Institute
Priority to CN202110144460.1A priority Critical patent/CN113160048A/zh
Publication of CN113160048A publication Critical patent/CN113160048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种缝合线引导的图像拼接方法，用于有效融合多幅图像的重叠区域，能够去除拼接过程中产生的伪影，达到全方位展示一个视点场景的目的。该方法主要针对公共区域的特征点匹配，由聚类方法获得匹配特征的分布，不同的聚类簇构成一个全景单应性假设，然后利用最小能量化问题查找不同全景假设的最佳缝合线，再根据缝合线融合，从而在全景单应性假设中获取最优拼接结果。本发明实现了同一个视点不同图像的拼接，展示了同一视点的大视野图像，同时缝合线引导的图像拼接方法有容忍小视差拼接的能力；不同对齐假设更加的接近较好的全景拼接图。

Description

一种缝合线引导的图像拼接方法
技术领域
本发明属于图像处理技术领域，具体涉及一种缝合线引导的图像拼接 方法。
背景技术
图像拼接是图像处理与计算机视觉等领域的研究热点，其主要作用是 把同一视点中各个摄像机采集的图像，利用图像拼接技术制作宽视野图像 的过程。全景拼接在实际的应用中，包括全景看房、全景直播、卫星图像 拼接、虚拟场景、车载***监控、安防监控、无人机全景拍摄等，存在着 广泛的应用，涉及到民用与军用的各个领域。
从摄像头的运动情况分析，可以分为运动摄像机与固定摄像机两种拼 接。目前大部分的应用是基于固定摄像机，固定摄像机的图像拼接包括两 个方面：特征匹配的图像拼接与标定的图像拼接。两者有一定的区别与联 系：联系，它们都是为了寻找摄像机间的位置参数构建全景图；区别，前 者通过检测图像中明显的特征来计算相邻相机的关系，后者通过公共区域 标定物的位置，计算相机之间的内外参数获取相邻相机的关系。后续图像拼接的融合阶段步骤完全一致。传统的图像拼接欲达到较好的结果，需要 满足两个条件：多个摄像头拍摄的场景近视为一个平面；多个摄像头围绕 一个光心旋转拍摄。满足前者的条件只需要使相机离拍摄场景足够远，也 就是物体离摄像机的距离远远大于摄像机间的基线距离；满足后者的条件 相对而言比较麻烦，需要高精度的仪器作相关测量保证多个摄像机同一个 光心拍摄。从视差的角度考虑，传统的拼接方法几乎没有视差，也就是根 据一个全局单应性矩阵变换图像。为了适应存在视差的图像拼接，提出了 局部对齐的图像拼接方法，从最开始的DHW(Constructing Image Panoramas using Dual-HomographyWarping)方法，把待拼接图视为两个平面：地平面 与远平面，根据两个平面的单应性翘曲图像。进而到APAP (As-Projective-As-Possible Image Stitching with Moving DLT)方法，把待 拼接图像均匀地分成m×n的网格，使用DLT方法计算每个网格的单应性矩 阵，图像根据网格中单应性矩阵做翘曲变换，该方法能够处理一定视差的 拼接。相继在APAP方法上添加相关约束条件，提出了SPHP (Shape-Preserving Half-Projective Warps forImage Stitching)，AANAP (Adaptive As-Natural-As-Possible Image Stitching)，NISwGSP(Natural Image Stitching with the Global Similarity Prior)等。
传统的图像拼接方法采用的是全局单应性变换，对处理存在视差的图 像拼接具有一定的局限性。根据单一的单应性矩阵变换获取的全景图，往 往得不到图像质量较佳的拼接结果，这也与我们人为的视觉感官相违背， 通常产生伪影、未对准的拼接结果，为了弥补传统图像拼接单一全局单应 性变换的缺陷，本发明提出了一种缝合线引导的图像拼接方法，旨在生成 多个单应性假设，根据这些单应性假设得到不同全景图，从中选出视觉感官上符合我们人类的全景图。多个假设单应拼接能在一定程度上消除像全 局单应性变换拼接产生的伪影、未对准现象。
发明内容
本发明提供一种缝合线引导的图像拼接方法，要解决的技术问题是： 解决全局单应性矩阵变换难易对准图像的问题，供给用户更佳的全景视觉 效果。
为了解决以上技术问题，本发明提供了一种缝合线引导的图像拼接方 法，针对图像匹配的特征点对，预先判断图像中物体类别个数，然后通过 聚类算法作聚类操作，获取特征对的分组结果，通过分组结果划分不同的 拼接假设，做最佳缝合线查找与融合得到不同假设的拼接结果，最后从中 筛选最优的拼接结果。所述的拼接方法步骤具体包括：
步骤1：图像特征匹配:特征提取待拼接的两幅图像，匹配图像中的特 征，得到两幅图像的匹配特征点对；
步骤2：匹配特征点聚类:通过图中物体类别自定义聚类簇数，采用 KMeans聚类算法分组匹配的特征点对，获取各个簇的匹配特征坐标点集；
步骤3：计算各个簇单应性假设:针对提取的各个簇的匹配特征坐标点 集，利用随机采样一致剔除外点计算不同组的单应性变换矩阵，作为不同 拼接结果的对齐假设；
步骤4：查找最佳缝合线:针对每个对齐假设，通过单应性变换计算源 图变换后的坐标，用计算的坐标截取目标图像与变换图像的公共区域，然 后计算两幅图像公共区域的能量矩阵，采用动态规划迭代查找能量矩阵的 最小能量和路径作为最佳缝合线；
步骤5：筛选最优融合图像:针对每个对齐假设的最佳缝合线，融合公 共区域像素，得到不同的全景融合图，选择图像质量最优的融合结果作为 最终的全景拼接图。
有益效果：本发明针对图像匹配的特征点对，预先判断图像中物体类 别个数，然后通过聚类算法作聚类操作，获取特征对的分组结果，通过分 组结果划分不同的拼接假设，为了提高各个簇之间的匹配准确率，分组特 征通过随机采样一致性计算各簇单应性假设，做最佳缝合线查找与融合得 到不同假设的拼接结果，最后从中筛选最优的拼接结果。本发明用于有效 融合多幅图像的重叠区域，能够去除拼接过程中产生的伪影，达到全方位展示一个视点场景的目的。本发明实现了同一个视点不同图像的拼接，展 示了同一视点的大视野图像，同时缝合线引导的图像拼接方法有容忍小视 差拼接的能力；不同对齐假设更加的接近较好的全景拼接图。实现在无人 机全景拍摄、全景看房、全景直播、安防监控等方面的应用，对军事与民 用的观赏、侦察、决策起到重要的作用。
附图说明
图1图像特征点匹配流程
图2源图像特征点聚类流程
图3根据分组的特征点计算单应性假设流程
图4最佳缝合线查找过程
图5公共区域像素截取
图6最近邻与双线性插值示意图
图7动态规划能量最小化问题求解
图8筛选基于缝合线融合的最优全景图像
图9缝合线左右两边的融合区间示意图
图10本发明的工作流程图
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面对本发明的具体实施 方式作进一步详细描述。
本实施例提出的一种缝合线引导的图像拼接方法，针对图像中明显存 在的物体类别数目，获取多个对齐假设，进而做最佳缝合线查找与融合得 到不同的全景图，通过筛选得最优的全景结果。
该方法主要分成五个部分：特征匹配、特征点聚类、计算各个簇单应 性假设、最佳缝合线查找与筛选最优融合图像。具体步骤如下：
步骤1：图像特征匹配。
预先采用SIFT或SURF特征提取方法，获得源图像与目标图像的特征 点，再用BF或FLANN匹配方法，匹配时通过K近邻算法做2分类得到2 个匹配点描述子。然后判断2个匹配点描述子距离的比率，如果两者之间 的距离比率大于75％则丢弃这个匹配点，该操作针对匹配特征点做初步的 筛选。
特征点匹配时，从性能与质量考虑，如果对性能要求较高则采用SURF (SpeededUp Robust Features)特征算法，如果对拼接质量要求较高则采用 SIFT(Scale-invariantFeature Transform)特征算法。匹配的过程采用BF (Brute Force)或FLANN(Fast Libraryfor Approximate Nearest Neighbors) 匹配方法。为了消除冗余的匹配特征点，匹配时采用K近邻2分类处理与 特征点描述子距离的比率做初步筛选。
步骤2：匹配特征点聚类。
预先设定聚类簇的个数，聚类簇个数的选择需要参照图像中明显存在 的物体个数；根据源图像的特征点坐标，人为判断图像中明显的物体类别 数，即自定义簇的个数，通过KMeans聚类方法分组源图像特征点；聚类 的时候，簇中心点坐标的选择采用随机模式。
步骤3：计算各个簇单应性假设。
针对提取的各个簇的匹配特征点坐标集，利用随机采样一致RANSAC (RandomSample Consensus)方法剔除外点获得匹配的内点，使用内点计 算不同簇的单应性矩阵，作为不同拼接结果的对齐假设；
根据步骤1特征点的初步筛选结果，匹配的特征中还是存在错误匹配 的情况。各簇的单应性矩阵计算采用RANSAC方法，能够提高各簇之间特 征点匹配的准确率；
根据步骤2中物体类别数目产生相同数量的单应性假设，在这些假设 中通过两两组合可以获得新的单应性假设，由获得的这些假设计算单应变 换矩阵，透视变换源图像。
步骤4：最佳缝合线查找。
通过单应性变换计算源图像变换后的坐标，用计算的坐标截取目标图 像与变换图像的公共区域，再计算两幅图像公共区域的能量矩阵，通过迭 代查找一条能量矩阵中最小能量和的路径，作为融合两幅图像的界线，即 最佳缝合线；
针对步骤3的不同单应性假设，计算源图像变换后的四个顶点坐标， 根据四个变换的顶点坐标计算变换图像的最小x坐标，再由目标图像宽度 与变换图像的最小x坐标，截取两幅图像的公共像素区域，截取的公共区 域像素矩阵同等大小；
计算公共区域像素的能量矩阵，能量矩阵的构成有多种方式：三通道 相邻像素的颜色差值，或颜色差值与梯度值的结合。其中能量矩阵计算颜 色差值采用彩色图像的RGB三通道，梯度值采用公共区域的灰度图像。最 后使用动态规划或者图割法查找能量矩阵的最小能量和路径，作为拼接两 幅图像的最佳缝合线。
步骤5：筛选最优融合图像。
针对步骤3的不同单应性假设，融合对应的公共区域像素，得到多个 对齐假设的全景融合结果，最后选择图像质量最优的融合结果作为最终的 全景拼接图。
图像融合是两幅图像公共区域自然化、无缝拼接的保证，为了融合的 快速，采用加权平均融合方法进行图像融合。融合的时候根据查找的缝合 线，选取缝合线左右两侧20-50个像素进行融合，用以处理小视差情况下， 图像未对准产生的伪影；
另外，公共区域像素融合时，采用以缝合线为界线，缝合线左侧使用 左侧图像的像素值，右侧使用右侧图像像素值。根据步骤3的不同单应性 假设，得到不同的图像融合全景图，通过筛选获取图像质量最优的融合全 景图像。
参见图1所示，是本发明实施例中提供的步骤1的图像特征匹配流程， 其包括以下步骤：
步骤101：输入源图像与目标图像，预先对输入的彩色图像灰度化， 采用特征提取方法获得每幅图像的特征坐标点与每个特征坐标点的描述 子。图像特征提取可以选择两种方法：SIFT与SURF；
步骤102：特征描述子与特征点使用BF或FLANN描述子匹配方法匹 配特征点，匹配时做KNN的2分类处理，使得每个特征点含有两个匹配 特征描述子的对象，然后根据两个描述子的距离比初步筛选特征匹配点对， 两则的比率此处设置为不大于75％。
参见图2所示，是本发明实施例中提供的步骤2的源图像匹配特征点 聚类流程，其包括如下步骤：
步骤201：预先作聚类算法输入数据的处理，输入的数据包括源图像 经过特征匹配之后的特征点坐标向量、判断源图像中明显存在的物体个数 K，以及迭代次数与误差阈值；
步骤202：由输入的数据做KMeans迭代，过程中以随机坐标点为中 心进行迭代处理，输出迭代分组结果，即各簇的特征坐标点集；
参见图3所示，是本发明实施例中提供的步骤3的根据分组的特征点 计算单应性假设流程，其包括如下步骤：
步骤301：根据步骤202聚类得到的特征点分组结果做两两组合，得 到新的单应性假设；
步骤302：所有的单应性假设通过RANSAC做特征点的筛选，保证两 幅图像能够准确配准；
步骤303：针对步骤302的不同单应性假设，如果某个单应性假设特 征点的分组不足4个坐标点，则不能满足单应性矩阵的计算。因此需要在 RANSAC筛选后的结果中，挑选大于4个特征点坐标的分组作为单应性假 设；
步骤304：由步骤303筛选的分组做单应性矩阵的计算，使每个分组 假设存在一个单应性矩阵。
参见图4所示，是本发明实施例中提供的步骤4的最佳缝合线查找过 程，其步骤包括如下：
步骤401：根据单应性矩阵计算源图像变换后的4顶点坐标，再由单 应性矩阵透视变换源图像，通过变换的坐标中最小x坐标与目标图像的宽 度截取两幅图像的公共区域像素。本发明实例中提供的公共区域像素截取 参见图5所示。
步骤4011：由src图像的四个原始顶点坐标，构建能与单应性矩阵相 乘的向量，构建公式如下：
Figure BDA0002929680720000081
其中公式(4-1)中的x,y表示src图像相像素水平、垂直方向的坐标点。4 顶点的向量构建分别为|0 0 1|T，|cols 0 1|T，|cols rows 1|T，|0 rows 1|T， cols，rows分别是src图像的像素行数与列数。
src图像的4顶点构建的向量与单应性矩阵传递给WarpPoint处理，得 到变换后的坐标，WarpPoint函数变换的公式如下：
Figure BDA0002929680720000082
其中公式(4-2)中的hij表示3×3单应性矩阵的各个值。x′,y′表示变换后的坐 标。
步骤4012：由4011得到源图像src经过单应性矩阵变换后的最大x、 y坐标，用以确定变换图像trans的尺寸为[wtrans,htrans]。声明一个[wtrans,htrans]大 小的矩阵，遍历该矩阵，由公式(4-2)逆向变换，逆向变换矩阵为H的逆， 逆向变换得到的坐标始终在src的像素坐标范围内。获取变换图像trans坐 标点在源图像src中对应的坐标位置，用该位置点像素填充trans。其中填 充过程存在两种方法，分别是最近邻与双线性插值，参见图6。最近邻插值是选择离P′最近的像素作为填充点，双线性插值P′的像素值获取公式如 下：
Figure BDA0002929680720000091
其中P′是由公式(4-2)变换后的坐标，为浮点型。P1,P2,P3,P4分别是距离P′最 近的整数坐标，它们之间的横纵坐标差值为1。u是距离P1点的横坐标距离， v是距离P1点的纵坐标距离。
步骤4013：根据4011与4012变换的坐标点与图像，以及dst图像的 宽高截取公共区域像素，变换图像trans的最小坐标为(xmin,ymin)。预先需要 保证dst与trans图像宽高相同，然后分别截取dst与trans图像水平方向 [xmin,dstcols]范围内的像素，高度相同，最后得到公共区域宽高为 (dstcols-xmin,max(dstrows,transrows))。
步骤402：公共区域像素获取后，计算能量矩阵有两种方法：基于图 像RGB三通道与灰度化图像。
(1)图像RGB三通道能量函数的公式：
Figure BDA0002929680720000101
公式(4-4)的Ccolor可以直接作为能量函数，
Figure BDA0002929680720000102
与
Figure BDA0002929680720000103
是图像的公共区域 像素，其中还可以在颜色差值方法上做升级，最后能量函数公式为
Figure BDA0002929680720000104
公式(4-5)中Ii为公共区域的灰度图像，Sobel是利用Sobel内核卷积灰度 图的梯度图像。
(2)灰度化图像的能量函数：
Figure BDA0002929680720000105
其中公式(4-6)中的I都是灰度化后的图像。d表示梯度的方向，存在x 与y方向的梯度。Grad表示梯度卷积，x与y方向的卷积内核分别为
Figure BDA0002929680720000106
由上面两种方法构建公共区域像素的能量矩阵，只有两幅图像重叠区域才 通过(4-4)、(4-5)、(4-6)计算，不满足条件的位置设定为某种数据类型 的最大值。
步骤403：该步骤是针对构建的能量矩阵最小化问题求解，使用的方 法为动态规划法：抵达该行的能量坐标点，始终选择上一行三个位置(左 上、正上、右上)，能量最小的一条路径与抵达坐标点的能量相加，参见本 发明实例的图7。
步骤4031：动态规划问题的初始化，预先设置第一行的能量值为当前 最小能量和Erow，然后再初始化最小能量和的走向矩阵C，用以记录扫描下 一行的最小能量的位置；
步骤4032：动态规划子问题的划分，假设扫描的坐标点位置为(x,y)， 则当前能量值为E(x,y)，于是抵达该点的最小能量和如公式(4-8)：
Figure BDA0002929680720000111
步骤4033：根据公式(4-8)的判断，来记录抵达每个像素点最小能量 和的位置：如果是左上则走向矩阵C(x,y)记录为1，如果是正上方则走向矩 阵C(x,y)记录为2，如果是右上则走向矩阵C(x,y)记录为3；记录每个像素点 最小能量和走向之后，还需要更新Erow的当前点最小能量和为Esum_min(x,y)；
步骤4034：根据记录的矩阵C从最后一行回溯到第一行，回溯过程的 路径走向便是最佳缝合线。回溯时，选择走向矩阵C中
Figure BDA0002929680720000112
的区域，首先通过 4033更新到最后一行的Erow，找出
Figure BDA0002929680720000113
的区域最小能量和的位置为(xe,ye)，然 后以(xe,ye)为起点进行回溯，回溯坐标点如公式(4-9)所示：
Figure BDA0002929680720000114
其中Pseam代表每一行最小能量和走向的坐标，最后把每一行的坐标点组合起 来便是最佳缝合线路径。
参见图8所示，是本发明实施例中提供的步骤5的筛选基于缝合线融 合的最优全景图像，其步骤包括如下：
步骤501：确定缝合线左右两边的融合区间，本发明基于缝合线左右 各20-50个像素做融合，融合区间参见本发明实施例图9。基于缝合线坐标 序列，若当前点的坐标为(x,y)，则该行左右融合的区间Rfusion为公式(5-1)：
Rfusion∈[max(0,x-w),min(woverlap,x+w)],w∈[20,50] (5-1)
其中woverlap是步骤401截取的公共区域像素宽度，w为左右两边可浮动的融 合范围；
步骤502：由步骤401截取的像素区域还是存在非公共区域的部分， 在每一行像素遍历时，如果x轴坐标小于Rfusion区间的最小值，则融合图像 像素用左侧图像填充；如果x轴坐标大于Rfusion区间的最大值，则融合图像 像素用右侧图像填充；
步骤503：采用加权平均融合方法处理融合区域Rfusion，在每行像素遍 历时，假设遍历到水平方向的像素点坐标为x，则该像素点的权重由α表示， 于是该坐标点的融合像素由公式(5-2)表示：
Figure BDA0002929680720000121
步骤504：每个对齐假设都进行最佳缝合线查找、图像融合处理得到多 个全景融合结果，筛选出最优的融合全景图像。
本发明由聚类方法获得匹配特征的分布，不同的聚类簇构成一个全景 单应性假设，然后利用最小能量化问题查找不同全景假设的最佳缝合线， 再根据缝合线融合，从而在全景单应性假设中获取最优拼接结果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干 改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种缝合线引导的图像拼接方法，其特征在于，包括以下步骤：
步骤1：图像特征匹配:特征提取待拼接的两幅图像，匹配图像中的特征，得到两幅图像的匹配特征点对；
步骤2：匹配特征点聚类:通过图中物体类别自定义聚类簇数，采用KMeans聚类算法分组匹配的特征点对，获取各个簇的匹配特征坐标点集；
步骤3：计算各个簇单应性假设:针对提取的各个簇的匹配特征坐标点集，利用随机采样一致剔除外点计算不同组的单应性变换矩阵，作为不同拼接结果的对齐假设；
步骤4：查找最佳缝合线:针对每个对齐假设，通过单应性变换计算源图变换后的坐标，用计算的坐标截取目标图像与变换图像的公共区域，然后计算两幅图像公共区域的能量矩阵，采用动态规划迭代查找能量矩阵的最小能量和路径作为最佳缝合线；
步骤5：筛选最优融合图像:针对每个对齐假设的最佳缝合线，融合公共区域像素，得到不同的全景融合图，选择图像质量最优的融合结果作为最终的全景拼接图。
2.根据权利要求1所述的一种缝合线引导的图像拼接方法，其特征在于，步骤1中，由SIFT或SURF特征提取方法获得待拼接图像的特征点，利用BF或FLANN匹配方法，对每个特征点描述子用K近邻算法获得2个最优匹配，判断2个最优匹配的距离，如果两者描述子的距离比大于75％则丢弃该特征点的匹配。
3.根据权利要求2所述的一种缝合线引导的图像拼接方法，其特征在于，特征匹配时，如果对性能要求较高则采用SURF特征提取，如果对拼接质量要求较高则采用SIFT特征算法。
4.根据权利要求2所述的一种缝合线引导的图像拼接方法，其特征在于，步骤2中，根据源图像的特征点坐标，用K-Means聚类方法分组特征点，通过特征点匹配关系，生成源图像与目标图像各个簇的匹配特征坐标点集。
5.根据权利要求4所述的一种缝合线引导的图像拼接方法，其特征在于，聚类的时候，人为判断图像中明显的物体类别数作为簇的个数。
6.根据权利要求1所述的一种缝合线引导的图像拼接方法，其特征在于，步骤4中，由步骤3的不同单应性假设，计算源图像变换后的四个顶点坐标，通过目标图像宽度与变换图像的最小x坐标，截取两幅图像的公共像素区域，用以缝合线查找，截取的公共区域像素矩阵同等大小。
7.根据权利要求6所述的一种缝合线引导的图像拼接方法，其特征在于，最佳缝合线查找时，能量函数定义采用如下方法：三通道相邻像素的颜色差值，或灰度图像对应像素颜色差值的平方、x、y方向梯度的平方三者之和；能量矩阵的每个像素采用上述两种方法构建，最后使用动态规划或者图割法查找能量矩阵的最小能量和路径，即为最佳缝合线路径。
8.根据权利要求1所述的一种缝合线引导的图像拼接方法，其特征在于，步骤5中，融合的时候根据查找的最佳缝合线，选取缝合线左右两侧20-50个像素进行融合，用以处理小视差情况下，图像未对准产生的伪影；公共区域像素融合时，以缝合线为界线，缝合线左侧使用左侧图像的像素值，右侧使用右侧图像像素值。
9.根据权利要求8所述的一种缝合线引导的图像拼接方法，其特征在于，融合图像时，从性能与图像质量考虑，如果对拼接图像质量要求较高则采用多频带融合算法，如果对拼接的速度要求较高则使用加权平均融合算法。
10.根据权利要求5所述的一种缝合线引导的图像拼接方法，其特征在于，簇中心点坐标的选择采用随机模式。
CN202110144460.1A 2021-02-02 2021-02-02 一种缝合线引导的图像拼接方法 Pending CN113160048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110144460.1A CN113160048A (zh) 2021-02-02 2021-02-02 一种缝合线引导的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110144460.1A CN113160048A (zh) 2021-02-02 2021-02-02 一种缝合线引导的图像拼接方法

Publications (1)

Publication Number Publication Date
CN113160048A true CN113160048A (zh) 2021-07-23

Family

ID=76882675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110144460.1A Pending CN113160048A (zh) 2021-02-02 2021-02-02 一种缝合线引导的图像拼接方法

Country Status (1)

Country Link
CN (1) CN113160048A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781299A (zh) * 2021-08-16 2021-12-10 兰州大学 一种基于改进ransac算法的多图像协同拼接方法
CN113793281A (zh) * 2021-09-15 2021-12-14 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及***
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198135A (zh) * 2018-01-02 2018-06-22 佛山科学技术学院 一种全景图像拼接最优缝合线搜索方法
CN111340701A (zh) * 2020-02-24 2020-06-26 南京航空航天大学 一种基于聚类法筛选匹配点的电路板图像拼接方法
CN111800609A (zh) * 2020-06-29 2020-10-20 中国矿业大学 基于多平面多感知缝合线的矿井巷道视频拼接方法
CN112991176A (zh) * 2021-03-19 2021-06-18 南京工程学院 一种基于最佳缝合线的全景图像拼接方法
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN113793266A (zh) * 2021-09-16 2021-12-14 深圳市高川自动化技术有限公司 一种多目机器视觉图像拼接方法、***及存储介质
CN115205111A (zh) * 2022-06-15 2022-10-18 深圳市优必选科技股份有限公司 一种图像拼接方法、装置、终端设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198135A (zh) * 2018-01-02 2018-06-22 佛山科学技术学院 一种全景图像拼接最优缝合线搜索方法
WO2019134531A1 (zh) * 2018-01-02 2019-07-11 佛山科学技术学院 一种全景图像拼接最优缝合线搜索方法
CN111340701A (zh) * 2020-02-24 2020-06-26 南京航空航天大学 一种基于聚类法筛选匹配点的电路板图像拼接方法
CN111800609A (zh) * 2020-06-29 2020-10-20 中国矿业大学 基于多平面多感知缝合线的矿井巷道视频拼接方法
CN112991176A (zh) * 2021-03-19 2021-06-18 南京工程学院 一种基于最佳缝合线的全景图像拼接方法
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN113793266A (zh) * 2021-09-16 2021-12-14 深圳市高川自动化技术有限公司 一种多目机器视觉图像拼接方法、***及存储介质
CN115205111A (zh) * 2022-06-15 2022-10-18 深圳市优必选科技股份有限公司 一种图像拼接方法、装置、终端设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GAO JUNHONG等: "Seam-Driven Image Stitching", EUROGRAPHICS 2013 - SHORT PAPERS, pages 045 - 048 *
李阳: "具有视差场景的图像拼接算法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2021, pages 138 - 1499 *
杨璇璇: "大视差场景下的动态视频图像拼接技术研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2021, pages 138 - 1157 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781299A (zh) * 2021-08-16 2021-12-10 兰州大学 一种基于改进ransac算法的多图像协同拼接方法
CN113781299B (zh) * 2021-08-16 2023-08-25 兰州大学 一种基于改进ransac算法的多图像协同拼接方法
CN113793281A (zh) * 2021-09-15 2021-12-14 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及***
CN113793281B (zh) * 2021-09-15 2023-09-08 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及***
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及***
CN117221466B (zh) * 2023-11-09 2024-01-23 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及***

Similar Documents

Publication Publication Date Title
CN110390640B (zh) 基于模板的泊松融合图像拼接方法、***、设备及介质
KR101994121B1 (ko) 중간 뷰로부터의 효율적인 캔버스 뷰 생성
CN113160048A (zh) 一种缝合线引导的图像拼接方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN106952225B (zh) 一种面向森林防火的全景拼接方法
CN111553939B (zh) 一种多目摄像机的图像配准算法
Yang et al. Progressively complementary network for fisheye image rectification using appearance flow
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN104392416A (zh) 一种运动场景的视频拼接方法
CN112801870B (zh) 一种基于网格优化的图像拼接方法，拼接***及可读存储介质
CN111242848B (zh) 基于区域特征配准的双目相机图像缝合线拼接方法及***
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN113706635B (zh) 一种基于点特征和线特征融合的长焦距相机标定方法
CN114897676A (zh) 一种无人机遥感多光谱图像拼接方法、设备及介质
Lu et al. Multiperspective image stitching and regularization via hybrid structure warping
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
Aleksandrovich et al. Search the optimal border for combination of image pairs using neural networks
US12015755B2 (en) Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
CN116132610A (zh) 一种综采面视频拼接方法及***
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
EP3229106A1 (en) Efficient determination of optical flow between images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination