CN117333368A - 一种基于局部边缘分析的图像拼接方法、设备和存储介质 - Google Patents

一种基于局部边缘分析的图像拼接方法、设备和存储介质 Download PDF

Info

Publication number
CN117333368A
CN117333368A CN202311302952.4A CN202311302952A CN117333368A CN 117333368 A CN117333368 A CN 117333368A CN 202311302952 A CN202311302952 A CN 202311302952A CN 117333368 A CN117333368 A CN 117333368A
Authority
CN
China
Prior art keywords
image
connected domain
overlapping region
block
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311302952.4A
Other languages
English (en)
Other versions
CN117333368B (zh
Inventor
古玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jushi Technology Co ltd
Original Assignee
Nanjing Jushi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jushi Technology Co ltd filed Critical Nanjing Jushi Technology Co ltd
Priority to CN202311302952.4A priority Critical patent/CN117333368B/zh
Publication of CN117333368A publication Critical patent/CN117333368A/zh
Application granted granted Critical
Publication of CN117333368B publication Critical patent/CN117333368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部边缘分析的图像拼接方法、设备和存储介质，包括以下步骤：获取第一图像和第二图像，分别计算第一图像的单应性矩阵和第二图像的单应性矩阵；根据第一图像的单应性矩阵和第二图像的单应性矩阵，确定第一图像的重叠区域和第二图像的重叠区域；根据第一图像的重叠区域和第二图像的重叠区域进行图像拼接，得到拼接图；提取拼接图中第一图像重叠区域的连通域和第二图像重叠区域的连通域；根据加权最近邻算法计算第一图像重叠区域和第二图像重叠区域的连通域的相似连通域，根据相似连通域将两者重叠区域的连通域拼接成一个连通域；将拼接后的连通域的坐标变换为拼接图的坐标，并将缺少的像素部分补全；输出目标拼接图像。

Description

一种基于局部边缘分析的图像拼接方法、设备和存储介质
技术领域
本发明涉及图像拼接技术领域，具体涉及一种基于局部边缘分析的图像拼接方法、设备和存储介质。
背景技术
图像拼接是将多幅图像组合成一副无缝的图像的过程，通常用于创建全景图、医学影像拼接、虚拟现实等应用。
目前的图像拼接方法主要关注全局坐标的正确性，而忽略了对边缘细节的准确拼接，这导致了在拼接边缘等细节部分时可能存在误差，并且在使用传统边缘检测方法提取边缘时，可能会引入误差或噪音，这会传递到拼接过程中，导致不准确的边缘信息，对于在拼接图像中发生形变或变换的物体，边缘的拼接问题更为复杂，这可能需要更高级的变换模型和拼接技术来解决。
由于上述问题，图像拼接的误差可能严重影响目标检测的准确性，误差导致物体的位置和形状发生变化，可能使目标检测方法难以正确识别物体。
发明内容
技术目的：针对现有技术的不足，本发明公开了一种基于局部边缘分析的图像拼接方法、设备和存储介质，可以对边缘重叠部分进行更好的拼接，大幅增加边缘部分的目标计数、识别情况。
技术方案：为实现上述技术目的，本发明采用了如下技术方案：
一种基于局部边缘分析的图像拼接方法，包括以下步骤：
S1、获取第一图像和第二图像，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵；
S2、根据第一图像的单应性矩阵和第二图像的单应性矩阵，分别确定第一图像的重叠区域和第二图像的重叠区域；
S3、根据第一图像的重叠区域和第二图像的重叠区域对第一图像和第二图像进行图像拼接，得到拼接图；
S4、分别提取步骤S3拼接图中第一图像重叠区域的连通域和第二图像重叠区域的连通域；
S5、根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域，根据相似连通域将两者重叠区域的连通域拼接成一个连通域；
S6、将拼接后的连通域的坐标变换为步骤S3中拼接图的坐标，并将变换坐标后的连通域缺少的像素部分用最近邻插值法补全；
S7、输出目标拼接图像。
优选地，所述根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域包括以下步骤：
S51、将第一图像重叠区域的连通域和第二图像重叠区域的连通域进行分割，划分成若干个块；
S52、为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块，所述匹配块位于第二图像重叠区域的连通域中；
S53、迭代计算第一图像重叠区域的连通域中块的最优匹配块；
S54、根据第一图像重叠区域的连通域中的块和其最优匹配块，计算得到第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域。
优选地，所述计算第一图像重叠区域的连通域中块的最优匹配块包括以下步骤：
S531、获取第一重叠区域的连通域中的块和与块相邻的相邻块；
S532、计算第一重叠区域的连通域中的块与它的匹配块之间的偏移值，再计算第一重叠区域的连通域中的相邻块与它的匹配块之间的偏移值，所述偏移值的计算公式如下：
f(x,y)＝afgminf[D(x,y),D(x1,y1),D(c2,y2)]
式中，f(x,y)表示第一图像重叠区域的连通域中块(x,y)与第二图像重叠区域的连通域中的匹配块(x',y')之间的偏移值，x、y表示第一图像重叠区域的连通域中块(x,y)的x轴和y轴坐标值，x'和y'表示第二图像重叠区域连通域中匹配块(x',y')的x轴和y轴的坐标值，(x1,y1)表示块(x,y)左边的相邻块，(x2,y2)表示块(x,y)上边的相邻块，D(x,y)表示第一图像重叠区域的连通域中块(x,y)和第二图像重叠区域连通域中匹配块(x',y')之间的匹配误差；
S533、比较步骤S532中计算出的各偏移值的大小关系，得到第一重叠区域的连通域中块的最优匹配块；
S534、以步骤S533得到的最优匹配块为中心，在不断指数衰减的半径区域内随机搜索并匹配若干次，直到半径小于1个像素，计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离，所述计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离公式如下：
ui＝fi(x,y)+wαiRi
式中，ui表示第一图像重叠区域的连通域中的块(x,y)在第二图像重叠区域连通域中第i次随机搜索的匹配块的相对位置，fi(x,y)表示第一图像重叠区域的连通域中块(x,y)与第二图像重叠区域的连通域中第i次随机搜索的匹配块之间的偏移值，w表示最大搜索半径，其值为图像最长边的长度，α表示位于0-1之间固定的指数衰减因子，Ri表示位于[-1,1]×[-1,1]中服从均匀分布的二维随机数，i表示随机搜索的次数，i的递增直到当前搜索半径wαi小于1为止；
S535、判断第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离和第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值的大小关系，若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离小于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，将当前随机搜索的匹配块作为最优匹配块；若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离大于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，保持原最优匹配块不变；
S536、输出第一图像重叠区域的连通域中块的最优匹配块。
优选地，所述第一图像重叠区域的连通域中块(x,y)和第二图像重叠区域连通域中匹配块(x',y')之间的匹配误差D(x,y)的计算公式如下：
式中，x、y表示第一图像重叠区域的连通域中块(x,y)的x轴和y轴坐标值，x'和y'表示第二图像重叠区域连通域中匹配块(x',y')的x轴和y轴的坐标值。
优选地，为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块包含两种方式，分别是完全随机的赋值和加入先验信息的赋值。
优选地，所述迭代计算包括奇数次迭代和偶数次迭代，所述奇数次迭代是对第一重叠区域的连通域中的块每一列从上到下逐行扫描，每一行从左到右扫描，所述偶数次迭代是对第一图像重叠区域的连通域中的块每一列从下到上扫描，每一行从右到左扫描。
优选地，所述随机搜索的过程能够根据计算的匹配误差的值提前终止。
优选地，所述分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵包括以下步骤：
S11、分别提取第一图像和第二图像边缘区域的边缘特征点，然后对两张图像的边缘特征点进行特征点匹配，得到两张图像边缘特征点的匹配对；
S12、选取若干个边缘特征点的匹配对，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的一种基于局部边缘分析的图像拼接方法。
本发明还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的一种基于局部边缘分析的图像拼接方法。
有益效果：本发明的所提供的一种基于局部边缘分析的图像拼接方法、设备和存储介质具有如下有益效果：
1.本发明采用了先提取图像边缘特征的方式，然后再提取单应性矩阵进行变换，这种方法有助于更好地对边缘部分进行拼接，相对于传统方法，它能够显著减小边缘区域的拼接误差，可以显著增加边缘部分目标的计数和识别准确性。
2.通过进行连通域分析，本发明能够提取拼接图中两个图像重叠部分的各自连通域部分，这有助于在拼接时保持物体的完整性，确保拼接后的连通域位置准确，特别是当物体在图像中发生形变或重叠时，能够有效避免物体的错位。
3.本发明还对拼接导致缺失部分的像素点进行插值补全，这有助于进一步提高拼接的视觉质量和连续性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。
图1为本发明图像拼接的整体步骤框图；
图2为本发明相似连通域计算的步骤框图；
图3为本发明最优匹配块计算的步骤框图；
图4为本发明图像拼接示意图。
具体实施方式
下面通过一较佳实施例的方式并结合附图来更清楚完整地说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1-4所示，一种基于局部边缘分析的图像拼接方法，包括以下步骤：
S1、获取第一图像和第二图像，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵。
优选地，所述分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵包括以下步骤：
S11、分别提取第一图像和第二图像边缘区域的边缘特征点，然后对两张图像的边缘特征点进行特征点匹配，得到两张图像边缘特征点的匹配对；
S12、选取若干个边缘特征点的匹配对，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵。
在本申请的一个实施例中，获取到A图像和B图像，分别提取若干个A图像边缘区域的边缘特征点和若干个B图像边缘区域的边缘特征点，并对A、B图像的边缘特征点进行特征点匹配，得到若干个边缘特征点的匹配对，根据这些匹配对计算出A图像针对B图像的单应性矩阵H1和B图像针对A图像的单应性矩阵H2。
S2、根据第一图像的单应性矩阵和第二图像的单应性矩阵，分别确定第一图像的重叠区域和第二图像的重叠区域。
S3、根据第一图像的重叠区域和第二图像的重叠区域对第一图像和第二图像进行图像拼接，得到拼接图像，此时得到的拼接图像边缘部分很可能存在不对齐，需要对得到的拼接图像进行更为精细的处理。
将A图像的重叠区域与B图像的重叠区域进行拼接，两者重叠区域进行融合之后得到拼接图像C。
S4、分别提取步骤S3拼接图中第一图像重叠区域的连通域和第二图像重叠区域的连通域。
S5、根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域，根据相似连通域将两者重叠区域的连通域拼接成一个连通域。
如图2所示，所述根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域包括以下步骤：
S51、将第一图像重叠区域的连通域和第二图像重叠区域的连通域进行分割，划分成若干个块。
S52、为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块，所述匹配块位于第二图像重叠区域的连通域中。
在一个具体实施例中，所述为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块包含两种方式，分别是完全随机的赋值和加入先验的信息的赋值，所述加入先验的信息的赋值具体指如果在对第一图像重叠区域的连通域中的块进行匹配时，若事先知道匹配块与块的位置关系，比如知道匹配块的x的坐标或y的坐标，则无需再随机匹配已知的坐标，只需进行未知坐标的匹配即可。
S53、迭代计算第一图像重叠区域的连通域中块的最优匹配块。
所述迭代计算包括奇数次迭代和偶数次迭代，所述奇数次迭代是对第一重叠区域的连通域中的块每一列从上到下逐行扫描，每一行从左到右扫描，所述偶数次迭代是对第一图像重叠区域的连通域中的块每一列从下到上扫描，每一行从右到左扫描。
如图3所示，在一个具体实施例中，所述计算第一图像重叠区域的连通域中块的最优匹配块包括以下步骤：
S531、获取第一重叠区域的连通域中的块和与块相邻的相邻块，若当前迭代计算为奇数次迭代时，获取的第一重叠区域的连通域中的当前块的左侧相邻块和上侧相邻块都是已经获取并计算出最优匹配块的块。
S532、计算第一重叠区域的连通域中的块与它的匹配块之间的偏移值，再计算第一重叠区域的连通域中的相邻块与它的匹配块之间的偏移值，所述偏移值的计算公式如下：
f(x,y)＝afgminf[D(x,y),D(x1,y1),D(x2,y2)]
式中，f(x,y)表示第一图像重叠区域的连通域中块(x,y)与第二图像重叠区域的连通域中的匹配块(x',y')之间的偏移值，x、y表示第一图像重叠区域的连通域中块(x,y)的x轴和y轴坐标值，x'和y'表示第二图像重叠区域连通域中匹配块(x',y')的x轴和y轴的坐标值，(x1,y1)表示块(x,y)左边的相邻块，(x2,y2)表示块(x,y)上边的相邻块，D(x,y)表示第一图像重叠区域的连通域中块(x,y)和第二图像重叠区域连通域中匹配块(x',y')之间的匹配误差。
由于上述块的坐标包含有若干个，本发明在相关计算时选取的块的坐标统一为中心点的坐标，在不同情况下也可选取块其他位置的坐标来表示块的位置。
在一个具体实施例中，所述第一图像重叠区域的连通域中块(x,y)和第二图像重叠区域连通域中匹配块(x',y')之间的匹配误差D(x,y)的计算公式如下：
式中，x、y表示第一图像重叠区域的连通域中块(x,y)的x轴和y轴坐标值，x'和y'表示第二图像重叠区域连通域中匹配块(x',y')的x轴和y轴的坐标值。
S533、比较步骤S532中计算出的各偏移值的大小关系，将偏移值最小的那个匹配块作为第一图像重叠区域的连通域中当前块的最优匹配块，得到第一重叠区域的连通域中当前块的最优匹配块。
在本申请的一个具体实施例中，当迭代计算为奇数次迭代时，正扫描到A图像重叠区域连通域中的块(x,y)处，那么此时这个块左边的相邻块(x-1,y)和上边的相邻块(x,y-1)都是已经被扫描过的块，他们对应的偏移值是f(x-1,y)和f(x,y-1)，这两个值代表它们在B图像重叠区域连通域中的匹配块相对于自己的距离。然后，当前块(x,y)会借用左边的相邻块和上边的相邻块的匹配块，再加上块自身的匹配块，比较这三对匹配块，看哪对匹配块的匹配结果最好，得出结果后，当前块的匹配块就直接变为匹配结果最好的最优匹配块。
S534、以步骤S533得到的最优匹配块为中心，在不断指数衰减的半径区域内随机搜索并匹配若干次，直到半径小于1个像素，计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离，所述计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离公式如下：
ui＝fi(x,y)+wαiRi
式中，ui表示第一图像重叠区域的连通域中的块(x,y)在第二图像重叠区域连通域中第i次随机搜索的匹配块的相对位置，fi(x,y)表示第一图像重叠区域的连通域中块(x,y)与第二图像重叠区域的连通域中第i次随机搜索的匹配块之间的偏移值，w表示最大搜索半径，其值为图像最长边的长度，α表示位于0-1之间固定的指数衰减因子，Ri表示位于[-1,1]×[-1,1]中服从均匀分布的二维随机数，i表示随机搜索的次数，i的递增直到当前搜索半径wαi小于1为止。
S535、判断第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离和第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值的大小关系，若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离小于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，将当前随机搜索的匹配块作为最优匹配块；若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离大于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，保持原最优匹配块不变。
当前块(x,y)经过上面所述的匹配传递过程后其匹配块可能得到了优化，但可能还不是最优解。接下来继续对其进行一个随机搜索，判断能否找到比当前更匹配的最优匹配块：在以当前块的匹配块(x+f(x,y),y+f(x,y))为中心，在不断指数衰减的半径区域里随机匹配若干次，直到半径缩到1个像素以下再结束流程，如果这几次随机搜索发现了更好的匹配，那么当前块的匹配关系就随之更新。
优选地，所述随机搜索的过程能够根据计算的匹配误差的值提前终止，例如正在进行某次随机搜索并且对相对距离进行计算时，若计算出的值比原来的值还要差，就可以提前终止随机搜索。
S536、输出第一图像重叠区域的连通域中块的最优匹配块。
S54、根据第一图像重叠区域的连通域中的块和其最优匹配块，计算得到第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域。
S6、将拼接后的连通域的坐标变换为步骤S3中拼接图的坐标，并将变换坐标后的连通域缺少的像素部分用最近邻插值法补全。
此时拼接图中第一图像和第二图像拼接的边缘部分经过连通域分析之后，不对齐等现象已经得到了很好的改善。
S7、输出目标拼接图像。
如图4所示为使用本发明的图像拼接方法的具体实施例，拼接完成后两张图像的边缘部分可以很好地融合。
本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现以上任一所述的一种基于局部边缘分析的图像拼接方法。存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器或图像处理器等。
本发明还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行以上任一所述的一种基于局部边缘分析的图像拼接方法。存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于局部边缘分析的图像拼接方法，其特征在于，包括以下步骤：
S1、获取第一图像和第二图像，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵；
S2、根据第一图像的单应性矩阵和第二图像的单应性矩阵，分别确定第一图像的重叠区域和第二图像的重叠区域；
S3、根据第一图像的重叠区域和第二图像的重叠区域对第一图像和第二图像进行图像拼接，得到拼接图；
S4、分别提取步骤S3拼接图中第一图像重叠区域的连通域和第二图像重叠区域的连通域；
S5、根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域，根据相似连通域将两者重叠区域的连通域拼接成一个连通域；
S6、将拼接后的连通域的坐标变换为步骤S3中拼接图的坐标，并将变换坐标后的连通域缺少的像素部分用最近邻插值法补全；
S7、输出目标拼接图像。
2.根据权利要求1所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述根据加权最近邻算法计算第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域包括以下步骤：
S51、将第一图像重叠区域的连通域和第二图像重叠区域的连通域进行分割，划分成若干个块；
S52、为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块，所述匹配块位于第二图像重叠区域的连通域中；
S53、迭代计算第一图像重叠区域的连通域中块的最优匹配块；
S54、根据第一图像重叠区域的连通域中的块和其最优匹配块，计算得到第一图像重叠区域的连通域和第二图像重叠区域的连通域的相似连通域。
3.根据权利要求2所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述计算第一图像重叠区域的连通域中块的最优匹配块包括以下步骤：
S531、获取第一重叠区域的连通域中的块和与块相邻的相邻块；
S532、计算第一重叠区域的连通域中的块与它的匹配块之间的偏移值，再计算第一重叠区域的连通域中的相邻块与它的匹配块之间的偏移值，所述偏移值的计算公式如下：
f(x，y)＝argminf[D(x，y)，D(x1，y1)，D(x2，y2)]
式中，f(x，y)表示第一图像重叠区域的连通域中块(x，y)与第二图像重叠区域的连通域中的匹配块(x′，y′)之间的偏移值，x、y表示第一图像重叠区域的连通域中块(x，y)的x轴和y轴坐标值，x′和y′表示第二图像重叠区域连通域中匹配块(x′，y′)的x轴和y轴的坐标值，(x1，y1)表示块(x，y)左边的相邻块，(x2，y2)表示块(x，y)上边的相邻块，D(x，y)表示第一图像重叠区域的连通域中块(x，y)和第二图像重叠区域连通域中匹配块(x′，y′)之间的匹配误差；
S533、比较步骤S532中计算出的各偏移值的大小关系，得到第一重叠区域的连通域中块的最优匹配块；
S534、以步骤S533得到的最优匹配块为中心，在不断指数衰减的半径区域内随机搜索并匹配若干次，直到半径小于1个像素，计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离，所述计算第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离公式如下：
ui＝fi(x，y)+wαiRi
式中，ui表示第一图像重叠区域的连通域中的块(x，y)在第二图像重叠区域连通域中第i次随机搜索的匹配块的相对位置，fi(x，y)表示第一图像重叠区域的连通域中块(x，y)与第二图像重叠区域的连通域中第i次随机搜索的匹配块之间的偏移值，w表示最大搜索半径，其值为图像最长边的长度，α表示位于0-1之间固定的指数衰减因子，Ri表示位于[-1，1]×[-1，1]中服从二维均匀分布的随机数，i表示随机搜索的次数，i的递增直到当前搜索半径wαi小于1为止；
S535、判断第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离和第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值的大小关系，若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离小于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，将当前随机搜索的匹配块作为最优匹配块；若第一图像重叠区域的连通域中的块与随机搜索的匹配块之间的距离大于第一重叠区域的连通域中的块与它的最优匹配块之间的偏移值，保持原最优匹配块不变；
S536、输出第一图像重叠区域的连通域中块的最优匹配块。
4.根据权利要求3所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述第一图像重叠区域的连通域中块(x,y)和第二图像重叠区域连通域中匹配块(x',y')之间的匹配误差D(x,y)的计算公式如下：
式中，x、y表示第一图像重叠区域的连通域中块(x,y)的x轴和y轴坐标值，x'和y'表示第二图像重叠区域连通域中匹配块(x',y')的x轴和y轴的坐标值。
5.根据权利要求2所述的一种基于局部边缘分析的图像拼接方法，其特征在于，为第一图像重叠区域的连通域中的块随机赋予一个初始的匹配块包含两种方式，分别是完全随机的赋值和加入先验的信息的赋值。
6.根据权利要求2所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述迭代计算包括奇数次迭代和偶数次迭代，所述奇数次迭代是对第一重叠区域的连通域中的块每一列从上到下逐行扫描，每一行从左到右扫描，所述偶数次迭代是对第一图像重叠区域的连通域中的块每一列从下到上扫描，每一行从右到左扫描。
7.根据权利要求3所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述随机搜索的过程能够根据计算的匹配误差的值提前终止。
8.根据权利要求1所述的一种基于局部边缘分析的图像拼接方法，其特征在于，所述分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵包括以下步骤：
S11、分别提取第一图像和第二图像边缘区域的边缘特征点，然后对两张图像的边缘特征点进行特征点匹配，得到两张图像边缘特征点的匹配对；
S12、选取若干个边缘特征点的匹配对，分别计算第一图像针对所述第二图像的单应性矩阵和第二图像针对所述第一图像对应的单应性矩阵。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-8任一所述的一种基于局部边缘分析的图像拼接方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-8任一所述的一种基于局部边缘分析的图像拼接方法。
CN202311302952.4A 2023-10-10 2023-10-10 一种基于局部边缘分析的图像拼接方法、设备和存储介质 Active CN117333368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311302952.4A CN117333368B (zh) 2023-10-10 2023-10-10 一种基于局部边缘分析的图像拼接方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311302952.4A CN117333368B (zh) 2023-10-10 2023-10-10 一种基于局部边缘分析的图像拼接方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN117333368A true CN117333368A (zh) 2024-01-02
CN117333368B CN117333368B (zh) 2024-05-21

Family

ID=89292745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311302952.4A Active CN117333368B (zh) 2023-10-10 2023-10-10 一种基于局部边缘分析的图像拼接方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN117333368B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040069454A (ko) * 2003-01-29 2004-08-06 주식회사 일리시스 글로벌 영상 모자이크 방법
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及***
CN111028155A (zh) * 2019-12-17 2020-04-17 大连理工大学 一种基于多对双目相机的视差图像拼接方法
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
CN112801870A (zh) * 2021-01-28 2021-05-14 中南大学 一种基于网格优化的图像拼接方法，拼接***及可读存储介质
CN113724135A (zh) * 2021-08-25 2021-11-30 上海浦东发展银行股份有限公司 图像拼接方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040069454A (ko) * 2003-01-29 2004-08-06 주식회사 일리시스 글로벌 영상 모자이크 방법
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及***
CN111028155A (zh) * 2019-12-17 2020-04-17 大连理工大学 一种基于多对双目相机的视差图像拼接方法
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
US20220044356A1 (en) * 2019-12-17 2022-02-10 Dalian University Of Technology Large-field-angle image real-time stitching method based on calibration
CN112801870A (zh) * 2021-01-28 2021-05-14 中南大学 一种基于网格优化的图像拼接方法，拼接***及可读存储介质
CN113724135A (zh) * 2021-08-25 2021-11-30 上海浦东发展银行股份有限公司 图像拼接方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ACHALA PANDEY ET AL.: "Image mosaicing: A deeper insight", 《IMAGE AND VISION COMPUTING》, 2 August 2019 (2019-08-02), pages 236 - 257, XP085809155, DOI: 10.1016/j.imavis.2019.07.002 *
张晶晶;翟东海;黄莉芝;喻强;: "基于特征分块的视差图像拼接算法", 计算机工程, no. 05, 12 May 2017 (2017-05-12) *

Also Published As

Publication number Publication date
CN117333368B (zh) 2024-05-21

Similar Documents

Publication Publication Date Title
Li et al. A novel inshore ship detection via ship head classification and body boundary determination
JP2020038624A (ja) 車線処理方法及び装置
US20130022280A1 (en) Methods for improving image search in large-scale databases
JP2008107860A (ja) 画像対間の変換を推定する方法、画像を表現する方法、並びにこの方法のための装置、制御装置、及びコンピュータプログラム
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN108334879B (zh) 一种区域提取方法、***及终端设备
CN111461113B (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
CN112712518B (zh) 鱼类计数方法、装置、电子设备及存储介质
CN116542945B (zh) 晶圆图像分割处理方法、电子设备及存储介质
CN112200191B (zh) 图像处理方法、装置、计算设备及介质
CN110569845A (zh) 一种试卷图像的校正方法及相关装置
CN110827189A (zh) 一种数字图像或视频的水印去除方法及***
US9077926B2 (en) Image processing method and image processing apparatus
CN117333368B (zh) 一种基于局部边缘分析的图像拼接方法、设备和存储介质
CN111915645B (zh) 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN113255405B (zh) 车位线识别方法及其***、车位线识别设备、存储介质
CN114387353A (zh) 一种相机标定方法、标定装置及计算机可读存储介质
CN109242894B (zh) 一种基于移动最小二乘法的图像对齐方法及***
CN114078245A (zh) 一种图像处理方法及图像处理装置
CN111814869B (zh) 一种同步定位与建图的方法、装置、电子设备及存储介质
CN112149675B (zh) 获取图表信息数据的方法、电子设备及可读存储介质
CN118015237B (zh) 基于全局相似性最佳接缝的多视角图像拼接方法及***
CN118279398A (zh) 红外图像目标定位方法、装置、设备、介质及程序产品
CN116934839A (zh) 嗜铬细胞瘤/副神经节瘤图形位置的自动调整方法及装置
CN114155143A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant