CN113744133A - 一种图像拼接方法、装置、设备及计算机可读存储介质 - Google Patents

一种图像拼接方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113744133A
CN113744133A CN202111069395.7A CN202111069395A CN113744133A CN 113744133 A CN113744133 A CN 113744133A CN 202111069395 A CN202111069395 A CN 202111069395A CN 113744133 A CN113744133 A CN 113744133A
Authority
CN
China
Prior art keywords
image
similarity
window
determining
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111069395.7A
Other languages
English (en)
Inventor
徐召飞
杨英伟
王水根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202111069395.7A priority Critical patent/CN113744133A/zh
Publication of CN113744133A publication Critical patent/CN113744133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像拼接方法、装置、设备及计算机可读存储介质，方法包括：获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置；根据匹配位置确定被拼接图像与拼接图像的重叠区域，对被拼接图像和拼接图像的重叠区域进行融合。本申请公开的技术方案，基于图像结构相似性确定ROI区域，基于该区域进行模板窗和搜索窗相似度计算，以确定匹配位置并确定重叠区域，而无需进行变换矩阵计算等操作，因此，可以降低图像拼接的复杂度及重叠区域的比例。

Description

一种图像拼接方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像拼接技术领域，更具体地说，涉及一种图像拼接方法、装置、设备及计算机可读存储介质。
背景技术
图像拼接是指将两幅或者多幅具有重叠区域的图像系列通过一定的方法拼接成一幅具有更大视场的图像。
目前，常采用单摄像头基于特征点法来实现图像拼接，其包括特征点检测与描述、特征点匹配、变换矩阵计算、图像投影和图像融合等环节，其中，为了保证变换矩阵计算的准确性，图像之间的重叠范围应在30％-50％范围内，而过大的重叠率就导致图像拼接时需要更多的图像，并会增大信息处理量，另外，上述方法因需要进行变换矩阵计算等而存在算法比较复杂，时间复杂度比较高的问题。
综上所述，如何降低图像拼接的复杂度及图像之间重叠区域的比例，是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请的目的是提供一种图像拼接方法、装置、设备及计算机可读存储介质，用于降低图像拼接的复杂度及图像之间重叠区域的比例。
为了实现上述目的，本申请提供如下技术方案：
一种图像拼接方法，包括：
获取多幅图像，计算相邻两幅所述图像的结构相似性，根据所述结构相似性确定ROI区域的大小；其中，相邻两幅所述图像间存在重叠区域；
在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；
计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置；
根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域，并对所述被拼接图像和所述拼接图像的重叠区域进行融合。
优选的，在根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域之后，还包括：
计算所述被拼接图像中的重叠区域的第一亮度均值，并计算所述拼接图像中的重叠区域的第二亮度均值；
根据所述第一亮度均值及所述第二亮度均值，对所述拼接图像的亮度进行校正。
优选的，对所述被拼接图像和所述拼接图像的重叠区域进行融合，包括：
根据所述重叠区域中的各像素点在所述重叠区域内所在的列数，计算各所述像素点对应的角度值；
利用所述被拼接图像中重叠区域内的各所述像素点的像素值、所述拼接图像中重叠区域内的各所述像素点的像素值、各所述像素点对应的角度值的三角函数值，对应计算融合后的重叠区域内各像素点的像素值。
优选的，计算所述模板窗在所述搜索窗中相应位置的相似度，包括：
利用归一化积相关模板匹配算法计算所述模板窗在所述搜索窗中相应位置的相似度。
优选的，计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置，包括：
以所述搜索窗的预设点为原点，按照预设路径及预设步长在所述搜索窗中移动所述模板窗，计算每次移动所述模板窗后所述模板窗在所述搜索窗内相应位置的相似度；
将相似对最大时的相应位置作为所述模板窗在所述搜索窗中的匹配位置。
优选的，获取多幅图像，包括：
获取单目相机绕轴旋转至预设的每个定点处拍摄的所述图像。
优选的，在对所述被拼接图像和所述拼接图像的重叠区域进行融合之后，还包括：
根据所述显示屏的尺寸对融合得到的最终拼接图进行裁切和/或尺寸缩放，并将裁切和/或尺寸缩放后的最终拼接图显示在所述显示屏中。
一种图像拼接装置，包括：
获取模块，用于获取多幅图像，计算相邻两幅所述图像的结构相似性，根据所述结构相似性确定ROI区域的大小；其中，相邻两幅所述图像间存在重叠区域；
第一确定模块，用于在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；
第一计算模块，用于计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置；
融合模块，用于根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域，并对所述被拼接图像和所述拼接图像的重叠区域进行融合。
一种图像拼接设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述的图像拼接方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的图像拼接方法的步骤。
本申请提供了一种图像拼接方法、装置、设备及计算机可读存储介质，其中，该方法包括：获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；其中，相邻两幅图像间存在重叠区域；在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置；根据匹配位置确定被拼接图像与拼接图像的重叠区域，并对被拼接图像和拼接图像的重叠区域进行融合。
本申请公开的上述技术方案，相较于现有基于特征点法的图像拼接，本申请只需根据相邻两幅图像的结构相似性确定ROI区域的大小，根据ROI区域确定被拼接图像的搜索窗、拼接图像的模板窗，并进行模板窗与搜索窗间相似度的计算而确定模板窗在搜索窗中的匹配位置，且根据匹配位置确定两幅图像的重叠区域并对重叠区域进行融合即可实现图像拼接，而无需进行特征点检测、变换矩阵计算等操作，因此，则可以降低图像拼接的复杂度，并降低对重叠区域比例的要求，以使得相邻两幅图像之间的重叠区域的比例可以小至6％，从而减少图像拼接时所需的图像数量及图像拼接的信息处理量，以提高图像拼接效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像拼接方法的流程图；
图2为本申请实施例提供的亮度校正前相邻两幅图像的示意图；
图3为对图2中的相邻两幅图像进行亮度矫正后得到的相邻两幅图像的示意图；
图4为本申请实施例提供的亮度校正前生成的红外拼接图的示意图；
图5为本申请实施例提供的亮度校正后生成的红外拼接图的示意图；
图6为本申请实施例提供的一种红外全景图像拼接方法的流程图；
图7为本申请实施例提供的一种图像拼接装置的结构示意图；
图8为本申请实施例提供的一种图像拼接设备的结构示意图。
具体实施方式
目前，单摄像头基于特征点法的图像拼接需要相邻的两幅图像具有较大的重叠区域才能得到大量的特征匹配，利用大量的多余观测提高定向参数解算的可靠性并提出误差以保证图像拼接的质量，一般选用不小于三分之一的重叠比例较为合适，而过大的重叠比例会导致拼接图像时需要更多的图像，增大需要处理的信息量，同时特征点的处理流程比较多，很难满足实时拼接的需求。
为此，本申请提供一种图像拼接方法、装置、设备及计算机可读存储介质，用于降低图像拼接时所需图像之间重叠区域的比例，并降低图像拼接的复杂度，提高图像拼接效率。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，其示出了本申请实施例提供的一种图像拼接方法的流程图，本申请实施例提供的一种图像拼接方法，包括：
S11：获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；其中，相邻两幅图像间存在重叠区域。
在本申请中，可以利用带有云台的单目相机在目标区域(具体即为需要进行图像观察的区域)内拍摄N幅图像，并将N幅图像发送至后端服务器，其中，在这N幅图像中，相邻两幅图像之间存在重叠区域(重叠区域的比例可以小至6％)，以便于对N幅图像实现图像拼接，并提高图像拼接的可靠性。需要说明的是，若是要通过图像拼接得到全景图像，则利用带有云台的单目相机围绕目标区域拍摄一周而得到多幅图像。其中，通过带有云台的单目相机进行图像拍摄可以降低所需相机的数量，降低图像拼接的成本及图像拼接结构设计的复杂度，便于适用于大规模的工业化流程。另外，需要说明的是，本申请所提及的图像具体可以为红外图像，也即可以实现对红外图像的拼接，以便于通过对红外图像的拼接而解决红外图像分辨率与红外成像装置的成像范围窄、分辨率不高等局限性之间的矛盾。当然，本申请所提及的图像也可以为可见光图像，本申请对图像类型不做任何限定。
后端服务器在获取带有云台的单目相机采集的N幅图像之后，可以计算N幅图像中所有相邻两幅图像之间的结构相似性(SSIM)，并根据所有相邻两幅图像之间的结构相似性确定ROI(region of interest，感兴趣区域)区域的大小，且所确定出的ROI区域的大小需大于相邻图像的重叠区域的大小，例如：如果重叠区域大小为50个像素，则ROI区域的大小可以为60-120个像素，同时，受结构精度的影响，相机在不同位置采集的不同图像重叠区域大小会有变化，具体地，假设第一幅图像与第二幅图像之间的重叠区域的大小为50个像素，第二幅图像与第三幅图像的重叠区域大小可能为55个像素，第三幅图像与第四幅图像的重叠区域大小为45个像素，此时，则可以选定ROI区域大小为60-120个像素，保证了即使重叠区域大小有变化，仍然在ROI区域之内，以保证后续的模板匹配能够在ROI区域内进行，从而便于提高图像拼接的速度和精确度。
其中，确定ROI区域的大小的具体过程可以为：在计算出相邻两个图像之间的结构相似性之后，基于这相邻两个图像的结构相似性所确定出的对应ROI区域的大小与整幅图像的比例要大于该结构相似性，且如果单目相机的结构精度比较高，则对应ROI区域的大小与整幅图像的比例大于结构相似性的程度可以小一些，如果单目相机的结构精度比较低，则对应的ROI区域的大小与整幅图像的比例大于结构相似性的程度可以大一些，以容忍因相机旋转的结构偏差导致的重叠区域大小变化；在计算出所有相邻两个图像之间的ROI区域的大小之后，可以对所有相邻两个图像对应的ROI区域的大小求平均，以最终确定ROI区域的大小，或者可以从中选取ROI区域最大的作为最终确定的ROI区域的大小。
ROI区域的确定可以使得后续的模板匹配在ROI区域内进行实施，与在整幅图像内实施相比，可以减少模板匹配过程中的运算量，同时便于减少图像内ROI区域外其他图像内容对于模板匹配的干扰，以便于增加图像配准的精确度。
S12：在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗。
在确定出ROI区域的大小之后，可以在被拼接图像(将前一幅图像作为被拼接图像)及拼接图像(将后一幅图像作为拼接图像)中选取ROI区域，具体选取被拼接图像及拼接图像中包含对应重叠区域的部分作为ROI区域，以相机从左往右进行拍摄且后端服务器以从左往右的顺序进行拼接为例，选取被拼接图像的右侧部分作为ROI区域，并选取拼接图像的左侧部分作为ROI区域。
然后，在被拼接图像的ROI区域中确定搜索窗，并在拼接图像的ROI区域中确定模板窗。对于模板窗的确定而言，可以在拼接图像的ROI区域内选取特征明显、可匹配性高的区域作为模板窗，以使得模板匹配的结果更为精确，其中，这里提及的特征明显、可匹配性高的区域具体指的是与拼接图像的ROI区域中的其他区域相比具有高可区分度的区域，例如：建筑物与天空相比，建筑物具有高可区分度，而对于被拼接图像而言，可以将其整个ROI区域作为搜索窗，以便于提高模板匹配的准确性。当然，也可以选取被拼接图像中特征明显、可匹配性高的区域作为搜索窗，以便于降低模板匹配的计算量，提高模板匹配效率。
需要说明的是，对于步骤S11和步骤S12，可以是后端服务器在获取到多幅图像之后，先确定ROI区域的大小，然后，在获取的多幅图像中的被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗，以使得单目相机仅需在相同位置进行一次拍摄即可，也即后端服务器可以基于步骤S11确定出的ROI区域的大小对步骤S11获取到的多幅图像进行图像拼接。当然，也可以是由单目相机预先扫描一圈，拍摄多幅图像，并发送至后端服务器，后端服务器获取单目相机预先拍摄多幅图像，并计算两幅图像的结构相似性，根据结构相似性确定ROI区域的大小，然后，再由单目相机在扫描时所进行拍摄的位置再次进行拍摄，获得对应的图像并发送至后端服务器，后端服务器获取单机相机所拍摄的图像，并在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗，以实现对图像的实时拼接，也即后端服务器可以基于步骤S11确定出的ROI区域的大小来对其接收到的单目相机新拍摄的图像进行图像拼接。
S13：计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置。
在步骤S12的基础上，可以以被拼接图像中ROI区域的左上顶点为原点建立图像坐标系，并利用相似度计算方法计算模板窗在搜索窗中相应位置的相似度，具体地，模板窗在搜索窗中每移动一次，即可计算一次模板窗在搜索窗中相应位置的相似度，然后，对于该模板窗而言，可以根据所计算出的与其对应的所有相似度而确定其在搜索窗中的匹配位置。具体地，模板窗在搜索窗内每移动一次，所对应计算得到的模板窗在搜索窗中相应位置的相似度可以存入相似度矩阵中的对应位置(其中，相似度矩阵的坐标值即为ROI区域的坐标信息，且相似度矩阵能够存储每次移动模板窗时进行相似度计算所得到的相似度计算结果)，搜索完毕后，相似度矩阵中相似度最大的位置即为模板窗在搜索窗中的匹配坐标，该坐标即为模板窗在搜索窗中的匹配位置。
S14：根据匹配位置确定被拼接图像与拼接图像的重叠区域，并对被拼接图像和拼接图像的重叠区域进行融合。
在步骤S13的基础上，可以根据模板窗在搜索窗中的匹配位置、ROI区域的大小信息以及所得到的匹配位置的坐标，确定被拼接图像与拼接图像间精确的重叠区域，也即可以根据模板窗在搜索窗中的匹配位置、以被拼接图像中ROI区域的左上顶点为原点而建立的图像坐标系与以被拼接图像的左上顶点为原点而建立的图像坐标系的偏移量，确定匹配位置在被拼接图像中的位置，并根据匹配位置在被拼接图像中的位置确定被拼接图像与拼接图像间精确的重叠区域，以完成图像配准。
在完成图像配准之后，可以对确定出的被拼接图像和拼接图像之间的重叠区域进行融合，以实现被拼接图像和拼接图像之间的图像拼接，此时，可以判断拼接图像是否为最后一张图像，若否，则将拼接得到的图像作为新的被拼接图像，重复上述步骤S12-步骤S14，若是，则确定完成图像拼接，以得到最终拼接图。
通过上述过程可知，本申请基于相邻图像结构相似性确定ROI区域，并根据ROI区域进行模板窗和搜索窗的相似度计算，以进行模板匹配，确定模板窗在搜索窗中的匹配位置，实现图像配准和图像拼接，而无需进行特征点检测和变换矩阵计算，因此，本申请的图像拼接处理步骤远少于现有技术中基于特征点法进行图像拼接的处理步骤，复杂度低，计算量小，拼接速度快，可以满足实时全景拼接的需求，且本申请通过相邻图像结构相似确定ROI区域、计算模板窗在搜索窗中相应位置的相似度而降低对重叠区域比例的要求，以使得相邻图像之间重叠区域的比例可以小至6％，从而使得在进行相同区域内的图像拼接时可以需要较少数量的图像即可完成，进而进一步降低信息处理量，提高图像拼接的速度和效率。
本申请公开的上述技术方案，相较于现有基于特征点法的图像拼接，本申请只需根据相邻两幅图像的结构相似性确定ROI区域的大小，根据ROI区域确定被拼接图像的搜索窗、拼接图像的模板窗，并进行模板窗与搜索窗间相似度的计算而确定模板窗在搜索窗中的匹配位置，且根据匹配位置确定两幅图像的重叠区域并对重叠区域进行融合即可实现图像拼接，而无需进行特征点检测、变换矩阵计算等操作，因此，则可以降低图像拼接的复杂度，并降低对重叠区域比例的要求，以使得相邻两幅图像之间的重叠区域的比例可以小至6％，从而减少图像拼接时所需的图像数量及图像拼接的信息处理量，以提高图像拼接效率。
本申请实施例提供的一种图像拼接方法，在根据匹配位置确定被拼接图像与拼接图像的重叠区域之后，还可以包括：
计算被拼接图像中的重叠区域的第一亮度均值，并计算拼接图像中的重叠区域的第二亮度均值；
根据第一亮度均值及第二亮度均值，对拼接图像的亮度进行校正。
在本申请中，考虑到相机在不同位置拍摄的不同场景中的图像不可避免地存在亮度不一致的现象，为了避免亮度不一致给最终拼接图带来不好的影响，以使得最终拼接图的亮度过渡更加自然，视觉效果一致性良好，更加符合人眼主观效果，则可以对拼接图像进行亮度校正。
具体地，可以在根据匹配位置确定被拼接图像与拼接图像的重叠区域之后，获取被拼接图像中的重叠区域所包含的像素点个数及重叠区域所包含的所有像素点的亮度值，将被拼接图像中重叠区域所包含的所有像素点的亮度值累加，并将亮度值累计之和除以被拼接图像中的重叠区域所包含的像素点个数，以得到被拼接图像中的重叠区域的第一亮度均值meanoverlap1；另外，可以获取拼接图像中的重叠区域所包含的像素点个数及拼接图像中的重叠区域所包含的所有像素点的亮度值，并采用与上述计算第一亮度均值meanoverlap1类似的方法来计算拼接图像中的重叠区域的第二亮度均值meanoverlap2，且可以获取拼接图像整体所包含的像素点个数及所有像素点的亮度值，并采用与上述计算第一亮度均值meanoverlap1类似的方法计算得到拼接图像整体校正前的亮度均值meanbeforecorrection，然后，利用
Figure BDA0003259541540000091
计算得到拼接图像整体校正后的亮度均值meanaftercorrection，之后，根据拼接图像整体校正后的亮度均值meanaftercorrection对拼接图像整体进行亮度校正(具体即为对拼接图像整体进行meanaftercorrection-meanbeforecorrection大小的亮度调整)，例如：参见图2-图5，其中，图2示出了本申请实施例提供的亮度校正前相邻两幅图像的示意图，图3示出了对图2中的相邻两幅图像进行亮度矫正后得到的相邻两幅图像的示意图，图4示出了本申请实施例提供的亮度校正前生成的红外拼接图的示意图，图5示出了本申请实施例提供的亮度校正后生成的红外拼接图的示意图，通过对亮度校正前和亮度矫正后的图像进行对比可知，亮度校正既保证了重叠区域的亮度均值一致性，又使得拼接后图像的重叠区域与非重叠区域的过渡自然，整体拼接图的亮度一致性也得到了保证。
本申请实施例提供的一种图像拼接方法，对被拼接图像和拼接图像的重叠区域进行融合，可以包括：
根据重叠区域中的各像素点在重叠区域内所在的列数，计算各像素点对应的角度值；
利用被拼接图像中重叠区域内的各像素点的像素值、拼接图像中重叠区域内的各像素点的像素值、各像素点对应的角度值的三角函数值，对应计算融合后的重叠区域内各像素点的像素值。
在对被拼接图像和拼接图像的重叠区域进行融合时，考虑到传统的渐入渐出融合算法采用基于距离变换的权值进行融合会存在拼接缝隙，因此，本申请在渐入渐出融合算法的前提下使用新的一种基于三角函数权重的融合算法进行图像融合，通过计算每一列与角度的关系，将每一列用角度值表示，并计算其正弦值的平方和余弦值的平方来作为权重，其计算复杂度低，同时，使用三角函数的权重从重叠区域的两个边界(即拼接痕迹)向中心逼近时变化非常平缓，而图像融合算法通常是权重随着像素位置变换越缓慢越好，这表示图像过渡的自然，因此，采用基于三角函数权重进行图像融合可以使得拼接图像过渡的比较自然。
基于三角函数权重进行图像融合的具体过程为：以重叠区域的左上顶点为原点，向右为像素列数正方向建立图像坐标系，然后，可以根据重叠区域中的各像素点在重叠区域内所在的列数，利用q＝(π*j)/(2*w)计算各像素点对应的角度值q，其中，j为像素点在重叠区域中所在的列数，j＝0,1,...,w-1，w为重叠区域的宽度；然后，确定被拼接图像中重叠区域内的像素点的权重weight1为cos2(q)，确定拼接图像中重叠区域内的像素点的权重weight2为sin2(q)；之后，则可以利用P(x,y)＝weight1*P1(x,y)+weight2*P2(x,y)计算融合后的重叠区域内各像素点的像素值P(x,y)，其中，P1(x,y)为被拼接图像中重叠区域内的像素点的像素值，P2(x,y)为被拼接图像中重叠区域内的像素点的像素值。
通过上述利用基于三角函数权重进行图像融合时消除拼接边界处的拼接痕迹的效果良好，图像过渡自然，符合人眼的主观效果，生成的拼接图视觉一致性良好。
本申请实施例提供的一种图像拼接方法，计算模板窗在搜索窗中相应位置的相似度，可以包括：
利用归一化积相关模板匹配算法计算模板窗在搜索窗中相应位置的相似度。
在本申请中，具体可以利用归一化积相关模板匹配算法计算模板窗在搜索窗中相应位置的相似度，其具有不受比例因子误差影响和抗白噪声干扰的能力等，因此，则可以提高图像配准和图像拼接的精确度。
其中，归一化积相关模板匹配算法的计算公式为：
Figure BDA0003259541540000111
T表示模板窗，S表示搜索窗，R表示相似度矩阵，T(x′,y′)表示模板窗T中位置为(x′,y′)处的像素值大小，S(x+x′,y+y′)表示搜索窗S中位置为(x+x′,y+y′)处的像素值大小，R(x,y)表示相似度矩阵中位置为(x,y)处的相似程度值(即相似度)，R(x,y)的值越接近于1，或者说相似程度值越大，说明匹配程度越高，在累加公式中，x′的取值范围为模板窗的宽度，y′的取值范围为模板窗的高度。
本申请实施例提供的一种图像拼接方法，计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置，可以包括：
以搜索窗的预设点为原点，按照预设路径及预设步长在搜索窗中移动模板窗，计算每次移动模板窗后模板窗在搜索窗内相应位置的相似度；
将相似对最大时的相应位置作为模板窗在搜索窗中的匹配位置。
在本申请中，在计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置时，可以以搜索窗的预设点为原点，按照预设路径及预设步长在搜索窗中移动模板窗，且每移动一次模板窗，则计算一次移动模板窗后模板窗在搜索窗内相应位置的相似度，然后，将计算得到的相似度存入相似度矩阵中的对应位置，具体地，可以以搜索窗的左上顶点为原点，按照从左到右，从上到下的顺序移动模板窗，每次移动步长为1个像素点(当然，移动步骤可以根据需要进行调整)的方式进行搜索和匹配，以实现有序移动和搜索，避免遗漏，从而提高匹配位置确定的准确性和可靠性。
本申请实施例提供的一种图像拼接方法，获取多幅图像，可以包括：
获取单目相机绕轴旋转至预设的每个定点处拍摄的图像。
在本申请中，具体可以利用带有云台的单目相机在预设的每个定点处拍摄一幅图像，并将拍摄到的图像实时发送至后端服务器，以使得后端服务器可以获取单目相机绕轴旋转至预设的每个定点处拍摄的图像，其中，定点的数量为N个且定点均匀分布，N的个数具体可以根据相机的分辨率、相机的部署场景以及图像之间的重叠百分比进行调整。
另外，由于定点均匀分布，因此，每个图像的ROI区域大小可以均固定为最终所确定出的ROI区域的大小，即拍摄的定点确定后ROI区域只需要确定一次即可，不受拍摄场景变化的影响。而且定点设置可以使得单目相机每次在进行拍摄时直接依据定点进行拍摄即可，以降低拍摄位置确定的复杂度。
利用单目相机实现图像拼接可以降低图像拼接的成本，且由于本申请无需预先标定相机的内外参数即可实现图像拼接，因此，则可以很大程序上减少工艺生产流程中的人力物力成本，适合产品的大规模工业生产。
本申请实施例提供的一种图像拼接方法，在对被拼接图像和拼接图像的重叠区域进行融合之后，还可以包括：
根据显示屏的尺寸对融合得到的最终拼接图进行裁切和/或尺寸缩放，并将裁切和/或尺寸缩放后的最终拼接图显示在显示屏中。
在本申请中，在对被拼接图像和拼接图像的重叠区域进行融合，以得到最终拼接图之后，可以根据显示屏的尺寸对融合得到的最终拼接图进行裁切和/或尺寸缩放，以贴合显示屏的显示尺寸，并满足显示需求，之后，则可以将裁切和/或尺寸缩放后的最终拼接图显示在显示屏中，以便于相关人员对最终拼接图进行查看和获取。
以对红外图像进行全景拼接为例，具体可以参见图6，其示出了本申请实施例提供的一种红外全景图像拼接方法的流程图，关于其中相关步骤的具体描述可以参见上述对应部分的详细说明，在此不再赘述，通过该方法进行红外全景图像拼接具有成本低、复杂度低、效率高、效果好等优点，从而便于更好地适用于大规模工业化流程中，并更好地进行红外监测。
本申请实施例还提供了一种图像拼接装置，参见图7，其示出了本申请实施例提供的一种图像拼接装置的结构示意图，可以包括：
获取模块71，用于获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；其中，相邻两幅图像间存在重叠区域；
第一确定模块72，用于在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；
第一计算模块73，用于计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置；
融合模块74，用于根据匹配位置确定被拼接图像与拼接图像的重叠区域，并对被拼接图像和拼接图像的重叠区域进行融合。
本申请实施例提供的一种图像拼接装置，还可以包括：
第二计算模块，用于在根据匹配位置确定被拼接图像与拼接图像的重叠区域之后，计算被拼接图像中的重叠区域的第一亮度均值，并计算拼接图像中的重叠区域的第二亮度均值；
亮度校正模块，用于根据第一亮度均值及第二亮度均值，对拼接图像的亮度进行校正。
本申请实施例提供的一种图像拼接装置，融合模块74可以包括：
第一计算单元，用于根据重叠区域中的各像素点在重叠区域内所在的列数，计算各像素点对应的角度值；
第二计算单元，用于利用被拼接图像中重叠区域内的各像素点的像素值、拼接图像中重叠区域内的各像素点的像素值、各像素点对应的角度值的三角函数值，对应计算融合后的重叠区域内各像素点的像素值。
本申请实施例提供的一种图像拼接装置，第一计算模块73可以包括：
第三计算单元，用于利用归一化积相关模板匹配算法计算模板窗在搜索窗中相应位置的相似度。
本申请实施例提供的一种图像拼接装置，第一计算模块73可以包括：
第四计算单元，用于以搜索窗的预设点为原点，按照预设路径及预设步长在搜索窗中移动模板窗，计算每次移动模板窗后模板窗在搜索窗内相应位置的相似度；
作为单元，用于将相似对最大时的相应位置作为模板窗在搜索窗中的匹配位置。
本申请实施例提供的一种图像拼接装置，获取模块71可以包括：
获取单元，用于获取单目相机绕轴旋转至预设的每个定点处拍摄的图像。
本申请实施例提供的一种图像拼接装置，还可以包括：
显示模块，用于在对被拼接图像和拼接图像的重叠区域进行融合之后，根据显示屏的尺寸对融合得到的最终拼接图进行裁切和/或尺寸缩放，并将裁切和/或尺寸缩放后的最终拼接图显示在显示屏中。
本申请实施例还提供了一种图像拼接设备，参见图8，其示出了本申请实施例提供的一种图像拼接设备的结构示意图，可以包括：
存储器81，用于存储计算机程序；
处理器82，用于执行存储器81存储的计算机程序时可实现如下步骤：
获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；其中，相邻两幅图像间存在重叠区域；在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置；根据匹配位置确定被拼接图像与拼接图像的重叠区域，并对被拼接图像和拼接图像的重叠区域进行融合。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
获取多幅图像，计算相邻两幅图像的结构相似性，根据结构相似性确定ROI区域的大小；其中，相邻两幅图像间存在重叠区域；在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；计算模板窗在搜索窗中相应位置的相似度，根据相似度确定模板窗在搜索窗中的匹配位置；根据匹配位置确定被拼接图像与拼接图像的重叠区域，并对被拼接图像和拼接图像的重叠区域进行融合。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的一种图像拼接装置、设备及计算机可读存储介质中相关部分的说明可以参见本申请实施例提供的一种图像拼接方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：
获取多幅图像，计算相邻两幅所述图像的结构相似性，根据所述结构相似性确定ROI区域的大小；其中，相邻两幅所述图像间存在重叠区域；
在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；
计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置；
根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域，并对所述被拼接图像和所述拼接图像的重叠区域进行融合。
2.根据权利要求1所述的图像拼接方法，其特征在于，在根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域之后，还包括：
计算所述被拼接图像中的重叠区域的第一亮度均值，并计算所述拼接图像中的重叠区域的第二亮度均值；
根据所述第一亮度均值及所述第二亮度均值，对所述拼接图像的亮度进行校正。
3.根据权利要求2所述的图像拼接方法，其特征在于，对所述被拼接图像和所述拼接图像的重叠区域进行融合，包括：
根据所述重叠区域中的各像素点在所述重叠区域内所在的列数，计算各所述像素点对应的角度值；
利用所述被拼接图像中重叠区域内的各所述像素点的像素值、所述拼接图像中重叠区域内的各所述像素点的像素值、各所述像素点对应的角度值的三角函数值，对应计算融合后的重叠区域内各像素点的像素值。
4.根据权利要求1所述的图像拼接方法，其特征在于，计算所述模板窗在所述搜索窗中相应位置的相似度，包括：
利用归一化积相关模板匹配算法计算所述模板窗在所述搜索窗中相应位置的相似度。
5.根据权利要求1所述的图像拼接方法，其特征在于，计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置，包括：
以所述搜索窗的预设点为原点，按照预设路径及预设步长在所述搜索窗中移动所述模板窗，计算每次移动所述模板窗后所述模板窗在所述搜索窗内相应位置的相似度；
将相似对最大时的相应位置作为所述模板窗在所述搜索窗中的匹配位置。
6.根据权利要求1所述的图像拼接方法，其特征在于，获取多幅图像，包括：
获取单目相机绕轴旋转至预设的每个定点处拍摄的所述图像。
7.根据权利要求1所述的图像拼接方法，其特征在于，在对所述被拼接图像和所述拼接图像的重叠区域进行融合之后，还包括：
根据所述显示屏的尺寸对融合得到的最终拼接图进行裁切和/或尺寸缩放，并将裁切和/或尺寸缩放后的最终拼接图显示在所述显示屏中。
8.一种图像拼接装置，其特征在于，包括：
获取模块，用于获取多幅图像，计算相邻两幅所述图像的结构相似性，根据所述结构相似性确定ROI区域的大小；其中，相邻两幅所述图像间存在重叠区域；
第一确定模块，用于在被拼接图像的ROI区域中确定搜索窗，在拼接图像的ROI区域中确定模板窗；
第一计算模块，用于计算所述模板窗在所述搜索窗中相应位置的相似度，根据所述相似度确定所述模板窗在所述搜索窗中的匹配位置；
融合模块，用于根据所述匹配位置确定所述被拼接图像与所述拼接图像的重叠区域，并对所述被拼接图像和所述拼接图像的重叠区域进行融合。
9.一种图像拼接设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的图像拼接方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像拼接方法的步骤。
CN202111069395.7A 2021-09-13 2021-09-13 一种图像拼接方法、装置、设备及计算机可读存储介质 Pending CN113744133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069395.7A CN113744133A (zh) 2021-09-13 2021-09-13 一种图像拼接方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069395.7A CN113744133A (zh) 2021-09-13 2021-09-13 一种图像拼接方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113744133A true CN113744133A (zh) 2021-12-03

Family

ID=78738424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069395.7A Pending CN113744133A (zh) 2021-09-13 2021-09-13 一种图像拼接方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113744133A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229297A (zh) * 2023-03-09 2023-06-06 广东精益空间信息技术股份有限公司 一种测绘数据处理方法、***、介质及计算机

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289078A (ja) * 2008-05-29 2009-12-10 Dainippon Printing Co Ltd 目標物検出システム
CN103559704A (zh) * 2013-10-09 2014-02-05 哈尔滨工程大学 一种铁路油罐车罐口视觉定位方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法
CN107590502A (zh) * 2017-09-18 2018-01-16 西安交通大学 一种全场稠密点快速匹配方法
JP2018148513A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2019009643A (ja) * 2017-06-26 2019-01-17 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN109767447A (zh) * 2019-01-04 2019-05-17 腾讯科技（深圳）有限公司 一种模板匹配方法、装置、设备及介质
CN110838086A (zh) * 2019-11-07 2020-02-25 上海大学 一种基于相关性模板匹配的室外图像拼接方法
CN111260561A (zh) * 2020-02-18 2020-06-09 中国科学院光电技术研究所 一种可用于掩模版缺陷检测的快速多图拼接方法
CN111598177A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 面向低重叠图像匹配的自适应最大滑动窗口匹配方法
CN112837257A (zh) * 2019-11-06 2021-05-25 广州达普绅智能设备有限公司 一种基于机器视觉的曲面标签拼接检测方法
CN113111212A (zh) * 2021-04-01 2021-07-13 广东拓斯达科技股份有限公司 一种图像匹配方法、装置、设备及存储介质
CN113362362A (zh) * 2021-06-17 2021-09-07 易普森智慧健康科技（深圳）有限公司 基于总变分区域选取的明视野显微镜全景图像对齐算法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289078A (ja) * 2008-05-29 2009-12-10 Dainippon Printing Co Ltd 目標物検出システム
CN103559704A (zh) * 2013-10-09 2014-02-05 哈尔滨工程大学 一种铁路油罐车罐口视觉定位方法
JP2018148513A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法
JP2019009643A (ja) * 2017-06-26 2019-01-17 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN107590502A (zh) * 2017-09-18 2018-01-16 西安交通大学 一种全场稠密点快速匹配方法
CN109767447A (zh) * 2019-01-04 2019-05-17 腾讯科技（深圳）有限公司 一种模板匹配方法、装置、设备及介质
CN112837257A (zh) * 2019-11-06 2021-05-25 广州达普绅智能设备有限公司 一种基于机器视觉的曲面标签拼接检测方法
CN110838086A (zh) * 2019-11-07 2020-02-25 上海大学 一种基于相关性模板匹配的室外图像拼接方法
CN111260561A (zh) * 2020-02-18 2020-06-09 中国科学院光电技术研究所 一种可用于掩模版缺陷检测的快速多图拼接方法
CN111598177A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 面向低重叠图像匹配的自适应最大滑动窗口匹配方法
CN113111212A (zh) * 2021-04-01 2021-07-13 广东拓斯达科技股份有限公司 一种图像匹配方法、装置、设备及存储介质
CN113362362A (zh) * 2021-06-17 2021-09-07 易普森智慧健康科技（深圳）有限公司 基于总变分区域选取的明视野显微镜全景图像对齐算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王勇;何晓川;刘清华;许录平;: "一种感兴趣区域寻优搜索的全自动图像拼接算法", 电子与信息学报, no. 02, 15 February 2009 (2009-02-15) *
王诚;李琳;: "基于模板匹配的全景图像拼接", 福建电脑, no. 04, 1 April 2008 (2008-04-01), pages 104 - 105 *
陈天婷: "基于环视***的停车位检测与跟踪算法", 《汽车技术》, 30 September 2020 (2020-09-30), pages 1 - 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229297A (zh) * 2023-03-09 2023-06-06 广东精益空间信息技术股份有限公司 一种测绘数据处理方法、***、介质及计算机
CN116229297B (zh) * 2023-03-09 2023-10-13 广东精益空间信息技术股份有限公司 一种测绘数据处理方法、***、介质及计算机

Similar Documents

Publication Publication Date Title
US11044458B2 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
CN111641775B (zh) 多摄变焦控制方法、装置及电子***
CN106462944B (zh) 高分辨率全景vr生成器及方法
US9325899B1 (en) Image capturing device and digital zooming method thereof
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
CN103905792B (zh) 一种基于ptz监控摄像机的3d定位方法及装置
CN111750820B (zh) 影像定位方法及其***
EP3163535A1 (en) Wide-area image acquisition method and device
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN101853524A (zh) 使用图像序列生成玉米果穗全景图的方法
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
JP3907008B2 (ja) 写真のための被写界の深度を増大するための方法及び手段
CN112399033B (zh) 摄像机组件和监控摄像机
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN111935410B (zh) 用于多机位摄像的快速取景方法和***
CN110602376B (zh) 抓拍方法及装置、摄像机
CN105227948B (zh) 一种查找图像中畸变区域的方法及装置
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN113744133A (zh) 一种图像拼接方法、装置、设备及计算机可读存储介质
US20090059018A1 (en) Navigation assisted mosaic photography
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
CN109543496B (zh) 一种图像采集方法、装置、电子设备及***
CN110796690B (zh) 图像匹配方法和图像匹配装置
CN115065782B (zh) 一种场景采集方法、采集装置、摄像设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination