CN116109484A - 前景信息保留的图像拼接方法、装置、设备及存储介质 - Google Patents

前景信息保留的图像拼接方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116109484A
CN116109484A CN202310099812.5A CN202310099812A CN116109484A CN 116109484 A CN116109484 A CN 116109484A CN 202310099812 A CN202310099812 A CN 202310099812A CN 116109484 A CN116109484 A CN 116109484A
Authority
CN
China
Prior art keywords
image
foreground
matching
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310099812.5A
Other languages
English (en)
Inventor
陈曦
苗鑫朋
何楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202310099812.5A priority Critical patent/CN116109484A/zh
Publication of CN116109484A publication Critical patent/CN116109484A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种前景信息保留的图像拼接方法、装置、设备及存储介质，所述方法通过获取待拼接的参考图和目标图，分别提取参考图和目标图中的图像特征，生成参考特征点集和目标特征点集；将参考特征点集与目标特征点集进行特征点匹配，获得匹配点，并将匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得背景特征匹配点对和前景特征匹配点对对应的重叠区域，根据预设缝合线将重叠区域进行划分，并根据划分后的重叠区域对参考图和目标图进行拼接，获得拼接图像，能够保留前景信息，提高了图像拼接的速度和效率，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。

Description

前景信息保留的图像拼接方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉几何技术领域，尤其涉及一种前景信息保留的图像拼接方法、装置、设备及存储介质。
背景技术
在图像拼接算法的理想情况下，多个摄像头的安装位置都是共光心的；在此情况下，多个摄像头拍摄得到的图像如同一个摄像头原地旋转多次拍摄得到的图像；对于这些图像，图像拼接算法可以简单地将这些图像通过平移操作合成一整幅图像，并且拼接得到的图像的视觉效果与单个摄像头拍摄的图像无异；然而，在实际情况下，多个相机共光心是不可能的，只能近似地达到共光心的效果，这就需要多个相机的安装位置非常相近；但在实际使用情景下，多个相机的安装位置之间的距离往往不能太近，比如飞机的机翼两端需要各安装一个摄像头、车载相机需要安装在车身四角；还有诸多应用场景需要相机设置在不同位置，这就带来了图像拼接算法中的核心问题——视差问题；图像拼接算法旨在针对不可避免的视差，尽量减少拼接图像带来的接缝、重影、信息丢失等问题。
由于多相机共光心的图像拼接场景在现实中并不存在，多幅图像也就不能只是单单使用平移操作完成拼接；图像拼接算法根据多个相机的不同位姿信息计算出不同图像平面之间的映射关系，从而将多幅图像映射到同一平面，以此得到拼接图像；若要计算相机之间的位姿关系，则需要获取同一物体在不同相机上的成像的差异信息，即多个相机需要在不同位置拍摄同一物体；因此，多个拍摄图像之间必然都存在对同一物体的成像；图像拼接算法则根据这些同一物体在不同相机中的成像计算相机位姿关系，进一步得到不同成像平面之间的映射关系；显而易见，将多幅图像映射到同一平面一定会存在重叠区域；当多个相机拍摄同一平面时，上述视差问题则不存在，图像之间的重叠区域也不需要特殊处理；然而这是理想情况下的处理，实际情况中，相机拍摄场景大概率不是简单的一个平面，这就需要图像拼接算法进行后续处理，减轻或是完全解决图像重叠区域由视差引起的重影问题。
图像拼接算法大概包含两个步骤：图像配准和融合；图像配准往往可以通过提高图像特征点质量、提高匹配算法精度等一系列措施得到较好的效果；而图像融合在现阶段还缺少有效的处理办法以得到视觉效果良好的图像融合结果，上述提到的视差引起的重影问题，目前是图像拼接算法的瓶颈；虽然现在仍没有可以完全解决视差问题，实现高质量图像融合的算法，但仍有一些图像融合算法尝试减轻视差问题对拼接效果的影响；主流的图像融合算法有两个方向：融合方法和最优缝合线方法；融合方法有羽化融合、多频段融合等，但这些方法都或多或少地包含重影、图像失真等问题；至于另一方向，最优缝合线方法可以通过设置多种参数尽量使得图像重叠区域像素值过渡平缓，以此达到重叠区域较好的视觉效果；然而，最优缝合线算法虽避免了重影问题，也在很大程度上减轻了接缝问题，却也导致不可避免的图像信息丢失。
上述最优缝合线算法导致的图像信息丢失问题并非完全不可容忍，在大部分的非实时图像拼接场景下，一些无关紧要的信息的丢失，并不影响最终图像拼接的效果；在制作全景图像时，部分图像信息的丢失甚至有利于全景图效果；然而，在一些实时图像拼接应用场景中，图像信息的丢失带来的后果是极其严重的；比如，车载相机的图像拼接对实时性要求很高，同时几乎不能容忍图像信息的丢失；然而最优缝合线却会造成严重的信息丢失，例如车身正前方站立一人，由于最优缝合线算法的性质、原理，车前这人在相机中的成像大概率会在最终的拼接图像中丢失；这是车载相机图像拼接完全不能接受的情景；而融合方法又会带来严重的重影问题；此时，主流的两种图像融合方法都不再适用。
发明内容
本发明的主要目的在于提供一种前景信息保留的图像拼接方法、装置、设备及存储介质，旨在解决现有技术中图像融合方法容易出现图像信息丢失，图像拼接效果差的技术问题。
第一方面，本发明提供一种前景信息保留的图像拼接方法，所述前景信息保留的图像拼接方法包括以下步骤：
获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
可选地，所述获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集，包括：
通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；
根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
可选地，所述将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对，包括：
获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；
应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
可选地，所述应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对，包括：
使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；
将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
可选地，所述获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；
根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；
根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
可选地，所述根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
对所述重叠区域进行超像素划分，获得超像素划分掩码；
获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；
获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
可选地，所述获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；
为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；
将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；
将所述超像素差异作为所述Graph-Cut算法的能量函数，
根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；
根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
第二方面，为实现上述目的，本发明还提出一种前景信息保留的图像拼接装置，所述前景信息保留的图像拼接装置包括：
特征提取模块，用于获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
匹配模块，用于将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
拼接模块，用于获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
第三方面，为实现上述目的，本发明还提出一种前景信息保留的图像拼接设备，所述前景信息保留的图像拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的前景信息保留的图像拼接程序，所述前景信息保留的图像拼接程序配置为实现如上文所述的前景信息保留的图像拼接方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有前景信息保留的图像拼接程序，所述前景信息保留的图像拼接程序被处理器执行时实现如上文所述的前景信息保留的图像拼接方法的步骤。
本发明提出的前景信息保留的图像拼接方法，通过获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明前景信息保留的图像拼接方法第一实施例的流程示意图；
图3为本发明前景信息保留的图像拼接方法第二实施例的流程示意图；
图4为本发明前景信息保留的图像拼接方法第三实施例的流程示意图；
图5为本发明前景信息保留的图像拼接方法第四实施例的流程示意图；
图6为本发明前景信息保留的图像拼接方法第五实施例的流程示意图；
图7为本发明前景信息保留的图像拼接方法第六实施例的流程示意图；
图8为本发明前景信息保留的图像拼接装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验，解决了现有技术中图像融合方法容易出现图像信息丢失，图像拼接效果差的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non-Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及前景信息保留的图像拼接程序。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，并执行以下操作：
获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；
根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；
应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；
将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；
根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；
根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
对所述重叠区域进行超像素划分，获得超像素划分掩码；
获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；
获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
本发明设备通过处理器1001调用存储器1005中存储的前景信息保留的图像拼接程序，还执行以下操作：
获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；
为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；
将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；
将所述超像素差异作为所述Graph-Cut算法的能量函数，
根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；
根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
本实施例通过上述方案，通过获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
基于上述硬件结构，提出本发明前景信息保留的图像拼接方法实施例。
参照图2，图2为本发明前景信息保留的图像拼接方法第一实施例的流程示意图。
在第一实施例中，所述前景信息保留的图像拼接方法包括以下步骤：
步骤S10、获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集。
需要说明的是，在获得了待拼接的参考图和目标图后，可以分别提取所述参考图和所述目标图中的图像特征，进而生成所述参考图对应的参考特征点的集合，生成所述目标图对应的目标特征点的集合。
步骤S20、将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
可以理解的是，将所述参考特征点集与所述目标特征点集进行特征点匹配，可以获得参考特征点和目标特征点匹配的匹配特征点，进而可以将所述匹配点进行划分，生成获得背景特征匹配点对和前景特征匹配点对。
步骤S30、获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
应当理解的是，通过所述背景特征匹配点对和所述前景特征匹配点对进行重叠区域划分，可以获得划分后的重叠区域对所述参考图和所述目标图进行拼接，获得相应的拼接图像。
本实施例通过上述方案，通过获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
进一步地，图3为本发明前景信息保留的图像拼接方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明前景信息保留的图像拼接方法第二实施例，在本实施例中，所述步骤S10，具体包括以下步骤：
步骤S11、通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图。
需要说明的是，可以通过两个相机位于不同位置同时拍摄得到待拼接的两幅原图像，并将其分别命名为左图和右图，后续操作中左图作为参考图，而右图作为目标图。
步骤S12、根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
可以理解的是，通过预先设置的图像特征提取算法可以分别提取所述参考图和所述目标图中的图像特征，并且相应的生成参考特征点集和目标特征点集，相应的，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
在具体实现中，可以使用某一种图像特征点提取算法，如尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)、加速稳健特征(Speeded Up RobustFeatures，SURF)、定向FAST和旋转BRIEF(Oriented FAST and Rotated BRIEF，ORB)等，分别提取两图像中的特征点集；特征点集包括提取到的所有特征点的坐标以及与每一个特征点对应的描述符；描述符为一维向量，记录了每一个特征点的信息，用于后续匹配。
本实施例通过上述方案，通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符；能够快速获得参考特征点集和目标特征点集，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接的速度和效率。
进一步地，图4为本发明前景信息保留的图像拼接方法第三实施例的流程示意图，如图4所示，基于第一实施例提出本发明前景信息保留的图像拼接方法第三实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点。
需要说明的是，可以使用K临近算法比对两幅图像中特征点的描述符，将左图和右图特征点一一匹配，K临近算法根据各个特征点描述符之间的差异大小将差异相对较小的特征点一一匹配，同时，而对于描述符差异较大的特征点，视其为错误提取点，将其舍弃，最终得到经过挑选后的特征点匹配关系。
步骤S22、应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
可以理解的是，应用一组包含异常数据的样本数据集(Random SampleConsensus，RANSAC)算法可以将所述匹配点进行划分，可以获得背景特征匹配点对和前景特征匹配点对。
本实施例通过上述方案，通过获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度。
进一步地，图5为本发明前景信息保留的图像拼接方法第四实施例的流程示意图，如图5所示，基于第三实施例提出本发明前景信息保留的图像拼接方法第四实施例，在本实施例中，所述步骤S22具体包括以下步骤：
步骤S221、使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对。
需要说明的是，可以使用预先设置的单应矩阵作为拟合模型，并且应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，和所述匹配点对位于前景部分的前景匹配点对。
步骤S222、将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
应当理解的是，将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除后，可以获得背景特征匹配点对和前景特征匹配点对。
在具体实现中，为保证图像前景信息在最优缝合线算法中不会丢失，需要将图像前景部分与背景部分区分开来；因此，可以将得到的两幅图像的特征点的匹配点对进行划分，以此粗略代表图像的前景部分与背景部分；具体步骤是：首先，使用单应矩阵作为拟合模型，应用RANSAC算法提取匹配点对中占大多数的位于背景部分的匹配点对；因背景部分的特征点占所有特征点的绝大多数，RANSAC算法将视这些特征点为内点，而将另一部分位于前景的特征点以及一些错误的匹配点对视为外点排除；然后对这些作为外点被排除的匹配点对再次使用RANSAC算法；此时，前景部分的匹配点对将占据大多数，成为内点，得以保留，而剩下的错误匹配的点对将被舍弃，匹配精度进一步提高；上述两次RANSAC算法分别得到了背景特征匹配点对以及前景特征匹配点对，实现了匹配点对的前后景划分。
本实施例通过上述方案，通过使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，提高了图像拼接的速度和效率。
进一步地，图6为本发明前景信息保留的图像拼接方法第五实施例的流程示意图，如图6所示，基于第一实施例提出本发明前景信息保留的图像拼接方法第五实施例，在本实施例中，所述步骤S30具体包括以下步骤：
步骤S31、根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵。
需要说明的是，通过所述背景特征匹配点可以对确定目标图平面到参考图平面的映射关系，可以获得所述映射关系对应所有匹配点的单应矩阵。
在具体实现中，根据得到的背景匹配点对集计算右图(目标图)平面到左图(参考图)平面的映射关系，并用3×3的单应矩阵表示此映射关系；单应矩阵理论上只需要4个匹配点对就可计算得到，但为提高单应矩阵的精度，使用所有的匹配点对拟合单应矩阵；具体做法使用最小二乘法估计最符合背景平面的单应矩阵。
步骤S32、根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域。
应当理解的是，通过所述单应矩阵可以将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域。
在具体实现中，将目标图中所有像素根据单应矩阵表示的映射关系一一映射至参考图的像素平面，经过映射之后，目标图发生投影变换，变形后的目标图与参考图存在一部分重叠区域，为实现后续对图像前景内容的进一步精确提取，对重叠区域图像进行超像素划分。
步骤S33、根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
可以理解的是，通过预设缝合线将所述重叠区域进行划分，获得划分后的重叠区域，进而根据划分后的重叠区域可以对所述参考图和所述目标图进行拼接操作，获得拼接后的拼接图像。
本实施例通过上述方案，通过根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
进一步地，图7为本发明前景信息保留的图像拼接方法第六实施例的流程示意图，如图7所示，基于第五实施例提出本发明前景信息保留的图像拼接方法第六实施例，在本实施例中，所述步骤S33具体包括以下步骤：
步骤S331、对所述重叠区域进行超像素划分，获得超像素划分掩码。
需要说明的是，对所述重叠区域进行超像素划分后，可以获得超像素划分对应的掩码。
在具体实现中，得到单应矩阵后，将目标图中所有像素根据单应矩阵表示的映射关系一一映射至参考图的像素平面；经过映射之后，目标图发生投影变换；变形后的目标图与参考图存在一部分重叠区域；为实现后续对图像前景内容的进一步精确提取，对重叠区域图像进行超像素划分；最终输出重叠区域的超像素划分掩码。
步骤S332、获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集。
可以理解的是，获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标后，可以根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，进而获得前景超像素。
在具体实现中，提取出了前景特征匹配点对，根据这些匹配点对的坐标，可以将包含这些坐标的超像素提取出来作为前景超像素集，参考图和目标图中分别各有一个超像素集，表示同一前景物体在两个相机中的不同成像。
步骤S333、获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
应当理解的是，在获得了所述前景超像素集对应的前景保留惩罚项和预设缝合线后，可以根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接操作，获得拼接完成后的拼接图像。
进一步的，所述步骤S333具体包括以下步骤：
获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；
为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；
将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；
将所述超像素差异作为所述Graph-Cut算法的能量函数，
根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；
根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
可以理解的是，为了改进最优缝合线方法中的Graph-Cut算法，使其在分割图像时考虑前景内容的丢失问题，确保前景内容出现在最终的图像拼接结果中，为Graph-Cut算法添加前景保留惩罚项，使其寻找最优缝合线时避开图像中表示前景物体的超像素；具体做法是：表示前景的超像素集有两个，分别位于左图(参考图)和右图(目标图)，将左图前景超像素集设为M，右图前景超像素集设为N；为M中每一超像素和N中每一超像素之间设置一较大的惩罚项，将所有惩罚项求和后作为Graph-Cut算法的前景保留惩罚项；通过添加前景保留惩罚项，避免了缝合线穿过两个前景超像素集M和N之间的部分，使得M和N的其中一个得以保留。
应当理解的是，应用基于超像素的Graph-Cut算法求解最优缝合线；Graph-Cut算法原用于像素级别，为适应本方法分割前景超像素的要求，将其修改为基于超像素级别的Graph-Cut算法；具体做法是：所有重叠区域的超像素作为Graph-Cut算法中的待分割基本单元，然后计算每一个单元对应的左右两图的像素差异；考虑位于同一单元的左右两图所有像素的颜色差异、梯度差异以及边缘差异作为总的超像素级的差异；随后，前景保留惩罚项与超像素的颜色、梯度、边缘差异相加求和作为Graph-Cut算法的能量函数；最后，在图像重叠区域，应用基于超像素的Graph-Cut算法求得最优缝合线；最优缝合线将重叠区域一分为二，使得缝合线两侧的像素值过渡平缓，以此使得图像拼接结果的视觉效果良好；并且，由于在基础的Graph-Cut算法中加入了前景保留惩罚项，使得最优缝合线的求解考虑到前景信息的丢失问题，最终保证最优缝合线避开前景主体内容，前景内容得以在最终拼接结果中保留。
在具体实现中，得到最优缝合线后，根据最优缝合线将重叠区域一分为二；在最终的图像拼接结果图中，缝合线左侧像素取值于左图，而缝合线右侧的像素取值于右图；最后，得到一幅无重影、无接缝、视觉效果良好的大视角拼接图像；本实施例通过改进图像拼接中的最优缝合线算法，通过前景超像素提取、Graph-Cut图像分割算法增添前景保留策略等操作使得最优缝合线算法具备了前景信息保留能力，同时最优缝合线算法在图像融合中的无重影优点不受影响。
在具体实现中，可以以两幅大视差场景下拍摄的图像的拼接为例对本发明的流程进行一个具体的阐述：
定义两幅输入图像中，左图(参考图)为图像A，右图(目标图)为图像B，两图分辨率都是1080×720。
步骤1，特征点提取。首先，检测图像A、B中所有的SIFT特征点；图像A和图像B中分别提取到1000个SIFT特征点，图像A中的SIFT特征点集为SA,图像B中的SIFT特征点集为SB。
步骤2，特征点匹配。使用K临近算法(K取值2)匹配特征点集SA和SB，同时设定阈值过滤最差的一部分匹配；得到900个匹配点对，记此匹配点对集为M；图像A、B中各自剩余的100个特征点未得到匹配或匹配结果较差，视为错误提取的特征点舍弃。
步骤3，匹配划分；首先，以单应矩阵为拟合模型，使用RANSAC算法提取匹配点对集M中的部分匹配，得到550个匹配点对；此匹配点对集占全部匹配点对的大部分，其表示位于图像背景区域的特征点之间的匹配关系，记此匹配点对集为Mback。
然后，对剩余的匹配点对，即M-Mback，再次使用上述方法，提取得到250个匹配点对。
此匹配点对集代表了图像中占次要地位的前景区域的特征点之间的匹配关系，记此匹配点对集为Mfront。
此时，剩余100个匹配点对，即M-Mback-Mfront，视为错误匹配，或非关键匹配，将其舍弃。
步骤4，重叠区域超像素划分；首先，根据匹配点对集Mback计算单应矩阵Hback，其代表图像B中背景平面到图像A中背景平面的投影变换关系；具体方法：根据Mback中所有匹配点对之间的坐标映射关系，使用最小二乘法计算Hback的八个参数h1、h2、h3、h4、h5、h6、h7、h8；然后，使用同样的方法根据Mfront计算得到Hfront。
随后，由于背景区域占整个图像的主要部分，所以使用单应矩阵Hback对图像B进行投影变换，以将图像B向图像A对齐；
此时，经过变形后的图像B和图像A一同存在于图像A所在的二维平面，且二者之间存在一定的重叠区域；设重叠区域为R，图像A中的重叠区域部分为RA，图像B中的重叠区域部分为RB；
最后，以图像A在重叠区域的部分RA作为输入，使用SLIC算法划分超像素(超像素个数设置为50×50)，得到以重叠区域RA中像素为划分标准的2500个超像素；
超像素划分结果以二维矩阵形式存储，矩阵大小与重叠区域相同。矩阵中每一元素代表其对应的像素坐标从属的超像素的标号。从0到2499，为每一个超像素分配编号，同时，重叠区域中的每一个像素都对应一个超像素编号，表明其位于该超像素中。
步骤5，前景超像素提取；步骤3经过匹配点对划分后已初步区分了图像的前景与背景，但是以像素点集的形式区分，不够精确，为此，将像素点集转化为超像素集来更加准确地表示前景目标；由于视差原因，前景目标在图A和图B中的成像处于不同的相对位置；在使用Hback完成投影变换后，背景平面可以得到很好地对齐，但前景目标则会因为未对齐出现重影；为保证后续前景保留策略的实施，需要将前景目标的两个重影都以超像素的形式区分出来。
首先，根据步骤3划分出来的前景匹配点对集Mfront，从中提取出属于图A的特征点集，这部分特征点集代表了图A中的前景目标，记为
Figure BDA0004072848730000191
同样的，对应的图B中的特征点集代表了图B中的前景目标，记为
Figure BDA0004072848730000192
由于图B之前经过了投影变换，像素坐标发生了变化，所以前景特征点集
Figure BDA0004072848730000193
也需要使用Hback进行投影变换，最后得到投影后的前景特征点集
Figure BDA0004072848730000194
步骤4最终以二维矩阵的形式存储了超像素划分。通过点集
Figure BDA0004072848730000195
中的每一个像素的坐标，可以找到其对应的超像素，于是便得到了点集
Figure BDA0004072848730000196
对应的超像素集，记为
Figure BDA0004072848730000197
同样地，根据点集
Figure BDA0004072848730000198
也可以得到图B位于重叠区域的前景超像素集，记为
Figure BDA0004072848730000199
至此，图A和图B的前景超像素提出完成，分别为
Figure BDA00040728487300001910
和
Figure BDA00040728487300001911
步骤6，设置前景保留惩罚项。首先，为确保前景目标信息在最优缝合线算法中得以精确保留，改造最优缝合线算法的主要依赖算法Graph-Cut，使其基于超像素进行图像切割，而非基于像素。具体方法：将重叠区域R中的所有超像素作为Graph-Cut算法中的待切割节点添加到节点集里。随后，计算基于超像素的能量函数，用以指导最优缝合线的求解，此能量函数记为Cost。Cost用以表示切割开不同超像素所需的代价，代价越大，则这两个超像素越不易被切割。Cost由三部分组成，分别是超像素的颜色差异、梯度差异、边缘差异。通过计算超像素中所有像素位于RA的像素值与位于RB的像素值的差值的平均值作为颜色差异，记为Dcolor。同理，通过Canny算子计算重叠区域边缘图后，也可得到超像素在图A与图B之间的边缘差异。记为Dedge。梯度差异也可以用同样的计算方法得到,记为Dgrad。最终，计算能量函数Cost＝Dcolor+Dgrad+Dedge。至此，基于超像素的最优缝合线算法改造完成。为实现前景信息保留的策略，向能量函数添加一个约束项，称为前景保留惩罚项。具体方法：步骤5得到了分别位于图A和图B的前景超像素集
Figure BDA0004072848730000201
和
Figure BDA0004072848730000202
将前景超像素集
Figure BDA0004072848730000203
中的每一个超像素与
Figure BDA0004072848730000204
中每一个超像素之间设置一较大前景保留惩罚项，此项的值远远大于Dcolor、Dgrad和Dedge。以此保证最优缝合线不会从超像素集
Figure BDA0004072848730000205
和
Figure BDA0004072848730000206
中间穿过，从而使得至少一个前景目标成像在最优缝合线切割中得以保留，参见图1。
步骤7，应用基于超像素的Graph-Cut算法求解最优缝合线。应用Graph-Cut实现最优缝合线的求解，最后得到图像重叠区域中一条沿超像素边缘切割图像的缝合线。
步骤8，图像合成。求解得到最优缝合线后，开始生成最终拼接结果。以缝合线为界，重叠区域一分为二，缝合线左侧的重叠区域像素值取图A的中的重叠区域RA，缝合线右侧的重叠区域像素值取图B的中的重叠区域RB。最终，拼接图A和图B剩余的未切割部分，组成图像拼接结果图。
本实施例通过上述方案，通过对所述重叠区域进行超像素划分，获得超像素划分掩码；获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
相应地，本发明进一步提供一种前景信息保留的图像拼接装置。
参照图8，图8为本发明前景信息保留的图像拼接装置第一实施例的功能模块图。
本发明前景信息保留的图像拼接装置第一实施例中，该前景信息保留的图像拼接装置包括：
特征提取模块10，用于获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集。
匹配模块20，用于将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
拼接模块30，用于获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
所述特征提取模块10，还用于通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
所述匹配模块20，还用于获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
所述匹配模块20，还用于使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
所述拼接模块30，还用于根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
所述拼接模块30，还用于对所述重叠区域进行超像素划分，获得超像素划分掩码；获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
所述拼接模块30，还用于获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；将所述超像素差异作为所述Graph-Cut算法的能量函数，根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
其中，前景信息保留的图像拼接装置的各个功能模块实现的步骤可参照本发明前景信息保留的图像拼接方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有前景信息保留的图像拼接程序，所述前景信息保留的图像拼接程序被处理器执行时实现如下操作：
获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；
根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；
应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；
将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；
根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；
根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
对所述重叠区域进行超像素划分，获得超像素划分掩码；
获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；
获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
进一步地，所述前景信息保留的图像拼接程序被处理器执行时还实现如下操作：
获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；
为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；
将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；
将所述超像素差异作为所述Graph-Cut算法的能量函数，
根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；
根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
本实施例通过上述方案，通过获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，能够保留前景信息，避免了图像融合方法容易出现图像信息丢失的情况，提升了图像拼接效果，提升了图像拼接的精度，缩短了前景信息保留的图像拼接的耗费时间，提高了图像拼接的速度和效率，避免了拼接图像带来的接缝、重影及信息丢失问题，使用户获得观感自然、无重影、无接缝的高分辨率图像，以获得更加广阔的视野，提升了用户体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种前景信息保留的图像拼接方法，其特征在于，所述前景信息保留的图像拼接方法包括：
获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
2.如权利要求1所述的前景信息保留的图像拼接方法，其特征在于，所述获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集，包括：
通过两个相机位于不同位置同时拍摄获得待拼接的两幅原图像，将两幅原图像分别作为参考图和目标图；
根据预设图像特征提取算法分别提取所述参考图和所述目标图中的图像特征，并分别生成参考特征点集和目标特征点集；其中，所述参考特征点集包含所有参考特征的坐标及对应的描述符，所述目标特征点集包含所有目标特征的坐标及对应的描述符。
3.如权利要求1所述的前景信息保留的图像拼接方法，其特征在于，所述将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对，包括：
获取所述参考特征点集与所述目标特征点集中的特征点描述符，使用K临近算法利用所述特征点描述符将所述参考特征点集与所述目标特征点集进行特征点匹配，并将描述符差异大于预设差异阈值的特征点作为错误提取点，将所述错误提取点剔除过滤，获得过滤后的匹配点；
应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对。
4.如权利要求3所述的前景信息保留的图像拼接方法，其特征在于，所述应用RANSAC算法将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对，包括：
使用预设单应矩阵作为拟合模型，应用RANSAC算法提取所述匹配点对位于背景部分的背景匹配点对，并提取所述匹配点对位于前景部分的前景匹配点对；
将所述背景匹配点对和所述前景匹配点对中的错误匹配点进行剔除，获得背景特征匹配点对和前景特征匹配点对。
5.如权利要求1所述的前景信息保留的图像拼接方法，其特征在于，所述获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
根据所述背景特征匹配点对确定目标图平面到参考图平面的映射关系，获得所述映射关系对应所有匹配点的单应矩阵；
根据所述单应矩阵将所述目标图中所有像素映射至所述参考图平面，获得发生投影变换后的重叠区域；
根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
6.如权利要求5所述的前景信息保留的图像拼接方法，其特征在于，所述根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
对所述重叠区域进行超像素划分，获得超像素划分掩码；
获取所述参考图和所述目标图的前景特征匹配点对的匹配点坐标，根据所述超像素划分掩码将包含所述匹配点坐标的超像素进行提取，获得前景超像素集；
获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
7.如权利要求6所述的前景信息保留的图像拼接方法，其特征在于，所述获取所述前景超像素集对应的前景保留惩罚项和预设缝合线，根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像，包括：
获取所述前景超像素集中对应的参考图前景超像素集和目标图前景超像素集；
为所述参考图前景超像素集中每一超像素和所述目标图前景超像素集中每一超像素之间设置预设惩罚项，将所有预设惩罚项求和计算，获得前景保留惩罚项；
将所述重叠区域中的超像素作为Graph-Cut算法中的待分割基本单元，计算各待分割基本单元对应的目标图超像素与参考图超像素的超像素差异；
将所述超像素差异作为所述Graph-Cut算法的能量函数，
根据所述能量函数利用所述Graph-Cut算法计算所述重叠区域的最优缝合线，将所述最优缝合线作为预设缝合线；
根据所述前景保留惩罚项和所述预设缝合线将所述重叠区域一分为二，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
8.一种前景信息保留的图像拼接装置，其特征在于，所述前景信息保留的图像拼接装置包括：
特征提取模块，用于获取待拼接的参考图和目标图，分别提取所述参考图和所述目标图中的图像特征，生成参考特征点集和目标特征点集；
匹配模块，用于将所述参考特征点集与所述目标特征点集进行特征点匹配，获得匹配点，并将所述匹配点进行划分，获得背景特征匹配点对和前景特征匹配点对；
拼接模块，用于获得所述背景特征匹配点对和所述前景特征匹配点对对应的重叠区域，根据预设缝合线将所述重叠区域进行划分，并根据划分后的重叠区域对所述参考图和所述目标图进行拼接，获得拼接图像。
9.一种前景信息保留的图像拼接设备，其特征在于，所述前景信息保留的图像拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的前景信息保留的图像拼接程序，所述前景信息保留的图像拼接程序配置为实现如权利要求1至7中任一项所述的前景信息保留的图像拼接方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有前景信息保留的图像拼接程序，所述前景信息保留的图像拼接程序被处理器执行时实现如权利要求1至7中任一项所述的前景信息保留的图像拼接方法的步骤。
CN202310099812.5A 2023-02-03 2023-02-03 前景信息保留的图像拼接方法、装置、设备及存储介质 Withdrawn CN116109484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310099812.5A CN116109484A (zh) 2023-02-03 2023-02-03 前景信息保留的图像拼接方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310099812.5A CN116109484A (zh) 2023-02-03 2023-02-03 前景信息保留的图像拼接方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116109484A true CN116109484A (zh) 2023-05-12

Family

ID=86255796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310099812.5A Withdrawn CN116109484A (zh) 2023-02-03 2023-02-03 前景信息保留的图像拼接方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116109484A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336620A (zh) * 2023-11-24 2024-01-02 北京智汇云舟科技有限公司 基于深度学习的自适应视频拼接方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336620A (zh) * 2023-11-24 2024-01-02 北京智汇云舟科技有限公司 基于深度学习的自适应视频拼接方法及***
CN117336620B (zh) * 2023-11-24 2024-02-09 北京智汇云舟科技有限公司 基于深度学习的自适应视频拼接方法及***

Similar Documents

Publication Publication Date Title
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US8345961B2 (en) Image stitching method and apparatus
CN107945112B (zh) 一种全景图像拼接方法及装置
CN106899781B (zh) 一种图像处理方法及电子设备
US20170111582A1 (en) Wide-Area Image Acquiring Method and Apparatus
JP2021533507A (ja) 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体
CN109474780B (zh) 一种用于图像处理的方法和装置
CN110490271B (zh) 图像匹配及拼接方法、装置、***、可读介质
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN111553841B (zh) 一种基于最佳缝合线更新的实时视频拼接方法
CN105469375A (zh) 处理高动态范围全景图的方法和装置
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN116109484A (zh) 前景信息保留的图像拼接方法、装置、设备及存储介质
KR100934211B1 (ko) 휴대용 단말기의 파노라마 이미지 생성 방법
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
CN113298187B (zh) 图像处理方法及装置、计算机可读存储介质
CN116757935A (zh) 一种鱼眼相机的图像融合拼接方法、***及电子设备
Bajpai et al. High quality real-time panorama on mobile devices
CN115619636A (zh) 图像拼接方法、电子设备以及存储介质
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
KR20210133472A (ko) 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
Mirkamali et al. Depth-wise image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230512