CN112862685B - 图像拼接的处理方法、装置和电子*** - Google Patents

图像拼接的处理方法、装置和电子*** Download PDF

Info

Publication number
CN112862685B
CN112862685B CN202110186621.3A CN202110186621A CN112862685B CN 112862685 B CN112862685 B CN 112862685B CN 202110186621 A CN202110186621 A CN 202110186621A CN 112862685 B CN112862685 B CN 112862685B
Authority
CN
China
Prior art keywords
image
energy
mask
edge
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110186621.3A
Other languages
English (en)
Other versions
CN112862685A (zh
Inventor
刘伟舟
胡晨
周舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110186621.3A priority Critical patent/CN112862685B/zh
Publication of CN112862685A publication Critical patent/CN112862685A/zh
Priority to PCT/CN2021/134126 priority patent/WO2022170824A1/zh
Application granted granted Critical
Publication of CN112862685B publication Critical patent/CN112862685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像拼接的处理方法、装置和电子***，包括：获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；确定第一重叠图像和第二重叠图像对应的融合能量图；确定融合能量图的第一图边至第二图边对应的最小能量路径；基于最小能量路径确定第一重叠图像对应的第一掩模和第二重叠图像对应的第二掩模；基于第一掩模和第二掩模拼接第一图像和第二图像。本发明在一定程度上优化了拼缝经过的区域，提升了图像的拼接效果。

Description

图像拼接的处理方法、装置和电子***
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像拼接的处理方法、装置和电子***。
背景技术
图像拼接任务是将具有重叠视场的多幅图像组合在一起以获得大视场角的高分辨率图片，然而由于视差大、场景景深差异等影响，重叠区域部分的图像内容难以完全对齐，从而导致拼接结果出现鬼影、物体截断等问题。通过拼缝搜索可以一定程度缓解重叠区域部分的图像内容对不齐对拼接造成的影响。
当前主流的拼缝搜索方式是基于graph cut(图割)算法进行的，该算法通过图像像素值差异等定义的能量函数，搜索图像局部区域的最小能量路径，然而局部区域的能量最小化，对于差异不明显的重要区域(有显著性目标所在区域等)，也可能属于能量最小化的位置，进而被确定为拼缝，影响了后续图像拼接的效果。
发明内容
有鉴于此，本发明的目的在于提供一种图像拼接的处理方法、装置和电子***，以提升图像的拼接效果。
第一方面，本发明实施例提供了一种图像拼接的处理方法，所述方法应用于电子设备，包括：获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；确定所述第一重叠图像和所述第二重叠图像对应的融合能量图；其中，所述融合能量图中对应于所述第一重叠图像和所述第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；确定所述融合能量图的第一图边至第二图边对应的最小能量路径；其中，所述第一图边和所述第二图边为具有相对关系的图边；基于所述最小能量路径确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：确定所述第一重叠图像对应的第一边缘能量图和所述第二重叠图像对应的第二边缘能量图；确定所述第一重叠图像对应的第一显著能量图和所述第二重叠图像对应的第二显著能量图；合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
结合第一方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：根据所述第一图像和所述第二图像的拼接方式，确定所述第一边缘能量图对应的增强能量区域；其中，所述拼接方式包括左右拼接或上下拼接；对所述增强能量区域乘以第一设定值，得到第一边缘增强能量图；其中，所述第一设定值大于1；根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：对所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：如果所述第一重叠图像包含黑边区域，获取所述第一重叠图像的黑边区域对应的黑边区域能量图；如果所述第二重叠图像包含黑边区域，获取所述第二重叠图像的黑边区域对应的黑边区域能量图；将获取到的所述黑边区域能量图乘以第二设定值，得到黑边区域能量增强图，其中，所述第二设定值大于1；对所述显著能量合并图、所述第一边缘增强能量图、所述第二边缘能量图和所述黑边区域能量增强图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图的步骤，包括：对于显著能量合并图中的每个像素，该像素对应的像素值max_value＝max(tar_overlap_salient，src_overlap_salient)；其中，tar_overlap_salient为所述第一显著能量图中的该像素对应的第一像素值；src_overlap_salient为所述第二显著能量图中的该像素对应的第二像素值；max函数为取所述第一像素值和所述第二像素值中的最大值。
第二方面，本发明实施例提供了一种图像拼接的处理方法，所述方法应用于电子设备，包括：获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；将所述第一重叠图像和所述第二重叠图像输入训练后的图像分割网络，得到所述图像分割网络输出的图像分割结果；其中，所述图像分割网络训练过程中的图像样本对对应有掩模真值对，所述掩模真值对是基于所述图像样本对对应的融合能量图对应的最小能量路径确定的，其中，所述融合能量图中对应于所述图像样本对的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述图像分割网络的训练过程包括：获取图像样本对和所述图像样本对对应的掩模真值对；将所述图像样本对输入所述图像分割初始网络，得到所述图像样本对对应的掩模预测对；根据所述图像样本对对应的掩模真值对和掩模预测对计算训练损失值；根据所述训练损失值，判断是否满足停止训练条件；如果否，根据所述训练损失值调整所述图像分割初始网络参数，继续训练；如果是，停止训练，将当前的图像分割初始网络作为所述图像分割网络。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，获取所述图像样本对的步骤，包括：对图像初始样本进行预处理，得到所述图像初始样本对应的图像变换样本；其中，所述预处理包括以下至少之一：旋转、平移、仿射变换；为所述图像初始样本和/或所述图像变换样本添加黑边区域，得到所述图像样本对。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，获取所述图像样本对对应的掩模真值对的步骤，包括：通过边缘检测方法获取所述图像样本对中的图像初始样本对应的第一边缘能量图和所述图像变换样本对应的第二边缘能量图；通过显著性目标检测模型获取所述图像初始样本对应的第一显著能量图和所述图像变换样本对应的第二显著能量图；合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述图像样本对对应的融合能量图，并基于所述融合能量图和最小能量路径确定所述图像样本对对应的掩模真值对。
结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模的步骤，包括：如果所述图像分割结果为所述第一重叠图像对应的第一掩模，应用于所述第一掩模尺寸相同且像素值均为1的图像与所述第一掩模做差，得到所述第二重叠图像对应的第二掩模。
第三方面，本发明实施例还提供一种图像拼接的处理装置，所述装置应用于电子设备，包括：重叠图像获取模块，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；融合图像确定模块，用于确定所述第一重叠图像和所述第二重叠图像对应的融合能量图；其中，所述融合能量图中对应于所述第一重叠图像和所述第二重叠图像中的目标位置的像素能量值高于所述其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；能量路径确定模块，用于确定所述融合能量图的第一图边至第二图边对应的最小能量路径；其中，所述第一图边和所述第二图边为具有相对关系的图边；掩模获取模块，用于基于所述最小能量路径确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；第一拼接模块，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
第四方面，本发明实施例还提供了一种图像拼接的处理装置，所述装置应用于电子设备，包括：图像获取模块，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；图像分割模块，用于将所述第一重叠图像和所述第二重叠图像输入训练后的图像分割网络，得到所述图像分割网络输出的图像分割结果；其中，所述图像分割网络训练过程中的图像样本对对应有掩模真值对，所述掩模真值对是基于所述图像样本对对应的融合能量图对应的最小能量路径确定的，其中，所述融合能量图中对应于所述图像样本对的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；掩模确定模块，用于基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；第二拼接模块，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
第五方面，本发明实施例提供了一种电子***，所述电子***包括：图像采集设备、处理设备和存储装置；所述图像采集设备，用于获取图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如前述实施例中任一项所述的图像拼接的处理方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如前述实施例中任一项所述的图像拼接的处理方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的上述图像拼接的处理方法、装置和电子***，基于待拼接图像的第一重叠图像和第二重叠图像对应的融合能量图的像素能量值，确定第一重叠图像和第二重叠图像中的目标位置(边缘位置和显著区域)对应的区域，基于该区域在融合能量图的相对图边之间确定最小能量路径，进而得到第一重叠图像和第二重叠图像对应的掩模，基于确定出的掩模拼接图像。通过上述操作方式，可根据第一重叠图像和第二重叠图像对应的融合能量图确定出目标位置对应的区域，基于目标位置对应的区域以最小能量路径搜索出的拼缝，能够尽可能少地经过目标位置对应的区域，使得拼缝更利于图像拼接，有效提高了图像拼接的效果。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子***的结构示意图；
图2为本发明实施例提供的一种图像拼接的处理方法的流程图；
图3为本发明实施例提供的另一种图像拼接的处理方法的流程图；
图4为本发明实施例提供的另一种图像拼接的处理方法的流程图；
图5为本发明实施例提供的一种黑边区域示意图；
图6为本发明实施例提供的另一种图像拼接的处理方法的示意图；
图7为本发明实施例提供的另一种图像拼接的处理方法的流程图；
图8为本发明实施例提供的一种图像分割网络的结构示意图；
图9为本发明实施例提供的一种图像分割网络的训练方法的流程示意图；
图10为本发明实施例提供的一种图像拼接的处理装置的结构示意图；
图11为本发明实施例提供的另一种图像拼接的处理装置的结构示意图；
图12为本发明实施例提供的另一种图像拼接的处理装置的结构示意图；
图13为本发明实施例提供的另一种图像拼接的处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到基于现有技术的拼缝拼接的图像效果不佳的问题，本发明实施例提供了一种图像拼接的处理方法、装置以及电子***，该技术主要基于重叠图像中的目标区域确定拼缝，进而拼接图像，能够使确定的拼缝更合理，有效改善图像的拼接效果。为便于对本实施例提供的技术方案的理解，下面对本发明实施例所公开的一种图像拼接的处理方法进行详细介绍。
实施例一
参照图1所示的电子***100的结构示意图。该电子***可以用于实现本发明实施例的图像拼接的处理方法和装置。
如图1所示的一种电子***的结构示意图，电子***100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子***100的组件和结构只是示例性的，而非限制性的，根据需要，电子***也可以具有其他组件和结构。
处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子***100中的其它组件的数据进行处理，还可以控制电子***100中的其它组件以执行图像拼接的处理功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以获取待拼接的图像，并且将采集到的图像存储在存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的图像拼接的处理方法、装置和电子***中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子***中的各器件集成设置时，该电子***可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
实施例二
本发明实施例提供一种图像拼接的处理方法，该方法可以应用于电子设备，该电子设备可以配置有上述电子***，参见图2，该方法主要包括以下步骤：
步骤S202，获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像。
上述图像可以是从图像采集设备接收到的视频中提取的图像，也可以是从网络或第三方得到的图像。例如，第一图像与第二图像可通过不同位置的摄像头拍摄得到，采集这两幅图像所用摄像头的类型(长焦摄像头、广角摄像头等)可以相同或不同。由于第一图像和第二图像之间具有重叠区域，而这部分重叠区域的信息会直接影响图像拼接效果，因此，在进行图像拼接之前，需要分别将这两幅不同图像的重叠区域的信息保存下来，为了便于操作，可将第一图像和第二图像的重叠区域以及一部分非重叠区域分别组成尺寸相同的第一重叠图像和第二重叠图像，以便后续图像处理过程。
步骤S204，确定第一重叠图像和第二重叠图像对应的融合能量图；其中，融合能量图中对应于第一重叠图像和第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；该目标位置包括边缘位置和显著区域对应的位置。
具体地，在得到第一重叠图像和第二重叠图像后，首先可以确定这两幅图像中的敏感区域(如图像中显著性目标所在区域、图像的边缘区域等)。
例如，为了确定第一重叠图像和第二重叠图像的边缘区域(即图像中像素值有突变的区域)，可分别对第一重叠图像和第二重叠图像进行边缘检测。在对第一重叠图像和第二重叠图像进行图像边缘检测时，可以使用合适的算子进行计算，例如Sobel算子、Isotropic Sobel算子、Roberts算子、Prewitt算子、Laplacian算子、Canny算子等，具体可根据实际需要自行选择。
本发明实施例中，第一重叠图像和第二重叠图像的边缘检测的结果会以边缘能量图的形式呈现，通过边缘检测处理可以得到第一重叠图像和第二重叠图像对应的边缘能量图，在边缘能量图上用像素能量值来表示重叠图像中某一像素与其周围其它像素之间的差异，差异越大，该像素对应在边缘能量图上的像素能量值越高，该像素能量值可以用像素对应位置处的像素值表示。
再例如，为了确定第一重叠图像和第二重叠图像中的显著性目标所在区域，可分别对第一重叠图像和第二重叠图像进行显著性目标检测。在对第一重叠图像和第二重叠图像进行显著性目标检测时，可以使用合适的神经网络模型进行计算，例如：深度监督显著性检测框架(DSS，Deeply Supervised Salient)、敏捷聚合多层特征检测框架(AgileAmulet)、渐进的注意驱动正则化框架(PAGR，Progressive Attention GraphRegularization)、像素级上下文注意网络(PiCANet，Pixel-wise Contextual Attentionnetwork)、边界感知网络(BASNet，Boundary-Aware Salient Object Detection network)等，具体可根据实际需要自行选择。
将第一重叠图像和第二重叠图像输入预先训练好的显著性目标检测模型，该模型的输出结果为第一重叠图像和第二重叠图像中的显著性目标区域分别对应的显著性能量图，显著性能量图的尺寸与输入图像(即第一重叠图像和第二重叠图像)的尺寸相同，显著性能量图为二值图像，即：在显著性能量图中，与重叠图像的显著性目标区域对应的区域的像素值为大于0的值(例如255)，剩余区域的像素值为0。
对上述边缘能量图和显著性能量图进行融合操作，得到第一重叠图像和第二重叠图像对应的融合能量图，本实施例使用的融合方式可以为加权融合和/或均值融合等，具体融合方式可根据需要自行选择。具体融合过程，也可以将上述第一重叠图像对应的边缘能量图和显著性能量图进行融合，得到第一重叠图像的第一融合能量图；同理，将上述第二重叠图像对应的边缘能量图和显著性能量图进行融合，得到第二重叠图像的第二融合能量图。然后再对第一融合能量图和第二融合能量图进行融合，得到第一重叠图像和第二重叠图像对应的融合能量图。
在对不同能量图进行融合的过程中，可将不同重叠图像的边缘区域对应的位置和显著区域对应的位置均定义为目标位置，进而可采用调整能量图中与目标位置对应的区域的像素值的方式或者采用调整不同能量图的像素值在融合过程中所占权重的方式，使融合能量图中与目标位置对应的区域的像素值大于剩余区域的像素值。
步骤S206，确定融合能量图的第一图边至第二图边对应的最小能量路径；其中，第一图边和第二图边为具有相对关系的图边。
在得到融合能量图后，融合能量图在上下左右四个方向上分别具有上图边、下图边、左图边和右图边，将相对关系的两个图边(上图边与下图边，或者，左图边与右图边)分别定义为第一图边和第二图边，在融合能量图上沿第一图边至第二图边的方向查找最小能量路径。以融合能量图的上图边和下图边分别为第一图边和第二图边为例，具体可在融合能量图上按照从上图边到下图边的顺序将每一行像素中取值小于设定像素阈值(或取值最小)的像素确定出来，基于确定出来的这些像素确定融合能量图的第一图边至第二图边对应的最小能量路径。
步骤S208，基于最小能量路径确定第一重叠图像对应的第一掩模和第二重叠图像对应的第二掩模；其中，第一掩模与第二掩模对应像素的像素值之和均为1。
具体地，分别在第一重叠图像和第二重叠图像上找到与融合能量图中最小能量路径对应的像素，在第一重叠图像上的这些像素便组成了第一重叠图像的拼缝，在第二重叠图像上的这些像素便组成了第二重叠图像的拼缝。以图像拼接方式为左右拼接、第一重叠图像位于左侧、第二重叠图像位于右侧为例，构建与第一重叠图像的尺寸相同的第一掩模以及与第二重叠图像的尺寸相同的第二掩模。对于第一掩模来说，将第一掩模中与第一重叠图像中拼缝左侧区域对应的区域的像素值取1，将剩余区域的像素值取0；对于第二掩模来说，将第二掩模中与第二重叠图像中拼缝右侧区域对应的区域的像素值取1，将剩余区域的像素值取0。
步骤S210，基于第一掩模和第二掩模拼接第一图像和第二图像，得到拼接图像。
用第一掩模对第一图像中与第一重叠图像对应的区域进行掩模处理，即：将第一掩模的像素值与该区域的像素值相乘。用第二掩模对第二图像中与第二重叠图像对应的区域进行掩模处理，即将第二掩模的像素值与该区域的像素值相乘；之后将掩模处理后的第一图像与掩模处理后的第二图像在确定好的拼缝处进行拼接、对齐，得到拼接后的图像。
本发明实施例提供的上述图像拼接的处理方法，基于待拼接图像的第一重叠图像和第二重叠图像对应的融合能量图的像素能量值，确定第一重叠图像和第二重叠图像中的目标位置(边缘位置和显著区域)对应的区域，基于该区域在融合能量图的相对图边之间确定最小能量路径，进而得到第一重叠图像和第二重叠图像对应的掩模，基于确定出的掩模拼接图像。通过上述操作方式，可根据第一重叠图像和第二重叠图像对应的融合能量图确定出目标位置对应的区域，基于目标位置对应的区域以最小能量路径搜索出的拼缝，能够尽可能少地经过目标位置对应的区域，使得拼缝更利于图像拼接，有效提高了图像拼接的效果。
实施例三
在上述实施例二的基础上，为了提高图像拼接的效率，本实施例对上述步骤S204(即确定第一重叠图像和第二重叠图像对应的融合能量图的步骤)进行了优化，参见图3所示的另一种图像拼接的处理方法的流程图，该方法主要包括以下步骤：
步骤S302，获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像。
步骤S304，确定第一重叠图像对应的第一边缘能量图和第二重叠图像对应的第二边缘能量图。
对于第一重叠图像和第二重叠图像均为彩色图像(如RGB格式等)的应用场景，在进行边缘检测前可以对彩色图像进行灰度化处理，分别得到彩色图像在单通道下的灰度图像。以第一重叠图像和第二重叠图像均为RGB格式为例，即分别对第一重叠图像和第二重叠图像进行灰度化处理，得到第一重叠图像和第二重叠图像对应在R(红色)、G(绿色)、B(蓝色)三个通道的灰度图像，之后利用指定的图像边缘检测算子对灰度图像进行边缘检测，边缘检测的结果会以边缘能量图的形式呈现，上述处理后将得到第一重叠图像和第二重叠图像的R、G、B三个通道的边缘能量图，其中，边缘能量图的像素值大小能够反映出该像素对应的能量值的高低。
为便于描述，将第一重叠图像的R、G、B三个通道的边缘能量图分别记为R1、G1、B1，将第二重叠图像的R、G、B三个通道的边缘能量图分别记为R2、G2、B2。为了最大程度保留彩色图像的边缘信息，将R1、G1、B1的像素值相加得到第一重叠图像对应的第一边缘能量图，将R2、G2、B2的像素值相加得到第二重叠图像对应的第二边缘能量图。
步骤S306，确定第一重叠图像对应的第一显著能量图和第二重叠图像对应的第二显著能量图。
步骤S308，合并第一显著能量图和第二显著能量图，得到显著能量合并图。
对于第一显著能量图和第二显著能量图中的每个像素，可采用像素值直接求和或像素值加权求和的方式得到新的像素值，得到的新的像素值即为显著能量合并图的像素值。例如，为了便于操作，具体操作方式可以为：对于显著能量合并图中的每个像素，该像素对应的像素值max_value＝max(tar_overlap_salient，src_overlap_salient)；其中，tar_overlap_salient为所述第一显著能量图中的该像素对应的第一像素值；src_overlap_salient为所述第二显著能量图中的该像素对应的第二像素值；max函数为取所述第一像素值和所述第二像素值中的最大值。
步骤S310，根据显著能量合并图、第一边缘能量图和第二边缘能量图确定第一重叠图像和第二重叠图像对应的融合能量图；其中，融合能量图中对应于第一重叠图像和第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；该目标位置包括边缘位置和显著区域对应的位置。
常用的融合方式主要包括加权融合、均值融合等，具体融合方式可根据需要自行选择。考虑到图像拼接过程通常为左右拼接或上下拼接，以左右拼接为例，左侧待拼接的图像中大部分左侧区域的图像保留不变，拼缝通常位于该图像的右侧区域，为了保证确定出拼缝尽可能在该图像的右侧区域，上述步骤S310可以包括以下步骤(1)至(3)：
(1)根据第一图像和第二图像的拼接方式，确定第一边缘能量图对应的增强能量区域；其中，所述拼接方式包括左右拼接或上下拼接。
以拼接方式为左右拼接、第一图像位于左侧为例，可根据实际需要确定第一边缘能量图中靠近左侧的一部分区域为第一边缘能量图对应的增强能量区域。
(2)对增强能量区域乘以第一设定值，得到第一边缘增强能量图；其中，所述第一设定值大于1。
本实施例可以对增强能量区域中的每一像素均乘以大于1的第一设定值，这样便提高了增强能量区域的像素能量值，以便后续确定的拼缝能够绕开第一图像中与增强能量区域对应的区域。
(3)根据显著能量合并图、第一边缘增强能量图和第二边缘能量图确定第一重叠图像和第二重叠图像对应的融合能量图。例如，可对显著能量合并图、第一边缘增强能量图和第二边缘能量图进行加权求和，得到第一重叠图像和第二重叠图像对应的融合能量图。
步骤S312，确定融合能量图的第一图边至第二图边对应的最小能量路径；其中，第一图边和第二图边为具有相对关系的图边。
步骤S314，基于最小能量路径确定第一重叠图像对应的第一掩模和第二重叠图像对应的第二掩模；其中，第一掩模与第二掩模对应像素的像素值之和均为1。
步骤S316，基于第一掩模和第二掩模拼接第一图像和第二图像，得到拼接图像。
本发明实施例的上述图像拼接的处理方法，在能量图的融合过程中，根据图像的拼接方式确定了边缘能量图对应的增强能量区域，并提高了增强能量区域的像素能量值，进一步保证后续根据能量最小路径确定出来的拼缝既可以减少经过敏感区域，又可以尽可能地绕开该增强能量区域，进而有效提高了图像拼接的效果。
在进行图像拼接前，通常对原始图像进行拉伸、旋转、平移、仿射变换等操作，但在对原始图像进行这些操作时会在靠近图像边缘的位置出现黑边区域。为了进一步提高图像拼接过程中的操作灵活性，在上述步骤S310中的目标位置已经包括边缘位置和显著区域对应的位置的基础上，对该目标位置的范围进行了拓展，上述目标位置还包括第一重叠图像的黑边区域对应的位置和/或第二重叠图像的黑边区域对应的位置。基于此，上述步骤S310还包括如下步骤：
(1)如果第一重叠图像包含黑边区域，获取第一重叠图像的黑边区域对应的黑边区域能量图；
(2)如果第二重叠图像包含黑边区域，获取第二重叠图像的黑边区域对应的黑边区域能量图；
(3)将获取到的黑边区域能量图乘以第二设定值，得到黑边区域能量增强图，其中，所述第二设定值大于1；
(4)对显著能量合并图、第一边缘增强能量图、第二边缘能量图和黑边区域能量增强图进行加权求和，得到第一重叠图像和第二重叠图像对应的融合能量图。
通过该操作方式，可对能量图的融合方式进行优化，进而可根据重叠区域图像对应的融合能量图对拼缝的搜索方式进行优化，使确定出来的拼缝能够完全绕开图像中的边缘位置、显著区域以及图像处理过程中可能存在的黑边区域，进一步提高了图像拼接的效果。
下面以两幅图像(tar与src)左右拼接为例，参见图4和图6所示的另一种图像拼接的处理方法，该方法具体包括如下步骤：
步骤S402，提取tar与src之间的重叠区域，得到重叠区域的图像对。
已知两幅待拼接的图像tar和src，这两幅图像均为RGB格式，tar位于左侧，src位于右侧。分别计算出两幅图像的重叠区域，并分别在tar和src上标识出重叠区域。将tar中重叠区域的像素以及一部分非重叠区域的像素组成图像tar_overlap，将src中重叠区域的像素以及一部分非重叠区域的像素组成图像src_overlap，使得tar_overlap和src_overlap的尺寸完全相同。将tar_overlap和src_overlap组成<tar_overlap,src_overlap>对，即得到了重叠区域的图像对。
步骤S404，对重叠区域的图像对进行边缘检测，得到初始边缘能量图。
具体地，分别提取tar_overlap和src_overlap的R、G、B三个通道的灰度图像，使用sobel算子分别对每一灰度图像进行边缘检测，得到单通道灰度图像的边缘能量图。将tar_overlap对应的三个单通道灰度图像的边缘能量图进行求和，得到tar_overlap的初始边缘能量图tar_overlap_sobel。将src_overlap对应的三个单通道灰度图像的边缘能量图进行求和，得到src_overlap的初始边缘能量图src_overlap_sobel。
步骤S406，对重叠区域的图像对进行显著性目标检测，得到初始显著性能量图。
基于DSS算法分别计算tar_overlap和src_overlap中的显著性区域，得到显著性区域对应的图像。基于上述显著性区域对应的图像计算得到tar_overlap和src_overlap对应的初始显著性能量图，分别为tar_overlap_salient和src_overlap_salient，其中，显著性目标区域为1，非显著性目标区域为0，两个初始显著性能量图均为0-1二值分布，且均与tar_overlap和src_overlap具有相同的尺寸。
步骤S408，对src进行拉伸等操作，确定src的黑边区域，基于该黑边区域得到src的初始黑边能量图src_black。
具体地，以图像src的形状为方形为例，参见图5所示的黑边区域示意图，左侧的黑色区域即为黑边区域。在src_black中，与src的黑边区域对应的区域的像素值为0(黑色)，剩余区域的像素值为255(白色)。
步骤S410，修改初始边缘能量图的像素值，得到优化边缘能量图。
将tar_overlap_sobel中靠近左图边的一部分区域确定为需要修改像素值的区域，该区域在tar_overlap_sobel中所占的面积百分比可根据经验自行确定(如50％、30％等)；将该区域中像素的像素值均乘以大于1的系数(如1.2、1.5等)，得到tar_overlap对应的优化边缘能量图tar_overlap_sobel′。
步骤S412，修改初始显著能量图的像素值，得到优化显著性能量图。
对于tar_overlap_salient和src_overlap_salient中的每个像素，设置该像素对应于显著能量合并图中的像素的像素值max_value＝max(tar_overlap_salient，src_overlap_salient)；其中，tar_overlap_salient为所述第一显著能量图中的该像素对应的第一像素值；src_overlap_salient为所述第二显著能量图中的该像素对应的第二像素值；max函数为取所述第一像素值和所述第二像素值中的最大值。且该max_value的取值为0或者1；
计算优化显著能量图的像素值，本实施例的优化显著能量图即合并上述tar_overlap_salient和src_overlap_salient，具体采用以下公式：
pitar_overlap_salient′＝pisrc_overlap_salient′＝max_value；
pitar_overlap_salient′为tar_overlap的优化显著能量图tar_overlap_salient′中的像素对应的像素值，pisrc_overlap_salient′为src_overlap的优化显著能量图src_overlap_salient′中的像素对应的像素值。
步骤S414，修改初始黑边能量图的像素值，得到优化黑边能量图。
对于src_black中的每一像素，具体采用以下公式进行计算：
pisrc_black_forbidden＝pisrc_black*max_value*A；
其中，pisrc_black_forbidden为src对应的优化黑边能量图src_black_forbidden中的像素对应的像素值，pisrc_black为src_black中的像素对应的像素值，A为预先设置好的大于1的固定值，A的取值可根据经验自行选择(如1.5、2.5等)。
步骤S416，基于优化边缘能量图、优化显著性能量图、优化黑边能量图得到融合能量图。
对于得到的能量图中的每一个像素，具体采用以下公式进行计算：
Pienergy_map＝w1*Pitar_overlap_sobel′+w2*Pisrc_overlap_sobel+w3*Pitar_overlap_salient′+w4*Pisrc_overlap_salient′+w5*Pisrc_black_forbidden
其中，Pienergy_map为融合能量图energy_map中的像素对应的像素值，Pitar_overlap_sobel′为tar_overlap_sobel′中的像素对应的像素值，w1、w2、w3、w4、w5的取值可根据经验进行设置(如均设置为1)。
步骤S418，确定融合能量图的上图边至第下图边对应的最小能量路径，基于最小能量路径确定tar_overlap和src_overlap对应的掩模。
在得到融合能量图后，在融合能量图上按照从上图边到下图边的顺序将每一行像素中取值最小的像素确定出来，确定出来的这些像素组成了融合能量图的上图边至下图边对应的最小能量路径。再分别在tar_overlap和src_overlap上找到与融合能量图中最小能量路径对应的像素，在tar_overlap上的这些像素便组成了tar_overlap的拼缝，在src_overlap上的这些像素便组成了src_overlap的拼缝，参见图5所示的由上至下的曲线即为最小能量路径对应的拼缝。
构建与tar_overlap的尺寸相同的掩模tar_mask以及与src_overlap的尺寸相同的掩模src_mask。对于tar_mask来说，将tar_mask中与tar_overlap中拼缝左侧区域对应的区域的像素值取1，将剩余区域的像素值取0；对于src_mask来说，将第二掩模中与src_overlap中拼缝右侧区域对应的区域的像素值取1，将剩余区域的像素值取0。
步骤S420，基于tar_mask和src_mask对图像进行拼接，得到拼接图像。
对于tar中与tar_overlap对应的区域以及src中与src_overlap对应的区域中的像素，进行掩模处理，具体可采用以下公式进行计算：
pioverlap_blend＝pitar_overlap*pitar_mask+pisrc_overlap*pisrc_mask；其中，pioverlap_blend为融合的重叠区域图像overlap_blend中的像素对应的像素值，pitar_overlap为tar中与tar_overlap对应的区域中的像素对应的像素值，pitar_mask为tar_mask中的像素对应的像素值，pisrc_overlap为src中与src_overlap对应的区域中的像素对应的像素值，pisrc_mask为src_mask中的像素对应的像素值。
之后分别对tar和src的拼缝周围区域的像素的值进行加权求平均，得到拼接后的图像。
实施例四
在上述实施例提供的图像拼接的处理方法的基础上，为了进一步提高图像拼接效率，可通过神经网络确定重叠图像对应的掩模。参见图7所示的图像拼接的处理方法流程图，该方法主要包括以下步骤：
步骤S702，获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像。
步骤S704，将第一重叠图像和第二重叠图像输入训练后的图像分割网络，得到图像分割网络输出的图像分割结果；其中，图像分割网络训练过程中的图像样本对对应有掩模真值对，该掩模真值对是基于图像样本对对应的融合能量图的最小能量路径确定的，其中，该融合能量图中对应于该图像样本对的目标位置的像素能量值高于其它位置的像素能量值；该目标位置包括边缘位置和显著区域对应的位置。
上述图像分割结果为0-1的二值图像，尺寸与第一重叠图像和第二重叠图像相同，该0-1的二值图像可以作为第一重叠图像和第二重叠图像的掩模参考图像。
步骤S706，基于上述图像分割结果确定第一重叠图像对应的第一掩模和第二重叠图像对应的第二掩模；其中，第一掩模与第二掩模对应像素的像素值之和均为1。
如果图像分割结果为第一重叠图像对应的第一掩模，应用与该第一掩模尺寸相同且像素值均为1的图像与该第一掩模做差，得到第二重叠图像对应的第二掩模。
步骤S708，基于第一掩模和第二掩模拼接第一图像和第二图像，得到拼接图像。
上述方法通过图像分割网络可以直接对第一重叠图像和第二重叠图像进行图像分割处理，得到图像分割结果，基于该结果可以较容易地确定出第一重叠图像对应的第一掩模和第二重叠图像对应的第二掩模，进而完成后续的图像拼接过程，而该图像分割网络在训练过程中样本标注掩模真值对是基于图像样本对对应的融合能量图的最小能量路径确定的，且该融合能量图中对应于该图像样本对的目标位置的像素能量值高于其它位置的像素能量值，该目标位置包括边缘位置和显著区域对应的位置，因此训练得到的图像分割网络能够输出比较合理的图像分割结果，进而保障了掩模的合理性，提升了图像拼接的效果和拼接速度。
参见图8所示的图像分割网络的结构示意图，图像分割网络的网络结构主要分为三部分：下采样网络、上采样网络以及跳跃连接网络。其中，跳跃连接网络将下采样网络的网络层与上采样对应的网络层连接；下采样网络的网络层均包括卷积层和下采样层；上采样对应的网络层均包括反卷积层和上采样层。
下采样(subsampled)，或称为降采样(downsampled)，能够缩小图像，其主要目的在于使得图像符合显示设备上的显示区域的大小以及生成该图像对应的缩略图。
上采样(upsampling)，或称为图像插值(interpolating)，能够放大图像，其主要目的在于使得图像可以显示在更高分辨率的显示设备上。
在图8中，虚线表示跳跃连接网络，以下采样网络和上采样网络均包括四个网络层为例。图像分割网络的具体处理过程分为下采样过程和上采样过程。其中，下采样过程描述如下：
步骤1，第一下采样网络层接收到第一重叠图像和第二重叠图像后，分别以两个并行分支对这两个重叠图像进行后续处理，为了描述方便，以对第一重叠图像进行处理为例，先对第一重叠图像进行第一层卷积处理，得到第一初始特征图，再对第一初始特征图进行下采样处理，得到第一特征图，并输出第一特征图至第二下采样网络层和跳跃连接网络。
经上述第一下采样网络层处理后，会得到第一重叠图像和第二重叠图像分别对应的第一特征图，输出到跳跃连接网络的两个第一特征图形式上可以是合并的特征图。
步骤2，第二下采样网络层对上述第一特征图进行第二层卷积处理，得到第二初始特征图，再对第二初始特征图进行下采样处理，得到第二特征图，并输出第二特征图至第三下采样网络层和跳跃连接网络。
步骤3，第三和第四下采样网络层的处理同上类似，得到第三特征图和第四特征图。
需要说明的是，上述任一下采样处理过程中，可以在对两个分支的特征图进行合并处理，使两个分支合并为一个分支，然后输出该分支对应的特征图至下一个网络层。
在上述步骤1-3(也即下采样处理过程)之后，进行后面的上采样处理过程。上采样处理过程包括如下步骤4-7：
步骤4，第四上采样网络层接收到第四特征图后，先进行反卷积处理，得到第五初始特征图，再进行上采样处理，输出第五特征图；
步骤5，第三上采样网络层接收第五特征图和第三特征图，先将第五特征图和第三特征图拼接融合，然后进行反卷积处理，得到第六初始特征图，再对第六初始特征图进行上采样处理，得到第六特征图；
该拼接融合可以是将两特征图拼接起来，也可以是两个特征图对应的像素求和。
步骤6，第二上采样网络层对第六特征图和第二特征图进行类似上述步骤5的处理，输出第七特征图；
步骤7，第一上采样网络层对第一特征图和第七特征图进行拼接融合，然后反卷积处理和上采样处理，得到第八特征图；另外，第一上采样网络层还包括了一个卷积层，用于通过卷积对第八特征图中的像素进行分割分类，输出Mask；该Mask即为第一重叠图像的掩模，第二重叠图像的掩模用1减去Mask得到。
上述图像分割网络仅是一种可行的应用方式，并不用于限定本发明，在实际应用中，也可以选择其它的图像分割网络结构实现上述技术。
参见图9，本发明实施例还提供一种图像分割网络的训练方法，该方法主要包括以下步骤：
步骤S902，获取图像样本对和该图像样本对对应的掩模真值对。
为了便于描述，将组成图像样本对的两幅图像分别记作图像1和图像2，将图像1对应的真值掩模记作GT1，将图像2对应的真值掩模记作GT2，GT1和GT2组成了一个掩模真值对。图像1、图像2、GT1和GT2的获取方式与上述步骤S202至步骤S208中对应内容类似，在此不再赘述。
步骤S904，将该图像样本对输入图像分割初始网络，得到该图像样本对对应的掩模预测对。
具体地，可将图像1和图像2组成的图像对输入图像分割初始网络，通过图像分割初始网络分别对图像1和图像2依次进行下采样处理和上采样处理，得到图像1对应的预测掩模，再基于该预测掩模确定图像2对应的预测掩模，分别记作DT1和DT2；DT1和DT2组成了该图像样本对对应的掩模预测对。
步骤S906，根据图像样本对对应的掩模真值对和掩模预测对计算训练损失值。
以计算GT1和DT1之间的损失值为例，对于GT1和DT1中对应位置的每一像素，采用以下公式计算得到第一损失值：
Loss1＝mean(abs(gt–dt))；
其中，gt为GT1中的像素值，dt为DT1中与GT1对应位置处的像素值，mean为均值函数，abs为绝对值函数。
对于DT1，将DT1中对应于GT1中像素值为255的区域(白色区域)的像素集合为a，将DT1中对应于GT1中像素值为0的区域(黑色区域)的像素集合为b，采用以下公式计算得到第二损失值：
Loss2＝std(a)+std(b)。
采用下述公式计算GT1和DT1之间的总损失值：
Loss＝Loss1+Loss2。
GT2和DT2之间的总损失值的计算方式与上述计算方式类似，在此不再赘述。对于所有图像样本对对应的掩模真值对和掩模预测对，均按上述计算方式计算训练损失值。
步骤S908，根据上述训练损失值，判断是否满足停止训练条件；其中，该停止训练条件可以为上述训练损失值收敛至预设收敛阈值或者训练次数等于预设次数阈值；如果否(即：上述训练损失值未收敛至预设收敛阈值或者训练次数小于预设次数阈值)，执行下述步骤S910；如果是(即：上述训练损失值收敛至预设收敛阈值或者训练次数等于预设次数阈值)，执行下述步骤S912。
步骤S910，根据训练损失值调整图像分割初始网络参数，继续训练。
步骤S912，停止训练，将当前的图像分割初始网络作为图像分割网络。
在上述训练方法的基础上，为了获取比较丰富的图像样本，本实施例对获取图像样本对的具体操作方式进行了优化，具体操作方式如下：
(1)对图像初始样本进行预处理，得到图像初始样本对应的图像变换样本；其中，预设方式包括以下至少之一：旋转、平移、仿射变换等。
上述图像初始样本可以来自现有图像数据库中的图像，而该图像数据库中的图像可能都是独立没有拼接关系的图像，为了训练模型，可以基于这些图像生成具有拼接基础的图像。
(2)为图像初始样本和/或图像变换样本添加预设的黑边区域，得到图像样本对。
对于上述预处理过程中产生的黑边区域定义为黑边1，除了这种黑边之外，还可通过对图像初始样本进行投影操作生成一批黑边模板，将这些黑边模板定义为黑边2。对于上述黑边1与黑边2取并集，可以得到黑边3，预设的黑边区域可以包括上述黑边1、黑边2或者黑边3中的一个或多个黑边对应的区域。为图像初始样本和/或图像变换样本添加预设的黑边区域，得到图像样本对。在添加预设的黑边区域时，可以仅为图像初始样本添加黑边区域，也可以仅为图像变换样本添加黑边区域，当然也可以为图像初始样本和图像变换样本均添加黑边区域。通过这种黑边添加方式，可以基于图像初始样本和图像变换样本得到多个图像样本对。
在上述训练方法的基础上，为了提高训练效率，对获取图像样本对对应的掩模真值对的具体操作方式进行了优化，具体操作方式如下：
(1)通过边缘检测方法获取图像样本对中的图像初始样本对应的第一边缘能量图和图像变换样本对应的第二边缘能量图。
(2)通过显著性目标检测模型获取图像初始样本对应的第一显著能量图和图像变换样本对应的第二显著能量图。
(3)合并第一显著能量图和第二显著能量图，得到显著能量合并图。
(4)根据显著能量合并图、第一边缘能量图和第二边缘能量图确定图像样本对对应的融合能量图，并基于融合能量图和最小能量路径确定所述图像样本对对应的掩模真值对。
上述掩模真值对的获取过程可以参考上述实施例中的方法，这里不再赘述。
上述图像分割网络在训练过程中，基于图像样本对对应的融合能量图的最小能量路径确定的样本对的掩模真值对，而该融合能量图中对应于该图像样本对的目标位置的像素能量值高于其它位置的像素能量值，该目标位置包括边缘位置和显著区域对应的位置，因此训练得到的图像分割网络能够输出比较合理的图像分割结果，进而保障了掩模的合理性，提升了图像拼接的效果和拼接速度。
实施例五
在上述实施例的基础上，参见图10，本发明实施例还提供一种图像拼接的处理装置，该装置可以应用于上述电子设备，其包括如下模块：
重叠图像获取模块81，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像。
融合图像确定模块82，用于确定所述第一重叠图像和所述第二重叠图像对应的融合能量图；其中，所述融合能量图中对应于所述第一重叠图像和所述第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置。
能量路径确定模块83，用于确定所述融合能量图的第一图边至第二图边对应的最小能量路径；其中，所述第一图边和所述第二图边为具有相对关系的图边。
掩模获取模块84，用于基于所述最小能量路径确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1。
第一拼接模块85，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
上述融合图像确定模块82还用于：确定所述第一重叠图像对应的第一边缘能量图和所述第二重叠图像对应的第二边缘能量图；确定所述第一重叠图像对应的第一显著能量图和所述第二重叠图像对应的第二显著能量图；合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
上述融合图像确定模块82还用于：根据所述第一图像和所述第二图像的拼接方式，确定所述第一边缘能量图对应的增强能量区域；其中，所述拼接方式包括左右拼接或上下拼接；对所述增强能量区域乘以第一设定值，得到第一边缘增强能量图；其中，所述第一设定值大于1；根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
上述融合图像确定模块82还用于：对所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
在上述装置的基础上，上述目标位置还包括所述第一重叠图像的黑边区域对应的位置和/或所述第二重叠图像的黑边区域对应的位置；上述融合图像确定模块82还用于：如果所述第一重叠图像包含黑边区域，获取所述第一重叠图像的黑边区域对应的黑边区域能量图；如果所述第二重叠图像包含黑边区域，获取所述第二重叠图像的黑边区域对应的黑边区域能量图；将获取到的所述黑边区域能量图乘以第二设定值，得到黑边区域能量增强图，其中，所述第二设定值大于1；对所述显著能量合并图、所述第一边缘增强能量图、所述第二边缘能量图和所述黑边区域能量增强图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
上述融合图像确定模块82还用于：对于显著能量合并图中的每个像素，该像素对应的像素值max_value＝max(tar_overlap_salient，src_overlap_salient)；其中，tar_overlap_salient为所述第一显著能量图中的该像素对应的第一像素值；src_overlap_salient为所述第二显著能量图中的该像素对应的第二像素值；max函数为取所述第一像素值和所述第二像素值中的最大值。
实施例六
在上述实施例的基础上，参见图11，本发明实施例还提供一种图像拼接的处理装置，该装置可以应用于上述电子设备，其包括如下模块：
图像获取模块91，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；
图像分割模块92，用于将所述第一重叠图像和所述第二重叠图像输入训练后的图像分割网络，得到所述图像分割网络输出的图像分割结果；其中，所述图像分割网络训练过程中的图像样本对对应有掩模真值对，所述掩模真值对是基于所述图像样本对对应的融合能量图对应的最小能量路径确定的，其中，所述融合能量图中对应于所述图像样本对的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；
掩模确定模块93，用于基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；
第二拼接模块94，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
在上述装置的基础上，参见图12，本发明实施例提供了另一种图像拼接的处理装置，该装置除了包括上述模块之外，还包括训练模块95，用于获取图像样本对和所述图像样本对对应的掩模真值对；将所述图像样本对输入所述图像分割初始网络，得到所述图像样本对对应的掩模预测对；根据所述图像样本对对应的掩模真值对和掩模预测对计算训练损失值；根据所述训练损失值，判断是否满足预设的停止训练条件；如果否，根据所述训练损失值调整所述图像分割初始网络参数，继续训练；如果是，停止训练，将当前的图像分割初始网络作为图像分割网络。
上述训练模块95还用于：对图像初始样本进行预处理，得到所述图像初始样本对应的图像变换样本；其中，所述预处理包括以下至少之一：旋转、平移、仿射变换；为所述图像初始样本和/或所述图像变换样本添加黑边区域，得到所述图像样本对。
上述训练模块95还用于：通过边缘检测方法获取所述图像样本对中的图像初始样本对应的第一边缘能量图和所述图像变换样本对应的第二边缘能量图；通过显著性目标检测模型获取所述图像初始样本对应的第一显著能量图和所述图像变换样本对应的第二显著能量图；合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述图像样本对对应的融合能量图，并基于融合能量图和最小能量路径确定所述图像样本对对应的掩模真值对。
上述掩模确定模块93还用于：如果所述图像分割结果为所述第一重叠图像对应的第一掩模，应用于所述第一掩模尺寸相同且像素值均为1的图像与所述第一掩模做差，得到所述第二重叠图像对应的第二掩模。
实施例六
参见图13，本发明实施例还提供另一种图像拼接的处理装置200，包括：处理器40，存储器41，总线42和通信接口43，处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，处理器40在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行图像拼接的处理的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像拼接的处理方法，其特征在于，所述方法应用于电子设备，包括：
获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；
确定所述第一重叠图像和所述第二重叠图像对应的融合能量图；其中，所述融合能量图中对应于所述第一重叠图像和所述第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；
确定所述融合能量图的第一图边至第二图边对应的最小能量路径；其中，所述第一图边和所述第二图边为具有相对关系的图边；
基于所述最小能量路径确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；
基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
2.根据权利要求1所述的方法，其特征在于，确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：
确定所述第一重叠图像对应的第一边缘能量图和所述第二重叠图像对应的第二边缘能量图；
确定所述第一重叠图像对应的第一显著能量图和所述第二重叠图像对应的第二显著能量图；
合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；
根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
3.根据权利要求2所述的方法，其特征在于，根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：
根据所述第一图像和所述第二图像的拼接方式，确定所述第一边缘能量图对应的增强能量区域；其中，所述拼接方式包括左右拼接或上下拼接；
对所述增强能量区域乘以第一设定值，得到第一边缘增强能量图；其中，所述第一设定值大于1；
根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图。
4.根据权利要求3所述的方法，其特征在于，根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：
对所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
5.根据权利要求3或4所述的方法，其特征在于，根据所述显著能量合并图、所述第一边缘增强能量图和所述第二边缘能量图确定所述第一重叠图像和所述第二重叠图像对应的融合能量图的步骤，包括：
如果所述第一重叠图像包含黑边区域，获取所述第一重叠图像的黑边区域对应的黑边区域能量图；
如果所述第二重叠图像包含黑边区域，获取所述第二重叠图像的黑边区域对应的黑边区域能量图；
将获取到的所述黑边区域能量图乘以第二设定值，得到黑边区域能量增强图，其中，所述第二设定值大于1；
对所述显著能量合并图、所述第一边缘增强能量图、所述第二边缘能量图和所述黑边区域能量增强图进行加权求和，得到所述第一重叠图像和所述第二重叠图像对应的融合能量图。
6.根据权利要求2所述的方法，其特征在于，合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图的步骤，包括：
对于显著能量合并图中的每个像素，该像素对应的像素值max_value=max（tar_overlap_salient，src_overlap_salient）；其中，tar_overlap_salient为所述第一显著能量图中的该像素对应的第一像素值；src_overlap_salient为所述第二显著能量图中的该像素对应的第二像素值；max函数为取所述第一像素值和所述第二像素值中的最大值。
7.一种图像拼接的处理方法，其特征在于，所述方法应用于电子设备，包括：
获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；
将所述第一重叠图像和所述第二重叠图像输入训练后的图像分割网络，得到所述图像分割网络输出的图像分割结果；其中，所述图像分割网络训练过程中的图像样本对对应有掩模真值对，所述掩模真值对是基于所述图像样本对对应的融合能量图对应的最小能量路径确定的，其中，所述融合能量图中对应于所述图像样本对的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；
基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；
基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
8.根据权利要求7所述的方法，其特征在于，所述图像分割网络的训练过程包括：
获取图像样本对和所述图像样本对对应的掩模真值对；
将所述图像样本对输入图像分割初始网络，得到所述图像样本对对应的掩模预测对；
根据所述图像样本对对应的掩模真值对和掩模预测对计算训练损失值；
根据所述训练损失值，判断是否满足停止训练条件；
如果否，根据所述训练损失值调整所述图像分割初始网络的参数，继续训练；
如果是，停止训练，将当前的图像分割初始网络作为所述图像分割网络。
9.根据权利要求8所述的方法，其特征在于，获取所述图像样本对的步骤，包括：
对图像初始样本进行预处理，得到所述图像初始样本对应的图像变换样本；其中，所述预处理包括以下至少之一：旋转、平移、仿射变换；
为所述图像初始样本和/或所述图像变换样本添加黑边区域，得到所述图像样本对。
10.根据权利要求9所述的方法，其特征在于，获取所述图像样本对对应的掩模真值对的步骤，包括：
通过边缘检测方法获取所述图像样本对中的图像初始样本对应的第一边缘能量图和所述图像变换样本对应的第二边缘能量图；
通过显著性目标检测模型获取所述图像初始样本对应的第一显著能量图和所述图像变换样本对应的第二显著能量图；
合并所述第一显著能量图和所述第二显著能量图，得到显著能量合并图；
根据所述显著能量合并图、所述第一边缘能量图和所述第二边缘能量图确定所述图像样本对对应的融合能量图，并基于所述融合能量图和最小能量路径确定所述图像样本对对应的掩模真值对。
11.根据权利要求7所述的方法，其特征在于，基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模的步骤，包括：
如果所述图像分割结果为所述第一重叠图像对应的第一掩模，应用于所述第一掩模尺寸相同且像素值均为1的图像与所述第一掩模做差，得到所述第二重叠图像对应的第二掩模。
12.一种图像拼接的处理装置，其特征在于，所述装置应用于电子设备，包括：
重叠图像获取模块，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；
融合图像确定模块，用于确定所述第一重叠图像和所述第二重叠图像对应的融合能量图；其中，所述融合能量图中对应于所述第一重叠图像和所述第二重叠图像中的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；
能量路径确定模块，用于确定所述融合能量图的第一图边至第二图边对应的最小能量路径；其中，所述第一图边和所述第二图边为具有相对关系的图边；
掩模获取模块，用于基于所述最小能量路径确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；
第一拼接模块，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
13.一种图像拼接的处理装置，其特征在于，所述装置应用于电子设备，包括：
图像获取模块，用于获取待拼接的第一图像和第二图像的重叠区域分别对应的第一重叠图像和第二重叠图像；
图像分割模块，用于将所述第一重叠图像和所述第二重叠图像输入训练后的图像分割网络，得到所述图像分割网络输出的图像分割结果；其中，所述图像分割网络训练过程中的图像样本对对应有掩模真值对，所述掩模真值对是基于所述图像样本对对应的融合能量图对应的最小能量路径确定的，其中，所述融合能量图中对应于所述图像样本对的目标位置的像素能量值高于其它位置的像素能量值；所述目标位置包括边缘位置和显著区域对应的位置；
掩模确定模块，用于基于所述图像分割结果确定所述第一重叠图像对应的第一掩模和所述第二重叠图像对应的第二掩模；其中，所述第一掩模与所述第二掩模对应像素的像素值之和均为1；
第二拼接模块，用于基于所述第一掩模和所述第二掩模拼接所述第一图像和所述第二图像，得到拼接图像。
14.一种电子***，其特征在于，所述电子***包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取图像；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至11任一项所述的方法。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至11任一项所述的方法的步骤。
CN202110186621.3A 2021-02-09 2021-02-09 图像拼接的处理方法、装置和电子*** Active CN112862685B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110186621.3A CN112862685B (zh) 2021-02-09 2021-02-09 图像拼接的处理方法、装置和电子***
PCT/CN2021/134126 WO2022170824A1 (zh) 2021-02-09 2021-11-29 图像拼接的处理方法、装置、电子***和设备、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110186621.3A CN112862685B (zh) 2021-02-09 2021-02-09 图像拼接的处理方法、装置和电子***

Publications (2)

Publication Number Publication Date
CN112862685A CN112862685A (zh) 2021-05-28
CN112862685B true CN112862685B (zh) 2024-02-23

Family

ID=75988140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110186621.3A Active CN112862685B (zh) 2021-02-09 2021-02-09 图像拼接的处理方法、装置和电子***

Country Status (2)

Country Link
CN (1) CN112862685B (zh)
WO (1) WO2022170824A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862685B (zh) * 2021-02-09 2024-02-23 北京迈格威科技有限公司 图像拼接的处理方法、装置和电子***
CN113793382A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN113902657A (zh) * 2021-08-26 2022-01-07 北京旷视科技有限公司 图像拼接方法、装置和电子设备
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、***及存储介质
CN114387229A (zh) * 2021-12-24 2022-04-22 佛山欧神诺云商科技有限公司 瓷砖的拼接检测方法、装置、计算机设备及可读存储介质
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN115471403B (zh) * 2022-10-18 2024-02-13 如你所视(北京)科技有限公司 图像处理方法、装置及存储介质
CN115797210A (zh) * 2022-12-05 2023-03-14 深圳看到科技有限公司 用于水下拍摄图片的校正方法、装置及存储介质
CN116704376B (zh) * 2023-08-04 2023-10-20 航天宏图信息技术股份有限公司 基于单卫星图像的nDSM提取方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940879A (zh) * 2017-03-27 2017-07-11 微鲸科技有限公司 一种图像拼接方法及装置
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法
CN110782424A (zh) * 2019-11-08 2020-02-11 重庆紫光华山智安科技有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN111915483A (zh) * 2020-06-24 2020-11-10 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039067A1 (en) * 2013-09-16 2015-03-19 Duke University Method for combining multiple image fields
CN104680501B (zh) * 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
KR102412122B1 (ko) * 2015-05-27 2022-06-23 삼성전자주식회사 의료 영상 디스플레이 방법 및 장치
US9940695B2 (en) * 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
CN107464230B (zh) * 2017-08-23 2020-05-08 京东方科技集团股份有限公司 图像处理方法及装置
CN107610051A (zh) * 2017-09-22 2018-01-19 北京林业大学 无人机航拍图像拼接的正射图像生成方法及装置
CN112862685B (zh) * 2021-02-09 2024-02-23 北京迈格威科技有限公司 图像拼接的处理方法、装置和电子***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940879A (zh) * 2017-03-27 2017-07-11 微鲸科技有限公司 一种图像拼接方法及装置
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法
CN110782424A (zh) * 2019-11-08 2020-02-11 重庆紫光华山智安科技有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN111915483A (zh) * 2020-06-24 2020-11-10 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦绪佳 ; 王琪 ; 王慧玲 ; 郑红波 ; 陈胜男 ; .基于最佳缝合线的序列遥感图像拼接融合方法.计算机科学.2015,(第10期),全文. *
陈丹丹 ; 方发明 ; 刘惠燕 ; .一种基于改进动态规划的最佳拼接线搜索方法.计算机应用与软件.2018,(第10期),全文. *

Also Published As

Publication number Publication date
WO2022170824A1 (zh) 2022-08-18
CN112862685A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862685B (zh) 图像拼接的处理方法、装置和电子***
KR101956151B1 (ko) 사용자 단말기에 이용되는 전경 영상 생성 방법 및 장치
CN111402146B (zh) 图像处理方法以及图像处理装置
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
US20170006234A1 (en) Image display device and image display system
TWI435288B (zh) Image processing apparatus and method, and program product
CN108833785A (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和***
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及***
CN105825478A (zh) 在对象去除之后恢复图像中的缺失结构的结构分析方法
CN104079912A (zh) 图像处理装置和图像处理方法
CN111311528B (zh) 图像融合优化方法、装置、设备和介质
CN113902657A (zh) 图像拼接方法、装置和电子设备
US20040247179A1 (en) Image processing apparatus, image processing method, and image processing program
CN109214996A (zh) 一种图像处理方法及装置
CN112365518A (zh) 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN113436068B (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN113610884A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11158026B1 (en) Field of view extension in a stereo camera system
CN114359030A (zh) 一种人脸逆光图片的合成方法
Chilukuri et al. L, r-stitch unit: encoder-decoder-CNN based image-mosaicing mechanism for stitching non-homogeneous image sequences
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant