CN110189285B - 一种多帧图像融合方法及装置 - Google Patents

一种多帧图像融合方法及装置 Download PDF

Info

Publication number
CN110189285B
CN110189285B CN201910452826.4A CN201910452826A CN110189285B CN 110189285 B CN110189285 B CN 110189285B CN 201910452826 A CN201910452826 A CN 201910452826A CN 110189285 B CN110189285 B CN 110189285B
Authority
CN
China
Prior art keywords
image
reference frame
region
long exposure
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910452826.4A
Other languages
English (en)
Other versions
CN110189285A (zh
Inventor
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910452826.4A priority Critical patent/CN110189285B/zh
Publication of CN110189285A publication Critical patent/CN110189285A/zh
Application granted granted Critical
Publication of CN110189285B publication Critical patent/CN110189285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种多帧图像融合方法及装置。多帧图像融合方法，其中，包括：连续图像获取步骤，获取多张连续拍摄图像；参考帧选取步骤，从多张连续拍摄图像中选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，通过长曝光拍摄，获取一张长曝光图像；配准步骤，将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割步骤，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，将配准后的辅助图像和参考帧图像根据纹理区域和平坦区域进行融合，得到结果图像。通过使用该方法，分割可能存在拖影和不存在拖影现象的图像区域进行融合，有助于合理去除噪声和拖影现象，获得清晰度高的图像。

Description

一种多帧图像融合方法及装置
技术领域
本发明一般地涉及图像处理技术领域，特别是涉及一种多帧图像融合方法及装置。
背景技术
多帧图像融合算法由于其去噪效果相对单帧更佳，细节纹理保持更好等原因，目前已在业内广泛使用。基于内存和算法运行时间的考虑，目前常用的方案是：摄像头连续拍摄5-10张图像，选择其中一张作为参考帧，其他图像进行图像配准，对配准后图像进行多帧图像融合，进而得到去噪图像。
但在实际多帧拍摄场景中，进行多张融合时，都会存在或轻或重的运动模糊，如若连续拍摄玩耍的孩子，奔跑的宠物等运动速度较快的目标时，在多帧图像融合的过程中会出现较为严重的拖影现象，严重影响对图像去噪成像的质量；在大噪声的场景下，很多噪声也会被误检测为运动状态，影响图像去噪。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种多帧图像融合方法及装置。
第一方面，本发明实施例提供一种多帧图像融合方法，其中，包括：连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；参考帧选取步骤，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取步骤，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准步骤，将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割步骤，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合步骤，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。
在一实施例中，图像融合步骤包括：图像融合步骤包括：根据配准后的长曝光图像的纹理区域和平坦区域，获得配准后的参考帧图像的纹理区域和平坦区域；根据配准后的参考帧图像的纹理区域和平坦区域，获得辅助图像的纹理区域和平坦区域；将配准后的参考帧图像的纹理区域与辅助图像的纹理区域进行融合；将配准后的参考帧图像的平坦区域与辅助图像的平坦区域进行融合。
在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：直接将配准后的参考帧图像的纹理区域作为纹理区域的融合结果。
在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：获得配准后的辅助图像的纹理区域内的各个像素点与参考帧图像在纹理区域中对应的各个的像素点的像素差，像素差小于预设阈值时，将对应的像素点进行融合；像素差大于或等于预设阈值时，对应的辅助图像的像素点不参与融合。
在一实施例中，参考帧选取步骤包括，对多张连续拍摄图像进行边缘检测，通过边缘检测得到每个连续拍摄图像的清晰度，选取清晰度最高的连续拍摄图像作为参考帧图像。
在一实施例中，配准步骤包括，通过MTB算法对长曝光图像和参考帧图像进行配准。
在一实施例中，长曝光图像与连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。
在一实施例中，图像融合步骤包括：通过直接平均或双边权重的方式进行融合。
第二方面，本发明实施例提供一种多帧图像融合装置，其中，包括：连续图像获取模块，用于通过连续拍摄，获取多张连续拍摄图像；参考帧选取模块，用于从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取模块，用于获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间；配准模块，用于将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割模块，用于将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合模块，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。
第三方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行多帧图像融合方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行多帧图像融合方法。
本发明提供的一种多帧图像融合方法及装置，适用于多摄设备，多摄同时采图，不会额外增加采图时间消耗；通过长曝光图像与参考帧图像配准后进行平坦区域和纹理区域分割，有助于区分连续拍摄图像中可能存在拖影现象和不存在拖影现象的区域，在分割区域的过程中不受噪声干扰；由于对长曝光图像的分辨率不需要太高，因此拍摄长曝光的设备也可以是低端设备。配准后的连续图像根据平坦区域和纹理区域进行分区域融合，有助于合理去噪和消除拖影影响；通过使用本发明的多帧图像融合方法及装置，能够得到去噪效果正常且去除拖影现象良好的图像。
附图说明
通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了本发明实施例提供的一种多帧图像融合方法示意图；
图2示出了本发明实施例提供的一种多帧图像融合装置示意图；
图3示出了本发明实施例提供的一种电子设备示意图；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
图1为多帧图像融合方法10的一个实施例的流程示意图。如图1所示，该是实例方法包括：连续图像获取步骤110、参考帧选取步骤120、长曝光图像获取步骤130、配准步骤140、区域分割步骤150、图像融合步骤160。下面对图1中的各个步骤进行详细说明。
连续图像获取步骤110，通过连续拍摄，获取多张连续拍摄图像。
在本实施例中，通过相机或者手机等拍照设备的一镜头进行拍摄，获取多张连续拍摄图像，例如获取连续拍摄的5到10张的连续拍摄图像，用于多帧融合去除噪声。
参考帧选取步骤120，从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像。
在本实施例中，将获取的多张连续拍摄图像分为参考帧图像和辅助图像，选取多张连续拍摄图像中的一张图像作为参考帧图像，用于在后续配准和图像融合的过程中作为参考图像；其余连续拍摄图像为辅助图像。便于图像在融合的过程中合理去噪，避免噪声和拖影的影响。
长曝光图像获取步骤130，获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的曝光时间。
在本实施例中，在连续拍摄图像的同时，通过另一镜头进行长曝光拍摄与连续图像景物相同图像，从而得到长曝光图像。曝光时间越长，越能够清晰的捕捉物体的运动变化。在保证看清景象轮廓的前提下，最优选择拍摄一张长曝光图像所用时长为拍摄一帧连续图像曝光所用时长的10倍，即拍摄一张长曝光图像的同时，可拍摄10张连续拍摄图像，此时物体运动效果明显、图像清晰。在一例中，长曝光图像与连续拍摄图像同时获取；在另一例中，长曝光图像与连续拍摄图像分批获取。长曝光图像有助于区分物体移动变化，区域分割时不会受到噪声干扰，有助于连续拍摄图像在融合时避免拖影的影响。
配准步骤140，将长曝光图像和辅助图像分别与参考帧图像进行配准。
在本实施例中，以参考帧图像为标准，将连续拍摄图像和长曝光图像进行特征提取，通过相似性度量找到辅助图像和长曝光图像与参考帧图像匹配的特征点对，根据匹配到的特征点对获得图像空间坐标变换参数，根据坐标变换参数进行图像配准，将所有连续拍摄图像和长曝光图像的坐标系进行统一，便于后续将图像划区域分割进行图像融合，有利于图像去噪和去拖影。在一例中，将长曝光图像与连续拍摄图像同时获取进行配准。在另一例中，分批获取长曝光图像与连续拍摄图像。将辅助图像先与参考帧图像进行配准，再将与连续拍摄图像对应的长曝光图像进行获取，将长曝光图像根据参考帧图像进行配准。
区域分割步骤150，将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域。
在本实施例中，将配准后的长曝光图像通过边缘提取算法，如：sobel边缘算子、LOG(高斯拉普拉斯)、Canny边缘提取算法，将长曝光图像根据提取边缘的密集程度进行区域分割，边缘密集的区域为纹理区域，边缘稀疏的区域为平坦区域。纹理区域为可能出现拖影的区域，平坦区域为不可能出现拖影的区域。由于移动的物体必然有纹理，所以将图像中可能出现拖影的位置都划分至纹理区域中。相对于在正常拍摄的图片，使用长曝光图像进行区域分割，可以在避免噪声干扰情况下，准确分割出运动物体或者拖影可能存在区域。
图像融合步骤160，根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。
在本实施例中，将配准后的辅助图像和参考帧图像分区域进行融合，有助于合理去噪、消除拖影误检测的影响，从而提升结果图像的清晰度。
在一例中，图像融合步骤160包括：根据配准后的长曝光图像的纹理区域和平坦区域，获得配准后的参考帧图像的纹理区域和平坦区域；根据配准后的参考帧图像的纹理区域和平坦区域，获得辅助图像的纹理区域和平坦区域；将配准后的参考帧图像的纹理区域与辅助图像的纹理区域进行融合；将配准后的参考帧图像的平坦区域与辅助图像的平坦区域进行融合。
通过配准，辅助图像和长曝光图像中的各个像素点均能在参考帧图像中找到具有对应匹配的像素点。通过长曝光图像与参考帧图像进行配准，在参考帧图像中可对应找到与长曝光图像分割的纹理区域和平坦区域对应的像素点，因此在参考帧图像中可分割出与长曝光图像相对应的纹理区域和平坦区域。同理，将配准后的辅助图像对照分割后的参考帧图像进行分割，获得与参考帧图像相对应的纹理区域和平坦区域。最终，长曝光图像、参考帧图像和辅助图像均能获得相互对应的纹理区域和平坦区域。由于平坦区域不会产生拖影现象，因此将参考帧图像和连续拍摄图像在平坦区域内的像素直接采用多图融合的方式进行融合，降低图像噪声，方便快捷。连续拍摄图像通过与长曝光图像配准，区分出可能出现拖影现象和不可能出现拖影现象的区域，分区域进行融合有助于避免多张连续拍摄图像因直接融合而产生的噪声干扰、拖影现象和噪声放大等负面作用。
在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：直接将配准后的参考帧图像的纹理区域作为纹理区域的融合结果。为了避免在多帧融合的过程中产生拖影现象，辅助图像和参考帧图像在纹理区域内进行进行融合时，直接选取参考帧图像在纹理区域内的像素作为融合结果的像素，能够节省大量融合图像的时间，提高多帧图像融合的速率。
在一实施例中，将配准后的参考帧图像的纹理区域与配准后的辅助图像的纹理区域进行融合，包括：获得配准后的辅助图像的纹理区域内的各个像素点与参考帧图像在纹理区域中对应的各个的像素点的像素差，像素差小于预设阈值时，将对应的像素点进行融合；像素差大于或等于预设阈值时，对应的辅助图像的像素点不参与融合。
在纹理区域中，提前预设参考帧图像与辅助图像在纹理区域内像素点的像素差阈值，将参考帧图像与辅助图像在纹理区域中对应的像素点逐点进行计算像素差，将参考帧图像与辅助图像的像素差小于预设阈值的对应的像素点进行融合；将像素差大于或者等于阈值的像素点，辅助图像对应的像素点不参与融合。例如：在一例中，预设像素差阈值为20，五张连续拍摄图像针对纹理区域中的A点进行融合，第一张A点的像素为159，第二张A点的像素为169，第三张A点像素为186，第四张A点的像素为145，第五张A点的像素为149，其中第二张连续拍摄图像为参考帧图像，其余四张图像为辅助图像。通过计算，第一张、第三张连续拍摄图像与参考帧图像关于A点的像素差小于20，第四张连续拍摄图像与参考帧图像关于A点的像素差大于20，第五张连续拍摄图像与参考帧图像关于A点的像素差等于20。因此，在该纹理区域中，采用前三张连续拍摄图像关于A点的像素进行融合，融合结果作为五张连续拍摄图像关于A点多帧图像融合的像素。在另一例中，五张连续拍摄图像纹理区域中A点的像素值沿用上一例，而预设像素差阈值设为10，其中第二张连续拍摄图像为参考帧图像，其余四张图像为辅助图像，辅助图像与参考帧图像在对应的纹理区域中的像素差均大于或等于10，在此情况下，直接将配准后的参考帧图像在纹理区域中对应的像素点作为融合结果。通过预设像素差阈值，能够提高在纹理区域内图像融合的精确度，使得到的结果图像更清晰准确。
在一实施例中，长曝光图像与连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。通过使用不同的拍摄设备同时拍摄图像，拍摄的时间相同，不会产生额外的时间消耗，拍摄的景象为同一景象，在划分的过程中可以保证连续拍摄图像和长曝光图像中物体的运动变化一致。还可以根据曝光程度不同，合理避免噪声对图像的干扰，更好的保留图像细节纹理。由于对长曝光图像进行平坦区域和纹理区域分类，并不需要像素级配准和特别高的图像分辨率，因此拍摄长曝光图像的设备可以是低分辨率的硬件设备，也可以是终端设备，例如：手机的两个主、副摄像头，主摄像头为采集连续拍摄图像的设备，副摄像头为采集长曝光图像的设备。
在一实施例中，参考帧选取步骤120包括，对多张连续拍摄图像进行边缘检测，通过边缘检测得到每个连续拍摄图像的清晰度，选取清晰度最高的连续拍摄图像作为参考帧图像。通过使用边缘检测算子或者LOG(高斯拉普拉斯)等边缘提取算法对多张连续拍摄图像进行边缘检测，选择连续拍摄图像中清晰度最高的一帧图像作为参考帧图像。选择清晰度高的图像有助于提高融合图像的精确性及可靠性，降低噪声的干扰。
在一实施例中，配准步骤140包括，通过MTB算法对长曝光图像和参考帧图像进行配准。MTB算法(均值二值化对齐算法)是利用像素百分位二值化的方法来解决多幅曝光不同的图像配准问题，通过对每幅图像构造二值化金字塔图像，然后分别在水平和垂直方向上搜索偏移量进行图像配准。因拍摄长曝光图像可能会发生平移现象，不会出现旋转现象，即使出现一些旋转，也不会影响观察者的注意力，因此采用MTB算法对长曝光图像和参考帧图像进行配准，能够节省时间，提高图像配准速率。在另一实施例中，也可以采用SIFT(尺度不变特征变换)、FAST特征点检测算法等算法进行图像配准。
在一实施例中，图像融合步骤160包括：通过直接平均或双边权重的方式进行融合。多张连续拍摄图像是针对同一景物进行连续拍摄，因此每一帧图像上对应区域的像素差别小，常采用多张图像的像素在同一区域内的平均像素作为该区域内的融合像素；或者利用可变参数的交叉双边滤波器对连续拍摄图像进行多尺度分解，针对不同分解层赋予不同的权重值，根据权重比值将多张连续拍摄图像进行融合。
图2示出了多帧图像融合装置20的示例性结构示意图。如图2所示，该多帧图像融合装置包括：连续图像获取模块210，用于通过连续拍摄，获取多张连续拍摄图像；参考帧选取模块220，用于从多张连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；长曝光图像获取模块230，用于获取一张长曝光图像，长曝光图像在连续拍摄的同时通过长曝光拍摄，长曝光图像的曝光时间长于拍摄单张连续拍摄图像的时间；配准模块240，用于将长曝光图像和辅助图像分别与参考帧图像进行配准；区域分割模块250，用于将配准后的长曝光图像进行区域分割，分割为纹理区域和平坦区域；图像融合模块260，用于根据纹理区域和平坦区域，将配准后的辅助图像和参考帧图像分区域进行融合，得到结果图像。
装置中的各个模块所实现的功能与上文描述的方法中的步骤相对应，其具体实现个技术效果请参见上文对于方法步骤的描述，在此不再赘述。
如图3所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于多帧图像融合方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于多帧图像融合的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。
本发明实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本发明实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。
尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (10)

1.一种多帧图像融合方法，其中，包括：
连续图像获取步骤，通过连续拍摄，获取多张连续拍摄图像；
参考帧选取步骤，从多张所述连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；
长曝光图像获取步骤，获取一张长曝光图像，所述长曝光图像在连续拍摄的同时通过长曝光拍摄，所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间；
配准步骤，将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准；
区域分割步骤，将配准后的所述长曝光图像进行区域分割，分割为纹理区域和平坦区域；
图像融合步骤，根据所述纹理区域和所述平坦区域，将配准后的所述辅助图像和所述参考帧图像分区域进行融合，得到结果图像；其中，所述图像融合步骤包括：
根据配准后的所述长曝光图像的所述纹理区域和所述平坦区域，获得配准后的所述参考帧图像的所述纹理区域和所述平坦区域；
根据配准后的参考帧图像的所述纹理区域和所述平坦区域，获得配准后的所述辅助图像的所述纹理区域和所述平坦区域；
将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，以及将配准后的所述参考帧图像的所述平坦区域与配准后的所述辅助图像的所述平坦区域进行融合。
2.根据权利要求1所述的方法，其中，将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，包括：直接将配准后的参考帧图像作为融合结果。
3.根据权利要求1所述的方法，其中，将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，包括：获得配准后的所述辅助图像的所述纹理区域内的各个像素点与配准后的所述参考帧图像在所述纹理区域中对应的各个的像素点的像素差，所述像素差小于预设阈值时，将对应的像素点进行融合；所述像素差大于或等于所述预设阈值时，对应的所述辅助图像的所述像素点不参与融合。
4.根据权利要求1所述的方法，其中，所述参考帧选取步骤包括：对多张所述连续拍摄图像进行边缘检测，通过所述边缘检测得到每个所述连续拍摄图像的清晰度，选取所述清晰度最高的所述连续拍摄图像作为所述参考帧图像。
5.根据权利要求1所述的方法，其中，所述配准步骤包括：通过均值二值化对齐算法对所述长曝光图像和所述参考帧图像进行配准。
6.根据权利要求1所述的方法，其中，所述长曝光图像与所述连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。
7.根据权利要求1-6中任一项的所述的方法，其中，所述图像融合步骤包括：通过直接平均或双边权重的方式进行融合。
8.一种多帧图像融合装置，其中，包括：
连续图像获取模块，用于通过连续拍摄，获取多张连续拍摄图像；
参考帧选取模块，用于从多张所述连续拍摄图像中，选取一张参考帧图像，其余作为辅助图像；
长曝光图像获取模块，用于获取一张长曝光图像，所述长曝光图像在连续拍摄的同时通过长曝光拍摄，所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间；
配准模块，用于将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准；
区域分割模块，用于将配准后的所述长曝光图像进行区域分割，分割为纹理区域和平坦区域；
图像融合模块，用于根据所述纹理区域和所述平坦区域，将配准后的所述辅助图像和所述参考帧图像分区域进行融合，得到结果图像；其中，所述图像融合模块还包括：用于根据配准后的所述长曝光图像的所述纹理区域和所述平坦区域，获得配准后的所述参考帧图像的所述纹理区域和所述平坦区域；
根据配准后的参考帧图像的所述纹理区域和所述平坦区域，获得配准后的所述辅助图像的所述纹理区域和所述平坦区域；
将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合，以及将配准后的所述参考帧图像的所述平坦区域与配准后的所述辅助图像的所述平坦区域进行融合。
9.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行权利要求1-7中任一项所述的多帧图像融合方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-7中任一项所述的多帧图像融合方法。
CN201910452826.4A 2019-05-28 2019-05-28 一种多帧图像融合方法及装置 Active CN110189285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452826.4A CN110189285B (zh) 2019-05-28 2019-05-28 一种多帧图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452826.4A CN110189285B (zh) 2019-05-28 2019-05-28 一种多帧图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN110189285A CN110189285A (zh) 2019-08-30
CN110189285B true CN110189285B (zh) 2021-07-09

Family

ID=67718326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452826.4A Active CN110189285B (zh) 2019-05-28 2019-05-28 一种多帧图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN110189285B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689502B (zh) * 2019-10-09 2022-06-14 深圳看到科技有限公司 一种图像处理方法及相关装置
CN110717878B (zh) * 2019-10-12 2022-04-15 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
CN111091506A (zh) * 2019-12-02 2020-05-01 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111028189B (zh) * 2019-12-09 2023-06-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112016418B (zh) * 2020-08-18 2023-12-22 中国农业大学 一种割线识别方法、装置、电子设备及存储介质
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
CN112767295A (zh) * 2021-01-14 2021-05-07 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN112887515B (zh) * 2021-01-26 2023-09-19 维沃移动通信有限公司 视频生成方法及装置
CN112887623B (zh) * 2021-01-28 2022-11-29 维沃移动通信有限公司 图像生成方法、装置及电子设备
CN112950520A (zh) * 2021-04-27 2021-06-11 上海海栎创科技股份有限公司 去除运动拖影的多帧图像融合方法及其装置
CN113409209B (zh) * 2021-06-17 2024-06-21 Oppo广东移动通信有限公司 图像去模糊方法、装置、电子设备与存储介质
CN113905185B (zh) * 2021-10-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法和装置
CN113706421B (zh) * 2021-10-27 2022-02-22 深圳市慧鲤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN114387248B (zh) * 2022-01-12 2022-11-25 苏州天准科技股份有限公司 一种硅料熔化度监测方法、存储介质、终端和拉晶设备
CN114821030B (zh) * 2022-04-11 2023-04-04 苏州振旺光电有限公司 行星图像处理方法、***以及装置
CN115439386A (zh) * 2022-09-06 2022-12-06 维沃移动通信有限公司 图像融合方法、装置、电子设备和存储介质
CN116740099B (zh) * 2023-08-15 2023-11-14 南京博视医疗科技有限公司 一种oct图像分割方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及***
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN104144298A (zh) * 2014-07-16 2014-11-12 浙江宇视科技有限公司 一种宽动态图像合成方法
CN105430263A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 长曝光全景图像拍摄装置和方法
CN105657244A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及***
CN104144298A (zh) * 2014-07-16 2014-11-12 浙江宇视科技有限公司 一种宽动态图像合成方法
CN105657244A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN105430263A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 长曝光全景图像拍摄装置和方法
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
CN110189285A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110189285B (zh) 一种多帧图像融合方法及装置
GB2501810B (en) Method for determining the extent of a foreground object in an image
CN111091590B (zh) 图像处理方法、装置、存储介质及电子设备
US11538175B2 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
KR101524548B1 (ko) 영상 정합 장치 및 방법
WO2013145589A1 (ja) 画像処理装置、撮像装置および画像処理方法
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
US20230214981A1 (en) Method for detecting appearance defects of a product and electronic device
CN108875504B (zh) 基于神经网络的图像检测方法和图像检测装置
CN107909554B (zh) 图像降噪方法、装置、终端设备及介质
CN109447022B (zh) 一种镜头类型识别方法及装置
CN111161299B (zh) 影像分割方法、存储介质及电子装置
CN105049706A (zh) 一种图像处理方法及终端
CN113066088A (zh) 工业检测中的检测方法、检测装置和存储介质
CN112418243A (zh) 特征提取方法、装置及电子设备
CN107194886B (zh) 一种用于相机传感器的灰尘检测方法及装置
Khalid et al. Image de-fencing using histograms of oriented gradients
CN112330618B (zh) 图像偏移检测方法、设备及存储介质
US11373277B2 (en) Motion detection method and image processing device for motion detection
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
Jadhav et al. FPGA based object tracking system
CN114998283A (zh) 一种镜头遮挡物检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant