CN113012081A - 图像处理方法、装置和电子*** - Google Patents

图像处理方法、装置和电子*** Download PDF

Info

Publication number
CN113012081A
CN113012081A CN202110122061.5A CN202110122061A CN113012081A CN 113012081 A CN113012081 A CN 113012081A CN 202110122061 A CN202110122061 A CN 202110122061A CN 113012081 A CN113012081 A CN 113012081A
Authority
CN
China
Prior art keywords
image
initial
images
brightness
initial images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110122061.5A
Other languages
English (en)
Inventor
蒋霆
饶青
韩明燕
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110122061.5A priority Critical patent/CN113012081A/zh
Publication of CN113012081A publication Critical patent/CN113012081A/zh
Priority to PCT/CN2021/132503 priority patent/WO2022160895A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法、装置和电子***，获取在不同曝光度下采集的多张初始图像和多张初始图像对应的蒙版图像，蒙版图像用于指示多张初始图像中的前景区域；融合多张初始图像的亮度信息得到初始亮度信息；基于蒙版图像，融合初始亮度信息和多张初始图像中的参考帧图像的亮度信息得到最终亮度信息；基于最终亮度信息和参考帧图像的色彩信息得到目标图像。该方式基于不同曝光度的多张图像得到指示图像前景区域的蒙版图像，进而通过蒙版图像融合参考帧图像中前景区域的亮度信息和初始亮度信息中的非前景区域，以确保融合后图像中的前景区域与参考帧图像中的匹配，从而提高了融合后图像中前景区域的视觉效果，也提升了融合后图像的整体效果。

Description

图像处理方法、装置和电子***
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和电子***。
背景技术
HDR(High-Dynamic Range，高动态范围)图像，相比普通的图像，可以提供更多的动态范围和图像细节，HDR图像是使用多张不同曝光的图片，然后利用软件将这些不同曝光的图像组合成的一张图像，该图像能够更好的反映出真实环境中的视觉效果。
相关技术中，HDR图像合成方法通常采用线性融合的方式，但是该方式得到的合成图像对比度偏低，视觉上容易出现发灰的现象，导致合成的图像的人像区域视觉上看起来也发灰，使得图像整体的效果不够自然。
发明内容
本发明的目的在于提供一种图像处理方法、装置和电子***，以提高合成图像中人像区域的效果，同时提升合成图像的整体效果。
第一方面，本发明提供了一种图像处理方法，该方法包括：获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域；对多张初始图像的亮度信息进行融合处理，得到初始亮度信息；基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
在可选的实施方式中，上述基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息的步骤，包括：将初始亮度信息与参考帧图像的像素亮度信息，通过蒙版图像进行alpha融合，得到最终亮度信息。
在可选的实施方式中，上述蒙版图像中每个像素点的像素值为0或者255；上述将初始亮度信息与参考帧图像的像素亮度信息，通过蒙版图像进行alpha融合，得到最终亮度信息的步骤，包括：通过下述算式，计算得到最终亮度信息：new_res＝ev0*(M/255)+(1-M/255)*res；
其中，new_res表示最终亮度信息；ev0表示参考帧图像的像素亮度信息；M表示蒙版图像中每个像素点的像素值；res表示初始亮度信息。
在可选的实施方式中，上述获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像的步骤，包括：获取在不同曝光度下采集的多张初始图像；其中，每张初始图像对应的一种曝光度；从多张初始图像中，选取指定数量的初始图像；对指定数量的初始图像的亮度信息进行融合处理，得到融合图像；对融合图像进行二值化处理，得到蒙版图像。
在可选的实施方式中，上述指定数量为两个；上述从多张初始图像中，选取指定数量的初始图像的步骤，包括：从多张初始图像中，选取曝光度最大的初始图像和曝光度最小的初始图像。
在可选的实施方式中，上述对指定数量的初始图像的亮度信息进行融合处理，得到融合图像的步骤，包括：针对指定数量的初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一融合图像；针对指定数量的初始图像得到的多张第一融合图像中每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像；将第二融合图像作为新的第一融合图像，继续执行针对每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像的步骤，直到得到一张最终的融合图像。
在可选的实施方式中，上述对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一融合图像的步骤，包括：针对当前曝光度相邻的两张初始图像中的每个像素点，执行下述操作：根据当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重；其中，该权重矩阵中包括任意两个亮度值对应的加权权重；根据查到的加权权重和当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定第一融合图像中当前像素点对应的亮度值。
在可选的实施方式中，上述根据当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重的步骤，包括：从当前曝光度相邻的两张初始图像中，确定第一个初始图像中当前像素点的第一亮度值和第二个初始图像中当前像素点的第二亮度值；将第一亮度值与一的加和，确定为目标列数；将第二亮度值与一的加和，确定为目标行数；根据目标列数和目标行数，确定加权权重在权重矩阵中的位置，将权重矩阵中位置对应的数值确定为查找到的加权权重。
在可选的实施方式中，上述根据查到的加权权重和当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定第一融合图像中当前像素点对应的亮度值的步骤，包括：通过下述算式确定第一融合图像中当前像素点对应的亮度值：Bi＝w1i*A1i+w2i*A2i；其中，Bi表示第一融合图像中第i个像素点的亮度值，其中，第i个像素点为当前像素点；w1i表示从权重矩阵中查到的加权权重，为当前曝光度相邻的两张初始图像中第一个初始图像A1中第i个像素点对应的加权权重；w2i表示当前曝光度相邻的两张初始图像中第二个初始图像A2中第i个像素点对应的加权权重，其中，w2i＝1-w1i；A1i表示第一个初始图像A1中第i个像素点的亮度值；A2i表示第二个初始图像A2中第i个像素点的亮度值。
在可选的实施方式中，上述对融合图像进行二值化处理，得到蒙版图像的步骤，包括：对二值化处理后的融合图像进行引导滤波处理，得到滤波后的蒙版图像。
在可选的实施方式中，上述对多张初始图像的亮度信息进行融合处理，得到初始亮度信息的步骤，包括：针对多张初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一亮度图；针对多张初始图像得到的多张第一亮度图中每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图；将第二亮度图作为新的第一亮度图，继续执行针对每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图的步骤，直到得到一张亮度图为止；将得到的一张亮度图的亮度信息确定为初始亮度信息。
在可选的实施方式中，上述初始图像的颜色空间为YUV形式，亮度信息为Y通道，色彩信息为UV通道。
第二方面，本发明提供了一种图像处理装置，该装置包括：图像获取模块，用于获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域；第一融合模块，用于对多张初始图像的亮度信息进行融合处理，得到初始亮度信息；第二融合模块，用于基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；信息整合模块，用于基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
第三方面，本发明提供了一种电子***，该电子***包括：图像采集设备、处理设备和存储装置；该图像采集设备，用于获取预览视频帧或图像数据；该存储装置上存储有计算机程序，该计算机程序在被处理设备运行时执行前述实施方式任一项所述的图像处理方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理设备运行时执行前述实施方式任一项所述的图像处理方法。
本发明实施例带来了以下有益效果：
本发明提供的一种图像处理方法、装置和电子***，首先获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域；进而对多张初始图像的亮度信息进行融合处理，得到初始亮度信息；再基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；然后基于最终亮度信息和参考帧图像的色彩信息，得到目标图像，也即是融合后的图像。该方式基于不同曝光度的多张图像得到用于指示图像前景区域的蒙版图像，进而通过蒙版图像融合参考帧图像中前景区域的亮度信息和初始亮度信息中的非前景区域，由于参考帧图像中的前景区域效果较好，从而确保了融合后图像中的前景区域与参考帧图像中的前景区域相匹配，从而提高了融合后图像中前景区域的视觉效果，也提升了融合后图像的整体效果。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子***的结构示意图；
图2为本发明实施例提供的一种图像处理方法的流程图；
图3为本发明实施例提供的另一种图像处理方法的流程图；
图4为本发明实施例提供的一种蒙版图像的示意图；
图5为本发明实施例提供的另一种图像处理方法的流程图；
图6为本发明实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着手机功能不断完善，用户对手机如相机的功能的需求越来越高，HDR作为手机的一项功能性应用，得到了非常广泛的应用。HDR又称宽动态范围技术，是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。HDR图像是使用多张不同曝光的图片，然后再用软件它们组合成一张图片。它的优势是最终可以得到一张无论在阴影部分还是高光部分都有细节的图片。
相关技术中的HDR图像合成方法，通常采用线性融合的方式，但是该方式得到的合成图像对比度偏低，视觉上容易出现发灰的现象，导致合成的图像的人像区域视觉上看起来也发灰，使得图像整体的效果不够自然。
实施例一：
首先，参照图1来描述用于实现本发明实施例的图像处理方法、装置和电子***的示例电子***100。
如图1所示的一种电子***的结构示意图，电子***100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子***100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子***也可以具有其他组件和结构。
所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子***100中的其它组件的数据进行处理，还可以控制所述电子***100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集设备110可以采集预览视频帧或图像数据，并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的图像处理方法、文本识别方法、装置和电子***的示例电子***中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目标图像的指定位置。当上述电子***中的各器件集成设置时，该电子***可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
实施例二：
本实施例提供了一种图像处理方法，该方法由上述电子***中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理。如图2所示，该图像处理方法包括如下具体步骤：
步骤S202，获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域。
上述初始图像可以是通过摄像装置或者照相机拍摄的图片或者照片。在具体实现时，可以通过通信连接的照相机、摄像头等设备拍摄后传入，或者从存储有已经拍摄完成的待处理的图像的存储设备中获取初始图像。获取到的多张初始图像中每张初始图像所拍摄的场景是相同的，但是每张初始图像对应的曝光度不同，该曝光度指的是感受到光亮的强弱及时间的长短，通常曝光度越高，拍摄得到的图像越发白；曝光度越低，拍摄得到的图像越黑暗。
上述蒙版图像是基于多张初始图像中的至少一部分图像生成的，该至少一部分图像可以是多张初始图像中的至少两张图像。在具体实现时，可以从多张初始图像中选取至少一部分图像，然后将选取的初始图像对应的灰度图像进行融合处理，可以得到蒙版图像。该蒙版图像用于指示多张图像中的前景区域，在蒙版图像中前景区域对应的图像区域的像素值，与除前景区域之外的图像区域的像素值不同，从而可以区分前景区域和非前景区域。该前景区域通常是指包含有人像的图像区域。
步骤S204，对多张初始图像的亮度信息进行融合处理，得到初始亮度信息。
上述初始图像的亮度信息通常是指该初始图像中每个像素点对应的明亮度，该明亮度也可以称为灰阶值、灰度值或者亮度值，用于指示图像的亮暗程度；该明亮度的取值范围为0～255。在一些实施例中，上述初始图像的颜色空间可以为YUV(Y表示明亮度，U和V表示色度)形式，该初始图像的亮度信息也即是初始图像在Y通道上对应的数据。
在具体实现时，将多张不同曝光度的初始图像的亮度信息融合在一起，可以得到一张融合的图像对应的亮度信息，该亮度信息也即是初始亮度信息；该初始亮度信息中包含有融合的图像中每个像素点对应的明亮度。
步骤S206，基于上述蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息。
上述参考帧图像可以是用户按照预设规则从多张初始图像中指定的初始图像，例如，该参考帧图像可以是曝光度为指定值(该指定值可以根据用户需求设置，例如可以设置为0或者1等)的初始图像，也可以是多张初始图像中前景区域效果最好的图像等。上述参考帧图像的像素亮度信息包括该参考帧图像中每个像素点对应的明亮度。
由于参考帧图像中的前景区域效果最好，因而，通过蒙版图像指示的前景区域得到参考帧图像中的前景区域，从而将参考帧图像中的前景区域的像素亮度信息，作为最终亮度信息中前景区域对应的每个像素点的明亮度；通过蒙版图像指示的前景区域，从初始亮度信息中得到除前景区域之外的图像区域对应的亮度信息，从而将初始亮度信息中除前景区域之外的图像区域对应的亮度信息，作为最终亮度信息中除前景区域之外的图像区域中每个像素点对应的明亮度。
步骤S208，基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
上述参考帧图像的色彩信息可以是指该初始图像中每个像素点对应的色度，该色度的作用是描述参考帧图像的色彩及饱和度，用于指定像素的颜色。在一些实施例中，上述参考帧图像的颜色空间可以是YUV形式，该参考帧图像的色彩信息也即是参考帧图像在UV通道上对应的数据。
在具体实现时，将最终亮度信息和参考帧图像的色彩信息进行融合，可以得到目标图像，也即是目标图像中的每个像素点对应的像素值是由最终亮度信息中每个像素点的明亮度和参考帧图像中每个像素点的色度决定的。
本发明实施例提供的一种图像处理方法，首先获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域；进而对多张初始图像的亮度信息进行融合处理，得到初始亮度信息；再基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；然后基于最终亮度信息和参考帧图像的色彩信息，得到目标图像，也即是融合后的图像。该方式基于不同曝光度的多张图像得到用于指示图像前景区域的蒙版图像，进而通过蒙版图像融合参考帧图像中前景区域的亮度信息和初始亮度信息中的非前景区域，由于参考帧图像中的前景区域效果较好，从而确保了融合后图像中的前景区域与参考帧图像中的前景区域相匹配，从而提高了融合后图像中前景区域的视觉效果，也提升了融合后图像的整体效果。
实施例三：
本发明实施例还提供另一种图像处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述获取在不同曝光度下采集的多张初始图像，以及所述多张初始图像对应的蒙版图像的具体过程(通过下述步骤S302-S308实现)；如图3所示，该方法包括如下具体步骤：
步骤S302，获取在不同曝光度下采集的多张初始图像；其中，每张初始图像对应的一种曝光度。
步骤S304，从多张初始图像中，选取指定数量的初始图像。
上述指定数量为至少两个，该指定数量的具体数值可以根据研发需求设定，例如，可以设置为两个或者三个等。在一些实施例中，为了提高计算效率，可以将指定数量设置为两个，也即是可以随机从多张初始图像中选取两张初始图像，也可以从多张初始图像中选取曝光度最大的初始图像和曝光度最小的初始图像。
步骤S306，对指定数量的初始图像的亮度信息进行融合处理，得到融合图像。
将指定数量的初始图像的亮度信息融合为一张融合图像，该融合图像中仅包含有每个像素点对应的亮度值。在具体实现时，如果指定数量大于两个，上述步骤S306可以通过下述步骤10-12实现：
步骤10，针对指定数量的初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一融合图像。
在具体实现时，上述指定数量的初始图像可以是按照曝光度由大到小或者由小到大的顺序进行排序的。如果指定数量为三个，那么指定数量的初始图像中曝光度相邻的两张初始图像就有两对，也即是可以得到两张第一融合图像；如果指定数量为两个，那么指定数量的初始图像中曝光度相邻的两张初始图像只有一对，也即是可以得到一张第一融合图像，该张第一融合图像也即是步骤S306中得到的融合图像。
具体地，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一融合图像的具体过程为：针对当前曝光度相邻的两张初始图像中的每个像素点，执行下述步骤20-21，以得到第一融合图像：
步骤20，根据当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重；其中，该权重矩阵中包括任意两个亮度值对应的加权权重。
上述亮度值相当于Y通道上的明亮度，也可以称为是灰度值，该亮度值的取值为0-255之间的整数。上述权重矩阵是研发人员根据研发需求提前设置好的，该权重矩阵中包含有任意两个灰度值对应的加权权重，该权重矩阵中所包含的每个数值均为小于1的正数，也即是加权权重为小于1的正数。该权重矩阵是一个256*256的矩阵，也即是权重矩阵具有256行和256列，其中，256行分别对应0-255之间的整数依次对应的行；256列分别对应0-255之间的整数依次对应的列。
在一些实施例中，上述步骤20可以通过下述步骤30-32实现：
步骤30，从当前曝光度相邻的两张初始图像中，确定第一个初始图像中当前像素点的第一亮度值和第二个初始图像中当前像素点的第二亮度值。
上述第一个初始图像可以是两张初始图像中曝光度较大的图像，也可以是曝光度较小的图像。
步骤31，将第一亮度值与一的加和，确定为目标列数；将第二亮度值与一的加和，确定为目标行数。
由于亮度值是从0开始的，而矩阵的行数或者列数都是从1开始的，所以可以将第一亮度值与一的加和确定为需要查询的目标列数，可以将第二亮度值与一的加和确定为需要查找的目标行数。
步骤32，根据目标列数和目标行数，确定加权权重在权重矩阵中的位置，将权重矩阵中该位置对应的数值确定为查找到的加权权重。
根据目标行数和目标列数可以在权重矩阵中定位需要查找的加权权重的位置，并将该位置对应的数值确定为需要查找的加权权重。
步骤21，根据查到的加权权重和当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定第一融合图像中当前像素点对应的亮度值。
在具体实现时，可以通过下述算式确定第一融合图像中当前像素点对应的亮度值：
Bi＝w1i*A1i+w2i*A2i；
其中，Bi表示第一融合图像中第i个像素点的亮度值，其中，第i个像素点为当前像素点；w1i表示从权重矩阵中查到的加权权重，为当前曝光度相邻的两张初始图像中第一个初始图像A1中第i个像素点对应的加权权重；w2i表示当前曝光度相邻的两张初始图像中第二个初始图像A2中第i个像素点对应的加权权重，其中，w2i＝1-w1i；A1i表示第一个初始图像A1中第i个像素点的亮度值；A2i表示第二个初始图像A2中第i个像素点的亮度值。
步骤11，针对指定数量的初始图像得到的多张第一融合图像中每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像。
步骤12，将第二融合图像作为新的第一融合图像，继续执行每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像的步骤，直到得到一张最终的融合图像。
如果指定数量为三个或者三个以上，那么指定数量的初始图像中曝光度相邻的两张初始图像就有至少两对，也即是可以得到至少两张第一融合图像；那么需要按照上述步骤20-21的方式(将步骤20-21中的初始图像替换为第一融合图像)，继续对多张第一融合图像中每对曝光度相邻的两张第一融合图像进行融合处理，得到每对曝光度相邻的两张第一融合图像对应的第二融合图像。如果指定数量为三个，那么得到的一张第二融合图像也即是步骤S306得到的融合图像；如果指定数量超过三个，那么步骤11得到的第二融合图像至少为两张，不是一张，所以还是需要继续对指定数量的初始图像对应的多张第二融合图像进行融合处理，直到得到一张最终的融合图像。其中，对指定数量的初始图像对应的多张第二融合图像进行融合处理的具体过程，与对第一融合图像进行融合处理的过程相同。
步骤S308，对融合图像进行二值化处理，得到蒙版图像。
融合图像中仅包含有每个像素点的亮度值，因而，该融合图像也可以称为灰度图，该灰度图中每个像素点的亮度值(或者灰度值)均在0-255之间，所以可以将融合图像中小于设定值的亮度值设置为第一像素值，将大于或者等于该设定值的亮度值设置为第二像素值，以完成对融合图像的二值化处理，得到仅包含有两个数值的蒙版图像。在一些实施例中，上述第一像素值可以设置为0，第二像素值可以设置为255，以得到只有黑白两个颜色的蒙版图像，如图4所示为蒙版图像的示意图。图4中的白色区域(像素值为255)是指前景区域，该前景区域中包含有人像所在的图像区域，也即是该蒙版图像可以扣去人像所述区域，并将人像区域与其他区域分割，因而，在一些实施例中该蒙版图像也可以称为伪抠像图像，虽然蒙版图像中有一部分背景也会判断为秦京区域，但是只要前景区域的人像区域准确即可。
在一些实施例中，对融合图像进行二值化处理，得到蒙版图像的具体过程，还可以为：对二值化处理后的融合图像进行引导滤波处理，得到滤波后的蒙版图像，以使得到的蒙版图像中的前景区域与蒙版图像中前景区域之外的图像区域过度平滑。也即是通过引导滤波处理可以得到前景区域和背景区域(相当于前景区域之外的图像区域)过度平滑的蒙版图像，有利于后续的融合处理，提升图像的整体效果。在具体实现时，上述前景区域可以是指图4中的白色区域，背景区域是指图4中的黑色区域。
步骤S310，对多张初始图像的亮度信息进行融合处理，得到初始亮度信息。
步骤S312，基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息。
步骤S314，基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
上述图像处理方法，该方式不同曝光度的图像之间的明暗特性，可以得到蒙版图像，该蒙版图像可以将原始图像中的前景区域比较好的分割出来，也即是将人像区域比较好的分割出来；然后将蒙版图像中的前景区域与前景区域较好的参考帧图像进行融合，能够对人像起到很好的保护，使融合后的图像的人像区域效果表现更好。同时，该方式无需通过预先训练的模型对前景区域进行分割，可以有效地减小运行时间，提高图像处理效率。
实施例四：
本发明实施例还提供另一种图像处理方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述对所述多张初始图像的亮度信息进行融合处理，得到初始亮度信息的具体过程(通过下述步骤S504-S510实现)，以及基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息的具体过程(通过下述步骤S512实现)；如图5所示，该方法包括如下具体步骤：
步骤S502，获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；该蒙版图像用于指示多张初始图像中的前景区域。
步骤S504，针对多张初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一亮度图。
上述步骤S504的具体实现方式，与上述步骤10的实现方式相同，也即是步骤10中的指定数量的初始图像替换为多张初始图像，将第一亮度图替换为第一融合图像，即为上述步骤S504的实现方式。具体地，得到当前曝光度相邻的两张初始图像的第一亮度图的方式可以参见上述步骤20-21，在此不再赘述。
步骤S506，针对多张初始图像得到的多张第一亮度图中每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图。
步骤S508，将第二亮度图作为新的第一亮度图，继续执行针对每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图的步骤，直到得到一张亮度图为止。
在具体实现时，上步骤S506-S508的具体过程可以参见实施例三中的步骤11-12，在此不再赘述。
步骤S510，将得到的一张亮度图的亮度信息确定为初始亮度信息。
步骤S512，将初始亮度信息与参考帧图像的像素亮度信息，通过蒙版图像进行alpha融合，得到最终亮度信息。
在具体实现时，alpha融合的具体过程可以为：根据蒙版图像中的前景区域，确定出参考帧图像中的前景区域，然后将该参考帧图像中的前景区域对应的像素亮度信息确定为最终亮度信息中前景区域对应的第一亮度信息；根据蒙版图像中除前景区域外的图像区域，确定出初始亮度信息中的除前景区域外的图像区域对应的亮度信息，然后将初始亮度信息中的除前景区域外的图像区域对应的亮度信息确定为最终亮度信息中除前景区域外的图像区域对应的第二亮度信息；整合第一亮度信息和第二亮度信息，得到最终亮度信息。
在一些实施例中，上述蒙版图像中每个像素点的像素值为0或者255；其中，像素值为0时对应的图像区域为黑色，也即是图4中的黑色区域；像素值为255时对应的图像区域为白色，也即是图4中的白色区域，该白色区域为前景区域，从而可以通过下述算式，计算得到最终亮度信息：
new_res＝ev0*(M/255)+(1-M/255)*res；
其中，new_res表示最终亮度信息；ev0表示参考帧图像的像素亮度信息，该像素亮度信息包括参考帧图像中每个像素点的亮度值；M表示蒙版图像中每个像素点的像素值(该像素值为0或者255)；res表示初始亮度信息，该初始亮度信息包括多张初始图像融合后的图像中每个像素点的亮度值。
步骤S514，基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
为了便于对本发明实施例进行理解，下面以获取三张不同曝光度的初始图像为例，对本发明进行进一步介绍。首先获取颜色空间为YUV形式的三张不同曝光度的初始图像，分别为ev+1、ev0和ev-2；其中，ev+1的曝光度为+1，ev0的曝光度为0，ev-2的曝光度为-2；然后在Y通道和UV通道上对这三张初始图像进行拆分处理，Y通道上得到的是初始图像的亮度信息，UV通道上得到的是初始图像的色彩信息。进而，在Y通道上，对从三张初始图像中选取的ev+1和ev-2进行融合处理(也可以称为滤波器融合处理)，得到融合图像，然后对融合图像进行二值化处理，得到蒙版图像(也可以称为图像掩膜)；然后对得到的蒙版图像做引导滤波处理，使蒙版图像中的前景区域和背景区域过度平滑，得到最终蒙版图像。然后，在Y通道上对获取的三张不同曝光度的初始图像进行融合处理，得到初始亮度信息。进而，通过上述计算最终亮度信息的公式，得到最终亮度信息，此时，上述参考帧图像指的是ev0，也即是曝光度为0的初始图像。最后将Y通道中得到的最终亮度信息同UV通道上的参考帧图像的色彩信息进行结合，得到目标图像。
上述图像处理方法，该方式基于不同曝光度的多张图像得到用于指示图像前景区域的蒙版图像，进而通过蒙版图像融合参考帧图像中前景区域的亮度信息和初始亮度信息中的非前景区域，以确保融合后图像中的前景区域与参考帧图像中的一致，从而提高了融合后图像中前景区域的视觉效果，也提升了融合后图像的整体效果。
实施例五：
对应于上述图像处理方法实施例，本发明实施例提供了一种图像处理装置，如图6所示，该装置包括：
图像获取模块60，用于获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域。
第一融合模块61，用于对上述多张初始图像的亮度信息进行融合处理，得到初始亮度信息。
第二融合模块62，用于基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息。
信息整合模块63，用于基于最终亮度信息和参考帧图像的色彩信息，得到目标图像。
其中，上述初始图像的颜色空间为YUV形式，亮度信息为Y通道，色彩信息为UV通道。
进一步地，上述第二融合模块62，用于：将初始亮度信息与参考帧图像的像素亮度信息，通过蒙版图像进行alpha融合，得到最终亮度信息。
在具体实现时，上述蒙版图像中每个像素点的像素值为0或者255；上述第二融合模块62，还用于：通过下述算式，计算得到最终亮度信息：
new_res＝ev0*(M/255)+(1-M/255)*res；
其中，new_res表示最终亮度信息；ev0表示参考帧图像的像素亮度信息；M表示蒙版图像中每个像素点的像素值；res表示初始亮度信息。
具体地，上述图像获取模块60，包括：初始图像获取模块，用于获取在不同曝光度下采集的多张初始图像；其中，每张初始图像对应的一种曝光度；图像选取模块，用于从多张初始图像中，选取指定数量的初始图像；融合处理模块，用于对指定数量的初始图像的亮度信息进行融合处理，得到融合图像；二值化处理模块，用于对融合图像进行二值化处理，得到蒙版图像。
进一步地，上述融合处理模块，用于：针对指定数量的初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一融合图像；针对指定数量的初始图像得到的多张第一融合图像中每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像；将第二融合图像作为新的第一融合图像，继续执行针对每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到当前曝光度相邻的两张第一融合图像的第二融合图像的步骤，直到得到一张最终的融合图像。
进一步地，上述指定数量可以为两个；上述图像选取模块，用于：从多张初始图像中，选取曝光度最大的初始图像和曝光度最小的初始图像。
具体地，上述融合处理模块，还用于：针对当前曝光度相邻的两张初始图像中的每个像素点，执行下述操作：根据当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重；其中，该权重矩阵中包括任意两个亮度值对应的加权权重；根据查到的加权权重和当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定第一融合图像中当前像素点对应的亮度值。
在具体实现时，上述融合处理模块，还用于：从当前曝光度相邻的两张初始图像中，确定第一个初始图像中当前像素点的第一亮度值和第二个初始图像中当前像素点的第二亮度值；将第一亮度值与一的加和，确定为目标列数；将第二亮度值与一的加和，确定为目标行数；根据目标列数和目标行数，确定加权权重在权重矩阵中的位置，将权重矩阵中该位置对应的数值确定为查找到的加权权重。
在一些实施例中，上述融合处理模块，还用于：通过下述算式确定第一融合图像中当前像素点对应的亮度值：
Bi＝w1i*A1i+w2i*A2i；
其中，Bi表示第一融合图像中第i个像素点的亮度值，其中，第i个像素点为当前像素点；w1i表示从权重矩阵中查到的加权权重，为当前曝光度相邻的两张初始图像中第一个初始图像A1中第i个像素点对应的加权权重；w2i表示当前曝光度相邻的两张初始图像中第二个初始图像A2中第i个像素点对应的加权权重，其中，w2i＝1-w1i；A1i表示第一个初始图像A1中第i个像素点的亮度值；A2i表示第二个初始图像A2中第i个像素点的亮度值。
进一步地，上述二值化处理模块，还用于：对二值化处理后的融合图像进行引导滤波处理，得到滤波后的蒙版图像。
进一步地，上述第一融合模块61，用于：针对多张初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到当前曝光度相邻的两张初始图像的第一亮度图；针对多张初始图像得到的多张第一亮度图中每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图；将第二亮度图作为新的第一亮度图，继续执行针对每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到当前曝光度相邻的两张第一亮度图的第二亮度图的步骤，直到得到一张亮度图为止；将得到的一张亮度图的亮度信息确定为初始亮度信息。
上述图像处理装置，首先获取在不同曝光度下采集的多张初始图像，以及多张初始图像对应的蒙版图像；其中，该蒙版图像基于多张初始图像中的至少一部分图像生成；该蒙版图像用于指示多张初始图像中的前景区域；进而对多张初始图像的亮度信息进行融合处理，得到初始亮度信息；再基于蒙版图像，将初始亮度信息和多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；然后基于最终亮度信息和参考帧图像的色彩信息，得到目标图像，也即是融合后的图像。该方式基于不同曝光度的多张图像得到用于指示图像前景区域的蒙版图像，进而通过蒙版图像融合参考帧图像中前景区域的亮度信息和初始亮度信息中的非前景区域，由于参考帧图像中的前景区域效果较好，从而确保了融合后图像中的前景区域与参考帧图像中的前景区域相匹配，从而提高了融合后图像中前景区域的视觉效果，也提升了融合后图像的整体效果。
实施例六：
本发明实施例提供了一种电子***，该电子***包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述图像处理方法，或者上述图像处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子***的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理设备运行时执行如上述图像处理方法。
本发明实施例所提供的图像处理方法、装置和电子***的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取在不同曝光度下采集的多张初始图像，以及所述多张初始图像对应的蒙版图像；其中，所述蒙版图像基于所述多张初始图像中的至少一部分图像生成；所述蒙版图像用于指示所述多张初始图像中的前景区域；
对所述多张初始图像的亮度信息进行融合处理，得到初始亮度信息；
基于所述蒙版图像，将所述初始亮度信息和所述多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；
基于所述最终亮度信息和所述参考帧图像的色彩信息，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述蒙版图像，将所述初始亮度信息和所述多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息的步骤，包括：
将所述初始亮度信息与所述参考帧图像的像素亮度信息，通过所述蒙版图像进行alpha融合，得到最终亮度信息。
3.根据权利要求2所述的方法，其特征在于，所述蒙版图像中每个像素点的像素值为0或者255；所述将所述初始亮度信息与所述参考帧图像的像素亮度信息，通过所述蒙版图像进行alpha融合，得到最终亮度信息的步骤，包括：
通过下述算式，计算得到所述最终亮度信息：
new_res＝ev0*(M/255)+(1-M/255)*res；
其中，new_res表示所述最终亮度信息；ev0表示所述参考帧图像的像素亮度信息；M表示所述蒙版图像中每个像素点的像素值；res表示所述初始亮度信息。
4.根据权利要求1-3任一项所述的方法，其特征在于，获取在不同曝光度下采集的多张初始图像，以及所述多张初始图像对应的蒙版图像的步骤，包括：
获取在不同曝光度下采集的多张初始图像；其中，每张所述初始图像对应的一种曝光度；
从所述多张初始图像中，选取指定数量的所述初始图像；
对所述指定数量的所述初始图像的亮度信息进行融合处理，得到融合图像；
对所述融合图像进行二值化处理，得到所述蒙版图像。
5.根据权利要求4所述的方法，其特征在于，所述指定数量为两个；所述从所述多张初始图像中，选取指定数量的所述初始图像的步骤，包括：
从所述多张初始图像中，选取曝光度最大的初始图像和曝光度最小的初始图像。
6.根据权利要求4所述的方法，其特征在于，所述对所述指定数量的所述初始图像的亮度信息进行融合处理，得到融合图像的步骤，包括：
针对所述指定数量的所述初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到所述当前曝光度相邻的两张初始图像的第一融合图像；
针对所述指定数量的初始图像得到的多张第一融合图像中每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到所述当前曝光度相邻的两张第一融合图像的第二融合图像；
将所述第二融合图像作为新的第一融合图像，继续执行针对每对曝光度相邻的两张第一融合图像，对当前曝光度相邻的两张第一融合图像进行融合处理，得到所述当前曝光度相邻的两张第一融合图像的第二融合图像的步骤，直到得到一张最终的融合图像。
7.根据权利要求6所述的方法，其特征在于，所述对当前曝光度相邻的两张初始图像进行融合处理，得到所述当前曝光度相邻的两张初始图像的第一融合图像的步骤，包括：
针对当前曝光度相邻的两张初始图像中的每个像素点，执行下述操作：
根据所述当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重；其中，所述权重矩阵中包括任意两个亮度值对应的加权权重；
根据查到的所述加权权重和所述当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定所述第一融合图像中所述当前像素点对应的亮度值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述当前曝光度相邻的两张初始图像中当前像素点的亮度值，从预设的权重矩阵中查找加权权重的步骤，包括：
从所述当前曝光度相邻的两张初始图像中，确定第一个所述初始图像中当前像素点的第一亮度值和第二个所述初始图像中当前像素点的第二亮度值；
将所述第一亮度值与一的加和，确定为目标列数；将所述第二亮度值与一的加和，确定为目标行数；
根据所述目标列数和目标行数，确定加权权重在所述权重矩阵中的位置，将所述权重矩阵中所述位置对应的数值确定为查找到的加权权重。
9.根据权利要求7所述的方法，其特征在于，所述根据查到的所述加权权重和所述当前曝光度相邻的两张初始图像中当前像素点的亮度值，确定所述第一融合图像中所述当前像素点对应的亮度值的步骤，包括：
通过下述算式确定所述第一融合图像中所述当前像素点对应的亮度值：
Bi＝w1i*A1i+w2i*A2i；
其中，Bi表示所述第一融合图像中第i个像素点的亮度值，其中，第i个像素点为当前像素点；w1i表示从所述权重矩阵中查到的加权权重，为所述当前曝光度相邻的两张初始图像中第一个所述初始图像A1中第i个像素点对应的加权权重；w2i表示所述当前曝光度相邻的两张初始图像中第二个所述初始图像A2中第i个像素点对应的加权权重，其中，w2i＝1-w1i；A1i表示第一个所述初始图像A1中第i个像素点的亮度值；A2i表示第二个所述初始图像A2中第i个像素点的亮度值。
10.根据权利要求4所述的方法，其特征在于，所述对所述融合图像进行二值化处理，得到所述蒙版图像的步骤，包括：
对二值化处理后的所述融合图像进行引导滤波处理，得到滤波后的所述蒙版图像。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述对所述多张初始图像的亮度信息进行融合处理，得到初始亮度信息的步骤，包括：
针对所述多张初始图像中每对曝光度相邻的两张初始图像，对当前曝光度相邻的两张初始图像进行融合处理，得到所述当前曝光度相邻的两张初始图像的第一亮度图；
针对所述多张初始图像得到的多张第一亮度图中每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到所述当前曝光度相邻的两张第一亮度图的第二亮度图；
将所述第二亮度图作为新的第一亮度图，继续执行针对每对曝光度相邻的两张第一亮度图，对当前曝光度相邻的两张第一亮度图进行融合处理，得到所述当前曝光度相邻的两张第一亮度图的第二亮度图的步骤，直到得到一张亮度图为止；
将得到的所述一张亮度图的亮度信息确定为所述初始亮度信息。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述初始图像的颜色空间为YUV形式，所述亮度信息为Y通道，所述色彩信息为UV通道。
13.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取在不同曝光度下采集的多张初始图像，以及所述多张初始图像对应的蒙版图像；其中，所述蒙版图像基于所述多张初始图像中的至少一部分图像生成；所述蒙版图像用于指示所述多张初始图像中的前景区域；
第一融合模块，用于对所述多张初始图像的亮度信息进行融合处理，得到初始亮度信息；
第二融合模块，用于基于所述蒙版图像，将所述初始亮度信息和所述多张初始图像中的参考帧图像的像素亮度信息进行融合处理，得到最终亮度信息；
信息整合模块，用于基于所述最终亮度信息和所述参考帧图像的色彩信息，得到目标图像。
14.一种电子***，其特征在于，所述电子***包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取预览视频帧或图像数据；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行权利要求1至12任一项所述的图像处理方法。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行权利要求1至12任一项所述的图像处理方法。
CN202110122061.5A 2021-01-28 2021-01-28 图像处理方法、装置和电子*** Pending CN113012081A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110122061.5A CN113012081A (zh) 2021-01-28 2021-01-28 图像处理方法、装置和电子***
PCT/CN2021/132503 WO2022160895A1 (zh) 2021-01-28 2021-11-23 图像处理方法、图像处理装置、电子***及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110122061.5A CN113012081A (zh) 2021-01-28 2021-01-28 图像处理方法、装置和电子***

Publications (1)

Publication Number Publication Date
CN113012081A true CN113012081A (zh) 2021-06-22

Family

ID=76384946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110122061.5A Pending CN113012081A (zh) 2021-01-28 2021-01-28 图像处理方法、装置和电子***

Country Status (2)

Country Link
CN (1) CN113012081A (zh)
WO (1) WO2022160895A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、***及存储介质
WO2022160895A1 (zh) * 2021-01-28 2022-08-04 北京迈格威科技有限公司 图像处理方法、图像处理装置、电子***及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953543B (zh) * 2023-03-14 2023-05-12 北京天图万境科技有限公司 一种逐像素含时序拟物一致性处理的方法及装置
CN116579960B (zh) * 2023-05-06 2023-12-08 广州纳诺科技股份有限公司 一种地理空间数据融合方法
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307117A1 (en) * 2013-04-15 2014-10-16 Htc Corporation Automatic exposure control for sequential images
US20170208234A1 (en) * 2014-07-17 2017-07-20 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
WO2020057198A1 (zh) * 2018-09-20 2020-03-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN112132769A (zh) * 2020-08-04 2020-12-25 绍兴埃瓦科技有限公司 图像融合方法、装置以及计算机设备
CN112150399A (zh) * 2020-09-27 2020-12-29 安谋科技（中国）有限公司 基于宽动态范围的图像增强方法及电子设备
CN112215875A (zh) * 2020-09-04 2021-01-12 北京迈格威科技有限公司 图像处理方法、装置和电子***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012081A (zh) * 2021-01-28 2021-06-22 北京迈格威科技有限公司 图像处理方法、装置和电子***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307117A1 (en) * 2013-04-15 2014-10-16 Htc Corporation Automatic exposure control for sequential images
US20170208234A1 (en) * 2014-07-17 2017-07-20 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
WO2020057198A1 (zh) * 2018-09-20 2020-03-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN112132769A (zh) * 2020-08-04 2020-12-25 绍兴埃瓦科技有限公司 图像融合方法、装置以及计算机设备
CN112215875A (zh) * 2020-09-04 2021-01-12 北京迈格威科技有限公司 图像处理方法、装置和电子***
CN112150399A (zh) * 2020-09-27 2020-12-29 安谋科技（中国）有限公司 基于宽动态范围的图像增强方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张丽芳;周军;: "利用多曝光对图像进行动态范围增强", 数据采集与处理, no. 04 *
张淑芳;丁文鑫;韩泽欣;刘孟娅;郭志鹏;: "采用主成分分析与梯度金字塔的高动态范围图像生成方法", 西安交通大学学报, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160895A1 (zh) * 2021-01-28 2022-08-04 北京迈格威科技有限公司 图像处理方法、图像处理装置、电子***及可读存储介质
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、***及存储介质

Also Published As

Publication number Publication date
WO2022160895A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113012081A (zh) 图像处理方法、装置和电子***
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108734676B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20210344826A1 (en) Image Acquisition Method, Electronic Device, andNon-Transitory Computer Readable Storage Medium
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN112818732B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109242794B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112351195B (zh) 图像处理方法、装置和电子***
CN110443766B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112634183A (zh) 图像处理方法及装置
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN113781370A (zh) 图像的增强方法、装置和电子设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN108401109B (zh) 图像获取方法、装置、存储介质及电子设备
CN108881876B (zh) 对图像进行白平衡处理的方法、装置和电子设备
CN112822413A (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
CN109040598B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107481199B (zh) 图像去雾处理方法、装置、存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination