WO2023124202A1 - 图像处理方法与电子设备 - Google Patents

图像处理方法与电子设备 Download PDF

Info

Publication number
WO2023124202A1
WO2023124202A1 PCT/CN2022/117326 CN2022117326W WO2023124202A1 WO 2023124202 A1 WO2023124202 A1 WO 2023124202A1 CN 2022117326 W CN2022117326 W CN 2022117326W WO 2023124202 A1 WO2023124202 A1 WO 2023124202A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure
preset
value
images
Prior art date
Application number
PCT/CN2022/117326
Other languages
English (en)
French (fr)
Inventor
肖斌
陆洋
朱聪超
Original Assignee
荣耀终端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荣耀终端有限公司 filed Critical 荣耀终端有限公司
Priority to EP22854495.3A priority Critical patent/EP4228236A4/en
Publication of WO2023124202A1 publication Critical patent/WO2023124202A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • an image processing method which is applied to electronic equipment, including:
  • the long-exposure images included in the first image sequence can be screened by the first preset exposure value; the short-exposure images included in the first image sequence can be screened by the second preset exposure value filter.
  • the fusion image includes a ghost area
  • the ghost area is an image area including ghosts in the fusion image
  • the first target exposure image includes at least two frames of images
  • FIG. 6 is a schematic flowchart of an image processing method provided by an embodiment of the present application.
  • a high dynamic range image is an image obtained by synthesizing images with different exposure times and using the best details included in the images of each exposure time; high dynamic range images can provide more dynamic range and image details, and can better accurately reflect the visual effects in the real environment.
  • Exposure value Exposure value, EV
  • a memory may also be provided in the processor 110 for storing instructions and data.
  • the memory in processor 110 is a cache memory.
  • the memory may hold instructions or data that the processor 110 has just used or recycled. If the processor 110 needs to use the instruction or data again, it can be directly recalled from the memory. Repeated access is avoided, and the waiting time of the processor 110 is reduced, thereby improving the efficiency of the system.
  • Antenna 1 and Antenna 2 are used to transmit and receive electromagnetic wave signals.
  • Each antenna in device 100 may be used to cover single or multiple communication frequency bands. Different antennas can also be multiplexed to improve the utilization of the antennas.
  • Antenna 1 can be multiplexed as a diversity antenna of a wireless local area network.
  • the antenna may be used in conjunction with a tuning switch.
  • the camera algorithm library may include the software algorithm of the image processing method provided in the embodiment of the present application; when the software algorithm of the image processing method in the camera algorithm library is called, the image processing method provided in the embodiment of the present application is executed.
  • the middle exposure image may refer to an image whose exposure value is a standard exposure value (for example, EVO); the long exposure image may refer to an image whose exposure value is greater than the standard exposure value;
  • the exposure time is relatively long, so when the long-exposure image is acquired, the amount of light entering the electronic device is more, and the dark area of the medium-exposure image can be improved through the long-exposure image;
  • the short-exposure image can refer to an image whose exposure value is less than the standard exposure value; Since the exposure time of the short-exposure image is shorter than that of the medium-exposure image, the amount of light entering the electronic device is less when acquiring the short-exposure image, and the detail information of the overexposed area of the medium-exposure image can be improved through the short-exposure image.
  • the preset exposure value may include a first preset exposure value and/or a second preset exposure value; wherein, the first preset exposure value may refer to a preset exposure value of the first long exposure image; the second The preset exposure value may refer to the preset exposure value of the first short exposure image.
  • the reference image can be any frame image in the first middle-exposure image in the first image sequence; according to the mask
  • the fused image is processed to obtain a third image.
  • High dynamic range images are post-processed.
  • a pixel-by-pixel comparison of the reference image and the short-exposure image is performed to obtain an 8-bit grayscale image; in the grayscale image, the pixel value of the pixel in the reference image that is overexposed and whose pixel value is greater than that of the short-exposure image is set to 255; Wherein, 255 is used to indicate that the confidence level of the pixel is a ghost image is 1; each pixel value in the grayscale image can be used to indicate the confidence level of the pixel being a ghost image.
  • the preset exposure value includes a preset long exposure value of EV2, and a preset short exposure value of EV-2;
  • the first image sequence includes 5 frames of medium-exposure images, 3 frames of short-exposure images, and 2 frames of long-exposure images;
  • the exposure value of the first frame of short exposure image is EV-2;
  • the exposure value of the second frame of short exposure image is EV-3;
  • the exposure value of the third frame of short exposure image is EV-2;
  • Exposure preset value EV-2 you can select the first frame short exposure image and the third frame short exposure image from the 3 frames short exposure images; keep the first frame short exposure image and the third frame short exposure image, do not keep The second short-exposure image;
  • the exposure value of the first long-exposure image in the two-frame long-exposure image is EV3, and the exposure value of the second long-exposure image is EV2.
  • the obtained second image sequence may only include medium-exposure images.
  • Step S704 outputting a high dynamic range image.
  • processing module 1002 is further configured to:
  • the present application also provides a computer-readable storage medium, on which a computer program is stored, and when the computer program is executed by a computer, the image processing method described in any method embodiment in the present application is implemented.
  • the computer program may be a high-level language program or an executable object program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法与电子设备，涉及图像处理领域；该图像处理方法应用于电子设备，图像处理方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像序列，第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；对第一图像序列进行预处理，得到第二图像序列，预处理用于筛选第一图像序列中满足预设条件的图像，第二图像序列包括第二中曝光图像和第二短曝光图像；对第二图像序列进行融合处理，得到融合图像，融合图像包括鬼影区域，鬼影区域为融合图像中包括鬼影的图像区域；对融合图像进行处理，得到第三图像。基于本申请的技术方案，能够去除高动态范围图像中的鬼影。

Description

图像处理方法与电子设备
本申请要求于2021年12月29交国家知识产权局、申请号为202111644641.7、申请名称为“图像处理方法与电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理领域，具体地，涉及一种图像处理方法与电子设备。
背景技术
高动态范围图像(high-dynamic range，HDR)技术扩大了图像的动态范围，使得获取的图像能够同时包括拍摄场景中亮部区域与暗部区域的细节信息，提高了图像的质量。目前，常见的方法是通过融合多帧不同曝光时间的图像，从而合成一帧高动态范围图像；但是，由于获取不同曝光时间的图像时，拍摄场景中的拍摄对象可能会发生移动或者电子设备产生了抖动等，使得不同曝光时间的图像之间存在图像内容的差异，导致合成的高动态范围图像中出现鬼影等问题。
因此，如何去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量成为一个亟需解决的问题。
发明内容
本申请提供了一种图像处理方法与电子设备，能够去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量。
第一方面，提供了一种图像处理方法，应用于电子设备，包括：
显示第一界面，第一界面包括第一控件；
检测到对第一控件的第一操作；
响应于第一操作，获取第一图像序列，第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；
对第一图像序列进行预处理，得到第二图像序列，其中，预处理用于筛选第一图像序列中满足预设条件的图像，第二图像序列包括第二中曝光图像和第二短曝光图像；
对第二图像序列进行融合处理，得到融合图像，融合图像包括鬼影区域，鬼影区域为融合图像中包括鬼影的图像区域；
对融合图像进行处理，得到第三图像，第三图像包括部分融合图像，第三图像不包括鬼影区域。
可选地，在一种可能的实现方式中，第一界面可以是指拍照界面，第一控件可以是指拍照界面中用于指示拍照的控件；第一操作可以是指对指示拍照的控件的点击操作。
可选地，在一种可能的实现方式中，第一界面可以是指视频录制界面，第一控件可以是指视频录制界面中用于指示录制视频的控件；第一操作可以是指对指示录制视频的控件的点击操作。可选地，在一种可能的实现方式中，第一界面可以是指视频通话界面，第一控件可以是指视频通话界面中用于指示视频通话的控件；第一操作可以是指对指示视频通话的控件的点击操作。
应理解，上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。
可选地，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列；例如，第一图像序列可以是指在开启高动态范围图像的拍摄模式下，电子设备中的图像传感器采集的图像序列。第一图像序列中可以包括短曝光图像、中曝光图像与长曝光图像。
应理解，中曝光图像可以是指曝光值为标准曝光值(例如，EV0)的图像；长曝光图像可以是指曝光值大于标准曝光值的图像；短曝光图像可以是指曝光值小于标准曝光值的图像。
还应理解，第三图像包括部分融合图像可以是指第三图像与融合图像具有部分图像内容相同的图像区域；第三图像可以是指对融合图像进行去除鬼影区域后得到的图像；例如，第三图像可以是指去除鬼影的高动态范围图像。在本申请的实施例中，通过对获取的第一图像序列进行预处理，可以第一图像序列中筛选满足预设条件的图像得到第二图像序列；通过对第二图像序列进行融合处理，得到融合图像；对融合图像进行处理，得到第三图像；第三图像包括部分融合图像且不包括鬼影区域；在本申请的实施例中，由于在进行融合处理之前，可以对第一图像序列中的图像进行筛选，得到满足预设条件的第二图像序列；因此，可以避免直接对第一图像序列进行融合处理导致的图像帧之间的内容差异过大而引入的鬼影问题；此外，在本申请的实施例中，可以对融合图像进行进一步处理，从而确保输出的融合图像为去除鬼影的高动态范围图像。
由于第二图像序列是通过对第一图像序列中的曝光图像进行筛选后得到的，因此能够在一定程度上避免融合模型输出的融合图像中出现鬼影区域，提高高动态范围图像的图像质量。
结合第一方面，在第一方面的某些实现方式中，对融合图像进行处理，得到第三图像，包括：
对参考图像与第二短曝光图像进行鬼影检测处理，得到掩膜，参考图像为第一中曝光图像中的任意一帧图像；
根据掩膜对融合图像进行处理，得到第三图像。
在本申请的实施例中，对于一些大范围的鬼影，例如短曝光图像中对应的拍摄对象在参考图像的过曝区域中发生移动产生的鬼影；在预处理过程可能未检测到，导致融合后的高动态范围图像中还存在部分鬼影区域，在本申请的实施例中可以通过对第三图像(例如，高动态范围图像)的进一步处理，得到去鬼影的高动态范围图像。
结合第一方面，在第一方面的某些实现方式中，根据掩膜对融合图像进行处理， 得到第三图像，包括：
根据掩膜确定融合图像中的鬼影区域；
根据空洞填充算法对鬼影区域进行处理，得到第三图像。
结合第一方面，在第一方面的某些实现方式中，预设条件包括第一预设条件，第一预设条件是指第一图像序列中图像的曝光值为预设曝光值，对第一图像序列进行预处理，得到第二图像序列，包括：
筛选第一图像序列中满足第一预设条件的第一目标曝光图像，第一目标曝光图像包括至少两帧图像；
基于第一目标曝光图像得到第二图像序列。
在本申请的实施例中，预设条件可以包括第一预设条件，根据预设曝光值可以从第一图像序列中确定与预设曝光值相等的第一目标曝光图像；根据第一目标曝光图像可以得到第二图像序列。
结合第一方面，在第一方面的某些实现方式中，预设曝光值包括第一预设曝光值和/或第二预设曝光值；第一预设曝光值是指第一长曝光图像的预设曝光值；第二预设曝光值是指第一短曝光图像的预设曝光值。
可选地，第一预设曝光值可以是指一个预设数值，或者，预设曝光值的范围。
可选地，第二预设曝光值可以是指一个预设数值，或者，预设曝光值的范围。
在本申请的实施例中，通过第一预设曝光值可以对第一图像序列中包括的长曝光图像进行筛选；通过第二预设曝光值可以对第一图像序列中包括的短曝光图像进行筛选。
结合第一方面，在第一方面的某些实现方式中，预设条件包括第二预设条件，第二预设条件是指第一目标曝光图像中的图像与参考图像的相同图像内容的比例为预设比例值，基于第一目标曝光图像得到第二图像序列，包括：
对第一目标曝光图像与参考图像进行比较，得到比例值，比例值用于表示与参考图像的相同图像内容的比例大小；
根据比例值，筛选第一目标曝光图像中满足第二预设条件的第二目标曝光图像；
由第二目标曝光图像组成第二图像序列。
在本申请的实施例中，预设条件可以包括第一预设条件与第二预设条件；可以通过预设曝光值对第一图像序列中的曝光图像进行筛选，得到第一目标曝光图像；通过预设比例值对第一目标曝光图像进行筛选，得到第二目标曝光图像；由第二目标曝光图像组成第二图像序列。
结合第一方面，在第一方面的某些实现方式中，对第二图像序列进行融合处理，得到融合图像，包括：
将第二图像序列输入至融合模型，得到融合图像；融合模型用于对第二图像序列进行融合处理。
可选地，在本申请的实施例中，融合模型可以为预先训练的神经网络。
结合第一方面，在第一方面的某些实现方式中，融合模型为卷积神经网络。
结合第一方面，在第一方面的某些实现方式中，在检测到对第一控件的第一操作之前，还包括：
检测到第二操作，第二操作用于指示开启电子设备的高动态范围图像的拍摄模式。
结合第一方面，在第一方面的某些实现方式中，在检测到对第一控件的第一操作之前，还包括：
获取预览图像；
根据预览图像确定第一数值，第一数值用于表示预览图像中过曝区域的比例大小；
根据第一数值确定开启电子设备的高动态范围图像的拍摄模式。
可选地，预览图像可以是指用户打开相机且未按下拍照/录像按钮之前，电子设备的显示屏上实时显示的图像。
可选地，第一数值可以是指预览图像的动态范围值。
在本申请的实施例中，在检测到用户对第一控件的第一操作之前，电子设备可以开启高动态范围图像的拍摄模式；例如，电子设备可以根据获取的预览图像的动态范围(dynamic range，DR)值，自动确定是否开启高动态范围图像的拍摄模式。
第二方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
显示第一界面，所述第一界面包括第一控件；
检测到对所述第一控件的第一操作；
响应于所述第一操作，获取第一图像序列，所述第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；
对所述第一图像序列进行预处理，得到第二图像序列，其中，所述预处理用于筛选所述第一图像序列中满足预设条件的图像，所述第二图像序列包括第二中曝光图像和第二短曝光图像；
对所述第二图像序列进行融合处理，得到融合图像，所述融合图像包括鬼影区域，所述鬼影区域为所述融合图像中包括鬼影的图像区域；
对所述融合图像进行处理，得到第三图像，所述第三图像包括部分所述融合图像，所述第三图像不包括所述鬼影区域。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
对参考图像与所述第二短曝光图像进行鬼影检测处理，得到掩膜，所述参考图像为所述第一中曝光图像中的任意一帧图像；
根据所述掩膜对所述融合图像进行处理，得到所述第三图像。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
根据所述掩膜确定所述融合图像中的所述鬼影区域；
根据空洞填充算法对所述鬼影区域进行处理，得到所述第三图像。
结合第二方面，在第二方面的某些实现方式中，所述预设条件包括第一预设条件，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
筛选所述第一图像序列中满足所述第一预设条件的第一目标曝光图像，所述第一 目标曝光图像包括至少两帧图像；
基于所述第一目标曝光图像得到所述第二图像序列。
结合第二方面，在第二方面的某些实现方式中，所述预设曝光值包括第一预设曝光值和/或第二预设曝光值；所述第一预设曝光值是指所述第一长曝光图像的预设曝光值；所述第二预设曝光值是指所述第一短曝光图像的预设曝光值。
结合第二方面，在第二方面的某些实现方式中，所述预设条件包括第二预设条件，所述第二预设条件是指所述第一目标曝光图像中的图像与所述参考图像的相同图像内容的比例为预设比例值，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
对所述第一目标曝光图像与所述参考图像进行比较，得到比例值，所述比例值用于表示与所述参考图像的相同图像内容的比例大小；
根据所述比例值，筛选所述第一目标曝光图像中满足所述第二预设条件的第二目标曝光图像；
由所述第二目标曝光图像组成所述第二图像序列。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
将所述第二图像序列输入至融合模型，得到所述融合图像；所述融合模型用于对所述第二图像序列进行融合处理。
结合第二方面，在第二方面的某些实现方式中，所述融合模型为卷积神经网络。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
检测到第二操作，所述第二操作用于指示开启所述电子设备的高动态范围图像的拍摄模式。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
获取预览图像；
根据所述预览图像确定第一数值，所述第一数值用于表示所述预览图像中过曝区域的比例大小；
根据所述第一数值确定开启所述电子设备的高动态范围图像的拍摄模式。
结合第二方面，在第二方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。
结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。
第三方面，提供一种电子设备，包括用于执行第一方面或第一方面中任一种图像处理方法的模块/单元。
第四方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器、存储器与显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机 程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种图像处理方法。
第五方面，提供了一种芯片***，所述芯片***应用于电子设备，所述芯片***包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种图像处理方法。
第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任一种图像处理方法。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任一种图像处理方法。
在本申请的实施例中，通过对获取的第一图像序列进行预处理，可以在第一图像序列中筛选满足预设条件的图像得到第二图像序列；通过对第二图像序列进行融合处理，得到融合图像；对融合图像进行处理，得到第三图像；第三图像包括部分融合图像且不包括鬼影区域；在本申请的实施例中，由于在进行融合处理之前，可以对第一图像序列中的图像进行筛选，得到满足预设条件的第二图像序列；因此，可以避免直接对第一图像序列进行融合处理导致的图像帧之间的内容差异过大而引入的鬼影问题；此外，在本申请的实施例中，可以对融合图像进行进一步处理，从而确保输出的融合图像为去除鬼影的高动态范围图像。
附图说明
图1是一种适用于本申请的装置的硬件***的示意图；
图2是一种适用于本申请的电子设备的软件***的示意图；
图3是一种适用于本申请实施例的应用场景的示意图；
图4是本申请实施例提供的图像处理方法的示意性流程图；
图5是本申请实施例提供的图像内容的示意图；
图6是本申请实施例提供的图像处理方法的示意性流程图；
图7是本申请实施例提供的后处理的示意性流程图；
图8是本申请实施例提供的图像处理方法的示意性流程图；
图9是本申请实施例提供的图像处理方法的示意性流程图；
图10是本申请实施例提供的图像处理方法的效果示意图；
图11是一种适用于本申请实施例的图形用户界面的示意图；
图12是一种适用于本申请实施例的图形用户界面的示意图；
图13是一种适用于本申请实施例的电子设备的结构示意图；
图14是一种适用于本申请实施例的电子设备的结构示意图。
具体实施方式
在本申请的实施例中，以下术语“第一”、“第二”、“第三”等仅用于描述目 的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。
1、高动态范围图像(high dynamic range，HDR)
高动态范围图像是根据不同曝光时间的图像，并利用每个曝光时间的图像中包括的最佳细节进行合成得到的图像；高动态范围图像可以提供更多的动态范围和图像细节，能够更好地反映出真实环境中的视觉效果。
2、曝光时间
曝光时间是指相机从开启快门到关闭快门的时间间隔。
3、曝光值(exposure value，EV)
曝光值表示能够给出同样曝光的所有相机光圈快门组合。
4、动态范围(dynamic range，DR)值
DR值用于表示通过主摄像头模组获取的预览图像中过曝区域所占整个图像的比例信息。
5、鬼影
鬼影是指拍摄场景并不存在而出现在拍摄场景的图像中的异常区域；例如，由于在拍摄过程中存在抖动或者拍摄物体的运动，导致多帧图像之间的图像内容差异过大；通过对多帧图像进行融合得到融合图像，融合图像中出现的拍摄场景中不存在的异常区域为鬼影。
6、膨胀与腐蚀
腐蚀和膨胀是指对图像中的白色部分(高亮部分)进行的处理；其中，腐蚀运算类似于中值平滑处理，选取每个像素位置的一个邻域内的最小值；膨胀运算与腐蚀运算的原理相似，膨胀运算是选取每个像素位置邻域内的最大值作为输出的灰度值。
7、空洞填充算法
由于物体在多帧图像帧之间存在运动，导致对多帧图像进行融合得到的融合图像中存在部分信息丢失的区域，将信息丢失的区域可以称为空洞；空洞填充算法是指检测出信息丢失的区域，并对信息丢失的区域进行填充的算法；例如，可以使用滤波对信息丢失的区域进行填充。
8、掩膜(mask)
通过选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，从而控制图像的处理区域，其中用于遮挡的选定图像或者物体称为掩膜或模板。
9、神经网络
神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
10、卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神 经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。
11、反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
下面将结合附图，对本申请实施例中图像处理方法与电子设备进行描述。
图1示出了一种适用于本申请的装置的硬件***。
装置100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对装置100的具体类型不作任何限制。
装置100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图1所示的结构并不构成对装置100的具体限定。在本申请另一些实施例中，装置100可以包括比图1所示的部件更多或更少的部件，或者，装置100可以包括图1所示的部件中某些部件的组合，或者，装置100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直 接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
示例性地，处理器110可以用于执行本申请实施例的图像处理方法；显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像序列，所述第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；对所述第一图像序列进行预处理，得到第二图像序列，其中，所述预处理用于筛选所述第一图像序列中满足预设条件的图像，所述第二图像序列包括第二中曝光图像和第二短曝光图像；对所述第二图像序列进行融合处理，得到融合图像，所述融合图像包括鬼影区域，所述鬼影区域为所述融合图像中包括鬼影的图像区域；对所述融合图像进行处理，得到第三图像，所述第三图像包括部分所述融合图像，所述第三图像不包括所述鬼影区域。
图1所示的各模块间的连接关系只是示意性说明，并不构成对装置100的各模块间的连接关系的限定。可选地，装置100的各模块也可以采用上述实施例中多种连接方式的组合。
装置100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。装置100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
装置100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
装置100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，装置100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其 他数字信号。例如，当装置100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。装置100可以支持一种或多种视频编解码器。这样，装置100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。
陀螺仪传感器180B可以用于确定装置100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定装置100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测装置100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消装置100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
加速度传感器180E可检测装置100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当装置100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别装置100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
距离传感器180F用于测量距离。装置100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，装置100可以利用距离传感器180F测距以实现快速对焦。
环境光传感器180L用于感知环境光亮度。装置100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测装置100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。装置100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于装置100的表面，并且与显示屏194设置于不同的位置。
上文详细描述了装置100的硬件***，下面介绍图像装置100的软件***。
图2是本申请实施例提供的电子设备的软件***的示意图。
如图2所示，***架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用框架层220为应用层的应用程序提供应用程序编程接口(application programming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。
例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用 于提供访问相机的接口。
硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包括相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的算法。
示例性地，相机算法库中可以包括本申请实施例提供的图像处理方法的软件算法；在相机算法库中的图像处理方法的软件算法被调用时，执行本申请实施例提供的图像处理方法。
驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动；数字信号处理器驱动、图形处理器驱动或者中央处理器驱动。
硬件层250可以包括相机设备以及其他硬件设备。
例如，硬件层250包括但不限于：相机设备、数字信号处理器、图形处理器或者中央处理器。
目前，通过融合多帧不同曝光时间的图像帧从而合成一帧高动态范围图像；但是，由于获取不同曝光时间的图像帧时，拍摄场景中的物体可能会发生移动或者电子设备产生了抖动等，使得不同曝光时间的图像帧之间存在图像内容的差异，即不同曝光时间的图像帧的图像内容不一致；由于不同曝光时间的图像帧的图像内容不一致，因此通过融合多帧不同曝光时间的图像帧合成的高动态范围图像中会出现鬼影等问题。
有鉴于此，本申请实施例提供了一种图像处理方法，通过对获取的第一图像序列进行预处理，可以从第一图像序列中确定满足预设条件的曝光图像，从而在一定程度上能够避免直接对第一图像序列进行融合处理出现的鬼影区域；此外，在本申请的实施例中，在第二图像序列中包括短曝光图像的情况下，还可以对融合图像进行进一步处理，从而确保输出的高动态范围图像为去除鬼影的高动态范围图像；因此，通过本申请实施例提供的图像处理方法，能够去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量。
下面结合图3对本申请实施例提供的图像处理方法的应用场景进行举例说明。
示例性地，本申请实施例中的图像处理方法可以应用于拍照领域(例如，单景拍照、双景拍照等)；例如，如图3所示，在电子设备开启高动态范围图像的拍摄模式进行拍照时，可以采用本申请实施例提供的图像处理方法对获取的图像序列进行图像处理，输出去鬼影的高动态范围图像。
上述图3所示的场景为举例描述，本申请实施例提供的图像处理方法还可以应用于视频领域，视频领域可以包括但不限于以下场景中：
视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、***相机录像功能录制视频、视频监控场景等。
应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。
下面结合图4至图12对本申请实施例提供的图像处理方法进行详细描述。
图4是本申请实施例提供的图像处理方法的示意图。
应理解，图4所示的图像处理方法可以由图1所示的装置；图4所示的方法包括步骤S310至步骤S360，下面分别对步骤S310至步骤S360进行详细的描述。
步骤S310、显示第一界面，第一界面包括第一控件。
在一个示例中，第一界面可以是指拍照界面，第一控件可以是指拍照界面中用于 指示拍照的控件。
在一个示例中，第一界面可以是指视频录制界面，第一控件可以是指视频录制界面中用于指示录制视频的控件。
在一个示例中，第一界面可以是指视频通话界面，第一控件可以是指视频通话界面中用于指示视频通话的控件。
步骤S320、检测到对第一控件的第一操作。
可选地，在第一控件为指示拍照的控件时，第一操作可以是指对指示拍照的控件的点击操作。
可选地，在第一控件为指示录制视频的控件时，第一操作可以是指对指示录制视频的控件的点击操作。
可选地，在第一控件为指示视频通话的控件时，第一操作可以是指对指示视频通话的控件的点击操作。
应理解，上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。
在本申请的实施例中，在检测到用户对第一控件的第一操作之前，电子设备可以开启高动态范围图像的拍摄模式；例如，电子设备可以是根据检测到的第二操作开启高动态范围图像的拍摄模式；或者，电子设备可以根据获取的预览图像的动态范围(dynamic range，DR)值，自动确定是否开启高动态范围图像的拍摄模式。
在一个示例中，电子设备检测到第二操作，第二操作用于指示开启所述电子设备的高动态范围图像的拍摄模式；响应于第二操作，电子设备开启高动态范围图像的拍摄模式。
在一个示例中，电子设备可以获取预览图像；根据预览图像确定第一数值，第一数值可以是指预览图像的DR值，DR值可以用于指示预览图像中过曝区域的比例大小；电子设备可以根据预览图像的DR值确定开启高动态范围图像的拍摄模式。
例如，在预览图像的DR值大于预设DR值时，电子设备可以开启高动态范围图像的拍摄模式。
示例性地，如图2所示，相机设备中可以包括自动曝光(automatic exposure，AE)模块，自动曝光模块可以根据预览图像确定预览图像的DR值；硬件抽象层230中可以包括决策模块，决策模块可以根据预览图像的DR值等确定采样的图像处理算法；比如，图像传感器可以获取预览图像，自动曝光模块可以确定预览图像的DR值；在预览图像的DR值大于预设DR值的情况下，决策模块可以确定采用本申请实施例提供的图像处理方法进行图像处理。
应理解，对于8bit的图像而言，图像中的过曝区域可以是指像素值大于255的区域。
步骤S330、响应于第一操作，获取第一图像序列。
其中，第一图像序列中可以包括第一长曝光图像、第一中曝光图像与第一短曝光图像。
应理解，第一图像序列可以是指电子设备的图像传感器采集的不同曝光时间的图 像序列。
示例性地，第一图像序列中可以包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
应理解，中曝光图像可以是指曝光值为标准曝光值(例如，EV0)的图像；长曝光图像可以是指曝光值大于标准曝光值的图像；由于长曝光图像的曝光时间与中曝光图像的曝光时间相比较长，因此在获取长曝光图像时电子设备的进光量较多，可以通过长曝光图像改善中曝光图像的暗光区域；短曝光图像可以是指曝光值小于标准曝光值的图像；由于短曝光图像的曝光时间与中曝光图像的曝光时间相比较短，因此在获取短曝光图像时电子设备的进光量较少，可以通过短曝光图像改善中曝光图像的过曝区域的细节信息。
步骤S340、对第一图像序列进行预处理，得到第二图像序列。
其中，预处理用于筛选第一图像序列中满足预设条件的图像，第二图像序列中包括第二中曝光图像与第二短曝光图像。
可选地，第二中曝光图像可以是指第一图像序列中包括的第一中曝光图像中的部分或者全部图像；第二短曝光图像可以是指第一图像序列中包括的第一短曝光图像中的部分或者全部。
例如，若第一短曝光图像中的图像满足预设条件，则第二短曝光图像即为第一短曝光。
例如，若第一短曝光图像中的部分图像满足预设条件，则第一短曝光图像中满足预设条件的图像为第二短曝光图像。
可选地，预设条件可以包括第一预设条件，第一预设条件是指第一图像序列中图像的曝光值为预设曝光值，对第一图像序列进行预处理，得到第二图像序列，包括：
筛选第一图像序列中满足第一预设条件的第一目标曝光图像，第一目标曝光图像包括至少两帧图像；基于第一目标曝光图像得到第二图像序列。
在本申请的实施例中，预设条件可以包括第一预设条件，根据第一预设条件可以从第一图像序列中确定与预设曝光值相等的第一目标曝光图像；根据第一目标曝光图像可以得到第二图像序列。
可选地，预设曝光值可以包括第一预设曝光值和/或第二预设曝光值；其中，第一预设曝光值可以是指第一长曝光图像的预设曝光值；第二预设曝光值可以是指第一短曝光图像的预设曝光值。
示例性地，预设曝光值可以包括第一预设曝光值与第二预设曝光值；或者，预设曝光值可以包括第一预设曝光值；或者，预设曝光值可以包括第二预设曝光值。
在一个示例中，预设曝光值中可以包括第一预设曝光值(例如，EV2)与第二预设曝光值(例如，EV-2)；第一图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；3帧短曝光图像中第一帧短曝光图像的曝光值为EV-2；第二帧短曝光图像的曝光值为EV-3；第三帧短曝光图像的曝光值为EV-2；根据第二预设曝光值EV-2，则可以从3帧短曝光图像中选择出第一帧短曝光图像与第三帧短曝光图像；保留第一帧短曝光图像与第三帧短曝光图像，不保留第二帧短曝光图像；类似地，2帧长曝光图像中第一帧长曝光图像的曝光值为EV3，第二帧长曝光图像的曝光值为EV2， 根据第一预设曝光值EV2，则可以从2帧长曝光图像中选择出第二帧长曝光图像；因此，根据第一预设条件对图像序列进行曝光值筛选，得到的第一目标曝光图像；第一目标曝光图像可以包括5帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
应理解，上述是以图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像，第一预设曝光值为EV2，第二预设曝光值为EV-2进行举例说明；本申请实施例对图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对第一预设曝光值与第二预设曝光值也不作任何限定。
示例性地，第一预设曝光值与第二预设曝光值可以是指预设数值；或者，第一预设曝光值与第二预设曝光值可以是指曝光值的预设范围。例如，第一预设曝光值可以是指EV4等，或者，第一预设曝光值可以是指EV0～EV4；第二预设曝光值可以是指EV-4或EV-6等，或者，第二预设曝光值可以是指EV-6～EV0。
可选地，预设曝光值还可以包括第三预设曝光值，所述第三预设曝光值可以是指中曝光图像的预设曝光值。
在一个示例中，预设曝光值可以包括第一预设曝光值、第二预设曝光值与第三预设曝光值。
例如，第一图像序列中可以包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；可以通过第一预设曝光值、第二预设曝光值和第三预设曝光值分别对2帧长曝光图像、5帧中曝光图像与3帧短曝光图像进行筛选；保留与预设曝光值相等的曝光图像，得到第一目标曝光图像。
可选地，在一种可能的实现方式中，预设条件还包括第二预设条件；第二预设条件是指与参考图像的相同图像内容的比例为预设比例值，基于所述第一目标曝光图像得到第二图像序列，包括：
对第一目标曝光图像与参考图像进行比较，得到比例值，比例值用于表示与参考图像的相同图像内容的比例大小；根据比例值，筛选第一目标曝光图像中满足第二预设条件的第二目标曝光图像；由第二目标曝光图像组成第二图像序列。
可选地，参考图像可以是指第一中曝光图像中的任意一帧图像；例如，参考图像可以是指第一中曝光图像中的第一帧图像；或者，参考图像可以是指第一中曝光图像中的第三帧图像。
示例性地，第一图像序列中可以包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像；根据第一预设条件可以确定4帧中曝光图像、1帧短曝光图像与1帧长曝光图像为第一目标曝光图像；假设，第二预设条件是指图像与参考图像的相同图像内容的比例的预设比例值为80％，分别确定4帧中曝光图像、1帧短曝光图像与1帧长曝光图像中每帧图像与参考图像相同图像内容的比例大小；将相同图像内容的比例值大于或者等于预设比例值的图像保留，得到第二目标曝光图像。例如，4帧中曝光图像中第一帧中曝光图像、第二帧中曝光图像、第三帧中曝光图像与第四帧中曝光图像的比例值分别为90％、70％、82％与75％，根据第二预设条件中的预设比例值为80％，则可以从4帧中曝光图像中保留第一帧中曝光图像与第三帧中曝光图像；2帧短曝光图像中的第一帧短曝光图像与第二帧短曝光图像的像素比例值分别为82％与83％，则保留2帧短曝光图像；1帧长曝光图像的像素比例值为83％，则保留1帧长曝光图像； 由第一帧中曝光图像、第三帧中曝光图像、2帧短曝光图像与1帧长曝光图像组成第二图像序列。
例如，如图5所示，图5中的(a)表示参考图像的图像内容；图5中的(b)表示第一帧中曝光图像的图像内容；图5中的(c)表示第二帧中曝光图像的图像内容；根据图5中的(a)与图5中的(b)可以看出(例如a部分内容对应的拍摄物体在拍摄时发生运动)，第一帧中曝光图像与参考图像的相同图像内容为第二列像素位置至第十列像素位置，即第一帧中曝光图像与参考图像的相同图像内容的比例为90％；类似地，根据图5中的(a)与图5中的(c)可以看出(例如a、b和c部分内容对应的拍摄物体在拍摄时发生运动)，第二帧中曝光图像与参考图像的相同图像内容为第四列像素位置至第十列像素位置，即第一帧中曝光图像与参考图像的相同图像内容的比例为70％。
应理解，上述是以图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像，预设比例值为80％进行举例说明；本申请实施例对图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对预设比例值大小也不作任何限定。
可选地，对于第一图像序列中不满足预设条件(例如，不等于预设曝光值或者小于预设比例值)的图像可以不保留；比如，可以将第一图像序列中不满足预设条件的曝光图像的像素置为零。
示例性地，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列；例如，第一图像序列可以是指在开启电子设备的高动态范围图像的拍摄模式后，电子设备中图像传感器采集的图像序列；通过第一预设条件与第二预设条件可以对第一图像序列进行筛选，得到第二图像序列；其中，第二图像序列中可以包括中曝光图像；或者，第二图像序列中可以包括中曝光图像和长曝光图像；或者，第二图像序列中可以包括中曝光图像和短曝光图像；或者，第二图像序列中可以包括中曝光图像、长曝光图像和短曝光图像。
步骤S350、对第二图像序列进行融合处理，得到融合图像。
其中，融合图像中包括鬼影区域，鬼影区域为融合图像中包括鬼影的图像区域。
应理解，鬼影可以是指拍摄场景并不存在而出现在拍摄场景的图像中的异常区域；例如，由于在拍摄过程中存在抖动或者拍摄物体的运动，导致多帧图像之间的图像内容差异过大；通过对多帧图像进行融合得到融合图像，融合图像中出现的拍摄场景中不存在的异常区域为鬼影。
可选地，可以将第二图像序列输入至融合模型，得到融合图像；融合模型用于对第二图像序列进行融合处理。
示例性地，融合模型可以是指预先训练的卷积神经网络。
步骤S360、对融合图像进行处理，得到第三图像。
其中，第三图像包括部分融合图像，第三图像不包括鬼影区域。
应理解，第三图像包括部分融合图像可以是指第三图像与融合图像具有部分图像内容相同的图像区域；第三图像可以是指对融合图像进行去除鬼影区域后得到的图像；例如，第三图像可以是指去除鬼影的高动态范围图像。
需要说明的是，在第二图像序列中包括中曝光图像与短曝光图像时，由于对第二图像序列进行融合处理时，短曝光图像用于改善中曝光图像中过曝区域的细节信息；对于一些大范围的鬼影，在预处理过程可能未检测到；导致融合处理得到的融合图像中还存在部分鬼影区域；在本申请的实施例中，可以通过对融合图像的进一步处理，得到去鬼影的高动态范围图像，即第三图像。
示例性地，第二图像序列中包括第二中曝光图像与第二短曝光图像；第二短曝光图像中的拍摄对象在参考图像中的过曝区域发生了移动，则通过对第二图像序列进行融合处理，得到的融合图像中可能还会存在部分鬼影区域；可以通过对融合图像的进一步处理，将融合图像中的鬼影区域去除，得到第三图像。
可选地，对融合图像进行处理，得到第三图像，包括：
对参考图像与第二图像序列中的第二短曝光图像进行鬼影检测处理，得到掩膜，参考图像可以为第一图像序列中的第一中曝光图像中的任意一帧图像；根据掩膜对融合图像进行处理，得到第三图像。
示例性地，在本申请的实施例中，可以对参考图像与第二短曝光图像进行逐像素的比较，可以得到8bit的灰度图像；在灰度图像中，将参考图像中像素过曝且像素值大于短曝光图像的像素值置为255；其中，255用于表示该像素为鬼影的置信度为1；灰度图像中的每一个像素值可以用于表示该像素为鬼影的置信度大小。
可选地，根据掩膜对融合图像进行处理，得到第三图像，包括：
根据掩膜确定融合图像中的鬼影区域；根据空洞填充算法对鬼影区域进行处理，得到第三图像。
在本申请的实施例中，可以通过掩膜可以确定融合图像中的鬼影区域，鬼影区域可以是指融合图像中鬼影所在的图像区域；通过空洞填充算法对鬼影区域进行处理，得到去鬼影的第三图像。
应理解，空洞填充算法是指检测出融合图像中的信息丢失的区域，并对信息丢失的区域进行填充的算法；例如，可以使用滤波对信息丢失的区域进行填充。
在本申请的实施例中，通过对获取的第一图像序列进行预处理，可以从第一图像序列中筛选满足预设条件的第二图像序列，从而在一定程度上能够避免直接对第一图像序列进行融合处理出现的鬼影区域；此外，在本申请的实施例中，在对第二图像序列进行融合处理之后，还可以对融合图像进行进一步处理，得到去除鬼影的第三图像，从而确保输出的高动态范围图像为去除鬼影的高动态范围图像；因此，通过本申请实施例提供的图像处理方法，能够去除高动态范围图像中的鬼影。
下面结合图6至图9对本申请实施例提供的图像处理方法的不同实现方式进行详细描述。
实现方式一
图6是本申请实施例提供的图像处理方法的示意图。
应理解，图6所示的图像处理方法可以由图1所示的装置；图6所示的方法400包括步骤S401至步骤S408，下面分别对步骤S401至步骤S408进行详细的描述。
步骤S401、获取第一图像序列。
示例性地，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列； 例如，第一图像序列可以是指在开启高动态范围图像的拍摄模式下，电子设备中的图像传感器采集的图像序列。
示例性地，第一图像序列中可以包括短曝光图像、中曝光图像与长曝光图像；例如，第一图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
其中，中曝光图像可以是指曝光值为标准曝光值(例如，EV0)的图像；长曝光图像可以是指曝光值大于标准曝光值的图像；短曝光图像可以是指曝光值小于标准曝光值的图像。
应理解，由于长曝光图像的曝光时间与中曝光图像的曝光时间相比较长，因此在获取长曝光图像时电子设备的进光量较多，通过长曝光图像可以改善中曝光图像中的暗光区域。
还应理解，由于短曝光图像的曝光时间与中曝光图像的曝光时间相比较短，因此在获取短曝光图像时电子设备在拍摄时的进光量较少，通过短曝光图像可以改善中曝光图像中过曝区域的细节信息。
步骤S402、对第一图像序列进行预处理。
可选地，预处理可以包括对第一图像序列进行曝光值筛选和/或帧差异筛选。
其中，曝光值筛选可以是指根据预设长曝光值和/或预设短曝光值，对第一图像序列中的多帧图像进行筛选；帧差异筛选可以是指将长曝光图像、中曝光图像或者短曝光图像分别与参考图像进行比较，筛选出与参考图像的相同像素比例较大的图像。
示例一
可选地，可以根据预设曝光值对第一图像序列进行曝光值筛选，得到第二图像序列。
示例性地，预设曝光值可以包括预设长曝光值与预设短曝光值；或者，预设曝光值可以包括预设短曝光值；或者，预设曝光值可以包括预设长曝光值。
在一个示例中，预设曝光值可以包括预设长曝光值与预设短曝光值。
例如，假设预设曝光值包括预设长曝光值为EV2，预设短曝光值为EV-2；第一图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；3帧短曝光图像中第一帧短曝光图像的曝光值为EV-2；第二帧短曝光图像的曝光值为EV-3；第三帧短曝光图像的曝光值为EV-2；根据短曝光预设值EV-2，则可以从3帧短曝光图像中选择出第一帧短曝光图像与第三帧短曝光图像；保留第一帧短曝光图像与第三帧短曝光图像，不保留第二帧短曝光图像；类似地，2帧长曝光图像中第一帧长曝光图像的曝光值为EV3，第二帧长曝光图像的曝光值为EV2，根据预设长曝光值EV2，则可以从2帧长曝光图像中选择出第二帧长曝光图像；因此，根据预设曝光值对图像序列进行曝光值筛选，得到的目标图像序列包括5帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
应理解，上述是以图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像，预设长曝光值为EV2，预设短曝光值为EV-2进行举例说明；本申请实施例对图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对预设短曝光值与预设长曝光值也不作任何限定。
示例性地，预设长曝光值与预设短曝光值可以是指预设数值；或者，预设长曝光 值与预设短曝光值可以是指曝光值的预设范围。例如，预设长曝光值可以是指EV4等，或者，预设长曝光值可以是指EV0～EV4；预设短曝光值可以是指EV-4或EV-6等，或者，预设短曝光值可以是指EV-6～EV0。
可选地，在预设长曝光值，或者预设短曝光值为预设范围的情况下，在对第一图像序列进行曝光值筛选时，可以筛选出第一图像序列中曝光值在预设范围内的长曝光图像，或者，筛选出第一图像序列中曝光值在预设范围内的短曝光图像。
可选地，预设曝光值还可以包括预设中曝光值，预设中曝光值可以是指中曝光图像的预设曝光值。
在一个示例中，预设曝光值包括预设长曝光值、预设短曝光值与预设中曝光值；图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；可以通过预设长曝光值、预设短曝光值和预设中曝光值分别对2帧长曝光图像、3帧短曝光图像与5帧中曝光图像进行筛选；保留满足(例如，等于)预设曝光值的曝光图像，不保留不满足预设曝光值的曝光图像；例如，可以将不满足(例如，不等于)预设曝光值的曝光图像的像素置为0。
应理解，通过曝光值筛选可以对第一图像序列中包括的多帧曝光图像进行初步筛选，将曝光值不等于预设曝光值的曝光图像的删除，避免多帧图像进行融合时多帧图像的图像内容差异较大，从而避融合多帧曝光图像得到的高动态范围图像中出现鬼影。
示例二
示例性地，对第一图像序列进行帧差异筛选，得到第二图像序列；其中，帧差异筛选是指将长曝光图像、中曝光图像或者短曝光图像分别与参考图像进行比较，保留与参考图像的相同像素比例较大的图像。
可选地，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的第一帧中曝光图像。或者，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的第三帧中曝光图像；或者，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的任意一帧中曝光图像。
在一个示例中，第一图像序列中可以包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像；将6帧中曝光图像中的第一帧中曝光图像作为参考图像，通过6帧中曝光图像中的第二帧中曝光图像至第六帧中曝光图像、2帧短曝光图像与1帧长曝光图像分别与参考图像进行逐像素比较，确定每一帧图像与参考图像的相同图像内容的比例值；若图像内容相同的比例值大于或者等于预设比例值，则保留该帧曝光图像；若相同图像内容的比例值小于预设比例值，则不保留该帧曝光图像。
例如，假设预设比例值为80％，第一图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像，以第一帧中曝光图像为参考图像；第二帧中曝光图像与参考图像逐像素比较后，得到第二帧中曝光图像与参考图像中相同图像内容的比例值为90％，90％大于预设值80％则保留第二帧曝光图像；第三帧中曝光图像与参考图像逐像素比较后，得到第三帧中曝光图像与参考图像中相同图像内容的比例值为70％，75％小于预设值80％则不保留第三帧中曝光图像；同理，分别将第四帧中曝光图像、第五帧中曝光图像与第六帧中曝光图像与参考图像进行比较。类似地，将2帧短曝光图像与1帧长曝光图像分别与参考图像进行比较；将第一图像序列中满足预设比例值的曝 光图像保留，得到第二图像序列。
示例性地，如图5所示，图5中的(a)表示参考图像的图像内容；图5中的(b)表示第二帧中曝光图像的图像内容；图5中的(c)表示第三帧中曝光图像的图像内容；根据图5中的(a)与图5中的(b)可以看出(例如a部分内容对应的拍摄物体在拍摄时发生运动)，第二帧中曝光图像与参考图像的相同图像内容为第二列像素位置至第十列像素位置，即第二帧中曝光图像与参考图像的相同图像内容的比例为90％；类似地，根据图5中的(a)与图5中的(c)可以看出(例如a、b和c部分内容对应的拍摄物体在拍摄时发生运动)，第三帧中曝光图像与参考图像的相同图像内容为第四列像素位置至第十列像素位置，即第三帧中曝光图像与参考图像的相同图像内容的比例为70％。
应理解，上述是以第一图像序列中包括6帧中曝光图像、3帧短曝光图像与2帧长曝光图像，预设比例值为80％进行举例说明；本申请实施例对第一图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对预设比例值大小也不作任何限定。
示例三
示例性地，对第一图像序列进行曝光值筛选与帧差异筛选，得到第二图像序列。
在一个示例中，假设预设曝光值包括预设长曝光值为EV2，预设短曝光值为EV-2；第一图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；3帧短曝光图像中第一帧短曝光图像的曝光值为EV-2；第二帧短曝光图像的曝光值为EV-3；第三帧短曝光图像的曝光值为EV-32；根据短曝光预设值EV-2，则可以从3帧短曝光图像中选择出第一帧短曝光图像与第三帧短曝光图像；保留第一帧短曝光图像与第三帧短曝光图像，不保留第二帧短曝光图像；例如，可以将第二帧短曝光图像的像素置为0；类似地，2帧长曝光图像中第一帧长曝光图像的曝光值为EV3，第二帧长曝光图像的曝光值为EV2，根据预设长曝光值EV2，则可以从2帧长曝光图像中选择出第二帧长曝光图像；因此，根据预设曝光值对图像序列进行曝光值筛选，得到的目标图像序列包括5帧中曝光图像、2帧短曝光图像与1帧长曝光图像。假设预设比例值为80％，以5帧中曝光图像中的第一帧中曝光图像为参考图像，将第二帧中曝光图像至第五帧中曝光图像分别与参考图像进行比较，得到4帧中曝光图像与参考图像相同图像内容的比例值分别为81％、85％、83％、85％；将2帧短曝光图像与1帧长曝光图像分别与参考图像进行比较，得到与参考图像相同图像内容的比例值分别为83％、79％、85％；将比例值大于或者等于预设比例值80％的图像保留，得到5帧中曝光图像、第一帧短曝光图像与1帧长曝光图像，即第二图像序列包括5帧中曝光图像、第一帧短曝光图像与1帧长曝光图像。
应理解，步骤S401获取的第一图像序列中可以包括长曝光图像、中曝光图像与短曝光图像；通过步骤S402对第一图像序列进行预处理后，可以得到第二图像序列；其中，第二图像序列中可以包括中曝光图像，或者，第二图像序列中可以包括长曝光图像和/或短曝光图像，以及中曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以只包括中曝光图像。
应理解，对第一图像序列进行上述曝光值筛选与帧差异筛选之后，第一图像序列中的长曝光图像与短曝光图像若均不满足预设曝光值或者预设比例值，则进行预处理后第一图像序列只保留中曝光图像，即第二图像序列中只包括中曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像与短曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像与长曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像、长曝光图像与短曝光图像。
在一个示例中，通过对图像序列进行预处理后，得到的目标图像序列中可以包括中曝光图像、长曝光图像与短曝光图像。
步骤S403、前处理。
示例性地，对第二图像序列进行前处理，得到处理后的第二图像序列。
示例性地，前处理可以包括黑电平校正、自动白平衡或者图像降噪处理中的至少一项。
其中，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。自动白平衡(auto white balance，AWB)用于使得白色在任何色温下相机均能把它还原成白色；由于色温的影响，白纸在低色温下会偏黄，高色温下会偏蓝；自动白平衡的目的在于使得白色物体在任何色温下均为R＝G＝B呈现出白色。
例如，图像降噪处理可以采用稳定方差转换(variance stabilizing transform，VST)算法，VST算法是指将高斯泊松噪声转化为高斯噪声的一系列算法。
步骤S404、融合模型。
示例性地，将处理后的第二图像序列输入至融合模型进行融合处理。
示例性地，融合模型可以是指预先训练的卷积神经网络；融合模型用于对输入的第二图像序列进行融合处理。
示例性地，在训练融合模型的过程中，可以通过加入不同类型的训练数据，让融合模型自主地学习高动态范围图像融合去鬼影。
例如，在训练融合模型时的训练数据可以包括第一类训练数据与第二类训练数据；第一类训练数据可以包括多组训练数据，多组训练数据中的一组训练数据中可以包括6张样本图像，6张样本图像中可以包括3张无鬼影的曝光图像与3张包括鬼影的图像；3张无鬼影的曝光图像分别为无鬼影的长曝光图像、无鬼影的中曝光图像与无鬼影的短曝光图像；3张包括鬼影的曝光图像可以是通过在3张无鬼影的曝光图像中叠加鬼影区域得到的曝光图像；第一类训练数据对应的训练目标为无鬼影的高动态范围图像；第二类训练数据可以包括多帧中曝光图像，第二类训练数据对应的训练目标为无鬼影的中曝光图像。
可选地，若第二图像序列中只包括中曝光图像，则执行步骤S405；若第二图像序列中包括长曝光图像或者短曝光图像中的至少一种与中曝光图像，则执行步骤S406输出高动态范围图像。
示例性地，在本申请的实施例中，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列；例如，第一图像序列可以是指在开启电子设备的高动态范围图像的拍摄模式后，电子设备中图像传感器采集的图像序列；对第一图像序列进行预处理，可以得到第二图像序列；其中，第二图像序列中可以包括中曝光图像；或者，第二图像序列中可以包括中曝光图像和长曝光图像；或者，第二图像序列中可以包括中曝光图像和短曝光图像；或者，第二图像序列中可以包括中曝光图像、长曝光图像和短曝光图像。
示例一
若第二图像序列只包括中曝光图像，执行步骤S405。
步骤S405、输出低动态范围图像。
示例性地，融合模型对处理后的第二图像序列进行融合处理，输出低动态范围图像。
应理解，在对多帧中曝光图像进行融合时会进行鬼影检测，将多帧中曝光图像中的非鬼影区域进行融合，多帧中曝光图像的鬼影区域不进行融合；因此，融合模型输出的低动态范围图像中通常不包括鬼影，无需对融合模型输出的低动态范围图像进行步骤S407后处理。
示例二
若第二图像序列包括中曝光图像与长曝光图像；执行步骤S406。
步骤S406、输出高动态范围图像。
示例性地，融合模型对处理后的第二图像序列进行融合处理，输出高动态范围图像。
应理解，由于长曝光图像用于改善图像中的暗光区域，提升暗光区域的信噪比；在对长曝光图像与中曝光图像进行融合之前会进行鬼影检测，对于长曝光图像中的鬼影区域通常不与中曝光图像进行融合；对于长曝光图像中的非鬼影区域与中曝光图像进行融合，因此，对中曝光图像与长曝光图像进行融合得到的高动态范围图像中通常不包括鬼影，无需对融合模型输出的高动态范围图像进行步骤S407后处理。应理解，鬼影区域可以是指包括鬼影的图像区域；例如，长曝光图像中的鬼影区域是指长曝光图像中包括鬼影的图像区域；非鬼影区域可以是指图像中除鬼影之外的图像区域。
示例三
若第二图像序列包括中曝光图像、短曝光图像与长曝光图像，或者，第二图像序列中包括中曝光图像与短曝光图像；执行步骤S406至步骤S408。
应理解，短曝光图像用于改善图像中的过曝区域，提升过曝区域的细节信息；因此，在对短曝光图像与中曝光图像进行融合时，通常短曝光图像中的所有区域均需要与中曝光图像进行融合。
在本申请的实施例中，对于一些大范围的鬼影，例如，短曝光图像中拍摄对象在参考图像的过曝区域中发生移动产生的鬼影；若在步骤S402预处理中未能检测，导致融合模型输出的高动态范围图像中包括鬼影，可以通过后处理可以将高动态范围图像中的鬼影进行去除。
步骤S407、后处理。
示例性地，对高动态范围图像进行后处理。
示例性地，后处理可以包括鬼影检测与空洞填充；其中，鬼影检测用于对短曝光图像与中曝光图像进行比较得到掩膜；空洞填充用于根据掩膜对融合模型输出的高动态范围图像进行处理，得到去鬼影的高动态范围图像。可选的，后处理的具体流程可以参见图7所示。
应理解，由于物体在多帧图像帧之间存在运动，导致对多帧图像进行融合得到的融合图像中存在部分信息丢失的区域，将信息丢失的区域可以称为空洞；空洞填充是指检测出信息丢失的区域，并对信息丢失的区域进行填充的算法；例如，可以使用滤波对信息丢失的区域进行填充。可选的，空洞填充步骤可以根据具体需要省略，即不进行空洞填充。
步骤S408、输出去鬼影的高动态范围图像。
在本申请的实施例中，通过对获取的第一图像序列进行预处理，可以从第一图像序列中确定满足预设阈值的曝光图像，从而在一定程度上能够避免直接对第一图像序列进行融合处理出现的鬼影区域；此外，在本申请的实施例中，在输入融合模型的图像序列中包括短曝光图像的情况下，还可以对融合模型输出的第一融合图像进行进一步处理，从而确保输出的高动态范围图像为去除鬼影的高动态范围图像；因此，通过本申请实施例提供的图像处理方法，能够去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量。
图7是本申请实施例提供的对融合模型输出的高动态范围进行后处理的示意图。图7所示的方法包括步骤S510至步骤S550，下面分别对步骤S510至步骤S550进行详细的描述。
步骤S510、对参考图像与短曝光图像进行逐像素比较。
示例性地，对参考图像与短曝光图像进行逐像素比较，可以得到参考图像与短曝光图像之间的像素差异图像。
示例性地，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的第一帧中曝光图像；短曝光图像是指第二图像序列中包括的短曝光图像。
步骤S520、将参考图像中像素过曝且像素值大于短曝光图像的像素值置为预设值，得到第一掩膜。
在一个示例中，对参考图像与短曝光图像进行逐像素比较，可以得到8bit的灰度图像；在灰度图像中，将参考图像中像素过曝且像素值大于短曝光图像的像素值置为255；其中，255用于表示该像素为鬼影的置信度为1；灰度图像中的每一个像素值可以用于表示该像素为鬼影的置信度大小。
在一个示例中，对参考图像与短曝光图像进行逐像素比较，得到灰度图像；在灰度图像中，可以将参考图像中像素过曝且像素值大于短曝光图像的像素值置为1；其中，灰度图像中的每一个像素值可以用于表示该像素为鬼影的权重大小。
步骤S530、对第一掩膜进行处理，得到第二掩膜。
示例性地，可以对第一掩膜进行开运算，得到第二掩膜；其中，开运算是指先进行腐蚀运算，再进行膨胀运算。其中，腐蚀运算类似于中值平滑处理，选取每个像素位置的一个邻域内的最小值；膨胀运算与腐蚀运算的原理相似，膨胀运算是选取每个 像素位置邻域内的最大值作为输出的灰度值。
应理解，由于融合模型在对输入的图像序列进行融合处理时，可以去除一些小范围的鬼影区域；第一掩膜中包括全部的鬼影区域，通过对第一掩膜进行开算法(例如，先腐蚀运算，再膨胀运算)可以去除小范围的鬼影区域，保留一些大范围的鬼影区域，从而得到第二掩膜。
可选地，为了使得第二掩膜的边缘区域更加平滑，可以对第二掩膜进行高斯模糊处理，执行步骤S540。
步骤S540、对第二掩膜进行高斯模糊，得到平滑处理后的第二掩膜。
步骤S550、根据平滑处理后的第二掩膜与空洞填充算法对高动态范围图像进行处理，得到去除鬼影的高动态范围图像。
例如，根据平滑处理后的第二鬼影掩膜可以确定高动态范围图像中的鬼影区域；对鬼影区域进行均值模糊和/或高斯模糊，通过空洞填充算法对鬼影区域进行涂抹，得到去除鬼影的高动态范围图像。
应理解，由于物体在多帧图像帧之间存在运动，导致对多帧图像进行融合得到的融合图像中存在部分信息丢失的区域，将信息丢失的区域可以称为空洞；空洞填充是指检测出信息丢失的区域，并对信息丢失的区域进行填充的算法；例如，可以使用滤波对信息丢失的区域进行填充。可选地，在一种可能的实现方式中，可以执行步骤S510与步骤S520；根据第一掩膜与空洞算法对高动态范围图像进行处理，得到去除鬼影的高动态范围图像。
可选地，在一种可能的实现方式中，可以执行步骤S510与步骤S530；根据第二掩膜与空洞算法对高动态范围图像进行处理，得到去除鬼影的高动态范围图像。
应理解，通过第一掩膜也可以在高动态范围图像中确定鬼影区域；第二掩膜与第一掩膜的差异在于，第一掩膜中包括大范围的鬼影区域与小范围的鬼影区域；第二掩膜中只包括大范围的鬼影区域。
实现方式二
在一个示例中，可以获取第一图像序列，第一图像序列中可以包括中曝光图像、长曝光图像和短曝光图像；在对第一图像序列进行融合之前，可以对第一图像序列中的图像进行预处理，即从第一图像序列中筛选满足预设条件的图像，得到第二图像序列；对第二图像序列进行融合处理，得到融合图像；其中，第二图像序列中可以包括中曝光图像与短曝光图像；在本申请的实施例中，在进行融合处理之前，可以对第一图像序列中的短曝光图像进行筛选，得到满足预设条件的短曝光图像；由于短曝光图像用于改善图像中的过曝区域，提升过曝区域的细节信息；因此，在对短曝光图像与中曝光图像进行融合时，通常短曝光图像中的所有区域均需要与中曝光图像进行融合；通过本申请实施例中的预处理，可以避免将第一图像序列中与中曝光图像之间存在较大图像差异的短曝光图像用于融合处理，从而能够降低融合图像中出现鬼影区域的问题。
图8是本申请实施例提供的图像处理方法的示意图。图8所示的方法600包括步骤S601至步骤S606，下面分别对步骤S601至步骤S606进行详细的描述。
步骤S601、获取第一图像序列。
例如，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列；例如，第一图像序列可以是指在开启高动态范围图像的拍摄模式下，电子设备中的图像传感器采集的图像序列。
示例性地，第一图像序列中可以包括短曝光图像、中曝光图像与长曝光图像；例如，第一图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
其中，中曝光图像可以是指曝光值为标准曝光值(例如，EV0)的图像；长曝光图像可以是指曝光值大于标准曝光值的图像；短曝光图像可以是指曝光值小于标准曝光值的图像。
应理解，由于长曝光图像的曝光时间与中曝光图像的曝光时间相比较长，因此获取长曝光图像时电子设备的进光量较多，因此长曝光图像可以用于改善中曝光图像中的暗光区域。
还应理解，由于短曝光图像的曝光时间与中曝光图像的曝光时间相比较短，因此获取短曝光图像时电子设备的进光量较少，因此短曝光图像可以用于改善中曝光图像中过曝区域的细节信息。
步骤S602、对第一图像序列进行预处理。
可选地，预处理可以包括对第一图像序列进行曝光值筛选和/或帧差异筛选。
其中，曝光值筛选可以是指根据预设长曝光值和/或预设短曝光值，对第一图像序列中的多帧图像进行筛选；帧差异筛选是指将长曝光图像、中曝光图像或者短曝光图像分别与参考图像进行比较，筛选出与参考图像的相同像素比例较大的图像。
示例一
可选地，可以根据预设曝光值对第一图像序列进行曝光值筛选，得到第二图像序列。
示例性地，预设曝光值可以包括预设长曝光值与预设短曝光值；或者，预设曝光值可以包括预设短曝光值；或者，预设曝光值可以包括预设长曝光值。
在一个示例中，预设曝光值可以包括预设长曝光值与预设短曝光值。
例如，假设预设曝光值包括预设长曝光值为EV2，预设短曝光值为EV-2；第一图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；3帧短曝光图像中第一帧短曝光图像的曝光值为EV-2；第二帧短曝光图像的曝光值为EV-3；第三帧短曝光图像的曝光值为EV-2；根据短曝光预设值EV-2，则可以从3帧短曝光图像中选择出第一帧短曝光图像与第三帧短曝光图像；保留第一帧短曝光图像与第三帧短曝光图像，不保留第二帧短曝光图像；类似地，2帧长曝光图像中第一帧长曝光图像的曝光值为EV3，第二帧长曝光图像的曝光值为EV2，根据预设长曝光值EV2，则可以从2帧长曝光图像中选择出第二帧长曝光图像；因此，根据预设曝光值对图像序列进行曝光值筛选，得到的目标图像序列包括5帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
应理解，上述是以图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像，预设长曝光值为EV2，预设短曝光值为EV-2进行举例说明；本申请实施例对图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对预设短曝光值与预设长曝光值也不作任何限定。
示例性地，预设长曝光值与预设短曝光值可以是指预设数值；或者，预设长曝光值与预设短曝光值可以是指曝光值的预设范围。例如，预设长曝光值可以是指EV4等，或者，预设长曝光值可以是指EV0～EV4；预设短曝光值可以是指EV-4或EV-6等，或者，预设短曝光值可以是指EV-6～EV0。
可选地，在预设长曝光值，或者预设短曝光值为预设范围的情况下，在对第一图像序列进行曝光值筛选时，可以筛选出第一图像序列中曝光值在预设范围内的长曝光图像，或者，筛选出第一图像序列中曝光值在预设范围内的短曝光图像。
可选地，预设曝光值还可以包括预设中曝光值，预设中曝光值可以是指中曝光图像的预设曝光值。
在一个示例中，预设曝光值包括预设长曝光值、预设短曝光值与预设中曝光值；图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；可以通过预设长曝光值、预设短曝光值和预设中曝光值分别对2帧长曝光图像、3帧短曝光图像与5帧中曝光图像进行筛选；保留满足(例如，等于)预设曝光值的曝光图像，不保留不满足预设曝光值的曝光图像；例如，可以将不满足(例如，不等于)预设曝光值的曝光图像的像素置为0。
应理解，通过曝光值筛选可以对第一图像序列中包括的多帧曝光图像进行初步筛选，将曝光值不等于预设曝光值的曝光图像的删除，避免多帧图像进行融合时多帧图像的图像内容差异较大，从而避融合多帧曝光图像得到的高动态范围图像中出现鬼影。
示例二
示例性地，对第一图像序列进行帧差异筛选，得到第二图像序列；其中，帧差异筛选是指将长曝光图像、中曝光图像或者短曝光图像分别与参考图像进行比较，保留与参考图像的相同像素比例较大的图像。
可选地，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的第一帧中曝光图像。或者，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的第三帧中曝光图像；或者，参考图像可以是指第一图像序列中包括的多帧中曝光图像中的任意一帧中曝光图像。
在一个示例中，第一图像序列中可以包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像；将6帧中曝光图像中的第一帧中曝光图像作为参考图像，通过6帧中曝光图像中的第二帧中曝光图像至第六帧中曝光图像、2帧短曝光图像与1帧长曝光图像分别与参考图像进行逐像素比较，确定每一帧图像与参考图像的相同图像内容的比例值；若图像内容相同的比例值大于或者等于预设比例值，则保留该帧曝光图像；若相同图像内容的比例值小于预设比例值，则不保留该帧曝光图像。
例如，假设预设比例值为80％，第一图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像，以第一帧中曝光图像为参考图像；第二帧中曝光图像与参考图像逐像素比较后，得到第二帧中曝光图像与参考图像中相同图像内容的比例值为90％，90％大于预设值80％则保留第二帧曝光图像；第三帧中曝光图像与参考图像逐像素比较后，得到第三帧中曝光图像与参考图像中相同图像内容的比例值为70％，75％小于预设值80％则不保留第三帧中曝光图像；同理，分别将第四帧中曝光图像、第五帧中曝光图像与第六帧中曝光图像与参考图像进行比较。类似地，将2帧短曝光图像 与1帧长曝光图像分别与参考图像进行比较；将第一图像序列中满足预设比例值的曝光图像保留，得到第二图像序列。
示例性地，如图5所示，图5中的(a)表示参考图像的图像内容；图5中的(b)表示第二帧中曝光图像的图像内容；图5中的(c)表示第三帧中曝光图像的图像内容；根据图5中的(a)与图5中的(b)可以看出(例如a部分内容对应的拍摄物体在拍摄时发生运动)，第二帧中曝光图像与参考图像的相同图像内容为第二列像素位置至第十列像素位置，即第二帧中曝光图像与参考图像的相同图像内容的比例为90％；类似地，根据图5中的(a)与图5中的(c)可以看出(例如a、b和c部分内容对应的拍摄物体在拍摄时发生运动)，第三帧中曝光图像与参考图像的相同图像内容为第四列像素位置至第十列像素位置，即第三帧中曝光图像与参考图像的相同图像内容的比例为70％。
应理解，上述是以第一图像序列中包括6帧中曝光图像、3帧短曝光图像与2帧长曝光图像，预设比例值为80％进行举例说明；本申请实施例对第一图像序列中包括的中曝光图像、短曝光图像与长曝光图像的数量不作任何限定；对预设比例值大小也不作任何限定。
示例三
示例性地，对第一图像序列进行曝光值筛选与帧差异筛选，得到第二图像序列。
在一个示例中，假设预设曝光值包括预设长曝光值为EV2，预设短曝光值为EV-2；第一图像序列中包括5帧中曝光图像、3帧短曝光图像与2帧长曝光图像；3帧短曝光图像中第一帧短曝光图像的曝光值为EV-2；第二帧短曝光图像的曝光值为EV-3；第三帧短曝光图像的曝光值为EV-32；根据短曝光预设值EV-2，则可以从3帧短曝光图像中选择出第一帧短曝光图像与第三帧短曝光图像；保留第一帧短曝光图像与第三帧短曝光图像，不保留第二帧短曝光图像；例如，可以将第二帧短曝光图像的像素置为0；类似地，2帧长曝光图像中第一帧长曝光图像的曝光值为EV3，第二帧长曝光图像的曝光值为EV2，根据预设长曝光值EV2，则可以从2帧长曝光图像中选择出第二帧长曝光图像；因此，根据预设曝光值对图像序列进行曝光值筛选，得到的目标图像序列包括5帧中曝光图像、2帧短曝光图像与1帧长曝光图像。假设预设比例值为80％，以5帧中曝光图像中的第一帧中曝光图像为参考图像，将第二帧中曝光图像至第五帧中曝光图像分别与参考图像进行比较，得到4帧中曝光图像与参考图像相同图像内容的比例值分别为81％、85％、83％、85％；将2帧短曝光图像与1帧长曝光图像分别与参考图像进行比较，得到与参考图像相同图像内容的比例值分别为83％、79％、85％；将比例值大于或者等于预设比例值80％的图像保留，得到5帧中曝光图像、第一帧短曝光图像与1帧长曝光图像，即第二图像序列包括5帧中曝光图像、第一帧短曝光图像与1帧长曝光图像。
应理解，步骤S601获取的第一图像序列中包括长曝光图像、中曝光图像与短曝光图像；通过步骤S602对第一图像序列进行预处理后，可以得到第二图像序列；其中，第二图像序列中可以包括中曝光图像，或者，第二图像序列中可以包括长曝光图像和/或短曝光图像，以及中曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以 只包括中曝光图像。
应理解，对第一图像序列进行上述曝光值筛选与帧差异筛选之后，第一图像序列中的长曝光图像与短曝光图像若均不满足预设曝光值或者预设比例值，则进行预处理后第一图像序列只保留中曝光图像，即第二图像序列中只包括中曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像与短曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像与长曝光图像。
在一个示例中，通过对第一图像序列进行预处理后，得到的第二图像序列中可以包括中曝光图像、长曝光图像与短曝光图像。
在一个示例中，通过对图像序列进行预处理后，得到的目标图像序列中可以包括中曝光图像、长曝光图像与短曝光图像。
步骤S603、前处理。
示例性地，对第二图像序列进行前处理，得到处理后的第二图像序列。
示例性地，前处理包括对第二图像序列进行黑电平校正、自动白平衡或者图像降噪处理中的至少一项。
其中，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。自动白平衡(auto white balance，AWB)用于使得白色在任何色温下相机均能把它还原成白色；由于色温的影响，白纸在低色温下会偏黄，高色温下会偏蓝；自动白平衡的目的在于使得白色物体在任何色温下均为R＝G＝B呈现出白色。
例如，图像降噪处理可以采用稳定方差转换(variance stabilizing transform，VST)算法，VST算法是指将高斯泊松噪声转化为高斯噪声的一系列算法。
步骤S604、融合模型。
示例性地，将处理后的第二图像序列输入至融合模型进行处理。
示例性地，在训练融合模型的过程中，可以通过加入不同类型的训练数据，让融合模型自主地学习高动态范围图像融合去鬼影。
例如，在训练融合模型时的训练数据可以包括第一类训练数据与第二类训练数据；第一类训练数据可以包括多组训练数据，多组训练数据中的一组训练数据中可以包括6张样本图像，6张样本图像中可以包括3张无鬼影的曝光图像与3张包括鬼影的图像；3张无鬼影的曝光图像分别为无鬼影的长曝光图像、无鬼影的中曝光图像与无鬼影的短曝光图像；3张包括鬼影的曝光图像可以是通过在3张无鬼影的曝光图像中叠加鬼影区域得到的曝光图像；第一类训练数据对应的训练目标为无鬼影的高动态范围图像；第二类训练数据可以包括多帧中曝光图像，第二类训练数据对应的训练目标为无鬼影的中曝光图像。
可选地，若第二图像序列中只包括中曝光图像，则执行步骤S605。
步骤S605、输出低动态范围图像。
示例性地，融合模型对处理后的第二图像序列进行融合处理，输出低动态范围图像。
可选地，若第二图像序列中包括长曝光图像和/或短曝光图像，以及中曝光图像，则执行步骤S606输出高动态范围图像。
步骤S606、输出高动态范围图像。
示例性地，融合模型对处理后的第二图像序列进行融合处理，输出高动态范围图像。
在本申请的实施例中，可以获取第一图像序列，第一图像序列中可以包括中曝光图像、长曝光图像和短曝光图像；在对第一图像序列进行融合之前，可以对第一图像序列中的图像进行预处理，即从第一图像序列中筛选满足预设条件的图像，得到第二图像序列；对第二图像序列进行融合处理，得到融合图像；其中，第二图像序列中可以包括中曝光图像与短曝光图像；在本申请的实施例中，在进行融合处理之前，可以对第一图像序列中的短曝光图像进行筛选，得到满足预设条件的短曝光图像；由于短曝光图像用于改善图像中的过曝区域，提升过曝区域的细节信息；因此，在对短曝光图像与中曝光图像进行融合时，通常短曝光图像中的所有区域均需要与中曝光图像进行融合；通过本申请实施例中的预处理，可以避免将第一图像序列中与中曝光图像之间存在较大图像差异的短曝光图像用于融合处理，从而能够降低融合图像中出现鬼影区域的问题。
实现方式三
图9是本申请实施例提供的图像处理方法的示意图。图9所示的方法700包括步骤S701至步骤S706，下面分别对步骤S701至步骤S706进行详细的描述。
步骤S701、获取第一图像序列。
例如，第一图像序列可以是指图像传感器采集的不同曝光时间的图像序列；例如，第一图像序列可以是指在开启高动态范围图像的拍摄模式下，电子设备中的图像传感器采集的图像序列。
示例性地，第一图像序列中可以包括短曝光图像、中曝光图像与长曝光图像；例如，第一图像序列中包括6帧中曝光图像、2帧短曝光图像与1帧长曝光图像。
其中，中曝光图像可以是指曝光值为标准曝光值(例如，EV0)的图像；长曝光图像可以是指曝光值大于标准曝光值的图像；短曝光图像可以是指曝光值小于标准曝光值的图像。
应理解，由于长曝光图像的曝光时间与中曝光图像的曝光时间相比较长，因此获取长曝光图像时电子设备的进光量较多，因此长曝光图像可以用于改善中曝光图像中的暗光区域。
还应理解，由于短曝光图像的曝光时间与中曝光图像的曝光时间相比较短，因此获取短曝光图像时电子设备在拍摄时的进光量较少，因此短曝光图像可以用于改善中曝光图像中过曝区域的细节信息。
步骤S702、前处理。
示例性地，对第一图像序列进行前处理，得到处理后的第一图像序列。
示例性地，前处理包括对第一图像序列进行黑电平校正、自动白平衡或者图像降噪处理中的至少一项。
其中，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理， 黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。自动白平衡(auto white balance，AWB)用于使得白色在任何色温下相机均能把它还原成白色；由于色温的影响，白纸在低色温下会偏黄，高色温下会偏蓝；自动白平衡的目的在于使得白色物体在任何色温下均为R＝G＝B呈现出白色。
例如，图像降噪处理可以采用稳定方差转换(variance stabilizing transform，VST)算法，VST算法是指将高斯泊松噪声转化为高斯噪声的一系列算法。
步骤S703、融合处理。
示例性地，对处理后的第一图像序列进行融合处理。
可选地，可以将处理后的第一图像序列输入至融合模型进行融合处理。
示例性地，在训练融合模型的过程中，可以通过加入不同类型的训练数据，让融合模型自主地学习高动态范围图像融合去鬼影。
例如，在训练融合模型时的训练数据可以包括第一类训练数据与第二类训练数据；第一类训练数据可以包括多组训练数据，多组训练数据中的一组训练数据中可以包括6张样本图像，6张样本图像中可以包括3张无鬼影的曝光图像与3张包括鬼影的图像；3张无鬼影的曝光图像分别为无鬼影的长曝光图像、无鬼影的中曝光图像与无鬼影的短曝光图像；3张包括鬼影的曝光图像可以是通过在3张无鬼影的曝光图像中叠加鬼影区域得到的曝光图像；第一类训练数据对应的训练目标为无鬼影的高动态范围图像；第二类训练数据可以包括多帧中曝光图像，第二类训练数据对应的训练目标为无鬼影的中曝光图像。
步骤S704、输出高动态范围图像。
步骤S705、后处理。
示例性地，对高动态范围图像进行后处理。
示例性地，后处理可以包括鬼影检测与空洞填充；其中，通过对短曝光图像与参考图像进行鬼影检测，得到掩膜，其中，参考图像可以是指第一帧中曝光图像；根据掩膜与空洞填充算法对融合模型输出的高动态范围图像进行去除鬼影处理；后处理的具体流程参见图7所示，此处不再赘述。
步骤S706、输出去除鬼影的高动态范围图像。
在本申请的实施例中，可以对融合模型输出的融合图像进行进一步处理，例如，通过对短曝光图像与参考图像进行鬼影检测，得到掩膜；根据掩膜确定融合图像中的鬼影区域；通过空洞填充算法对鬼影区域进行处理，从而确保输出的高动态范围图像为去除鬼影的高动态范围图像；通过本申请实施例提供的图像处理方法，能够去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量。
示例性的，图10根据是本申请实施例提供的图像处理方法的效果示意图。
如图10所示，图10中的(a)是通过现有的图像处理方法得到的高动态范围图像的预览图像；图10中的(b)是通过本申请实施例提供的图像处理方法得到的高动态范围图像的预览图像；如图10中的(a)所示的预览图像可以看出图像中手臂位置出现鬼影区域；与图10中的(a)所示的预览图像相比，图10中的(b)所示的预览图像中鬼影区域明显减少；因此，通过本申请实施例提供的图像处理方法，能够有效去除高动态范围图像中的鬼影，提高高动态范围图像的图像质量。
在一个示例中，电子设备检测到用于指示开启高动态范围图像的拍摄模式的第二操作；响应于第二操作，电子设备开启高动态范围图像的拍摄模式；在开启高动态范围图像的拍摄模式后，电子设备可以采用本申请实施例提供的图像处理方法对获取的图像序列进行图像处理，输出高动态范围图像。
图11示出了电子设备的一种图形用户界面(graphical user interface，GUI)。
图11中的(a)所示的GUI为电子设备的桌面710；当电子设备检测到用户点击桌面710上的相机应用(application，APP)的图标720的操作后，可以启动相机应用，显示如图10中的(b)所示的另一GUI；图11中的(b)所示的GUI可以是相机APP在拍照模式下的显示界面，在GUI可以包括拍摄界面730；拍摄界面730中可以包括取景框731与控件；比如，拍摄界面730中可以包括用于指示拍照的控件732与用于指示设置的控件733；在预览状态下，该取景框731内可以实时显示预览图像；其中，预览状态下可以是指用户打开相机且未按下拍照/录像按钮之前，此时取景框内可以实时显示预览图。
在电子设备检测到用户点击设置控件733的操作后，显示如图11中的(c)所示的设置界面；在设置界面中可以包括HDR控件734；检测到用户点击HDR控件734的操作后，电子设备可以开启高动态范围图像的拍摄模式；在电子设备开启高动态范围图像的拍摄模式后，可以显示如图11中的(d)所示的显示界面；在用户点击指示拍照的控件732之后，通过本申请实施例提供的图像处理方法对获取的图像序列进行处理，输出去鬼影的高动态范围图像。
在一个示例中，电子设备可以获取预览图像；根据预览图像确定第一数值，第一数值可以是指预览图像的DR值，DR值可以用于指示预览图像中过曝区域的比例大小；根据DR值电子设备确定开启高动态范围图像的拍摄模式；在开启高动态范围图像的拍摄模式后，电子设备可以采用本申请实施例提供的图像处理方法对获取的图像序列进行图像处理，输出高动态范围图像。
图12示出了电子设备的一种图形用户界面(graphical user interface，GUI)。
图12中的(a)所示的GUI为电子设备的桌面810；当电子设备检测到用户点击桌面810上的相机应用(application，APP)的图标820的操作后，可以启动相机应用，显示如图12中的(b)所示的另一GUI；图12中的(b)所示的GUI可以是相机APP在拍照模式下的显示界面，在GUI可以包括拍摄界面830；拍摄界面830中可以包括取景框831与控件；比如，拍摄界面830中可以包括用于指示拍照的控件832与其他控件；在预览状态下，该取景框831内可以实时显示预览图像；其中，预览状态下可以是指用户打开相机且未按下拍照/录像按钮之前，此时取景框内可以实时显示预览图。
在电子设备根据预览图像的DR值确定开启高动态范围图像的拍摄模式后，可以显示如图12中的(c)所示的显示界面；在用户点击指示拍照的控件832之后，通过本申请实施例提供的图像处理方法对获取的图像序列进行处理，输出去鬼影的高动态范围图像。
应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实 施例的范围内。
上文结合图1至图12详细描述了本申请实施例提供的图像处理方法；下面将结合图13与图14详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图13是本申请实施例提供的一种电子设备的结构示意图。该电子设备1000包括显示模块1001与处理模块1002。
其中，显示模块1001用于显示第一界面，所述第一界面包括第一控件；处理模块1002用于检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像序列，所述第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；对所述第一图像序列进行预处理，得到第二图像序列，其中，所述预处理用于筛选所述第一图像序列中满足预设条件的图像，所述第二图像序列包括第二中曝光图像和第二短曝光图像；对所述第二图像序列进行融合处理，得到融合图像，所述融合图像包括鬼影区域，所述鬼影区域为所述融合图像中包括鬼影的图像区域；对所述融合图像进行处理，得到第三图像，所述第三图像包括部分所述融合图像，所述第三图像不包括所述鬼影区域。
可选地，作为一个实施例，所述处理模块1002具体用于：
对参考图像与所述第二短曝光图像进行鬼影检测处理，得到掩膜，所述参考图像为所述第一中曝光图像中的任意一帧图像；
根据所述掩膜对所述融合图像进行处理，得到所述第三图像。
可选地，作为一个实施例，所述处理模块1002具体用于：
根据所述掩膜确定所述融合图像中的所述鬼影区域；
根据空洞填充算法对所述鬼影区域进行处理，得到所述第三图像。
可选地，作为一个实施例，所述预设条件包括第一预设条件，所述第一预设条件是指所述第一图像序列中图像的曝光值为预设曝光值，所述处理模块1002具体用于：
筛选所述第一图像序列中满足所述第一预设条件的第一目标曝光图像，所述第一目标曝光图像包括至少两帧图像；
基于所述第一目标曝光图像得到所述第二图像序列。
可选地，作为一个实施例，所述预设曝光值包括第一预设曝光值和/或第二预设曝光值；所述第一预设曝光值是指所述第一长曝光图像的预设曝光值；所述第二预设曝光值是指所述第一短曝光图像的预设曝光值。
可选地，作为一个实施例，所述预设条件包括第二预设条件，所述第二预设条件是指所述第一目标曝光图像中的图像与所述参考图像的相同图像内容的比例为预设比例值，所述处理模块1002具体用于：
对所述第一目标曝光图像与所述参考图像进行比较，得到比例值，所述比例值用于表示与所述参考图像的相同图像内容的比例大小；
根据所述比例值，筛选所述第一目标曝光图像中满足所述第二预设条件的第二目标曝光图像；
由所述第二目标曝光图像组成所述第二图像序列。
可选地，作为一个实施例，所述处理模块1002具体用于：
将所述第二图像序列输入至融合模型，得到所述融合图像；所述融合模型用于对所述第二图像序列进行融合处理。
可选地，作为一个实施例，所述融合模型为卷积神经网络。
可选地，作为一个实施例，所述处理模块1002还用于：
检测到第二操作，所述第二操作用于指示开启所述电子设备的高动态范围图像的拍摄模式。
可选地，作为一个实施例，所述处理模块1002还用于：
获取预览图像；
根据所述预览图像确定第一数值，所述第一数值用于表示所述预览图像中过曝区域的比例大小；
根据所述第一数值确定开启所述电子设备的高动态范围图像的拍摄模式。
可选地，作为一个实施例，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
可选地，作为一个实施例，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。
可选地，作为一个实施例，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。
需要说明的是，上述电子设备1000以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图14示出了本申请提供的一种电子设备的结构示意图。图14中的虚线表示该单元或该模块为可选的；电子设备1100可以用于实现上述方法实施例中描述的图像方法。
电子设备1100包括一个或多个处理器1101，该一个或多个处理器1101可支持电子设备1100实现方法实施例中的图像处理方法。处理器1101可以是通用处理器或者专用处理器。例如，处理器1101可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。
处理器1101可以用于对电子设备1100进行控制，执行软件程序，处理软件程序的数据。电子设备1100还可以包括通信单元1105，用以实现信号的输入(接收)和输出(发送)。
例如，电子设备1100可以是芯片，通信单元1105可以是该芯片的输入和/或输出 电路，或者，通信单元1105可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。
又例如，电子设备1100可以是终端设备，通信单元1105可以是该终端设备的收发器，或者，通信单元1105可以是该终端设备的收发电路。
电子设备1100中可以包括一个或多个存储器1102，其上存有程序1104，程序1104可被处理器1101运行，生成指令1103，使得处理器1101根据指令1103执行上述方法实施例中描述的图像处理方法。
可选地，存储器1102中还可以存储有数据。
可选地，处理器1101还可以读取存储器1102中存储的数据，该数据可以与程序1104存储在相同的存储地址，该数据也可以与程序1104存储在不同的存储地址。
可选地，处理器1101和存储器1102可以单独设置，也可以集成在一起；例如，集成在终端设备的***级芯片(system on chip，SOC)上。
示例性地，存储器1102可以用于存储本申请实施例中提供的图像处理方法的相关程序1104，处理器1101可以用于在执行图像处理方法时调用存储器1102中存储的图像处理方法的相关程序1104，执行本申请实施例的图像处理方法；例如，显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像序列，第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；对第一图像序列进行预处理，得到第二图像序列，其中，预处理用于筛选第一图像序列中满足预设条件的图像，第二图像序列包括第二中曝光图像和第二短曝光图像；对第二图像序列进行融合处理，得到融合图像，融合图像包括鬼影区域，鬼影区域为融合图像中包括鬼影的图像区域；对融合图像进行处理，得到第三图像，第三图像包括部分融合图像，第三图像不包括鬼影区域。
本申请还提供了一种计算机程序产品，该计算机程序产品被处理器1101执行时实现本申请中任一方法实施例的图像处理方法。
该计算机程序产品可以存储在存储器1102中，例如是程序1104，程序1104经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1101执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
该计算机可读存储介质例如是存储器1102。存储器1102可以是易失性存储器或非易失性存储器，或者，存储器1102可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随 机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个***。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
另外，本文中术语“***”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

  1. 一种图像处理方法，其特征在于，应用于电子设备，包括：
    显示第一界面，所述第一界面包括第一控件；
    检测到对所述第一控件的第一操作；
    响应于所述第一操作，获取第一图像序列，所述第一图像序列包括第一长曝光图像、第一中曝光图像和第一短曝光图像；
    对所述第一图像序列进行预处理，得到第二图像序列，其中，所述预处理用于筛选所述第一图像序列中满足预设条件的图像，所述第二图像序列包括第二中曝光图像和第二短曝光图像；
    对所述第二图像序列进行融合处理，得到融合图像，所述融合图像包括鬼影区域，所述鬼影区域为所述融合图像中包括鬼影的图像区域；
    对所述融合图像进行处理，得到第三图像，所述第三图像包括部分所述融合图像，所述第三图像不包括所述鬼影区域。
  2. 如权利要求1所述的图像处理方法，其特征在于，所述对所述融合图像进行处理，得到第三图像，包括：
    对参考图像与所述第二短曝光图像进行鬼影检测处理，得到掩膜，所述参考图像为所述第一中曝光图像中的任意一帧图像；
    根据所述掩膜对所述融合图像进行处理，得到所述第三图像。
  3. 如权利要求2所述的图像处理方法，其特征在于，所述根据所述掩膜对所述融合图像进行处理，得到所述第三图像，包括：
    根据所述掩膜确定所述融合图像中的所述鬼影区域；
    根据空洞填充算法对所述鬼影区域进行处理，得到所述第三图像。
  4. 如权利要求2或3所述的图像处理方法，其特征在于，所述预设条件包括第一预设条件，所述第一预设条件是指所述第一图像序列中图像的曝光值为预设曝光值，所述对所述第一图像序列进行预处理，得到第二图像序列，包括：
    筛选所述第一图像序列中满足所述第一预设条件的第一目标曝光图像，所述第一目标曝光图像包括至少两帧图像；
    基于所述第一目标曝光图像得到所述第二图像序列。
  5. 如权利要求4所述的图像处理方法，其特征在于，所述预设曝光值包括第一预设曝光值和/或第二预设曝光值；所述第一预设曝光值是指所述第一长曝光图像的预设曝光值；所述第二预设曝光值是指所述第一短曝光图像的预设曝光值。
  6. 如权利要求4或5所述的图像处理方法，其特征在于，所述预设条件包括第二预设条件，所述第二预设条件是指所述第一目标曝光图像中的图像与所述参考图像的相同图像内容的比例为预设比例值，所述基于所述第一目标曝光图像得到所述第二图像序列，包括：
    对所述第一目标曝光图像与所述参考图像进行比较，得到比例值，所述比例值用于表示与所述参考图像的相同图像内容的比例大小；
    根据所述比例值，筛选所述第一目标曝光图像中满足所述第二预设条件的第二目标曝光图像；
    由所述第二目标曝光图像组成所述第二图像序列。
  7. 如权利要求1至6中任一项所述的图像处理方法，其特征在于，所述对所述第二图像序列进行融合处理，得到融合图像，包括：
    将所述第二图像序列输入至融合模型，得到所述融合图像；所述融合模型用于对所述第二图像序列进行融合处理。
  8. 如权利要求7所述的图像处理方法，其特征在于，所述融合模型为卷积神经网络。
  9. 如权利要求1至8中任一项所述的图像处理方法，其特征在于，在所述检测到对所述第一控件的第一操作之前，还包括：
    检测到第二操作，所述第二操作用于指示开启所述电子设备的高动态范围图像的拍摄模式。
  10. 如权利要求1至8中任一项所述的图像处理方法，其特征在于，在所述检测到对所述第一控件的第一操作之前，还包括：
    获取预览图像；
    根据所述预览图像确定第一数值，所述第一数值用于表示所述预览图像中过曝区域的比例大小；
    根据所述第一数值确定开启所述电子设备的高动态范围图像的拍摄模式。
  11. 如权利要求1至10中任一项所述的图像处理方法，其特征在于，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
  12. 如权利要求1至10中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。
  13. 如权利要求1至10中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。
  14. 一种电子设备，其特征在于，包括：
    一个或多个处理器和存储器；
    所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。
  15. 一种芯片***，其特征在于，所述芯片***应用于电子设备，所述芯片***包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。
  16. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至13中任一项所述的图像处理方法。
  17. 一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被处理器执行时，使得处理器执行权利要求1至13中任一项所述的图像处理方法。
PCT/CN2022/117326 2021-12-29 2022-09-06 图像处理方法与电子设备 WO2023124202A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22854495.3A EP4228236A4 (en) 2021-12-29 2022-09-06 IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111644641.7A CN116437222B (zh) 2021-12-29 2021-12-29 图像处理方法与电子设备
CN202111644641.7 2021-12-29

Publications (1)

Publication Number Publication Date
WO2023124202A1 true WO2023124202A1 (zh) 2023-07-06

Family

ID=85873635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/117326 WO2023124202A1 (zh) 2021-12-29 2022-09-06 图像处理方法与电子设备

Country Status (3)

Country Link
EP (1) EP4228236A4 (zh)
CN (1) CN116437222B (zh)
WO (1) WO2023124202A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278865A (zh) * 2023-11-16 2023-12-22 荣耀终端有限公司 一种图像处理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN112581415A (zh) * 2020-11-20 2021-03-30 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113824873A (zh) * 2021-08-04 2021-12-21 荣耀终端有限公司 一种图像处理的方法及相关电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN108900782B (zh) * 2018-08-22 2020-01-24 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备
US10721415B2 (en) * 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation
CN109788207B (zh) * 2019-01-30 2021-03-23 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN111800580B (zh) * 2019-04-08 2021-07-09 瑞芯微电子股份有限公司 一种高动态图像合成方法及存储介质
CN112449120B (zh) * 2019-08-30 2022-06-10 华为技术有限公司 高动态范围视频生成方法及装置
CN111953893B (zh) * 2020-06-30 2022-04-01 普联技术有限公司 一种高动态范围图像生成方法、终端设备及存储介质
CN113379615A (zh) * 2021-04-25 2021-09-10 北京迈格威科技有限公司 图像处理方法及装置、存储介质和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN112581415A (zh) * 2020-11-20 2021-03-30 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113824873A (zh) * 2021-08-04 2021-12-21 荣耀终端有限公司 一种图像处理的方法及相关电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4228236A4

Also Published As

Publication number Publication date
CN116437222B (zh) 2024-04-19
EP4228236A1 (en) 2023-08-16
CN116437222A (zh) 2023-07-14
EP4228236A4 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
US11582400B2 (en) Method of image processing based on plurality of frames of images, electronic device, and storage medium
US11532076B2 (en) Image processing method, electronic device and storage medium
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
WO2020057199A1 (zh) 成像方法、装置和电子设备
WO2023130922A1 (zh) 图像处理方法与电子设备
CN116416122B (zh) 图像处理方法及其相关设备
WO2024045670A1 (zh) 生成高动态范围视频的方法和电子设备
WO2023040725A1 (zh) 白平衡处理方法与电子设备
WO2023142830A1 (zh) 切换摄像头的方法与电子设备
CN113810590A (zh) 图像处理方法、电子设备、介质和***
CN113905182A (zh) 一种拍摄方法及设备
WO2023124202A1 (zh) 图像处理方法与电子设备
CN115633262B (zh) 图像处理方法和电子设备
CN116055895B (zh) 图像处理方法及其装置、芯片***和存储介质
CN116668862B (zh) 图像处理方法与电子设备
CN116437198B (zh) 图像处理方法与电子设备
WO2023124201A1 (zh) 图像处理方法与电子设备
WO2023060921A1 (zh) 图像处理方法与电子设备
CN115767262A (zh) 拍照方法及电子设备
US20220414847A1 (en) High dynamic range image processing
CN116128739A (zh) 下采样模型的训练方法、图像处理方法及装置
CN116258633A (zh) 图像去反光的方法、图像去反光模型的训练方法与装置
CN115767287B (zh) 图像处理方法与电子设备
WO2023160220A1 (zh) 一种图像处理方法和电子设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18041757

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2022854495

Country of ref document: EP

Effective date: 20230216