WO2021026822A1 - 图像处理方法、装置、图像拍摄设备及移动终端 - Google Patents

图像处理方法、装置、图像拍摄设备及移动终端 Download PDF

Info

Publication number
WO2021026822A1
WO2021026822A1 PCT/CN2019/100597 CN2019100597W WO2021026822A1 WO 2021026822 A1 WO2021026822 A1 WO 2021026822A1 CN 2019100597 W CN2019100597 W CN 2019100597W WO 2021026822 A1 WO2021026822 A1 WO 2021026822A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
exposure compensation
layer
pixel values
intermediate image
Prior art date
Application number
PCT/CN2019/100597
Other languages
English (en)
French (fr)
Inventor
李广
李静
郭浩铭
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to EP19934377.3A priority Critical patent/EP3820142A4/en
Priority to PCT/CN2019/100597 priority patent/WO2021026822A1/zh
Priority to CN201980012106.4A priority patent/CN111713095A/zh
Priority to US17/148,844 priority patent/US20210133940A1/en
Publication of WO2021026822A1 publication Critical patent/WO2021026822A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the embodiments of the present application relate to computer technology, and in particular to an image processing method, device, image capturing equipment, and mobile terminal.
  • Panoramic image is to splice multiple images taken from different angles and merge these images into a large field of view or 360 degree full field of view image. Since the panoramic images are shot at different angles, a panoramic image may involve scenes such as forward light, backlight, sky, and ground at the same time. The exposure values required for these scenes may be different. At the same time, the panoramic image It also needs to meet the smooth splicing of the image brightness and the consistency of the image main body brightness.
  • the panoramic image in order to satisfy the smooth splicing of the image brightness of the panoramic image and the uniformity of the brightness of the main image, the panoramic image can be captured in a locked exposure mode.
  • the lock exposure mode each image forming a panoramic image uses the same exposure value.
  • the prior art method may cause overexposure or underexposure of part of the scene in the panoramic image, resulting in poor image quality of the panoramic image.
  • the embodiments of the present application provide an image processing method, device, image capturing equipment, and mobile terminal to improve the image quality of panoramic images.
  • an embodiment of the present application provides an image processing method, which includes: decomposing an image to be processed to obtain two or more layers of different frequency bands, determining the exposure compensation parameters of each layer, and using the exposure compensation parameters Perform exposure compensation processing, and perform image reconstruction based on each layer after exposure compensation processing to obtain the target image.
  • This method by decomposing the image into layers of different frequency bands, using the exposure compensation parameters of the layer for each layer to perform exposure compensation processing, and performing image reconstruction on each layer after compensation.
  • This method can perform a more global image Smooth exposure compensation can align the brightness difference of the global image, thereby greatly improving the image quality.
  • an image processing device including:
  • the decomposition module is used to decompose the image to be processed to obtain two or more layers with different frequency bands;
  • the determination module is used to determine the exposure compensation parameters of each layer, and use the exposure compensation parameters to perform exposure compensation processing on each layer;
  • the reconstruction module is used for image reconstruction based on each layer after exposure compensation processing to obtain the target image.
  • an image capturing device including:
  • Memory used to store computer programs
  • the processor is used to execute the computer program and perform the following operations:
  • an embodiment of the present application provides a mobile terminal, including:
  • An image capturing device the image capturing device is installed on the body;
  • the image capturing equipment includes:
  • Memory used to store computer programs
  • the processor is used to execute the computer program and perform the following operations:
  • an embodiment of the present application provides a computer-readable storage medium, including a program or instruction, and when the program or instruction runs on a computer, it executes:
  • the image processing method, device, image capturing equipment, and mobile terminal decompose an image into layers of different frequency bands, and perform exposure compensation processing for each layer using the exposure compensation parameters of the layer, and perform exposure compensation after compensation.
  • Image reconstruction is performed on each layer of the image. This method can perform smoother exposure compensation for the image globally, thereby aligning the brightness difference of the global image, and greatly improving the shooting quality of the image.
  • FIG. 1 is a schematic flowchart of an image processing method provided by an embodiment of the application
  • FIG. 2 is a schematic flowchart of an image processing method provided by an embodiment of the application.
  • FIG. 3 is a schematic diagram of processing to obtain a panoramic image based on an embodiment of the present application
  • FIG. 4 is a block diagram of the image processing device provided by an embodiment of the application.
  • FIG. 5 is a block diagram of the image processing device provided by an embodiment of the application.
  • FIG. 6 is a schematic structural diagram of an image capturing device provided by an embodiment of the application.
  • FIG. 7 is a schematic structural diagram of a mobile terminal provided by an embodiment of the application.
  • the embodiment of the application proposes an image processing method. By decomposing an image into layers of different frequency bands, for each layer, the exposure compensation parameters of the layer are used to perform exposure compensation processing, and the compensated layers are reconstructed.
  • This method A smoother exposure compensation can be performed on the overall image, so that the brightness difference of the global image can be aligned, and the shooting quality of the image can be greatly improved.
  • FIG. 1 is a schematic flowchart of an image processing method provided by an embodiment of the application, and the execution subject of the method is any electronic device with image processing capability. As shown in Figure 1, the method includes:
  • the image to be processed can be a single image, that is, a single image is decomposed to obtain two or more layers of different frequency bands, so that different areas of the single image are subjected to different exposure compensation processing; and optionally, the method of the embodiment of the present application It can also be applied to a panoramic image processing scene, in which the imaging device shoots images from various angles to obtain multiple images.
  • the multiple images are the images to be processed in this step, that is, for each image in the multiple images, each image is decomposed according to frequency bands to obtain more than two layers with different frequency bands.
  • the images captured by the imaging device need to store overlapping areas between two pairs to complete the panoramic fusion. Therefore, the above-mentioned image to be processed is images with overlapping areas in pairs.
  • the decomposition method may specifically be Laplace decomposition or Gauss decomposition.
  • Laplace decomposition or Gaussian decomposition an image can be decomposed into different frequency bands, and each frequency band corresponds to a layer.
  • each image is contained in the corresponding frequency band of the layer. Of multiple images.
  • the decomposition results of each image can be aligned to the corresponding frequency bands to prepare for the exposure compensation processing of each layer in the next step.
  • S102 Determine exposure compensation parameters of each layer, and perform exposure compensation processing on each layer using the exposure compensation parameters.
  • the exposure compensation parameters of each layer can be determined separately, so that each image in each layer has its own exposure compensation parameter, and these exposure compensation parameters are used to perform each layer separately.
  • Exposure compensation processing Compared with the uniform exposure compensation or exposure value adjustment for the entire frame of the image to be processed, the exposure compensation parameters are determined for each layer and the exposure compensation processing is performed separately.
  • the dark or bright parts of the image can be individually enhanced to prevent local overexposure or overexposure. It is dark to avoid whitening of photos and loss of details, bringing a better look and feel.
  • S103 Perform image reconstruction based on each layer after exposure compensation processing to obtain a target image.
  • the imaging device captures multiple images, and after performing exposure compensation on each layer decomposed by the multiple images through the foregoing steps, the image after exposure compensation may be reconstructed to obtain a A complete panoramic image.
  • this embodiment In image processing, when uniform exposure compensation or exposure value adjustment is performed on the entire frame of the image to be processed, once the exposure is over-exposed, it cannot be restored in the later stage and can only be repaired. If the exposure is under-exposed, a lot of details will be lost, so this embodiment
  • this method by decomposing the image into layers of different frequency bands, using the exposure compensation parameters of the layer for each layer to perform exposure compensation processing, and performing image reconstruction on each layer after compensation, this method can perform smoother exposure for the image globally Compensation can align the brightness difference of the global image, thereby greatly improving the shooting quality of the image.
  • step S102 when determining the exposure compensation parameters of each layer in step S102, it may be performed in any of the following manners.
  • the exposure compensation parameter of the first intermediate image is determined according to the number of pixels in the overlapping area of the first intermediate image and the second intermediate image and the average information of the pixel values of the overlapping area.
  • the exposure compensation parameter of the first intermediate image is determined according to the number of pixels in the overlapping area of the first intermediate image and the second intermediate image, the average information of the pixel values in the overlapping area, the standard deviation of the error and the standard deviation of the gain .
  • the first intermediate image and the second intermediate image in the above two methods are any two intermediate images with overlapping regions in the same layer.
  • the first method when the local exposure conditions of the image to be processed are not much different, using this method can effectively save processing resources while ensuring the overall exposure compensation effect.
  • the second method further through the statistics of the fluctuation range of the error within a certain period of time, the shutdown of the gain data dispersion degree, so as to have a better compensation effect for the image to be processed with a large difference in the exposure of different areas, and can retain As many specific details as possible, while meeting the individual needs of image processing.
  • these exposure compensation parameters can be used as the exposure compensation parameters of the layer.
  • the number of pixels in the overlapping area of the first intermediate image and the second intermediate image may be obtained by traversing the pixels in the overlapping area and counting the number of pixels in the overlapping area.
  • the optimal exposure parameters of the intermediate image can be obtained.
  • the average information of the pixel values in the overlapping area may include the average Euclidean distance of all pixel values in the overlapping area, or may include the average of all pixel values in the overlapping area and the average value of all pixel values in the overlapping area. Mean square error.
  • the average information of the pixel values in the overlap area include the average Euclidean distance of all the pixel values in the overlap area, and the exposure compensation parameters can be obtained from close to real data; and by letting the average information of the pixel values in the overlap area include all the pixel values in the overlap area
  • the mean value of and the mean square deviation of all pixel values in the overlapping area can further improve the processing method of the average information of the pixel values in the overlapping area, and avoid the influence of larger error values.
  • the image to be processed can be decomposed into a Laplacian pyramid, and each layer of the pyramid corresponds to a frequency band.
  • the average information of the pixel values of the overlapping area may include the average Euclidean distance of all pixel values in the overlapping area, and the exposure compensation parameter of each image in each layer is calculated by the average Euclidean distance.
  • the highest layer of the pyramid is the Gaussian layer.
  • the average information of the pixel values in the overlapping area can include the mean value and the mean square deviation of all pixel values in the overlapping area.
  • the exposure compensation of each image in the Gaussian layer is calculated by the mean value and the mean square error. parameter.
  • the exposure compensation parameter obtained from the average value is called the first exposure compensation parameter
  • the exposure compensation parameter obtained from the mean square error is called the second exposure compensation parameter.
  • the exposure compensation parameter is used to perform exposure compensation for each layer, the exposure compensation for each layer may be performed according to the first exposure compensation parameter and the second exposure compensation parameter.
  • the average value of the first exposure compensation parameter and the second exposure compensation parameter may be taken, and the average value may be used for exposure compensation.
  • the first exposure compensation parameter and the second exposure compensation parameter may be weighted respectively, and the results after the weighted calculation may be summed, and the summed result may be used for exposure compensation.
  • the decomposition method of the embodiment of the present application may also be a manner based on AC-DC decomposition.
  • the image to be processed can be decomposed into two layers, namely the image DC component layer and the image AC component layer.
  • the average value and standard mean square deviation of all pixels in the overlapping area of each intermediate image in the DC component layer can be used to calculate the Exposure compensation parameters, the exposure compensation parameters of the DC component layer are obtained, and the average values and standard mean square deviations of all pixels in the overlap region of each intermediate image in the AC component layer are obtained to obtain the exposure compensation parameters of the AC component layer.
  • the image of the DC component layer and the exposure compensation parameter of the DC component layer can be multiplied, and the image of the AC component layer can be multiplied by the exposure compensation parameter of the AC component layer, and the result of the multiplication Integrated into one image.
  • the method based on AC-DC decomposition can be regarded as a simplified method or degradation scheme in this application. This method does not need to decompose the image into multiple layers or perform Laplace decomposition in the exposure compensation stage. At the same time, statistics and calculation of compensation parameters It is also less, but it can achieve the compensation effect of a nearly complete solution in a specific scenario, which can effectively save processing resources.
  • the exposure compensation parameters can be processed to generate a gain exposure compensation parameter greater than or equal to 1, and the gain exposure compensation parameters are used to perform the Perform exposure compensation processing.
  • FIG. 2 is a schematic flowchart of an image processing method provided by an embodiment of the application. As shown in FIG. 2, the process of processing exposure compensation parameters and performing exposure compensation includes:
  • S202 Determine the gain exposure compensation parameter of each layer according to the ratio of the exposure compensation parameter of each layer to the minimum exposure compensation parameter, and perform exposure compensation processing on each layer using the gain exposure compensation parameter.
  • min_gain min(g1-1,g1-2,...,g1-n,g2-1,g2-2,...,g2-n,...gm-1,...gm-n) (1)
  • m is the number of layers decomposed from the image to be processed
  • n is the number of intermediate images of layer m.
  • g2-1 represents the first image in layer 2
  • g2-2 represents the second image in layer 2, and so on.
  • the minimum exposure compensation parameter among the exposure compensation parameters of each layer is calculated. Furthermore, using the above formula (2), the ratio of the exposure compensation parameter of each intermediate image in each layer to the minimum exposure compensation parameter is calculated to obtain the gain exposure compensation parameter of each intermediate image in each layer, and then the gain exposure compensation parameter is used for each The layer undergoes exposure compensation processing.
  • the high dynamic range can be preserved without compressing the image information, and the image bit width can be expanded at the same time. Whether to compress the image information can be selected in the post-processing according to the needs.
  • step S103 image reconstruction is performed based on each layer after the exposure compensation process, and when the target image is obtained, any one of the following two methods can be used.
  • image reconstruction is performed on each image based on the layer after exposure compensation, and then image fusion is performed on the reconstructed image.
  • the multiple to-be-processed images are decomposed into multiple layers, and each layer corresponds to a frequency band.
  • a to-be-processed image there is an image with a specific frequency band in each layer.
  • the image of each layer has exposure compensation parameters. After exposure compensation is performed on the image of each layer, the images of each layer are reconstructed to obtain a reconstructed image of the image to be processed. After the image reconstruction is completed, image fusion is performed on multiple reconstructed images to be processed to obtain a panoramic image.
  • the layers of each frequency band after exposure processing can be fused first, and then image reconstruction can be performed.
  • the multiple images to be processed are decomposed into multiple layers, each layer corresponds to a frequency band, and each layer includes multiple intermediate images of multiple images to be processed in the corresponding frequency band, then
  • image fusion is first performed on each intermediate image belonging to the same layer, and a fused image can be obtained for each layer, and then image reconstruction is performed on the fused image in each layer to obtain a panoramic image.
  • the target image obtained through the foregoing embodiment is a high-bit wide panoramic image, and this processing can preserve the data information and high dynamic range of the image.
  • the panoramic image is a low-bit wide image.
  • the target image may be converted from a first bit width to a second bit width, where the second bit width is smaller than the first bit width.
  • the target image obtained through the foregoing embodiments is a high-bit width panoramic image, and the bit width of part of the display screen is low-bit width. Therefore, converting the target image from high bit width to low bit width can make the display screen display the panoramic image normally.
  • the above-mentioned target image may be converted from the first bit width to the second bit width through tone mapping.
  • the tone mapping method may be, for example, a local algorithm, a global algorithm, etc.
  • the embodiment of the present application does not limit the tone mapping method.
  • tone mapping human vision can be used as the standard, and more high-bit width image details can be retained on low-bit width images.
  • FIG. 3 is a schematic diagram of processing to obtain a panoramic image based on an embodiment of the present application.
  • the process of shooting and obtaining a panoramic image sequentially includes: image registration, image synthesis, and tone mapping.
  • the image capturing device can perform image registration on images captured from different angles to obtain the aforementioned image to be processed. Specifically, the image capturing device extracts feature points of images shot at different angles, and performs feature point matching on the feature points of the images shot at each angle, so as to obtain multiple images to be processed.
  • the image capturing device can also perform distortion correction on the image to obtain a corrected image. And based on the corrected image for image registration.
  • the aforementioned methods are used to perform exposure compensation and image fusion on the image to be processed respectively.
  • the specific process can refer to the aforementioned embodiment, which will not be repeated here.
  • the tone mapping stage the high bit width image obtained by image fusion is mapped to a low bit width image, and the low bit width image is used as the output image.
  • Fig. 4 is a module structure diagram of an image processing device provided by an embodiment of the application. As shown in Fig. 4, the device includes:
  • the decomposition module 401 is configured to decompose the image to be processed to obtain more than two layers with different frequency bands.
  • the determining module 402 is configured to determine the exposure compensation parameters of each layer, and use the exposure compensation parameters to perform exposure compensation processing on each layer.
  • the reconstruction module 403 is configured to perform image reconstruction based on each layer after exposure compensation processing to obtain a target image.
  • FIG. 5 is a module structure diagram of an image processing device provided by an embodiment of the application. As shown in FIG. 5, the device further includes:
  • the conversion module 404 is configured to convert the above-mentioned target image from the first bit width to the second bit width, where the second bit width is smaller than the first bit width.
  • the conversion module 404 is specifically configured to:
  • the above-mentioned target image is converted from the first bit width to the second bit width.
  • FIG. 6 is a schematic structural diagram of an image capturing device provided by an embodiment of the application. As shown in FIG. 6, the image capturing device 600 includes:
  • the memory 601 is used to store computer programs.
  • the processor 602 is configured to execute the foregoing computer program and perform the following operations:
  • Decompose the image to be processed to obtain two or more layers with different frequency bands determine the exposure compensation parameters of each layer, and use the exposure compensation parameters to perform exposure compensation processing on each layer, and perform image reconstruction on each layer after exposure compensation processing to obtain the target image.
  • the image capturing device may further include: a communication interface 603 and a system bus 604.
  • the memory 601 and the communication interface 603 are connected to the processor 602 through the system bus 604 and complete For mutual communication, the communication interface 603 is used to communicate with other devices.
  • the system bus mentioned in FIG. 6 may be a peripheral component interconnect standard (PCI) bus or an extended industry standard architecture (EISA) bus, etc.
  • PCI peripheral component interconnect standard
  • EISA extended industry standard architecture
  • the system bus can be divided into address bus, data bus, control bus, etc. For ease of representation, only one thick line is used in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used to realize the communication between the database access device and other devices (such as client, read-write library and read-only library).
  • the memory may include random access memory (RAM), and may also include non-volatile memory (non-volatile memory), such as at least one disk memory.
  • the above-mentioned processor can be a general-purpose processor, including a central processing unit CPU, a network processor (NP), etc.; it can also be a digital signal processor DSP, an application specific integrated circuit ASIC, a field programmable gate array FPGA or other Programming logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • a general-purpose processor including a central processing unit CPU, a network processor (NP), etc.; it can also be a digital signal processor DSP, an application specific integrated circuit ASIC, a field programmable gate array FPGA or other Programming logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • FIG. 7 is a schematic structural diagram of a mobile terminal provided by an embodiment of the application. As shown in FIG. 7, the mobile terminal includes a body 701 and an image capturing device 702, and the image capturing device 702 is installed on the body 701.
  • the image capturing device 702 includes:
  • the memory 7021 is used to store computer programs.
  • the processor 7022 is configured to execute the foregoing computer program, and perform the following operations:
  • Decompose the image to be processed to obtain two or more layers with different frequency bands determine the exposure compensation parameters of each layer, and use the exposure compensation parameters to perform exposure compensation processing on each layer, and perform image reconstruction on each layer after exposure compensation processing to obtain the target image.
  • the image capturing device may also include a communication interface and a system bus.
  • the connection mode and function description of the communication interface and the system bus are consistent with the communication interface and the system bus in FIG. 6 described above. Description, not repeat them here.
  • the above-mentioned mobile terminal includes one or more of unmanned aerial vehicles, pan-tilts, autonomous vehicles, and mobile phones.
  • the embodiment of the present application also provides a computer-readable storage medium, including a program or instruction, and when the program or instruction runs on a computer, it executes:
  • Decompose the image to be processed to obtain two or more layers with different frequency bands determine the exposure compensation parameters of each layer, and use the exposure compensation parameters to perform exposure compensation processing on each layer, and perform image reconstruction on each layer after exposure compensation processing to obtain the target image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、图像拍摄设备及移动终端，该方法包括：对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。

Description

图像处理方法、装置、图像拍摄设备及移动终端 技术领域
本申请实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、图像拍摄设备及移动终端。
背景技术
目前的一些成像设备能够支持拍摄全景图像。全景图像是通过拼接多幅不同角度拍摄的图像，将这些图像融合为一幅大视场角或360度全视场角的图像。由于全景图像是在不同角度拍摄的，因此，一副全景图像中可能同时涉及顺光、逆光、天空、地面等场景，针对这些场景所需要使用的曝光值可能并不相同，而同时，全景图像又需要满足图像亮度的拼接平滑以及图像主体亮度的一致性。
现有技术中，为了满足全景图像的图像亮度的拼接平滑以及图像主体亮度的一致性，可以使用锁曝光的方式拍摄全景图像。在锁曝光的方式中，形成全景图像的每幅图像均使用相同的曝光值。
但是，现有技术的方法可能导致全景图像中的部分景出现过曝光或欠曝光的情况，导致全景图像的图像质量差。
发明内容
本申请实施例提供一种图像处理方法、装置、图像拍摄设备及移动终端，用以提升全景图像的图像质量。
第一方面，本申请实施例提供一种图像处理方法，该方法包括：对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。
在该方法中，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮 度差异，进而极大提升图像的拍摄质量。
第二方面，本申请实施例提供一种图像处理装置，包括：
分解模块，用于对待处理图像进行分解，得到两个以上不同频段的层；
确定模块，用于确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
重建模块，用于基于曝光补偿处理后的各层进行图像重建，得到目标图像。
第三方面，本申请实施例提供一种图像拍摄设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，执行如下操作：
对待处理图像进行分解，得到两个以上不同频段的层；
确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
基于曝光补偿处理后的各层进行图像重建，得到目标图像。
第四方面，本申请实施例提供一种移动终端，包括：
机体；
图像拍摄设备，所述图像拍摄设备安装在所述机体上；
所述图像拍摄设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，执行如下操作：
对待处理图像进行分解，得到两个以上不同频段的层；
确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
基于曝光补偿处理后的各层进行图像重建，得到目标图像。
第五方面，本申请实施例提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，执行：
对待处理图像进行分解，得到两个以上不同频段的层；
确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
基于曝光补偿处理后的各层进行图像重建，得到目标图像。
本申请实施例所提供的图像处理方法、装置、图像拍摄设备及移动终端， 通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的流程示意图；
图2为本申请实施例提供的图像处理方法的流程示意图；
图3为基于本申请实施例得到全景图像的处理示意图；
图4为本申请实施例提供的图像处理装置的模块结构图；
图5为本申请实施例提供的图像处理装置的模块结构图；
图6为本申请实施例提供的图像拍摄设备的结构示意图；
图7为本申请实施例提供的移动终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提出一种图像处理方法，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。
图1为本申请实施例提供的图像处理方法的流程示意图，该方法的执行主体为任何具有图像处理能力的电子设备。如图1所示，该方法包括：
S101、对待处理图像进行分解，得到两个以上不同频段的层。
待处理图像可以为单幅，即对单张图像进行分解得到两个以上不同频段的层，从而对单张图像的不同区域进行不同的曝光补偿处理；而可选的，本申请实施例的方法也可以应用于全景图像处理场景中，在该场景中，成像设备从各角度分别拍摄图像，得到多幅图像。其中，该多幅图像为本步骤中的待处理图像，即对于该多幅图像中的每幅图像，分别按照频段进行分解，得到两个以上不同频段的层。
值得说明的是，上述多幅图像中的每幅图像所分解的层的数量相同，每一层对应的频段相同。
可选的，在全景图像处理场景中，成像设备拍摄的图像需要两两之间存储重叠区域以完成全景融合，因此，上述待处理图像为若干两两存在重叠区域的图像。
作为一种示例，上述按照频段进行分解时，分解方式具体可以为拉普拉斯分解或高斯分解。通过拉普拉斯分解或高斯分解，可以将一幅图像分解到不同的频段上，每个频段对应一个层。
在本步骤中，使用拉普拉斯分解或高斯分解方式分别将上述多幅图像中的每幅图像进行分解，得到多个层，在每个层中，包含各幅图像在该层对应频段下的多幅图像。通过该预处理，可以令各幅图像的分解结果对齐到相应频段，为下一步的各层进行曝光补偿处理做准备。
S102、确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理。
在将待处理图像分解为不同频段的层之后，可以分别确定各层的曝光补偿参数，从而使得各层中的各幅图像分别具有各自的曝光补偿参数，使用这些曝光补偿参数分别对各层进行曝光补偿处理。较之对待处理图像的全画面进行统一的曝光补偿或曝光值调节，对各层各自确定曝光补偿参数并分别进行曝光补偿处理能够对图像的暗部或亮部进行单独加强，防止局部过曝或过暗，避免照片泛白、细节丢失，带来更好的观感体验。
S103、基于曝光补偿处理后的各层进行图像重建，得到目标图像。
示例性的，在全景图像处理场景下，成像设备捕获到多幅图像，在经过前述步骤对多幅图像所分解的各层进行曝光补偿之后，可以对曝光补偿之后的图像进行重建，以得到一幅完整的全景图像。
在图像处理中，对待处理图像的全画面进行统一的曝光补偿或曝光值调 节时，一旦曝光过度，后期无法还原，只能修复，若是曝光不足，也会造成大量细节的丢失，所以本实施例中，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。
在一种可选的实施方式中，上述步骤S102中在确定各层的曝光补偿参数时，可以按照如下方式中的任意一种进行。
第一种方式中，根据第一中间图像和第二中间图像重叠区域的像素数量以及该重叠区域像素值的平均信息，确定第一中间图像的曝光补偿参数。
第二种方式中，根据第一中间图像和第二中间图像重叠区域的像素数量、该重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定第一中间图像的曝光补偿参数。
其中，上述两种方式中的第一中间图像和第二中间图像为同一层中任意两个存在重叠区域的中间图像。
采用第一种方式，在待处理图像的各局部曝光情况相差不大时，采用该方法可以有效节约处理资源，同时确保整体的曝光补偿效果。采用第二种方式，进一步通过某一个时段内误差上下波动的幅度的统计、增益数据离散程度的停机，从而对于不同区域曝光情况差别较大的待处理图像具有更佳的补偿效果，且能保留尽可能多的特定细节，同时满足图像处理的个性化需求。
在得到一个层中各图像的曝光补偿参数后，可以将这些曝光补偿参数作为该层的曝光补偿参数。
可选的，在上述两种方式中，第一中间图像和第二中间图像重叠区域的像素数量可以通过遍历重叠区域的像素，并统计重叠区域的像素数量来获得。通过该方法，可以求得中间图像的最佳曝光参数。
可选的，在上述两种方式中，重叠区域的像素值的平均信息可以包括重叠区域所有像素值的平均欧氏距离，或者，可以包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差。令重叠区域的像素值的平均信息包括重叠区域所有像素值的平均欧氏距离，可以通过接近真实的数据得出曝光补偿参数；而通过令重叠区域的像素值的平均信息包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差，可以进一步完善重叠区域的像素值的平均信息的处理方式，避免较大误差值带来的影响。具体的，以分解方 式为拉普拉斯分解为例，待处理图像可以分解为拉普拉斯金字塔，金字塔的每一层对应一个频段。对于除最高层外的各层，重叠区域的像素值的平均信息可以包括重叠区域所有像素值的平均欧氏距离，通过该平均欧氏距离计算各层中各图像的曝光补偿参数。金字塔的最高层为高斯层，对于该最高层，可以重叠区域的像素值的平均信息可以包括重叠区域所有像素值的均值和均方差，通过该均值和均方差计算高斯层中各图像的曝光补偿参数。
可选的，当重叠区域的像素值的平均信息包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差时，可以分别将该均值和该均方差计算出两个曝光补偿参数，为便于区分，将由均值得到的曝光补偿参数称为第一曝光补偿参数，将由均方差得到的曝光补偿参数称为第二曝光补偿参数。进而，在使用曝光补偿参数对各层进行曝光补偿时，可以根据该第一曝光补偿参数和该第二曝光补偿参数对各层进行曝光补偿。
示例性的，可以对第一曝光补偿参数和第二曝光补偿参数取均值，并使用该均值进行曝光补偿。或者，可以对第一曝光补偿参数和第二曝光补偿参数分别进行加权计算，并将加权计算后的结果求和，使用求和结果进行曝光补偿。
作为一种可选的实施方式，本申请实施例的分解方式还可以为基于交直流分解的方式。在该分解方式中，可以将待处理图像分解为2层，分别为图像直流分量层和图像交流分量层。以使用前述的第二种方式确定各层中各中间图像的曝光补偿参数为例，可以基于直流分量层中各中间图像重叠区域所有像素的均值和标准均方差，计算直流分量层中各图像的曝光补偿参数，得到直流分量层的曝光补偿参数，并交流分量层中各中间图像重叠区域所有像素的均值和标准均方差，得到交流分量层的曝光补偿参数。进而，在进行补偿处理时，可以分别将直流分量层的图像与直流分量层的曝光补偿参数相乘，以及将交流分量层的图像与交流分量层的曝光补偿参数相乘，将相乘的结果整合为一幅图像。
基于交直流分解的方式可以视作本申请中的一种简化方式或退化方案，该方式无需在曝光补偿阶段将图像分解为多层或进行拉普拉斯分解，同时，统计和计算的补偿参数也更少，却在特定场景下可以达到近似完全方案的补偿效果，可以有效节省处理资源。在一种可选的实施方式中，在通过前述的过程得到曝光补偿参数后，可以处理曝光补偿参数，使其生成大于或等于1 的增益曝光补偿参数，并使用该增益曝光补偿参数对各层进行曝光补偿处理。
图2为本申请实施例提供的图像处理方法的流程示意图，如图2所示，处理曝光补偿参数并进行曝光补偿的处理的过程包括：
S201、确定各层的曝光补偿参数中的最小曝光补偿参数。
S202、根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
示例性的，上述过程可以使用下述公式(1)和公式(2)得到。
min_gain＝min(g1-1,g1-2,…,g1-n,g2-1,g2-2,…,g2-n,…gm-1,…gm-n)   (1)
gi-j＝gi-j/min_gain     (2)
其中，m为对待处理图像分解出的层的数量，n为层m的中间图像的数量。示例性的，g2-1表示层2中的第1幅图像，g2-2表示层2中的第2幅图像，以此类推。
利用上述公式(1)，计算出各层的曝光补偿参数中的最小曝光补偿参数。进而，利用上述公式(2)，计算各层中各中间图像的曝光补偿参数与最小曝光补偿参数的比值，得到各层中各中间图像的增益曝光补偿参数，进而使用该增益曝光补偿参数对各层进行曝光补偿处理。
经过上述过程对曝光补偿参数进行处理之后，可以在不压缩图像信息的同时保留高动态范围，同时扩展了图像位宽。是否压缩图像信息可以在后期处理中根据需求进行选择。
可选的，在上述步骤S103中基于曝光补偿处理后的各层进行图像重建，得到目标图像时，可以使用下述两种方式中的任意一种进行。
第一种方式中，对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
以分解方式为拉普拉斯分解为例，将多幅待处理图像分别分解为多层，每层对应一个频段，则对于一幅待处理图像，在每层具有一个特定频段的图像，经过前述处理之后，每层的图像均具有曝光补偿参数，对每层的图像进行曝光补偿处理之后，将各层的图像进行重建，得到一幅待处理图像重建后的图像，对多幅待处理图像均完成图像重建之后，对重建后的多幅待处理图像进行图像融合，即可得到全景图像。
第二种方式中，当融合算法使用多频段融合，则可以先对曝光处理后的 各频段的层进行融合，再进行图像重建。
以分解方式为拉普拉斯分解为例，将多幅待处理图像分别分解为多层，每层对应一个频段，每层中包括多幅待处理图像在对应频段下的多幅中间图像，则在该方式中，对属于同一层的各中间图像首先进行图像融合，每层可以得到一幅融合后的图像，再对各层中的融合后的图像进行图像重建，从而得到全景图像。
经过前述实施例所得到的目标图像为高位宽全景图像，这种处理能够保留图像的数据信息和高动态范围。而在相关技术中，全景图像为低位宽图像。
作为一种可选的实施方式，在得到重建后的目标图像后，还可以将该目标图像从第一位宽转换为第二位宽，其中，该第二位宽小于该第一位宽。
经过前述实施例所得到的目标图像为高位宽全景图像，而部分显示屏幕的位宽为低位宽，因此，将目标图像从高位宽转换为低位宽，可以使得显示屏幕可以正常显示全景图像。
可选的，可以通过色调映射，将上述目标图像从第一位宽转换为第二位宽。
示例性的，色调映射的方法例如可以为局部算法、全局算法等，本申请实施例对于色调映射的方式不做限定。通过色调映射，可以使得以人眼视觉为准，保留更多高位宽图像细节到低位宽图像上。
图3为基于本申请实施例得到全景图像的处理示意图，如图3所示，拍摄并得到全景图像的过程依次包括：图像配准、图像合成以及色调映射。其中，在图像配准过程中，图像拍摄设备可以对从不同角度拍摄的图像进行图像配准，得到前述的待处理图像。具体的，图像拍摄设备分别提取不同角度拍摄的图像的特征点，对各角度拍摄的图像的特征点进行特征点匹配，从而得到多幅待处理图像。可选的，图像拍摄设备还可以对图像进行畸变校正，得到校正后的图像。并基于矫正后的图像进行图像配准。在图像合成阶段，分别使用前述的方式对待处理图像进行曝光补偿以及图像融合，具体过程可以参照前述实施例，此处不再赘述。在色调映射阶段，将图像融合所得到的高位宽图像映射为低位宽图像，并将该低位宽图像作为输出的图像。
图4为本申请实施例提供的图像处理装置的模块结构图，如图4所示，该装置包括：
分解模块401，用于对待处理图像进行分解，得到两个以上不同频段的层。
确定模块402，用于确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理。
重建模块403，用于基于曝光补偿处理后的各层进行图像重建，得到目标图像。
图5为本申请实施例提供的图像处理装置的模块结构图，如图5所示，该装置还包括：
转换模块404，用于将上述目标图像从第一位宽转换为第二位宽，其中，第二位宽小于第一位宽。
在一种可选的实施方式中，转换模块404具体用于：
通过色调映射，将上述目标图像从第一位宽转换为第二位宽。
图6为本申请实施例提供的图像拍摄设备的结构示意图，如图6所示，该图像拍摄设备600包括：
存储器601，用于存储计算机程序。
处理器602，用于执行上述计算机程序，执行如下操作：
对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。
继续参照图6，可选的，该图像拍摄设备还可以包括：通信接口603和***总线604，所述存储器601和所述通信接口603通过所述***总线604与所述处理器602连接并完成相互间的通信，所述通信接,603用于和其他设备进行通信。
该图6中提到的***总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(network processor，NP)等；还可以是数字信号处理器DSP、专用集成电路 ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图7为本申请实施例提供的移动终端的结构示意图，如图7所示，该移动终端包括：机体701和图像拍摄设备702，图像拍摄设备702安装在机体701上。
图像拍摄设备702包括：
存储器7021，用于存储计算机程序。
处理器7022，用于执行上述计算机程序，执行如下操作：
对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。
可选的，该图像拍摄设备还可以包括通信接口、***总线，该通信接口和***总线的连接方式、功能描述与上述图6中的通信接口和***总线一致，可以参照前述的图6中的描述，此处不再赘述。
在一种可选的实施方式中，上述移动终端包括无人飞行器、云台、自动驾驶汽车、手机等的一种或多种。
本申请实施例还提供一种计算机可读存储介质，包括程序或指令，当该程序或指令在计算机上运行时，执行：
对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。

Claims (92)

  1. 一种图像处理方法，其特征在于，包括：
    对待处理图像进行分解，得到两个以上不同频段的层；
    确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
    基于曝光补偿处理后的各层进行图像重建，得到目标图像。
  2. 根据权利要求1所述的方法，其特征在于，待处理图像为若干两两存在重叠区域的图像。
  3. 根据权利要求2所述的方法，其特征在于，所述确定各层的曝光补偿参数，包括：
    根据第一中间图像和第二中间图像重叠区域的像素数量以及所述重叠区域像素值的平均信息，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  4. 根据权利要求2所述的方法，其特征在于，所述确定各层的曝光补偿参数，包括：
    根据第一中间图像和第二中间图像重叠区域的像素数量、所述重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  5. 根据权利要求3所述的方法，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的平均欧氏距离。
  6. 根据权利要求3所述的方法，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的均值。
  7. 根据权利要求6所述的方法，其特征在于，所述像素值的平均信息还包括所述重叠区域所有像素值的标准均方差。
  8. 根据权利要求7所述的方法，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    根据由所述均值得到的第一曝光补偿参数以及由所述标准均方差得到的第二曝光补偿参数，对各层进行曝光补偿处理。
  9. 根据权利要求1-8任一项所述的方法，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  10. 根据权利要求9所述的方法，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    确定各层的曝光补偿参数中的最小曝光补偿参数；
    根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  11. 根据权利要求1-10任一项所述的方法，其特征在于，分解方式具体为拉普拉斯分解。
  12. 根据权利要求1-10任一项所述的方法，其特征在于，所述层具体为2个。
  13. 根据权利要求12所述的方法，其特征在于，所述层为图像直流分量层和图像交流分量层。
  14. 根据权利要求2-10任一项所述的方法，其特征在于，所述基于曝光补偿处理后的层进行图像重建，包括：
    对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
  15. 根据权利要求2-10任一项所述的方法，其特征在于，所述基于曝光补偿处理后的层进行图像重建，包括：
    当融合算法使用多频段融合，先对曝光处理后的各频段的层进行融合，再进行图像重建。
  16. 根据权利要求1-10任一项所述的方法，其特征在于，还包括：
    将所述目标图像从第一位宽转换为第二位宽，其中，所述第二位宽小于所述第一位宽。
  17. 根据权利要求16所述的方法，其特征在于，所述将所述目标图像从第一位宽转换为第二位宽，包括：
    通过色调映射，将所述目标图像从第一位宽转换为第二位宽。
  18. 一种图像处理装置，其特征在于，包括：
    分解模块，用于对待处理图像进行分解，得到两个以上不同频段的层；
    确定模块，用于确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
    重建模块，用于基于曝光补偿处理后的各层进行图像重建，得到目标图像。
  19. 根据权利要求18所述的装置，其特征在于，待处理图像为若干两两存在重叠区域的图像。
  20. 根据权利要求19所述的装置，其特征在于，所述确定模块具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量以及所述重叠区域像素值的平均信息，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  21. 根据权利要求19所述的装置，其特征在于，所述确定模块具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量、所述重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  22. 根据权利要求20所述的装置，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的平均欧氏距离。
  23. 根据权利要求20所述的装置，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的均值。
  24. 根据权利要求23所述的装置，其特征在于，所述像素值的平均信息还包括所述重叠区域所有像素值的标准均方差。
  25. 根据权利要求24所述的装置，其特征在于，所述确定模块具体用于：
    根据由所述均值得到的第一曝光补偿参数以及由所述标准均方差得到的第二曝光补偿参数，对各层进行曝光补偿处理。
  26. 根据权利要求18-25任一项所述的装置，其特征在于，所述确定模块具体用于：
    处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  27. 根据权利要求26所述的装置，其特征在于，所述确定模块具体用于：
    确定各层的曝光补偿参数中的最小曝光补偿参数；
    根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  28. 根据权利要求18-27任一项所述的装置，其特征在于，分解方式具体为拉普拉斯分解。
  29. 根据权利要求18-27任一项所述的装置，其特征在于，所述层具体为2个。
  30. 根据权利要求29所述的装置，其特征在于，所述层为图像直流分量层和图像交流分量层。
  31. 根据权利要求19-27任一项所述的装置，其特征在于，所述重建模块具体用于：
    对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
  32. 根据权利要求19-27任一项所述的装置，其特征在于，所述重建模块具体用于：
    当融合算法使用多频段融合，先对曝光处理后的各频段的层进行融合，再进行图像重建。
  33. 根据权利要求18-27任一项所述的装置，其特征在于，还包括：
    转换模块，用于将所述目标图像从第一位宽转换为第二位宽，其中，所述第二位宽小于所述第一位宽。
  34. 根据权利要求33所述的装置，其特征在于，所述转换模块具体用于：
    通过色调映射，将所述目标图像从第一位宽转换为第二位宽。
  35. 一种图像拍摄设备，其特征在于，包括：
    存储器，用于存储计算机程序；
    处理器，用于执行所述计算机程序，执行如下操作：
    对待处理图像进行分解，得到两个以上不同频段的层；
    确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
    基于曝光补偿处理后的各层进行图像重建，得到目标图像。
  36. 根据权利要求35所述的设备，其特征在于，待处理图像为若干两两存在重叠区域的图像。
  37. 根据权利要求36所述的设备，所述处理器具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量以及所述重叠区域像素值的平均信息，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  38. 根据权利要求36所述的设备，所述处理器具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量、所述重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  39. 根据权利要求37所述的设备，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的平均欧氏距离。
  40. 根据权利要求37所述的设备，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的均值。
  41. 根据权利要求40所述的设备，其特征在于，所述像素值的平均信息还包括所述重叠区域所有像素值的标准均方差。
  42. 根据权利要求41所述的设备，其特征在于，所述处理器具体用于：
    根据由所述均值得到的第一曝光补偿参数以及由所述标准均方差得到的第二曝光补偿参数，对各层进行曝光补偿处理。
  43. 根据权利要求35-42任一项所述的设备，其特征在于，所述处理器具体用于：
    处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  44. 根据权利要求43所述的设备，其特征在于，所述处理器具体用于：
    确定各层的曝光补偿参数中的最小曝光补偿参数；
    根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的 增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  45. 根据权利要求35-44任一项所述的设备，其特征在于，分解方式具体为拉普拉斯分解。
  46. 根据权利要求35-44任一项所述的设备，其特征在于，所述层具体为2个。
  47. 根据权利要求46所述的设备，其特征在于，所述层为图像直流分量层和图像交流分量层。
  48. 根据权利要求36-44任一项所述的设备，其特征在于，所述处理器具体用于：
    对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
  49. 根据权利要求36-44任一项所述的设备，其特征在于，所述处理器具体用于：
    当融合算法使用多频段融合，先对曝光处理后的各频段的层进行融合，再进行图像重建。
  50. 根据权利要求35-44任一项所述的设备，其特征在于，所述处理器还用于：
    将所述目标图像从第一位宽转换为第二位宽，其中，所述第二位宽小于所述第一位宽。
  51. 根据权利要求50所述的设备，其特征在于，所述处理器具体用于：
    通过色调映射，将所述目标图像从第一位宽转换为第二位宽。
  52. 根据权利要求35-44任一项所述的设备，其特征在于，所述设备还可对从不同角度拍摄的图像进行图像配准，得到所述待处理图像。
  53. 根据权利要求52所述的设备，其特征在于，所述图像配准包括：
    分别提取不同角度拍摄的图像的特征点；
    对各角度拍摄的图像的特征点进行特征点匹配，得到所述待处理图像。
  54. 根据权利要求52所述的设备，其特征在于，所述设备还可对图像进行畸变校正，得到校正后的图像。
  55. 一种移动终端，其特征在于，包括：
    机体；
    图像拍摄设备，所述图像拍摄设备安装在所述机体上；
    所述图像拍摄设备包括：
    存储器，用于存储计算机程序；
    处理器，用于执行所述计算机程序，执行如下操作：
    对待处理图像进行分解，得到两个以上不同频段的层；
    确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
    基于曝光补偿处理后的各层进行图像重建，得到目标图像。
  56. 根据权利要求55所述的移动终端，其特征在于，待处理图像为若干两两存在重叠区域的图像。
  57. 根据权利要求56所述的移动终端，所述处理器具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量以及所述重叠区域像素值的平均信息，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  58. 根据权利要求56所述的移动终端，所述处理器具体用于：
    根据第一中间图像和第二中间图像重叠区域的像素数量、所述重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  59. 根据权利要求57所述的移动终端，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的平均欧氏距离。
  60. 根据权利要求57所述的移动终端，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的均值。
  61. 根据权利要求60所述的移动终端，其特征在于，所述像素值的平均信息还包括所述重叠区域所有像素值的标准均方差。
  62. 根据权利要求61所述的移动终端，其特征在于，所述处理器具体用于：
    根据由所述均值得到的第一曝光补偿参数以及由所述标准均方差得到的第二曝光补偿参数，对各层进行曝光补偿处理。
  63. 根据权利要求55-62任一项所述的移动终端，其特征在于，所述处理器具体用于：
    处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  64. 根据权利要求63所述的移动终端，其特征在于，所述处理器具体用于：
    确定各层的曝光补偿参数中的最小曝光补偿参数；
    根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  65. 根据权利要求55-64任一项所述的移动终端，其特征在于，分解方式具体为拉普拉斯分解。
  66. 根据权利要求55-64任一项所述的移动终端，其特征在于，所述层具体为2个。
  67. 根据权利要求60所述的移动终端，其特征在于，所述层为图像直流分量层和图像交流分量层。
  68. 根据权利要求56-64任一项所述的移动终端，其特征在于，所述处理器具体用于：
    对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
  69. 根据权利要求56-64任一项所述的移动终端，其特征在于，所述处理器具体用于：
    当融合算法使用多频段融合，先对曝光处理后的各频段的层进行融合，再进行图像重建。
  70. 根据权利要求55-64任一项所述的移动终端，其特征在于，所述处理器还用于：
    将所述目标图像从第一位宽转换为第二位宽，其中，所述第二位宽小于所述第一位宽。
  71. 根据权利要求70所述的移动终端，其特征在于，所述处理器具体用于：
    通过色调映射，将所述目标图像从第一位宽转换为第二位宽。
  72. 根据权利要求55-64任一项所述的移动终端，其特征在于，所述设备 还可对从不同角度拍摄的图像进行图像配准，得到所述待处理图像。
  73. 根据权利要求72所述的移动终端，其特征在于，所述图像配准包括：
    分别提取不同角度拍摄的图像的特征点；
    对各角度拍摄的图像的特征点进行特征点匹配，得到所述待处理图像。
  74. 根据权利要求72所述的移动终端，其特征在于，所述设备还可对图像进行畸变校正，得到校正后的图像。
  75. 根据权利要求55-64任一项所述的移动终端，其特征在于，所述移动终端包括无人飞行器、云台、自动驾驶汽车、手机等的一种或多种。
  76. 一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，执行：
    对待处理图像进行分解，得到两个以上不同频段的层；
    确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；
    基于曝光补偿处理后的各层进行图像重建，得到目标图像。
  77. 根据权利要求76所述的介质，其特征在于，待处理图像为若干两两存在重叠区域的图像。
  78. 根据权利要求77所述的介质，其特征在于，所述确定各层的曝光补偿参数，包括：
    根据第一中间图像和第二中间图像重叠区域的像素数量以及所述重叠区域像素值的平均信息，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  79. 根据权利要求77所述的介质，其特征在于，所述确定各层的曝光补偿参数，包括：
    根据第一中间图像和第二中间图像重叠区域的像素数量、所述重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定所述第一中间图像和所述第二中间图像的曝光补偿参数；
    所述第一中间图像和所述第二中间图像为同一层中任意两个存在重叠区域的中间图像。
  80. 根据权利要求78所述的介质，其特征在于，所述像素值的平均信息 包括所述重叠区域所有像素值的平均欧氏距离。
  81. 根据权利要求78所述的介质，其特征在于，所述像素值的平均信息包括所述重叠区域所有像素值的均值。
  82. 根据权利要求81所述的介质，其特征在于，所述像素值的平均信息还包括所述重叠区域所有像素值的标准均方差。
  83. 根据权利要求82所述的介质，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    根据由所述均值得到的第一曝光补偿参数以及由所述标准均方差得到的第二曝光补偿参数，对各层进行曝光补偿处理。
  84. 根据权利要求76-83任一项所述的介质，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  85. 根据权利要求84所述的介质，其特征在于，所述使用曝光补偿参数对各层进行曝光补偿处理，包括：
    确定各层的曝光补偿参数中的最小曝光补偿参数；
    根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。
  86. 根据权利要求76-85任一项所述的介质，其特征在于，分解方式具体为拉普拉斯分解。
  87. 根据权利要求76-85任一项所述的介质，其特征在于，所述层具体为2个。
  88. 根据权利要求87所述的介质，其特征在于，所述层为图像直流分量层和图像交流分量层。
  89. 根据权利要求77-85任一项所述的介质，其特征在于，所述基于曝光补偿处理后的层进行图像重建，包括：
    对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。
  90. 根据权利要求77-85任一项所述的介质，其特征在于，所述基于曝光补偿处理后的层进行图像重建，包括：
    当融合算法使用多频段融合，先对曝光处理后的各频段的层进行融合，再 进行图像重建。
  91. 根据权利要求76-85任一项所述的介质，其特征在于，还包括：
    将所述目标图像从第一位宽转换为第二位宽，其中，所述第二位宽小于所述第一位宽。
  92. 根据权利要求91所述的介质，其特征在于，所述将所述目标图像从第一位宽转换为第二位宽，包括：
    通过色调映射，将所述目标图像从第一位宽转换为第二位宽。
PCT/CN2019/100597 2019-08-14 2019-08-14 图像处理方法、装置、图像拍摄设备及移动终端 WO2021026822A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19934377.3A EP3820142A4 (en) 2019-08-14 2019-08-14 IMAGE PROCESSING APPARATUS AND METHOD, IMAGE PHOTOGRAPHY DEVICE AND MOBILE TERMINAL
PCT/CN2019/100597 WO2021026822A1 (zh) 2019-08-14 2019-08-14 图像处理方法、装置、图像拍摄设备及移动终端
CN201980012106.4A CN111713095A (zh) 2019-08-14 2019-08-14 图像处理方法、装置、图像拍摄设备及移动终端
US17/148,844 US20210133940A1 (en) 2019-08-14 2021-01-14 Image processing method and device, image capture apparatus, and mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/100597 WO2021026822A1 (zh) 2019-08-14 2019-08-14 图像处理方法、装置、图像拍摄设备及移动终端

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/148,844 Continuation US20210133940A1 (en) 2019-08-14 2021-01-14 Image processing method and device, image capture apparatus, and mobile terminal

Publications (1)

Publication Number Publication Date
WO2021026822A1 true WO2021026822A1 (zh) 2021-02-18

Family

ID=72536776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/100597 WO2021026822A1 (zh) 2019-08-14 2019-08-14 图像处理方法、装置、图像拍摄设备及移动终端

Country Status (4)

Country Link
US (1) US20210133940A1 (zh)
EP (1) EP3820142A4 (zh)
CN (1) CN111713095A (zh)
WO (1) WO2021026822A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240582A (zh) * 2021-04-13 2021-08-10 浙江大华技术股份有限公司 一种图像拼接方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质
US11798151B1 (en) * 2022-04-25 2023-10-24 Rivian Ip Holdings, Llc Systems and methods for determining image capture degradation of a camera sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
CN104125410A (zh) * 2014-07-02 2014-10-29 深圳英飞拓科技股份有限公司 一种全景视频多镜头曝光补偿方法及其装置
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN107172364A (zh) * 2017-04-28 2017-09-15 努比亚技术有限公司 一种图像曝光补偿方法、装置和计算机可读存储介质
CN107220953A (zh) * 2017-06-16 2017-09-29 广东欧珀移动通信有限公司 图像处理方法、装置及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN109191368B (zh) * 2018-08-03 2023-04-14 深圳市销邦科技股份有限公司 一种实现全景图拼接融合的方法、***设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
CN104125410A (zh) * 2014-07-02 2014-10-29 深圳英飞拓科技股份有限公司 一种全景视频多镜头曝光补偿方法及其装置
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN107172364A (zh) * 2017-04-28 2017-09-15 努比亚技术有限公司 一种图像曝光补偿方法、装置和计算机可读存储介质
CN107220953A (zh) * 2017-06-16 2017-09-29 广东欧珀移动通信有限公司 图像处理方法、装置及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240582A (zh) * 2021-04-13 2021-08-10 浙江大华技术股份有限公司 一种图像拼接方法及装置
CN113240582B (zh) * 2021-04-13 2023-12-12 浙江大华技术股份有限公司 一种图像拼接方法及装置

Also Published As

Publication number Publication date
EP3820142A1 (en) 2021-05-12
US20210133940A1 (en) 2021-05-06
EP3820142A4 (en) 2021-09-08
CN111713095A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
WO2021026822A1 (zh) 图像处理方法、装置、图像拍摄设备及移动终端
CN112767289B (zh) 图像融合方法、装置、介质及电子设备
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
US10614603B2 (en) Color normalization for a multi-camera system
JP5319415B2 (ja) 画像処理装置、画像処理方法
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN113962884B (zh) Hdr视频获取方法、装置、电子设备以及存储介质
JP2022524806A (ja) 画像融合方法及び携帯端末
Chen et al. Deep exposure fusion with deghosting via homography estimation and attention learning
Delbracio et al. Polyblur: Removing mild blur by polynomial reblurring
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
US10019645B2 (en) Image processing apparatus and method, and electronic equipment
WO2023202200A1 (zh) 一种重建hdr图像的方法、终端及电子设备
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
Wang et al. KUNet: Imaging Knowledge-Inspired Single HDR Image Reconstruction.
Afifi et al. Learning to correct overexposed and underexposed photos
Wang et al. Brightness perceiving for recursive low-light image enhancement
Fu et al. Raw image based over-exposure correction using channel-guidance strategy
Akhil et al. Single Image HDR Synthesis Using a Densely Connected Dilated ConvNet.
US20240029460A1 (en) Apparatus and method for performing image authentication
Yang et al. Efficient hdr reconstruction from real-world raw images
Malik et al. A model learning approach for low light image restoration
CN110689502B (zh) 一种图像处理方法及相关装置
CN114898068A (zh) 三维建模方法、装置、设备及存储介质
CN111383171B (zh) 一种图片处理方法、***及终端设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE