CN108989700B - 成像控制方法、装置、电子设备以及计算机可读存储介质 - Google Patents

成像控制方法、装置、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN108989700B
CN108989700B CN201810916157.7A CN201810916157A CN108989700B CN 108989700 B CN108989700 B CN 108989700B CN 201810916157 A CN201810916157 A CN 201810916157A CN 108989700 B CN108989700 B CN 108989700B
Authority
CN
China
Prior art keywords
exposure
pixel
image
proportion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810916157.7A
Other languages
English (en)
Other versions
CN108989700A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810916157.7A priority Critical patent/CN108989700B/zh
Publication of CN108989700A publication Critical patent/CN108989700A/zh
Priority to PCT/CN2019/090555 priority patent/WO2020034737A1/zh
Priority to EP19850633.9A priority patent/EP3836534B1/en
Application granted granted Critical
Publication of CN108989700B publication Critical patent/CN108989700B/zh
Priority to US17/172,765 priority patent/US11228720B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请提出一种成像控制方法、装置、电子设备以及计算机可读存储介质，其中，方法包括：通过根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，同曝光度图像占比与环境亮度之间具有反向关系，进而拍摄得到符合同曝光度图像占比的多帧图像，最终对多帧图像进行合成处理。由此，根据拍摄场景的环境亮度，确定采用同曝光度图像占比进行拍摄，得到对应的多帧图像并进行合并成像，不仅降低噪声、提高动态范围，而且提供更好的拍照效果，增加用户体验。

Description

成像控制方法、装置、电子设备以及计算机可读存储介质
技术领域
本申请涉及电子设备技术领域，尤其涉及一种成像控制方法、装置、电子设备以及计 算机可读存储介质。
背景技术
随着终端技术的不断发展，越来越多的用户使用电子设备拍摄图像。当用户使用电子 设备的前置摄像头自拍时，由于用户处于光源和电子设备之间，容易出现人脸曝光不充分 的情况。如果通过调节曝光度来提高人脸亮度，则会使背景区域过曝光，甚至无法清楚显 示拍摄场景。
为了提高拍摄质量，通常在拍摄过程中，通过控制像素阵列分别进行长曝光、中曝光 和短曝光，再将不同的曝光度下获得的图像合成后输出成像，以改善图像的成像效果。
但是，这种拍摄方式在环境亮度较暗的场景下，拍摄得到的图像动态范围不够宽，在 环境亮度中等的场景下，拍摄得到的图像噪点比较大，因此，这种单一的拍摄模式无法适 应多种拍摄场景。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种成像控制方法、装置、电子设备以及计算机可读存储介质，以 实现根据拍摄场景的环境亮度，确定同曝光度图像占比进行拍摄得到图像，解决了相关技 术中拍摄多帧图像时噪点高以及动态范围低的技术问题。
本申请一方面实施例提出了一种成像控制方法，包括：
根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，所述同曝光度图像占比， 是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，所述同曝光度图像占比与环 境亮度之间具有反向关系；
拍摄得到符合所述同曝光度图像占比的多帧图像；
对所述多帧图像进行合成处理。
本申请实施例的成像控制方法，通过根据拍摄场景的环境亮度，确定同曝光度图像占 比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占 比，同曝光度图像占比与环境亮度之间具有反向关系，进而拍摄得到符合同曝光度图像占 比的多帧图像，最终对多帧图像进行合成处理。由此，根据拍摄场景的环境亮度，确定采 用同曝光度图像占比进行拍摄，得到多帧图像并合并成像，不仅降低噪声、提高动态范围， 而且提供更好的拍照效果，增加用户体验。
本申请另一方面实施例提出了一种成像控制装置，包括：
确定模块，用于根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，所述同曝 光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，所述同曝光 度图像占比与环境亮度之间具有反向关系；
拍摄模块，用于拍摄得到符合所述同曝光度图像占比的多帧图像；
处理模块，用于对所述多帧图像进行合成处理。
本申请实施例的成像控制装置，通过根据拍摄场景的环境亮度，确定同曝光度图像占 比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占 比，同曝光度图像占比与环境亮度之间具有反向关系，进而拍摄得到符合同曝光度图像占 比的多帧图像，最终对多帧图像进行合成处理。由此，根据拍摄场景的环境亮度，确定采 用同曝光度图像占比进行拍摄，得到多帧图像并合并成像，不仅降低噪声、提高动态范围， 而且提供更好的拍照效果，增加用户体验。
本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器 上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例所 述的成像控制方法。
本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其 特征在于，该程序被处理器执行时实现如上述实施例所述的成像控制方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：
图1为本申请实施例所提供的一种成像控制方法的流程示意图；
图2为本申请实施例所提供的一种成像设备的结构示意图；
图3为本申请实施例所提供的根据环境亮度，确定同曝光度图像占比的流程示意图；
图4为本申请实施例所提供的另一种成像控制方法的流程示意图；
图5为本申请实施例所提供的成像设备的像素单元阵列的结构示意图；
图6为本申请实施例所提供的又一种成像控制方法的流程示意图；
图7为本申请实施例所提供的又一种成像控制方法的流程示意图；
图8为本申请实施例所提供的成像设备的感光像素单元的结构示意图；
图9为本申请实施例所提供的一种成像控制装置的结构示意图；
图10为本申请某些实施方式的电子设备的模块示意图；
图11为本申请某些实施方式的图像处理电路的模块示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的成像控制方法和装置。
图1为本申请实施例所提供的一种成像控制方法的流程示意图。
本申请实施例的成像控制方法，应用于成像设备，参见图2，该成像设备30包括像素 单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像素单元阵列31包括多个感光像素单元311，每个感光像素单元311包括多个感光像素3111。滤光片单元阵列32 包括与多个感光像素单元311对应的多个滤光片单元322，每个滤光片单元322覆盖对应 的感光像素单元311。每一感光像素单元311。像素单元阵列31中的每一个感光像素单元 311均包括至少一长曝光像素、至少一中曝光像素和至少一短曝光像素。
其中，长曝光像素指的是感光像素对应的曝光时间为长曝光时间，中曝光像素指的是 感光像素对应的曝光时间为中曝光时间，短曝光像素指的是感光像素对应的曝光时间为短 曝光时间，长曝光时间>中曝光时间>短曝光时间，即长曝光像素的长曝光时间大于中曝光 像素的中曝光时间，且中曝光像素的中曝光时间大于短曝光像素的短曝光时间。
在成像设备工作时，长曝光像素、中曝光像素及短曝光像素同步曝光，同步曝光指的 是中曝光像素及短曝光像素的曝光时间位于长曝光像素的曝光时间以内。具体地，可以首 先控制长曝光像素最先开始曝光，在长曝光像素的曝光期间内，再控制中曝光像素以及短 曝光像素曝光，其中，中曝光像素和短曝光像素的曝光截止时间应与长曝光像素的曝光截 止时间相同或位于长曝光像素的曝光截止时间之前。
或者，还可以控制长曝光像素、中曝光像素以及短曝光像素同时开始曝光，即长曝光 像素、中曝光像素以及短曝光像素的曝光起始时间相同。如此，无需控制像素单元阵列依 次进行长曝、中曝和短曝，可减小图像的拍摄时间。
如图1所示，该成像控制方法包括以下步骤：
步骤101，根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，同曝光度图像占比与环境亮度之间具有反向关系。
本申请实施例中，可以采用独立的测光器件，测量拍摄场景的环境亮度，或者，还可 以读取摄像头自动调节的感光度ISO值，根据读取到的ISO值，确定拍摄场景的环境亮度， 或者，还可以控制像素单元阵列对环境亮度值进行测量，确定拍摄场景的环境亮度，对此 不作限制。
其中，同曝光度图像占比，是在成像设备待拍摄的多帧图像中采用相同曝光度拍摄的 图像所占的比例。
需要说明的是，同曝光度图像占比与环境亮度之间具有反向关系，环境亮度越高，同 曝光度图像占比越小；环境亮度越低，同曝光度图像占比越大，直至各帧图像曝光度各不 相同。因此，可根据拍摄场景的环境亮度，确定适合该环境亮度的同曝光度图像占比。
步骤102，拍摄得到符合同曝光度图像占比的多帧图像。
具体地，根据拍摄场景的环境亮度，确定同曝光度图像占比后，根据同曝光度图像占 比，在待拍摄的多帧图像中采用对应的曝光度进行拍摄，进而得到符合同曝光度占比的多 帧图像。
作为一种示例，在同曝光度图像占比中，有四帧图像需要采用长曝光拍摄，一帧图像 采用短曝光拍摄，进而得到对应的四帧长曝光图像和一帧短曝光图像。不同拍摄场景的环 境亮度不同，同曝光度图像占比也不相同，即拍摄多帧图像中采用相同曝光度拍摄的图像 占比不同。
步骤103，对多帧图像进行合成处理。
本申请实施例中，对步骤102中得到的符合同曝光度图像占比的多帧图像进行合成处 理，得到对应环境亮度下的图像。
作为另一种可能的实现方式，当环境亮度不是亮光等级时，拍摄的图像可能存在噪点， 此时，需要对拍摄得到的多帧图像进行合成降噪处理，进而得到合成降噪处理后的图像。
本申请实施例的成像控制方法，通过根据拍摄场景的环境亮度，确定同曝光度图像占 比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占 比，同曝光度图像占比与环境亮度之间具有反向关系，进而拍摄得到符合同曝光度图像占 比的多帧图像，最终对多帧图像进行合成处理。由此，根据拍摄场景的环境亮度，确定采 用同曝光度图像占比进行拍摄，得到多帧图像并合并成像，不仅降低噪声、提高动态范围， 而且提供更好的拍照效果，增加用户体验。
作为一种可能的实现方式，参见图3，在图1所示实施例的基础上，步骤101具体可以包括如下子步骤：
步骤201，获取拍摄场景下预览图像的感光度ISO或自动曝光控制AEC补偿值。
本申请实施例中，可以通过读取摄像头自动调节的感光度ISO值，获取拍摄场景下预 览图像的感光度ISO。
需要说明的是，上述ISO值用来指示摄像头的感光度，常用的ISO值有50、100、200、400、1000等等，摄像头可以根据环境亮度，自动调节ISO值。
其中，成像设备的摄像头拍照时，也可以根据环境亮度自动调整自动曝光控制(Automatic Exposure Control，AEC)补偿值，因此可以通过读取摄像头自动调节的AEC 补偿值，获取拍摄场景下预览图像的AEC补偿值。
步骤202，根据ISO或AEC补偿值，确定拍摄环境的亮度等级。
本申请实施例中，可以根据ISO或AEC补偿值将环境亮度划分为三个亮度等级，分别 为低亮度等级、中亮度等级和高亮度等级。
作为一种可能的实现方式，由于摄像头可以根据环境亮度自动调节ISO值，因此，本 实施例中，可以根据获取到的ISO值，反推出拍摄环境的亮度。ISO的取值越大，环境亮度越暗，相反，ISO的取值越小，环境亮度越亮。一般在光线充足的情况下，ISO值可以为 50或100，在光线不足的情况下，ISO值可以为400或更高。
作为另一种可能的实现方式，由于摄像头可以根据环境亮度自动调节AEC补偿值，因 此，可以根据获取到的AEC补偿值，反推出拍摄环境的亮度，AEC补偿值可取值为EV-2、EV0、EV2、EV4、EV8等，AEC补偿值的大小与环境亮度等级成反比，即AEC补偿值的取值 越大，则拍摄场景的环境越暗；相反，AEC补偿值的取值越小，则拍摄场景的环境越亮。
步骤203，根据亮度等级，确定同曝光度图像占比。
由于同曝光度图像占比与环境亮度之间具有反向关系，因此，可以根据环境亮度等级， 确定同曝光度图像占比。
具体地，当拍摄环境的亮度等级为高亮，确定同曝光度图像占比小于或等于预设的第 一比例；当拍摄环境的亮度等级为低亮，确定同曝光度图像占比大于或等于预设的第二比 例；当拍摄环境的亮度等级为中亮，确定为同曝光度图像占比小于第二比例，且大于第一 比例。
其中，第一比例，是根据多帧图像中各帧图像的曝光度各不相同情况下的同曝光度图 像占比确定的；第二比例，是根据多帧图像中至少一帧图像的曝光度与其他图像的曝光度 均不相同情况下的同曝光度图像占比确定的。并且，第一比例小于第二比例。
本申请实施例的成像控制方法，通过获取拍摄场景下预览图像的感光度ISO或自动曝 光控制AEC补偿值，根据ISO或AEC补偿值，确定拍摄环境的亮度等级，根据亮度等级，确定同曝光度图像占比。由此，根据拍摄场景的环境亮度等级，确定对应的同曝光图像占比，通过在不同环境亮度下，采用不同的曝光度拍摄，不仅降低噪声、提高动态范围，而 且提供更好的拍照效果，增加用户体验。
作为一种可能的实现方式，参见图4，在图1所示实施例的基础上，步骤101中根据拍摄场景的环境亮度，确定同曝光度图像占比之前，还可以包括以下步骤：
步骤301，根据获取拍摄场景的预览图像时，长曝光像素与短曝光像素的曝光比，确 定拍摄场景属于曝光比大于曝光比阈值的中高动态范围。
具体地，在成像设备获取拍摄场景的预览图像时，通过成像设备的感光像素单元获取 长曝光像素与短曝光像素，进而计算长曝光像素与短曝光像素的曝光比，如果得到的曝光 比大于曝光比阈值，可确定当前拍摄场景属于中高动态范围。
其中，曝光比阈值，是指预先设定的根据长曝光像素与短曝光像素的曝光比，判断拍 摄场景的动态范围的阈值。当拍摄场景的曝光比大于曝光比阈值时，当前拍摄场景则为中 高动态范围；当拍摄场景的曝光比小于曝光比阈值时，当前拍摄场景则为窄动态范围。
步骤302，在对多帧图像中每一帧图像进行拍摄时，控制像素单元阵列以当前帧对应 的曝光度进行曝光后，输出原始像素信息。
本申请实施例中，当拍摄场景属于中高动态范围时，成像设备单次拍摄一帧图像可能 存在大面积的过曝光，或者部分过暗的情况，因此，需要拍摄得到多帧图像。在对多帧图 像中每一帧图像进行拍摄时，控制像素单元阵列以当前帧对应的曝光度进行曝光，曝光结 束后，感光像素单元将得到长曝光像素的原始像素信息、短曝光像素的原始像素信息和中 曝光像素的原始像素信息。
其中，每一次控制像素单元阵列以当前帧对应的曝光度进行曝光后，输出对应的原始 像素信息时，像素单元阵列可以采用相同的曝光时长，也可以采用不同的曝光时长。
作为一种可能的实现方式，当成像设备控制像素单元阵列获取原始像素信息采用相同 的曝光时长时，此时相同的曝光时长至少为两种。
在一种场景下，成像设备控制像素单元阵列对多帧图像中以当前帧对应的曝光时长进 行曝光时，每次曝光获取原始像素信息的过程中采用的曝光时间各不相同。
在另一种场景下，成像设备控制像素单元阵列对多帧图像中以当前帧对应的曝光时长 进行曝光时，曝光获取原始像素信息的过程中采用的曝光时间，可采用几次相同的曝光时 间以及一次过长的曝光时间。
作为另一种可能的实现方式，当环境亮度较亮时，成像设备控制像素单元阵列获取原 始像素信息可以采用不同的曝光时长。成像设备控制长曝光像素最先开始曝光，在长曝光 像素的曝光期间内，再控制中曝光像素以及短曝光像素曝光，其中，中曝光像素和短曝光 像素的曝光截止时间应与长曝光像素的曝光截止时间相同或位于长曝光像素的曝光截止时 间之前；或者，控制长曝光像素、中曝光像素以及短曝光像素同时开始曝光，即长曝光像 素、中曝光像素以及短曝光像素的曝光起始时间相同。如此，无需控制像素单元阵列依次 进行长曝、中曝和短曝，即可控制像素单元阵列输出分别处于不同曝光时间下的多个原始 像素信息。
其中，长曝光像素指的是感光像素对应的曝光时间为长曝光时间，中曝光像素指的是 感光像素对应的曝光时间为中曝光时间，短曝光像素指的是感光像素对应的曝光时间为短 曝光时间，其中，长曝光像素的长曝光时间大于中曝光像素的中曝光时间，且中曝光像素 的中曝光时间大于短曝光像素的短曝光时间。
步骤303，根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的原始 像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息。
具体地，在像素单元阵列每一次输出原始像素信息时，在同一感光像素单元中，计算 获得的长曝光像素的原始像素信息、短曝光像素的原始像素信息和中曝光像素的原始像素 信息的平均值，进而得到合并像素信息。并且，每个感光像素单元对应一个合并像素信息。
作为一种示例，以图5所示的红色的感光像素单元为例，R(1,1)为长曝光像素，R(1,2) 和R(2,1)为中曝光像素，R(2,2)为短曝光像素。成像设备的处理器首先控制长曝光像素 R(1,1)、中曝光像素R(1,2)、中曝光像素R(2,1)及短曝光像素R(2,2)同步曝光。曝光结束 后，红色的像素单元将输出四个原始像素信息，即长曝光像素R(1,1)输出的原始像素信息、 中曝光像素R(1,2)输出的原始像素信息、中曝光像素R(2,1)输出的原始像素信息、以及短 曝光像素R(2,2)输出的原始像素信息。如此，成像设备的处理器控制每一个感光像素单元 中的感光像素均以上述的方式进行同步曝光，并获取每个感光像素单元输出的多个原始像 素信息。
进一步地，成像设备的处理器对同一感光像素单元中的原始像素信息进行组合计算以 得到多个组合像素信息，采用以下公式计算每一个感光像素单元的组合像素信息：
Figure BDA0001763068240000071
如此，成像设备的处理器可以计算出整个像素单元阵列中多个感光像素单元的多个组合像素信息。
步骤304，根据合并像素信息，生成对应帧的图像。
具体地，根据各感光像素单元对应的合并像素信息进行插值计算，生成对应帧的图像。 同理，可以根据整个像素单元阵列中多个感光像素单元的多个组合像素信息，生成对应帧 的图像。
本申请实施例的成像控制方法，通过根据获取拍摄场景的预览图像时，长曝光像素与 短曝光像素的曝光比，确定拍摄场景属于曝光比大于曝光比阈值的中高动态范围，在对多 帧图像中每一帧图像进行拍摄时，控制像素单元阵列以当前帧对应的曝光度进行曝光后， 输出原始像素信息，根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的 原始像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息，最 终根据合并像素信息，生成对应帧的图像。由此，在成像设备对多帧图像中每一帧图像进 行拍摄时，通过控制像素单元阵列以当前帧对应的曝光度进行曝光，进而输出原始像素信 息，并合并像素信息输出图像，可以得到中高动态范围图像，提升成像效果和图像质量， 改善用户的拍摄体验。
作为另一种可能的实现方式，在拍摄场景属于中高动态范围时，拍摄场景的环境亮度 属于最亮等级时，也参见图6，该环境亮度下的成像控制方法的具体步骤如下:
步骤401，根据获取拍摄场景的预览图像时，长曝光像素与短曝光像素的曝光比，确 定拍摄场景属于曝光比大于曝光比阈值的中高动态范围。
本申请实施例中，确定拍摄场景属于中高动态范围的方法参见上述实施例中步骤301 所述，在此不做赘述。
步骤402，成像设备单次控制像素单元阵列输出分别处于不同曝光时间下的多个原始 像素信息。
具体地，在确定该拍摄场景属于中高动态范围后，成像设备控制长曝光像素最先开始 曝光，在长曝光像素的曝光期间内，再控制中曝光像素以及短曝光像素曝光，其中，中曝 光像素和短曝光像素的曝光截止时间应与长曝光像素的曝光截止时间相同或位于长曝光像 素的曝光截止时间之前；或者，控制长曝光像素、中曝光像素以及短曝光像素同时开始曝 光，即长曝光像素、中曝光像素以及短曝光像素的曝光起始时间相同。如此，无需控制像 素单元阵列依次进行长曝、中曝和短曝，即可控制像素单元阵列输出分别处于不同曝光时 间下的多个原始像素信息。
其中，长曝光像素指的是感光像素对应的曝光时间为长曝光时间，中曝光像素指的是 感光像素对应的曝光时间为中曝光时间，短曝光像素指的是感光像素对应的曝光时间为短 曝光时间，其中，长曝光像素的长曝光时间大于中曝光像素的中曝光时间，且中曝光像素 的中曝光时间大于短曝光像素的短曝光时间。
步骤403，在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的原 始像素信息或中曝光像素的原始像素信息。
由于同一感光像素单元中，包括至少一长曝光像素、至少一中曝光像素和至少一短曝 光像素，因此，从长曝光像素的原始像素信息、短曝光像素的原始像素信息或中曝光像素 的原始像素信息中，选取一个作为原始像素信息。
作为一种示例，在一个感光像素单元中，包括一个长曝光像素，两个中曝光像素和一 个短曝光像素，且长曝光像素的原始像素信息为80，,短曝光像素的原始像素信息为255， 两个中曝光像素的原始像素信息也为255，由于原始像素信息的上限为255，则说明中曝光 像素的原始像素信息和短曝光像素的原始像素信息已经过曝光了，因此，选取的可以为长 曝光像素的原始像素信息：80。
步骤404，根据选取的原始像素信息，以及长曝光时间、中曝光时间和短曝光时间之间 的曝光比，计算得到合并像素信息。
具体地，在同一感光像素单元中，根据选取的长曝光像素的原始像素信息、短曝光像 素的原始像素信息或中曝光像素的原始像素信息，以及长曝光时间、中曝光时间和短曝光 时间之间的曝光比，通过计算即可得到合并像素信息。具体地，例如，可以对三种不同曝光时间的原始像素信息分别赋予不同的权值，再将选取的原始像素信息与对应的权值相乘后，即可得到一个像素单元的合成像素信息。
仍以上述例子示例，假设长曝光时间、中曝光时间和短曝光时间之间的曝光比为：16:4:1，则合并像素信息为：80*16＝1280。
步骤405，根据合并像素信息进行图像输出。
本实施例中，根据步骤404中得到像素单元阵列中的各感光像素单元的合成像素信息， 可以在成像设备中输出中高动态范围图像，此时，输出的图像具有较佳的成像效果。
本申请实施例的成像控制方法，通过根据获取拍摄场景的预览图像时，长曝光像素与 短曝光像素的曝光比，确定拍摄场景属于曝光比大于曝光比阈值的中高动态范围，在曝光 比大于或等于第二曝光比阈值时，控制像素单元阵列输出分别处于不同曝光时间下的多个 原始像素信息，在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的 原始像素信息或中曝光像素的原始像素信息中的一个原始像素信息，根据选取的原始像素 信息，以及长曝光时间、中曝光时间和短曝光时间之间的曝光比，计算得到合并像素信息， 根据合并像素信息进行图像输出。由此，通过控制像素单元阵列在不同曝光时间下输出原 始像素信息，并合并像素信息输出图像，可以在中高动态范围内得到较高的动态范围，提 升成像效果和图像质量，改善用户的拍摄体验。
作为另一种可能的实现方式，在确定出拍摄场景属于曝光比大于曝光比阈值的中高动 态范围时，当所处的拍摄场景的亮度等级属于中亮时，单次拍摄不能得到较佳的成像效果， 因此，成像设备执行至少两次控制像素单元阵列输出分别处于不同曝光时间下的多个原始 像素信息。
进一步地，在同一感光像素单元中，选取长曝光像素的原始像素信息、短曝光像素的 原始像素信息或中曝光像素的原始像素信息中的一个作为原始像素信息，根据选取的原始 像素信息，以及长曝光时间、中曝光时间和短曝光时间之间的曝光比，计算得到合并像素 信息。具体地，例如，可以对三种不同曝光时间的原始像素信息分别赋予不同的权值，再 将选取的原始像素信息与对应的权值相乘后，即可得到一个感光像素单元的合成像素信息。 具体地计算过程可参考上述实施例的步骤403和步骤404，在此不做赘述。
当拍摄场景的光线较暗时，成像设备每一次执行得到合并像素信息，生成对应的图像， 再对至少两次执行生成的图像进行合成，通过成像设备的处理器对合成的图像进行降噪处 理，进而得到低噪点的图像，再对合成后降噪后得到的图像进行图像输出。此时，在中高 动态范围输出的图像能够具有较低的噪声。
上述实施例的拍摄场景均属于曝光比大于曝光比阈值的中高动态范围，当拍摄场景属 于曝光比小于或等于曝光比阈值窄动态范围时，参见图7，具体的成像控制方法的步骤如 下：
步骤501，根据获取拍摄场景的预览图像时，长曝光像素与短曝光像素的曝光比，确 定拍摄场景属于曝光比小于或等于曝光比阈值的窄动态范围。
本申请实施例中，确定拍摄场景的长曝光像素与短曝光像素的曝光比的方法如上述实 施例中步骤301中所述，在此不做赘述。根据获取到的根据获取拍摄场景的预览图像时， 长曝光像素与短曝光像素的曝光比，当曝光比小于或等于曝光比阈值时，当前拍摄场景属 于窄动态范围。
步骤502，若确定出属于窄动态范围，控制像素单元阵列输出原始像素信息。
根据步骤101中长曝光像素与短曝光像素的曝光比，判断该拍摄场景属于窄动态范围 后，控制像素单元阵列输出原始像素信息。
由于像素单元阵列包括多个感光像素单元，并且每个感光像素单元包括至少一长曝光 像素、至少一中曝光像素和至少一短曝光像素。因此，像素单元阵列输出原始像素信息包 括，长曝光像素的原始像素信息、中曝光像素的原始像素信息和短曝光像素的原始像素信 息。
作为一种示例，如图5所示，成像设备中的像素单元阵列31中的每一个感光像素单元 311包括四个感光像素3111，四个感光像素3111呈2*2阵列排布。每一个像素单元311的四个感光像素3111具体为一个长曝光像素、两个中曝光像素及一个短曝光像素。此时，像素单元阵列31输出原始像素信息包括，一个长曝光像素的原始像素信息、两个中曝光像素的原始像素信息和一个短曝光像素的原始像素信息。当然，在其他实施例中，每一个像素单元311中的长曝光像素、中曝光像素和短曝光像素的数量也可为其他数值。
步骤503，根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的原始 像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息。
曝光结束后，每个感光像素单元311将输出四个原始像素信息，以图5所示的红色的 感光像素单元311为例，四个原始像素信息包括长曝光像素R(1,1)输出的原始像素信息、 中曝光像素R(1,2)输出的原始像素信息、中曝光像素R(2,1)输出的原始像素信息、以及短 曝光像素R(2,2)输出的原始像素信息。成像设备的处理器控制每一个感光像素单元中的感 光像素3111均以上述的方式同步进行长、中、短时间的曝光，并获取每个感光像素单元输 出的多个原始像素信息。随后，处理器根据同一感光像素单元311中曝光时间相同的原始 像素信息计算得到多个合并像素信息。
具体地，以图5所示的红色的感光像素单元311为例，在一种场景下，当感光像素单元311中感光像素3111的个数为2×2时，长曝光像素R(1,1)的原始像素信息即为长曝光 的合并像素信息，中曝光像素R(1,2)的原始像素信息与中曝光像素R(2,1)的原始像素信息之和即为中曝光的合并像素信息，短曝光像素R(2,2)的原始像素信息即为短曝光的合并像素信息。
在另一种场景下，当感光像素单元311中感光像素3111的个数为2×4，且长曝光像素的个数为2个，中曝光像素为4个，短曝光像素为2个时，2个长曝光像素的原始像素 信息之和即为长曝光的合并像素信息，4个中曝光像素的原始像素信息之和即为中曝光的 合并像素信息，2个短曝光像素的原始像素信息之和即为短曝光的合并像素信息。
作为一种示例，参见图8，感光像素单元311中的原始像素信息排列如图8右边图所示，此时的单个感光像素的尺寸为1.0μm，各感光像素以RRRR/GGGG/BBBB的形式排列； 右图中四个感光像素组合后的感光像素单元311为图8左边图所示，组合后的感光像素单 元311按GRBG的次序排列，组合后的感光像素单元311变成了2.0μm的大像素，该过程 使用了像素四合一技术，像素变大后，进光量越高，拍出来的照片会越明亮。
步骤504，根据合并像素信息对应的还原像素信息进行成像。
具体地，在拍摄场景为亮光环境时，光线很充足，高像素带来的解析力效果更加明显。 因此，针对每一个合并像素信息，确定对应的至少两个还原像素信息；其中，一个合并像 素信息对应一种色彩，同一合并像素信息确定出的至少两个还原像素信息对应至少两种色 彩。例如，将图8左图中一个感光像素单元311的合并像素信息还原为对应的三个色彩的 还原像素信息，如可将左图中每个2.0μm的大像素还原为四个GRBG排列的1.0μm像素。最终根据确定出的各还原像素信息进行图像输出，此时，输出的图像更加清晰。
本申请实施例的成像控制方法，通过在拍摄场景属于亮度大于阈值亮度的亮光环境时， 根据获取拍摄场景的预览图像时，长曝光像素与短曝光像素的曝光比，确定拍摄场景属于 曝光比小于或等于曝光比阈值的窄动态范围，若确定属于窄动态范围，控制像素单元阵列 输出原始像素信息，根据同一感光像素单元中长曝光像素、中曝光像素和短曝光像素的原 始像素信息计算得到各感光像素单元的合并像素信息，根据合并像素信息对应的还原像素 信息进行成像。由此，在拍摄场景属于窄动态范围时，根据各感光像素单元的合并像素信 息还原成像，提升了成像效果和成像质量，改善用户的拍摄体验。
为了实现上述实施例，本申请还提出一种成像控制装置。
图9为本申请实施例提供的一种成像控制装置的结构示意图。
如图9所示，该成像控制装置100包括：确定模块110、拍摄模块120以及处理模块130。
确定模块110，用于根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，同曝光度图像占比与环境亮度之间具有反向关系。
拍摄模块120，用于拍摄得到符合同曝光度图像占比的多帧图像。
处理模块130，用于对多帧图像进行合成处理。
作为一种可能的实现方式，确定模块110，还包括：
获取单元，用于获取拍摄场景下预览图像的感光度ISO或自动曝光控制AEC补偿值。
第一确定单元，用于根据ISO或AEC补偿值，确定拍摄环境的亮度等级。
第二确定单元，用于根据亮度等级，确定同曝光度图像占比。
作为另一种可能的实现方式，第二确定单元，具体用于若拍摄环境的亮度等级为高亮， 确定同曝光度图像占比小于或等于预设的第一比例；
若拍摄环境的亮度等级为低亮，确定同曝光度图像占比大于或等于预设的第二比例；
若拍摄环境的亮度等级为中亮，确定为同曝光度图像占比小于第二比例，且大于第一 比例；其中，第一比例小于第二比例。
第一比例，是根据多帧图像中各帧图像的曝光度各不相同情况下的同曝光度图像占比 确定的；
第二比例，是根据多帧图像中至少一帧图像的曝光度与其他图像的曝光度均不相同情 况下的同曝光度图像占比确定的。
作为另一种可能的实现方式，成像控制装置100，还包括：
第一确定模块，用于根据获取拍摄场景的预览图像时，长曝光像素与短曝光像素的曝 光比，确定拍摄场景属于曝光比大于曝光比阈值的中高动态范围。
作为另一种可能的实现方式，成像控制装置100，还包括：
输出模块，用于在对的多帧图像中每一帧图像进行拍摄时，控制像素单元阵列以当前 帧对应的曝光度进行曝光后，输出原始像素信息。
计算模块，用于根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的 原始像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息。
生成模块，用于根据合并像素信息，生成对应帧的图像。
计算模块，还用于对同一感光像素单元的原始像素信息计算平均值，得到合并像素信 息，每个感光像素单元对应一个合并像素信息。
本申请实施例的成像控制装置，通过根据拍摄场景的环境亮度，确定同曝光度图像占 比；其中，同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占 比，同曝光度图像占比与环境亮度之间具有反向关系，进而拍摄得到符合同曝光度图像占 比的多帧图像，最终对多帧图像进行合成处理。由此，根据拍摄场景的环境亮度，确定采 用同曝光度图像占比进行拍摄，得到多帧图像并合并成像，不仅降低噪声、提高动态范围， 而且提供更好的拍照效果，增加用户体验。
需要说明的是，前述对成像控制方法实施例的解释说明也适用于该实施例的成像控制 装置，此处不再赘述。
为了实现上述实施例，本申请还提出一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述实施例所述的成像控制方法。
请参阅图10，本申请还提供另一种电子设备200。电子设备200包括存储器50和处理 器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式的成像控制方法。
图10为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过*** 总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏 83和输入装置84。其中，电子设备200的存储器50存储有操作***和计算机可读指令。 该计算机可读指令可被处理器60执行，以实现本申请实施方式的成像控制方法。该处理器 60用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器50 为存储器52中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶 显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是 电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标 等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例 如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图10中示 出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用 于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部 件，或者组合某些部件，或者具有不同的部件布置。
请参阅图11，本申请实施例的电子设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号 处理)管线的各种处理单元。图11为一个实施例中图像处理电路90的示意图。如图11所 示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60) 和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对 图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄 像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵 列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提 供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94 接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口 可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它 串行或并行照相机接口或上述接口的组合。
此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储 到图像存储器95中。
ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有 8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供 处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独 立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始 图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储 器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲 器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编 码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。
ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传 感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或 微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理 器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝 光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或 变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如， 在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程 序，其特征在于，该程序被处理器执行时实现如前述实施例所述的成像控制方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以 在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领 域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进 行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两 个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的 实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令 执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行 ***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布 线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读 存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式 光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸 或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解 译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机 存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技 术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可 编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了 本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制， 本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种成像控制方法，其特征在于，所述方法包括以下步骤：
根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，所述同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，所述同曝光度图像占比与环境亮度之间具有反向关系；
拍摄得到符合所述同曝光度图像占比的多帧图像；
对所述多帧图像进行合成处理。
2.根据权利要求1所述的成像控制方法，其特征在于，所述根据拍摄场景的环境亮度，确定同曝光度图像占比，包括：
获取所述拍摄场景下预览图像的感光度ISO或自动曝光控制AEC补偿值；
根据所述ISO或AEC补偿值，确定拍摄环境的亮度等级；
根据所述亮度等级，确定所述同曝光度图像占比。
3.根据权利要求2所述的成像控制方法，其特征在于，所述亮度等级包括亮度依次增大的低亮、中亮和高亮，所述根据所述亮度等级，确定所述同曝光度图像占比，包括：
若拍摄环境的亮度等级为高亮，确定所述同曝光度图像占比小于或等于预设的第一比例；
若拍摄环境的亮度等级为低亮，确定所述同曝光度图像占比大于或等于预设的第二比例；
若拍摄环境的亮度等级为中亮，确定所述同曝光度图像占比小于所述第二比例，且大于所述第一比例；其中，所述第一比例小于所述第二比例。
4.根据权利要求3所述的成像控制方法，其特征在于，
所述第一比例，是根据所述多帧图像中各帧图像的曝光度各不相同情况下的同曝光度图像占比确定的；
所述第二比例，是根据所述多帧图像中至少一帧图像的曝光度与其他图像的曝光度均不相同情况下的同曝光度图像占比确定的。
5.根据权利要求1-3任一项所述的成像控制方法，其特征在于，应用所述成像控制方法的成像设备，包括由多个感光像素单元组成的像素单元阵列，每一感光像素单元包括至少一长曝光像素、至少一中曝光像素和至少一短曝光像素，所述根据拍摄场景的环境亮度，确定同曝光度图像占比之前，还包括：
根据获取所述拍摄场景的预览图像时，所述长曝光像素与短曝光像素的曝光比，确定所述拍摄场景属于曝光比大于曝光比阈值的中高动态范围。
6.根据权利要求5所述的成像控制方法，其特征在于，所述方法还包括：
在对所述的多帧图像中每一帧图像进行拍摄时，控制所述像素单元阵列以当前帧对应的曝光度进行曝光后，输出原始像素信息；
根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的原始像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息；
根据所述合并像素信息，生成所述对应帧的图像。
7.根据权利要求6所述的成像控制方法，其特征在于，所述根据同一感光像素单元中长曝光像素的原始像素信息、中曝光像素的原始像素信息和短曝光像素的原始像素信息计算得到各感光像素单元的合并像素信息，包括：
对同一感光像素单元的所述原始像素信息计算平均值，得到所述合并像素信息，每个感光像素单元对应一个所述合并像素信息。
8.一种成像控制装置，其特征在于，所述装置包括：
确定模块，用于根据拍摄场景的环境亮度，确定同曝光度图像占比；其中，所述同曝光度图像占比，是在待拍摄的多帧图像中采用相同曝光度拍摄的图像的占比，所述同曝光度图像占比与环境亮度之间具有反向关系；
拍摄模块，用于拍摄得到符合所述同曝光度图像占比的多帧图像；
处理模块，用于对所述多帧图像进行合成处理。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的成像控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的成像控制方法。
CN201810916157.7A 2018-08-13 2018-08-13 成像控制方法、装置、电子设备以及计算机可读存储介质 Active CN108989700B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810916157.7A CN108989700B (zh) 2018-08-13 2018-08-13 成像控制方法、装置、电子设备以及计算机可读存储介质
PCT/CN2019/090555 WO2020034737A1 (zh) 2018-08-13 2019-06-10 成像控制方法、装置、电子设备以及计算机可读存储介质
EP19850633.9A EP3836534B1 (en) 2018-08-13 2019-06-10 Imaging control method, electronic device, and computer-readable storage medium
US17/172,765 US11228720B2 (en) 2018-08-13 2021-02-10 Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810916157.7A CN108989700B (zh) 2018-08-13 2018-08-13 成像控制方法、装置、电子设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108989700A CN108989700A (zh) 2018-12-11
CN108989700B true CN108989700B (zh) 2020-05-15

Family

ID=64552823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810916157.7A Active CN108989700B (zh) 2018-08-13 2018-08-13 成像控制方法、装置、电子设备以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11228720B2 (zh)
EP (1) EP3836534B1 (zh)
CN (1) CN108989700B (zh)
WO (1) WO2020034737A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN110012227B (zh) 2019-04-09 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110072051B (zh) * 2019-04-09 2021-09-03 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN111835941B (zh) * 2019-04-18 2022-02-15 北京小米移动软件有限公司 图像生成方法及装置、电子设备、计算机可读存储介质
CN110086995B (zh) * 2019-05-15 2021-01-15 深圳市道通智能航空技术有限公司 一种图像亮度调节方法、装置及无人机
CN110166708B (zh) * 2019-06-13 2021-06-11 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110166711B (zh) * 2019-06-13 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110166709B (zh) * 2019-06-13 2022-03-18 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
EP4109176A4 (en) * 2020-02-18 2023-08-02 FUJIFILM Corporation IMAGE EXPOSURE DEVICE, IMAGE EXPOSURE METHOD AND PROGRAM
CN113364964B (zh) * 2020-03-02 2023-04-07 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
CN111601048B (zh) * 2020-05-13 2022-04-19 展讯通信（上海）有限公司 图像处理方法及装置
CN111866407A (zh) * 2020-07-30 2020-10-30 深圳市阿达视高新技术有限公司 一种基于运动数码摄像机的图像处理方法及装置
CN113472980B (zh) * 2021-06-15 2022-12-09 展讯通信（上海）有限公司 一种图像处理方法、装置、设备、介质和芯片
CN113676617B (zh) * 2021-08-12 2023-08-18 Oppo广东移动通信有限公司 运动检测方法、装置、电子设备和计算机可读存储介质
WO2024098260A1 (zh) * 2022-11-08 2024-05-16 Oppo广东移动通信有限公司 图像确定方法和装置、图像处理方法和装置、电子设备
CN117615257B (zh) * 2024-01-18 2024-04-05 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726964A (zh) * 2008-10-28 2010-06-09 亚洲光学股份有限公司 影像撷取装置及其闪光灯充电电容切换方法
CN105306794A (zh) * 2014-07-31 2016-02-03 宇龙计算机通信科技(深圳)有限公司 图像获取方法、图像获取装置和终端
CN105578023A (zh) * 2015-05-27 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种快速拍摄图像方法及装置
CN105791707A (zh) * 2015-12-31 2016-07-20 北京金山安全软件有限公司 一种图像处理的方法、装置及电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056713A (ja) * 2002-07-24 2004-02-19 Sharp Corp 撮影部を有した携帯機器および露出調整装置
TWI306542B (en) * 2006-06-09 2009-02-21 Asia Optical Co Inc Method and system for automatic exposure compensation
KR101417816B1 (ko) * 2008-03-06 2014-07-09 삼성전자주식회사 디지털 이미지 촬영 장치, 상기 장치의 노출 제어 방법,디지털 이미지 촬영 방법 및 상기 디지털 이미지 촬영방법을 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는매체
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
CN102111560B (zh) * 2009-12-26 2013-05-29 比亚迪股份有限公司 一种自动曝光装置及其方法
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
US20130222645A1 (en) * 2010-09-14 2013-08-29 Nokia Corporation Multi frame image processing apparatus
US8542288B2 (en) * 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
US8224176B1 (en) * 2011-01-10 2012-07-17 Eastman Kodak Company Combined ambient and flash exposure for improved image quality
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5762115B2 (ja) * 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
JP6120500B2 (ja) 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
CN104125408B (zh) * 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
US10015410B2 (en) * 2015-01-16 2018-07-03 Mitsubishi Electric Corporation Image processing device and method, program, and record medium for generating wide dynamic range images
CN105827902B (zh) * 2015-06-19 2019-01-11 维沃移动通信有限公司 一种夜景检测方法及终端
WO2017035750A1 (zh) * 2015-08-31 2017-03-09 华为技术有限公司 一种拍摄图片的方法及装置
CN105227858B (zh) * 2015-10-30 2019-03-05 维沃移动通信有限公司 一种图像处理方法及移动终端
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN107087118B (zh) 2017-05-31 2019-10-25 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及终端
CN107509044B (zh) * 2017-08-31 2020-08-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108040164A (zh) 2017-10-27 2018-05-15 努比亚技术有限公司 近景拍摄方法、终端及计算机可读存储介质
KR102412591B1 (ko) * 2017-12-21 2022-06-24 삼성전자주식회사 다른 노출값을 갖는 복수의 영상들을 이용하여 합성 영상을 생성하는 방법 및 이를 지원하는 전자 장치
CN108322669B (zh) * 2018-03-06 2021-03-23 Oppo广东移动通信有限公司 图像获取方法及装置、成像装置和可读存储介质
CN108391059A (zh) * 2018-03-23 2018-08-10 华为技术有限公司 一种图像处理的方法和装置
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726964A (zh) * 2008-10-28 2010-06-09 亚洲光学股份有限公司 影像撷取装置及其闪光灯充电电容切换方法
CN105306794A (zh) * 2014-07-31 2016-02-03 宇龙计算机通信科技(深圳)有限公司 图像获取方法、图像获取装置和终端
CN105578023A (zh) * 2015-05-27 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种快速拍摄图像方法及装置
CN105791707A (zh) * 2015-12-31 2016-07-20 北京金山安全软件有限公司 一种图像处理的方法、装置及电子设备

Also Published As

Publication number Publication date
EP3836534A1 (en) 2021-06-16
EP3836534B1 (en) 2023-10-25
US11228720B2 (en) 2022-01-18
WO2020034737A1 (zh) 2020-02-20
US20210168275A1 (en) 2021-06-03
CN108989700A (zh) 2018-12-11
EP3836534A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN109005364B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
JP6911202B2 (ja) 撮像制御方法および撮像装置
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN109068067B (zh) 曝光控制方法、装置和电子设备
CN109788207B (zh) 图像合成方法、装置、电子设备及可读存储介质
EP3609177B1 (en) Control method, control apparatus, imaging device, and electronic device
CN108683863B (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108833802B (zh) 曝光控制方法、装置和电子设备
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
CN110166706B (zh) 图像处理方法、装置、电子设备以及存储介质
US11601600B2 (en) Control method and electronic device
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN110166707A (zh) 图像处理方法、装置、电子设备以及存储介质
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
CN109005363B (zh) 成像控制方法、装置、电子设备以及存储介质
CN108513062B (zh) 终端的控制方法及装置、可读存储介质和计算机设备
CN108881731B (zh) 全景拍摄方法、装置和成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant