CN111630839B - 一种图像处理方法及装置 - Google Patents

Abstract

本申请提供一种图像处理方法及装置，涉及图像处理领域，用于提高拍摄图像的品质。所述方法包括：根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；根据第一亮度范围内的至少一个块的亮度确定第一亮度值，所述第一亮度范围在所述多个亮度范围中具有最高亮度；根据第二亮度范围内的至少一个块的亮度确定第二亮度值，所述第二亮度范围在所述多个亮度范围中具有最低亮度；根据所述第一亮度值和所述第二亮度值确定曝光补偿量；利用所述曝光补偿量对下一帧图像做曝光补偿。

Description

一种图像处理方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

自动曝光(auto exposure，AE)是相机调节图像亮度的一种方法，通过控制曝光时间(exposure time)、感光度(ISO)的增益和光圈(aperture)以达到调节图像亮度的目的，良好的AE算法会尽量保存被摄景物中所有亮暗的细节，使得拍摄出的图像或照片有合适的亮度。

目前，在通过AE算法调节图像的亮度时，通常是利用亮度直方图统计图像中亮暗区域的比例、亮度的峰值或者亮度值的方差等参数，根据该参数判断是否进入高反差场景，当确定进入高反差场景时，则对图像进行曝光补偿，提高曝光量，以提升图像的整体亮度，这里的高反差场景可以是指图像中高亮度区域与低亮度区域的亮度值差异较大，超出了相机可以捕获的范围。

但是，亮度直方图只能反映图像的整体亮暗程度，并不能确定亮暗区域的具***置，对于一些局部区域亮度较高的图像(比如，拍摄一群杂散的点光源分散分布得到的图像、或者拍摄灯光在低照度环境中的发光状态得到的图像等)进行曝光补偿后，反而会降低图像或照片的品质。此外，亮度直方图的数据非常敏感，通常拍摄时少许的视角改变就会影响直方图的亮度分布，因此，基于上述方法调节图像亮度时会存在一定的误差，导致最终得到的图像的效果较差。

发明内容

本申请的实施例提供一种图像处理方法及装置，用于提高图像的品质。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供一种图像处理方法，该方法包括：根据当前帧图像中多个块(比如，8×8个块、16×16个块等)中每个块的亮度，确定每个块位于多个亮度范围(比如，分别表示高亮、中亮和低亮三个亮度范围)中的一个亮度范围内；根据第一亮度范围内的至少一个块的亮度确定第一亮度值，第一亮度范围在多个亮度范围中具有最高亮度；根据第二亮度范围内的至少一个块的亮度确定第二亮度值，第二亮度范围在多个亮度范围中具有最低亮度；根据第一亮度值和第二亮度值确定曝光补偿量；利用曝光补偿量对下一帧图像做曝光补偿。

上述技术方案中，计算出的下一帧图像的曝光补偿量与当前帧图像中亮暗区域的位置有关，从而利用该曝光补偿量对下一帧图像做曝光补偿时，可以提高曝光补偿的准确性，进而提高图像的品质，以提高用户拍摄图像的体验。

在第一方面的一种可能的实现方式中，根据当前帧图像的多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内之前，该方法还包括：根据当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；根据至少一个亮度阈值，确定多个亮度范围。上述可能的实现方式中，提供了一种简单有效地确定多个亮度范围的方式。

在第一方面的一种可能的实现方式中，根据当前帧图像中多个块中每个块的亮度，确定多个亮度阈值，包括：根据当前帧图像中多个块的亮度，确定该多个块的平均亮度值；根据该多个块的平均亮度值，确定多个亮度阈值。上述可能的实现方式中，提供了一种简单有效地确定多个亮度阈值的方式。

在第一方面的一种可能的实现方式中，根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内之前，该方法还包括：确定该多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由该多个子块的亮度得到。上述可能的实现方式中，确定的每个块的亮度可以体现出当前帧图像中亮度的连续性，从而有助于提高后续曝光补偿的准确性。

在第一方面的一种可能的实现方式中，根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内包括：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于所述一个亮度范围内。

在第一方面的另一种可能的实现方式中，根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内包括：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于一个初步亮度范围内；对每个块进行下采样，确定每个块位于所述一个亮度范围内。例如，所述下采样包括：根据每个块的初步亮度范围的标记计算包括多个块的宏块的标记，根据宏块的标记确定该宏块内的多个块均位于所述一个亮度范围内。

在第一方面的一种可能的实现方式中，根据第一亮度值和第二亮度值确定曝光补偿量之前，该方法还包括：根据第一亮度值和第二亮度值，确定进入高反差场景以触发根据第一亮度值和第二亮度值确定曝光补偿量的操作。上述可能的实现方式中，通过确定是否进入高反差场景，并在确定进入高反差场景时触发后续操作，可以避免在不需要曝光补偿的情况下执行了曝光补偿的操作，从而提高了曝光补偿的准确性。

在第一方面的一种可能的实现方式中，根据第一亮度值和第二亮度值，确定当前帧图像处于高反差场景中，包括：当第一亮度值与第二亮度值的比值大于或等于第一数值时，确定进入高反差场景；或者，当第一亮度值与第二亮度值的差值大于或等于第二数值时，确定进入高反差场景。上述可能的实现方式中，提供了两种确定进入高反差场景的方式，且通过第一亮度值与第二亮度值的比值大于或等于第一数值时确定进入高反差场景的方式的稳定性较高，通过第一亮度值与第二亮度值的差值大于或等于第二数值时确定进入高反差场景的方式的操作简单。

在第一方面的一种可能的实现方式中，第一亮度值为第一亮度范围内的所述至少一个块的平均亮度值，第二亮度值为第二亮度范围内的所述至少一个块的平均亮度值。可选的，任意至少一个块的亮度平均值可以是所述至少一个块亮度的平均值或加权平均值。

在第一方面的一种可能的实现方式中，根据第一亮度值和第二亮度值确定曝光补偿量，包括：根据该多个块的平均亮度值、第一亮度值、第二亮度值、以及第二亮度范围内的至少一个块与该多个块的比例，确定曝光补偿量。上述可能的实现方式中，提供了一种确定曝光补偿量的方式。

在第一方面的一种可能的实现方式中，该多个块是当前帧图像中的M×N个块，M和N为正整数。

第二方面，提供一种图像处理装置，该装置包括：确定单元，用于根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；根据第一亮度范围内的至少一个块的亮度确定第一亮度值，第一亮度范围在多个亮度范围中具有最高亮度；根据第二亮度范围内的至少一个块的亮度确定第二亮度值，第二亮度范围在多个亮度范围中具有最低亮度；根据第一亮度值和第二亮度值确定曝光补偿量；补偿单元，用于利用曝光补偿量对下一帧图像做曝光补偿。

在第二方面的一种可能的实现方式中，确定单元还用于：根据当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；根据至少一个亮度阈值，确定多个亮度范围。

在第二方面的一种可能的实现方式中，确定单元还用于：根据当前帧图像中多个块的亮度，确定该多个块的平均亮度值；根据该多个块的平均亮度值，确定多个亮度阈值。

在第二方面的一种可能的实现方式中，确定单元还用于：确定该多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由该多个子块的亮度得到。

在第二方面的一种可能的实现方式中，在根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内，确定单元具体用于：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于所述一个亮度范围内。

在第二方面的另一种可能的实现方式中，在根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内，确定单元具体用于：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于一个初步亮度范围内；对每个块进行下采样，确定每个块位于所述一个亮度范围内。例如，所述下采样包括：根据每个块的初步亮度范围的标记计算包括多个块的宏块的标记，根据宏块的标记确定该宏块内的多个块均位于所述一个亮度范围内。

在第二方面的一种可能的实现方式中，确定单元还用于：根据第一亮度值和第二亮度值，确定进入高反差场景以触发根据第一亮度值和第二亮度值确定曝光补偿量的操作。

在第二方面的一种可能的实现方式中，确定单元还用于：当第一亮度值与第二亮度值的比值大于或等于第一数值时，确定进入高反差场景；或者，当第一亮度值与第二亮度值的差值大于或等于第二数值时，确定进入高反差场景。

在第二方面的一种可能的实现方式中，第一亮度值为第一亮度范围内的至少一个块的平均亮度值，第二亮度值为第二亮度范围内的至少一个块的平均亮度值。

在第二方面的一种可能的实现方式中，确定单元还用于：根据该多个块的平均亮度值、第一亮度值、第二亮度值、以及第二亮度范围内的至少一个块与多个块的比例，确定曝光补偿量。

在第二方面的一种可能的实现方式中，该多个块是当前帧图像中的M×N个块，M和N为正整数。

第三方面，提供一种图像处理装置，该装置包括：处理器和接口；其中，处理器，被配置为通过所述接口读取存储器中的软件程序，并在所述软件程序的驱动下处理如下操作：根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；根据第一亮度范围内的至少一个块的亮度确定第一亮度值，第一亮度范围在多个亮度范围中具有最高亮度；根据第二亮度范围内的至少一个块的亮度确定第二亮度值，第二亮度范围在多个亮度范围中具有最低亮度；根据第一亮度值和第二亮度值确定曝光补偿量；利用曝光补偿量对下一帧图像做曝光补偿。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：根据当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；根据至少一个亮度阈值，确定多个亮度范围。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：根据当前帧图像中多个块的亮度，确定该多个块的平均亮度值；根据该多个块的平均亮度值，确定多个亮度阈值。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：确定该多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由该多个子块的亮度得到。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：根据第一亮度值和第二亮度值，确定进入高反差场景以触发根据第一亮度值和第二亮度值确定曝光补偿量的操作。

在第三方面的一种可能的实现方式中，在根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内时，处理器具体执行以下操作：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于所述一个亮度范围内。

在第三方面的另一种可能的实现方式中，在根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内时，处理器具体执行以下操作：当所述每个块的亮度落入所述一个亮度范围内，则确定所述每个块位于一个初步亮度范围内；对每个块进行下采样，确定每个块位于所述一个亮度范围内。例如，所述下采样包括：根据每个块的初步亮度范围的标记计算包括多个块的宏块的标记，根据宏块的标记确定该宏块内的多个块均位于所述一个亮度范围内。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：当第一亮度值与第二亮度值的比值大于或等于第一数值时，确定进入高反差场景；或者，当第一亮度值与第二亮度值的差值大于或等于第二数值时，确定进入高反差场景。

在第三方面的一种可能的实现方式中，第一亮度值为第一亮度范围内的至少一个块的平均亮度值，第二亮度值为第二亮度范围内的至少一个块的平均亮度值。

在第三方面的一种可能的实现方式中，处理器还执行以下操作：根据该多个块的平均亮度值、第一亮度值、第二亮度值、以及第二亮度范围内的至少一个块与多个块的比例，确定曝光补偿量。

在第三方面的一种可能的实现方式中，该多个块是当前帧图像中的M×N个块，M和N为正整数。

第四方面，提供一种芯片***，该芯片***包括处理器和存储器，存储器存储代码和数据，处理器运行存储器中的代码，以使该芯片***执行第一方面或者第一方面的任一项可能的实现方式所提供的图像处理方法。

第五方面，提供一种可读存储介质，所述可读存储介质中存储有指令，当所述可读存储介质在设备(如计算机或处理器)上运行时，使得所述设备执行第一方面或者第一方面的任一项可能的实现方式所提供的图像处理方法。

第六方面，提供一种计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行第一方面或者第一方面的任一项可能的实现方式所提供的图像处理方法。

可以理解地，上述提供的任一种图像处理方法的装置、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种图像处理设备的结构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种当前帧图像中多个块的示意图；

图4为本申请实施例提供的一种当前帧图像中多个块的亮度示意图；

图5为本申请实施例提供的另一种当前帧图像中多个块的亮度示意图；

图6为本申请实施例提供的一种图像处理装置的结构示意图。

具体实施方式

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。另外，在本申请的实施例中，“第一”、“第二”等字样并不对数量和执行次序进行限定。

图1为本申请实施例提供的一种图像处理设备的结构示意图，该图像处理设备可以为手机、平板电脑、摄像机、照相机、计算机、可穿戴设备、车载设备或便携式设备等。为方便描述，本申请中将上面提到的设备或者内置芯片***的上述设备统称为图像处理设备。本申请实施例以该图像处理设备为手机为例进行说明，该手机或者内置于手机的芯片***包括：存储器101、处理器102、传感器组件103、多媒体组件104以及输入\输出接口105。

下面结合图1对手机或者内置于手机的芯片***的各个构成部件进行具体的介绍：

存储器101可用于存储数据、软件程序以及模块；主要包括存储程序区和存储数据区，其中，存储程序区可存储软件程序，包括以代码形成的指令，包括但不限于操作***、至少一个功能所需的应用程序，比如声音播放功能、图像播放功能等；存储数据区可存储根据手机的使用所创建的数据，比如音频数据、图像数据、电话本等。在本申请实施例中，存储器101可用于存储多帧图像，例如当前帧图像，以及进一步包括当前帧图像中每个块的亮度、第一亮度值、第二亮度值、曝光补偿量和下一帧图像等。在一些可行的实施例中，可以有一个存储器，也可以有多个存储器；该存储器可以是软盘，硬盘如内置硬盘和移动硬盘，磁盘，光盘，磁光盘如CD_ROM、DCD_ROM，非易失性存储设备如RAM、ROM、PROM、EPROM、EEPROM、闪存、或者技术领域内所公知的任意其他形式的存储介质。

处理器102是手机的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器101内的软件程序和/或软件模块，以及调用存储在存储器101内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。在本申请实施例中，处理器102可用于执行本申请方法实施例中的一个或者多个步骤，比如，处理器102可用于执行下述方法实施例中的S200a、S200b、S203a、以及S201至S204中的一个或者多个步骤。在一些可行的实施例中，处理器102可以是单处理器结构、多处理器结构、单线程处理器以及多线程处理器等；在一些可行的实施例中，处理器102可以包括中央处理器单元、通用处理器、数字信号处理器、数字信号处理器、微控制器或微处理器等。除此以外，处理器102还可进一步包括其他硬件电路或加速器，如专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器102也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。

传感器组件103包括一个或多个传感器，用于为手机提供各个方面的状态评估。其中，传感器组件103可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用，即成为相机或摄像头的组成部分。在本申请实施例中，传感器组件103可用于支持多媒体组件104中的摄像头获取当前帧图像和下一帧图像等。此外，传感器组件103还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器，通过传感器组件103可以检测到手机的加速/减速、方位、打开/关闭状态，组件的相对定位，或手机的温度变化等。

多媒体组件104在手机和用户之间提供一个输出接口的屏幕，该屏幕可以为触摸面板，且当该屏幕为触摸面板时，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。此外，多媒体组件104还包括至少一个摄像头，比如，多媒体组件104包括一个前置摄像头和/或后置摄像头。当手机处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以感应外部的多媒体信号，该信号被用于形成图像帧。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。在本申请实施例中，多媒体组件104中的摄像头可用于支持获取当前帧图像和下一帧图像等。

输入\输出接口105为处理器102和***接口模块之间提供接口，比如，***接口模块可以包括键盘、鼠标、或USB(通用串行总线)设备等。在本申请实施例中，输入接口可用于获取当前帧图像和下一帧图像等；输出接口可用于输出曝光补偿量以及曝光补偿后的下一帧图像等。在一种可能的实现方式中，输入\输出接口105可以只有一个输入\输出接口，也可以有多个输入\输出接口。

尽管未示出，手机还可以包括音频组件和通信组件等，比如，音频组件包括麦克风，通信组件包括无线保真(Wireless Fidelity，WiFi)模块、蓝牙模块等，本申请实施例在此不再赘述。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图2为本申请实施例提供的一种图像处理方法的流程示意图，该方法可应用于图1所示的图像处理设备中，具体可以由处理器102执行，参见图2，该方法包括以下几个步骤。

S201：根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内。其中，当前帧图像可以包括多个块(block)，每个块可以包括多个像素点。可选的，当前帧图像包括M×N个块，M和N均为正整数，即当前帧图像被划分为M×N个块，M和N可以相等，也可以不等，比如，当前帧图像可以包括8×8个块、16×16个块、32×16个块或者32×32个块等，本申请实施例对此不作具体限定。

另外，该多个块中的每个块可以包括多个像素点，或者多个子块(每个子块包括多个像素点)。以每个块包括多个像素点为例，则每个块的亮度可以由每个块包括的多个像素点的亮度得到，一个块的亮度可以是该块包括的多个像素点的亮度平均值，该亮度平均值可以是该多个像素点的亮度之和与该多个像素点的数量的比值、或者是该多个像素点的加权亮度之和与该多个像素点的权重之和的比值，或者是通过其他方法计算得到的亮度平均值等。比如，假设每个块包括x个像素点，且x个像素点的亮度依次为a1、a2、......、ax，则该块的亮度平均值可以为(a1+a2+...+ax)/x。当通过加权亮度确定该亮度平均值时，假设x个像素点对应的加权值依次为b1、b2、......、bx，则该块的亮度平均值可以为(a1×b1+a2×b2+...+ax×bx)/(b1+b2+...+bx)。

再者，该多个亮度范围可以包括至少两个亮度范围，即该多个亮度范围可以包括两个或者两个以上的亮度范围。比如，该多个亮度范围可以包括三个亮度范围，假设亮度可以有256个级别，则三个亮度范围且可以依次表示为[0，80)、[80，160)和[160，255]。以上数值仅用于举例，不用于限定方案的实施。

具体的，对于当前帧图像中多个块中的每个块，图像处理设备可以根据该块的亮度与该多个亮度范围中的每个亮度范围进行比较，当该块的亮度大于或等于该多个亮度范围中某一亮度范围的最小值、且小于或等于该亮度范围的最大值时，可以确定该块的亮度属于该亮度范围内。

比如，假设多个块中某一块的亮度为70，由于70大于亮度范围[0，80)中的最小值0、且大于最大值80，则确定该块的亮度属于亮度范围[0，80)内，即属于低亮度范围；若另一块的亮度为160，由于160与亮度范围[160，255]中的160相等，则可以确定该块的亮度160属于亮度范围[160，255]内。

S202：根据第一亮度范围内的至少一个块的亮度确定第一亮度值，根据第二亮度范围内的至少一个块的亮度确定第二亮度值，其中，假设第一亮度范围在多个亮度范围中具有最高亮度，即高亮度范围，第二亮度范围在多个亮度范围中具有最低亮度，即低亮度范围。

其中，多个亮度范围分别具有不同的亮度。比如，在三个亮度范围[0，80]、[80，160]和[160，255]中，第一亮度范围可以是[160，255]，第二亮度范围可以是[0，80]。

第一亮度值可以用于表示第一亮度范围内的至少一个块的整体亮度，第二亮度值可以用于表示第二亮度范围内的至少一个块的整体亮度。可选的，第一亮度值为第一亮度范围内的至少一个块的平均亮度值，第二亮度值为第二亮度范围内的至少一个块的平均亮度值。

需要说明的是，第一亮度值可以是第一亮度范围内的至少一个块的亮度之和与该至少一个块的数量的比值、或者是该至少一个块的加权亮度之和与该至少一个块的权重之和的比值，或者是通过其他方法计算得到的亮度平均值等。第二亮度值可以是第二亮度范围内的至少一个块的亮度之和与该至少一个块的数量的比值、或者是该至少一个块的加权亮度之和与该至少一个块的权重之和的比值，或者是通过其他方法计算得到的亮度平均值等。其中，确定第一亮度值和第二亮度值的具体过程与上述步骤S201中根据多个像素点的亮度确定每个块的亮度的具体过程类似，具体参见上述描述，本申请实施例在此不再赘述。

S203：根据第一亮度值和第二亮度值确定曝光补偿量。其中，曝光补偿量的作用是用于调整曝光量，该曝光量可以是相机根据自动曝光(auto exposure，AE)算法得到的，即相机在拍摄图像的过程中通过自动测光计算得到的曝光量。

可选的，图像处理设备根据第一亮度值和第二亮度值确定曝光补偿量，包括：根据当前帧图像中多个块的平均亮度值、第一亮度值、第二亮度值、以及第二亮度范围内的至少一个块与该多个块的比例，确定曝光补偿量。

其中，该多个块的平均亮度值可以是该多个块的亮度之和与该多个块的数量的比值、或者是该多个块的加权亮度之和与该多个块的权重之和的比值，或者是通过其他方法计算得到的亮度平均值等。需要说明的是，确定该多个块的平均亮度值的具体过程与上述步骤S201中根据多个像素点的亮度确定每个块的亮度的具体过程类似，具体参见上述描述，本申请实施例在此不再赘述。

第二亮度范围内的至少一个块与该多个块的比例可以用于表示第二亮度范围所表示的亮度区域在当前帧图像中的比例，比如，该多个块的数量为64，第二亮度范围内的至少一个块的数量为8，则该比例为8/64＝1/8。

具体的，若该多个块的平均亮度值表示为W、第一亮度值表示为H、第二亮度值表示为D、第二亮度范围内的至少一个块与该多个块的比例表示为α，期望的亮度值表示为L，则曝光补偿量可以为该多个块的平均亮度值W与期望的亮度值L的比值，若曝光补偿量表示为C，则图像处理设备可以根据如下公式(1)和(2)确定曝光补偿量C。

式中，H_thd表示抑制因子，H_thd为常数，可以根据实际情况自行设定，当设定的抑制因子H_thd的值较大时，得到的图像的亮度较高，当设定的抑制因子H_thd的值较小时，得到的图像的亮度较低。H_thd可以通过测试或依照本领域技术人员的经验获得。

进一步的，在S203之前，该方法还可以包括：S203a。

S203a：根据第一亮度值和第二亮度值，确定是否进入高反差场景以触发S203的操作。高反差场景可以是指图像中具有最高亮度的区域与具有最低亮度的区域之间的亮度值差异较大，超出了相机可以捕获的范围。当然，本实施例也可以不必执行S203a，而在执行S202之后自动进入S203。

也即是，图像处理设备在通过S202确定第一亮度值和第二亮度值之后，根据第一亮度值和第二亮度值确定是否进入高反差场景。当确定进入高反差场景时可触发步骤S203以确定曝光补偿量，当确定未进入高反差场景时可不触发步骤S203，可终止本实施例的执行。

具体的，图像处理设备可以通过以下方式根据第一亮度值和第二亮度值，确定是否进入高反差场景：当第一亮度值与第二亮度值的比值大于或等于预设的第一数值时，确定进入高反差场景；或者，当第一亮度值与第二亮度值的差值大于或等于预设的第二数值时，确定进入高反差场景。否则，不进入高反差场景。

需要说明的是，预设的第一数值和第二数值可以事先由本领域技术人员设置，且具体的数值大小可以根据实际情况进行设定，本申请实施例对此不做具体限定。另外，上述根据第一亮度值和第二亮度值，确定进入高反差场景的方式仅为示例性的，还可以通过其他方式确定进入高反差场景，本申请实施例对此同样不做具体限定。

S204：利用曝光补偿量对下一帧图像做曝光补偿。其中，下一帧图像是指当前帧图像之后的一帧图像，当前帧图像和下一帧图像可以是对同一场景进行拍摄得到的图像，因此，图像处理设备可以利用曝光补偿量对下一帧图像做曝光补偿。

具体的，图像处理设备可以根据曝光补偿量和曝光量(即AE算法得到的曝光量)之和，对下一帧图像进行曝光处理。比如，图像处理设备根据曝光补偿量和曝光量之和，确定曝光时间和感光度的增益，并按照确定的曝光时间和感光度的增益对下一帧图像进行曝光，以实现对下一帧图像做曝光补偿。通过利用曝光补偿量对下一帧图像做曝光补偿，可以提高下一帧图像的亮度，从而提高图像中亮度较暗区域的细节，进而提高用户的拍照体验。

进一步的，参见图2，在步骤S201之前，该方法还包括：S200b。

S200b：图像处理设备确定多个亮度范围。可选的，图像处理设备根据当前帧图像中多个块中每个块的亮度确定至少一个亮度阈值，根据至少一个亮度阈值确定该多个亮度范围。

至少一个亮度阈值可以包括一个或者多个亮度阈值。图像处理设备根据多个块中每个块的亮度确定至少一个亮度阈值，可以包括：根据当前帧图像中多个块的亮度，确定多个块的平均亮度值；根据多个块的平均亮度值，确定至少一个亮度阈值。

其中，该多个块的平均亮度值可以是该多个块的亮度之和与该多个块的数量的比值、或者是该多个块的加权亮度之和与该多个块的权重之和的比值，或者是通过其他方法计算得到的亮度平均值等。需要说明的是，确定该多个块的平均亮度值的具体过程与上述步骤S201中根据多个像素点的亮度确定每个块的亮度的具体过程类似，具体参见上述描述，本申请实施例在此不再赘述。

另外，图像处理设备根据多个块的平均亮度值，确定至少一个亮度阈值，具体可以包括：根据多个块的平均亮度值和预设数值，确定至少一个亮度阈值。比如，该多个块的平均亮度值为W、预设数值为Q，则图像处理设备可以将W与Q的乘积、以及W与Q的商确定为两个亮度阈值。

需要说明的是，预设数值可以事先设置，比如，预设数值Q可以设置为4，上述根据W与Q的乘积、以及W与Q的商确定亮度阈值的方法仅为示例性的，并不对本申请实施例构成限定，图像处理设备还可以通过其他方式确定至少一个亮度阈值。

在确定至少一个亮度阈值后，图像处理设备根据至少一个亮度阈值将指定亮度长度划分为多个亮度范围。比如，指定亮度长度为[0，255]，至少一个亮度阈值包括两个亮度阈值且分别为80和160，则图像处理设备可以根据亮度阈值80、160将指定亮度长度[0，255]划分为三个亮度范围，分别为[0，80)、[80，160)和[160，255]，这三个亮度范围可以用于表示当前帧图像中的低亮区域、中亮区域和高亮区域。亮度范围的数量由亮度阈值数量决定。例如，一个亮度阈值将指定亮度长度划分为两个亮度范围，一次类推。本实施例以两个亮度阈值和三个亮度范围为例作说明，但不用于限定。实际应用中，设置多少个亮度范围可以灵活选择，只要大于等于两个均可。

需要说明的是，上述指定亮度长度可以事先设置，比如，指定亮度长度可以为[0，255]或者[0，160]等，本申请实施例对此不作具体限定。

进一步的，参见图2，在步骤S201之前，该方法还包括：S200a。

S200a：确定该多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由该多个子块的亮度得到。

具体的，确定该多个块中每个块的亮度，可以包括：图像处理设备将当前帧图像划分为多个子块，比如，将当前帧图像划分为16×16个子块、32×16个子块、或者32×32个子块等；可以对划分得到的多个子块进行下采样，得到当前帧图像中的多个块，比如，下采样时将相邻的四个子块确定为一个块，则16×16个子块下采样后即为8×8个块。然后，根据每个块中包括的多个子块的亮度确定每个块的亮度。因此，本方案是直接在200a中执行下采样，然后根据多个子块的亮度确定下采样后形成的块的亮度。在一种可选实施方式中，被确定的一个块的亮度可以是该块包括的多个子块的平均亮度值。可选的，一个块的亮度可以是所述多个子块的亮度之和与所述多个子块的数量的比值、或者是所述多个子块的加权亮度之和与所述多个子块的权重之和的比值，或者是通过其他方法计算得到的所述多个子块的亮度平均值等。需要说明的是，确定一个块的亮度的具体过程与上述步骤S201中根据多个像素点的亮度确定每个块的亮度的具体过程类似，具体参见上述描述，本申请实施例在此不再赘述。

另外，对划分得到的多个子块进行下采样，得到当前帧图像中的多个块时，图像处理设备可以对划分得到的多个子块进行一次下采样即得到当前帧图像中的多个块，也可以对划分得到的多个子块进行多次下采样后得到当前帧图像中的多个块，具体下采样的次数本申请实施例对此不做具体限定。比如，通过将相邻的四个子块确定为一个块的方式进行下采样，若当前帧图像被划分得到32×32个子块，则对32×32个子块进行一次下采样得到16×16个块，对16×16个块再进行一次下采样得到8×8个块。

在一种可选的实现方式中，可以不仅在200a中执行下采样，而是在S201中执行下采样。例如，按照图2在实施例的S201来确定每个块的亮度范围后，可通过下采样消除不平滑，下采样后的每个宏块可包括多个块，并在S201中进一步确定每个宏块中的多个块所处于的亮度范围。也即是说，下采样之后的宏块被作为一个整体，其内部的多个块被统一确定所属的亮度范围，而不是单独确定每一个块的亮度范围。这里以该多个亮度范围包括三个亮度范围(比如，高亮、中亮和低亮)为例，假设当前帧图像划分得到如图3所示的16×16个块。首先，在S201中确认每个块的初步亮度范围，如之前图2对应的实施例的描述。为便于观察，这里可以对每个块的亮度属于三个亮度范围中哪个亮度范围进行标记，假设高亮/中亮/低亮分别对应的标记为0/1/2，则标记后的图像可以如图4所示，图4中以白色表示高亮，即标记0、以灰色表示中亮，即标记1、以黑色表示低亮，即标记2。其次，进一步下采样来最终确定每个块的亮度范围。在下采样的时候，假设每4个块成为一个宏块，则将16×16个块变为8×8个宏块，在确定每个宏块属于三个亮度范围中的哪个亮度范围时，可以根据每个宏块中所包括的该多个块对应的标记之和确定该宏块整体所属的亮度范围，该和被视为是宏块的标记。比如，以每个宏块包括4个块为例，若该4个块对应的标记之和小于或等于2，则确定该宏块属于高亮；若该4个块对应的标记之和大于2且小于4，则确定该宏块属于中亮；若该4个块对应的标记之和大于或等于4，则确定该宏块属于低亮。例如，根据16×16个块确定任一宏块中每个块所属的亮度范围如图5所示。通过下采样，一个帧的图像内各个块的亮度范围划分变得更加规整和可靠。对比图4和图5，图像内的三个亮度范围内的一个或多个块所组成的形状更加平滑，即三个亮度范围的边界变得更自然。每个宏块内的多个块被作为一个整体确定其所属于的亮度范围，从而最终确定三个亮度范围内各自包括了哪些块，从而进一步执行S202，方法具体进一步参照前面实施例介绍。

上述主要从图像处理设备的角度对本申请实施例提供的图像处理方法进行了介绍。可以理解的是，该图像处理设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的结构及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对应的图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的图像处理装置的一种可能的结构示意图。该图像处理装置包括：确定单元301和补偿单元302。其中，确定单元301用于支持该装置执行方法实施例中的S200a、S200b、S203a、S201至S203中的一个或者多个步骤，和/或用于本文所描述的技术的其他过程；补偿单元302用于支持该装置执行方法实施例中的S204。具体的，结合图1，在一种实现方案中，当确定单元301和补偿单元302通过软件形式实现时，即确定单元301和补偿单元302所对应的软件程序包括在存储器101中，处理器102通过运行存储器101中的包括确定单元301和补偿单元302在内的软件程序以实现确定单元301和补偿单元302对应的功能。在另一种实现方案中，当确定单元301和补偿单元302通过硬件形式实现时，确定单元301和补偿单元302可以是处理器102中包括的硬件电路或加速器或者被直接用于取代处理器102，确定单元301和补偿单元302的每个具体可由硬件电路或加速器实现，可包括电子线路、数字电路、逻辑电路、或模拟电路中至少一种。此外，通过软件形式或者硬件形式实现的补偿单元302或者处理器102，在具体做曝光补偿时，可以是指通过电信号控制光传感器或光补偿元件的曝光，以实现电子层面的曝光补偿，而最终光学层面的曝光补偿是由光传感器或光补偿元件执行的。

上面从模块化功能实体的角度对本申请实施例中的一种图像处理装置进行描述，下面从硬件处理的角度对本申请实施例中的一种图像处理装置进行描述。

本申请实施例还提供的一种图像处理装置，该图像处理装置的结构可以如图1所示。在本申请实施例中，处理器102被配置为可处理上述图像处理方法的S200a、S200b、S203a、S201至S203部分的功能，比如，处理器102用于确定多个块中每个块的亮度，确定多个亮度范围，根据多个块中每个块的亮度确定每个块位于多个亮度范围中的一个亮度范围内，根据第一亮度范围内的至少一个块的亮度确定第一亮度值，根据第二亮度范围内的至少一个块的亮度确定第二亮度值，以及根据第一亮度值和第二亮度值确定曝光补偿量等。

在一些可行的实施例中，该输入\输出接口105输出的以上信息可以送到存储器101中存储，也可以送到另外的处理流程中继续进行处理，或者输出的当前帧图像和下一帧图像送到显示设备进行显示、送到播放器终端进行播放等。

存储器101：该存储器中可存储上述当前帧图像、当前帧图像中每个块的亮度、第一亮度值、第二亮度值、曝光补偿量和下一帧图像、以及配置处理器的相关指令等。

传感器组件103中可以包括光补偿元件，比如，光补偿元件为光传感器，处理器102可以控制光传感器的曝光时间和感光度的增益，从而处理器102可以根据曝光补偿量对光传感器的曝光时间和感光度的增益进行调整，实现利用曝光补偿量对下一帧图像进行曝光补偿的功能。

本申请实施例提供的上述图像处理装置的各组成部分分别用于实现相对应的前述图像处理方法的各步骤的功能，由于在前述的图像处理方法实施例中，已经对各步骤进行了详细说明，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在一个设备(比如，该设备可以是单片机，芯片、计算机或处理器等)上运行时，使得该设备执行上述图像处理方法的S200a、S200b、S203a、S201-S204中的一个或多个步骤。上述图像处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。

基于这样的理解，本申请实施例还提供一种包含指令的计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或其中的处理器执行本申请各个实施例所述方法的全部或部分步骤。

在本申请实施例中，通过当前帧图像的多个块中，位于具有最高亮度的第一亮度范围内的至少一个块的亮度确定第一亮度值，具有最低亮度的第二亮度范围内的至少一个块的亮度确定第二亮度值，从而根据第一亮度值和第二亮度值确定曝光补偿量，因此该曝光补偿量与当前帧图像中亮暗区域的位置有关，从而利用该曝光补偿量对下一帧图像做曝光补偿时，可以提高曝光补偿的准确性，进而提高图像的品质，以提高用户拍摄图像的体验。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：

根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；

根据第一亮度范围内的至少一个块的亮度确定第一亮度值，所述第一亮度范围在所述多个亮度范围中具有最高亮度；

根据第二亮度范围内的至少一个块的亮度确定第二亮度值，所述第二亮度范围在所述多个亮度范围中具有最低亮度；

根据所述第一亮度值和所述第二亮度值确定曝光补偿量；

利用所述曝光补偿量对下一帧图像做曝光补偿；

所述根据所述第一亮度值和所述第二亮度值确定曝光补偿量，包括：

根据所述多个块的平均亮度值、所述第一亮度值、所述第二亮度值、以及所述第二亮度范围内的所述至少一个块与所述多个块的比例，确定所述曝光补偿量。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据当前帧图像的多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内之前，所述方法还包括：

根据所述当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；

根据所述至少一个亮度阈值，确定所述多个亮度范围。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述当前帧图像中多个块中每个块的亮度，确定多个亮度阈值，包括：

根据所述当前帧图像中多个块的亮度，确定所述多个块的平均亮度值；

根据所述多个块的平均亮度值，确定多个亮度阈值。

4.根据权利要求1所述的图像处理方法，其特征在于，所述根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内之前，所述方法还包括：

确定所述多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由所述多个子块的亮度得到。

5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一亮度值和所述第二亮度值确定曝光补偿量之前，所述方法还包括：

根据所述第一亮度值和所述第二亮度值，确定进入高反差场景以触发根据所述第一亮度值和所述第二亮度值确定所述曝光补偿量的操作。

6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述第一亮度值和所述第二亮度值，确定所述当前帧图像处于高反差场景中，包括：

当所述第一亮度值与所述第二亮度值的比值大于或等于第一数值时，确定进入所述高反差场景；或者，

当所述第一亮度值与所述第二亮度值的差值大于或等于第二数值时，确定进入所述高反差场景。

7.根据权利要求1所述的图像处理方法，其特征在于，所述第一亮度值为所述第一亮度范围内的所述至少一个块的平均亮度值，所述第二亮度值为所述第二亮度范围内的所述至少一个块的平均亮度值。

8.根据权利要求1-7任一项所述的图像处理方法，其特征在于，所述多个块是所述当前帧图像中的M×N个块，M和N为正整数。

9.一种图像处理装置，其特征在于，所述装置包括：

确定单元，用于根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；

根据第一亮度范围内的至少一个块的亮度确定第一亮度值，所述第一亮度范围在所述多个亮度范围中具有最高亮度；

根据第二亮度范围内的至少一个块的亮度确定第二亮度值，所述第二亮度范围在所述多个亮度范围中具有最低亮度；

根据所述第一亮度值和所述第二亮度值确定曝光补偿量；

补偿单元，用于利用所述曝光补偿量对下一帧图像做曝光补偿；

所述确定单元，还用于：

根据所述多个块的平均亮度值、所述第一亮度值、所述第二亮度值、以及所述第二亮度范围内的所述至少一个块与所述多个块的比例，确定所述曝光补偿量。

10.根据权利要求9所述的图像处理装置，其特征在于，所述确定单元，还用于：

根据所述当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；

根据所述至少一个亮度阈值，确定所述多个亮度范围。

11.根据权利要求10所述的图像处理装置，其特征在于，所述确定单元，还用于：

根据所述当前帧图像中多个块的亮度，确定所述多个块的平均亮度值；

根据所述多个块的平均亮度值，确定多个亮度阈值。

12.根据权利要求9所述的图像处理装置，其特征在于，所述确定单元，还用于：

确定所述多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由所述多个子块的亮度得到。

13.根据权利要求9所述的图像处理装置，其特征在于，所述确定单元，还用于：

根据所述第一亮度值和所述第二亮度值，确定进入高反差场景以触发根据所述第一亮度值和所述第二亮度值确定所述曝光补偿量的操作。

14.根据权利要求13所述的图像处理装置，其特征在于，所述确定单元，还用于：

当所述第一亮度值与所述第二亮度值的比值大于或等于第一数值时，确定进入所述高反差场景；或者，

当所述第一亮度值与所述第二亮度值的差值大于或等于第二数值时，确定进入所述高反差场景。

15.根据权利要求9所述的图像处理装置，其特征在于，所述第一亮度值为所述第一亮度范围内的所述至少一个块的平均亮度值，所述第二亮度值为所述第二亮度范围内的所述至少一个块的平均亮度值。

16.根据权利要求9-15任一项所述的图像处理装置，其特征在于，所述多个块是所述当前帧图像中的M×N个块，M和N为正整数。

17.一种图像处理装置，其特征在于，所述装置包括：处理器和接口；

所述处理器，被配置为通过所述接口读取存储器中的软件程序，并在所述软件程序的驱动下处理如下操作：

根据当前帧图像中多个块中每个块的亮度，确定每个块位于多个亮度范围中的一个亮度范围内；

根据第一亮度范围内的至少一个块的亮度确定第一亮度值，所述第一亮度范围在所述多个亮度范围中具有最高亮度；

根据第二亮度范围内的至少一个块的亮度确定第二亮度值，所述第二亮度范围在所述多个亮度范围中具有最低亮度；

根据所述第一亮度值和所述第二亮度值确定曝光补偿量；

利用所述曝光补偿量对下一帧图像做曝光补偿；

所述处理器还执行以下操作：

根据所述多个块的平均亮度值、所述第一亮度值、所述第二亮度值、以及所述第二亮度范围内的所述至少一个块与所述多个块的比例，确定所述曝光补偿量。

18.根据权利要求17所述的图像处理装置，其特征在于，所述处理器还执行以下操作：

根据所述当前帧图像中多个块中每个块的亮度，确定至少一个亮度阈值；

根据所述至少一个亮度阈值，确定所述多个亮度范围。

19.根据权利要求18所述的图像处理装置，其特征在于，所述处理器还执行以下操作：

根据所述当前帧图像中多个块的亮度，确定所述多个块的平均亮度值；

根据所述多个块的平均亮度值，确定多个亮度阈值。

20.根据权利要求17所述的图像处理装置，其特征在于，所述处理器还执行以下操作：

确定所述多个块中每个块的亮度，其中每个块包括多个子块，每个块的亮度由所述多个子块的亮度得到。

21.根据权利要求17所述的图像处理装置，其特征在于，所述处理器还执行以下操作：

根据所述第一亮度值和所述第二亮度值，确定进入高反差场景以触发根据所述第一亮度值和所述第二亮度值确定所述曝光补偿量的操作。

22.根据权利要求21所述的图像处理装置，其特征在于，所述处理器还执行以下操作：

当所述第一亮度值与所述第二亮度值的比值大于或等于第一数值时，确定进入所述高反差场景；或者，

当所述第一亮度值与所述第二亮度值的差值大于或等于第二数值时，确定进入所述高反差场景。

23.根据权利要求17所述的图像处理装置，其特征在于，所述第一亮度值为所述第一亮度范围内的所述至少一个块的平均亮度值，所述第二亮度值为所述第二亮度范围内的所述至少一个块的平均亮度值。

24.根据权利要求17-23任一项所述的图像处理装置，其特征在于，所述多个块是所述当前帧图像中的M×N个块，M和N为正整数。

Images