CN112911166A

CN112911166A - 一种调整图像亮度的方法、装置、芯片、介质及摄像设备

Info

Publication number: CN112911166A
Application number: CN202010632007.0A
Authority: CN
Inventors: 杨远飞; 徐会; 陈泽伟
Original assignee: Zhuhai Jieli Technology Co Ltd
Current assignee: Zhuhai Jieli Technology Co Ltd
Priority date: 2020-07-03
Filing date: 2020-07-03
Publication date: 2021-06-04
Anticipated expiration: 2040-07-03
Also published as: CN112911166B

Abstract

本发明提供了一种调整图像亮度的方法、装置、芯片、介质及摄像设备，所述方法包括步骤：获取待处理图像的第一直方图；对第一直方图进行波峰和波谷抑制，使各灰度级的像素数量被约束在波峰与波谷之间，根据比例因子调整抑制后直方图使抑制前后像素总和不变，得到第二直方图；求第二直方图的累积分布函数并乘以255作为第一转换函数；设置两个像素阈值和权重构建权重曲线；根据第一转换函数和权重曲线得到第二转换函数；通过第二转换函数得到增益曲线，对待处理图像进行亮度调整。通过波峰和波谷抑制限制直方图累积分布函数的斜率，并结合权重曲线，改善了传统直方图均衡化造成的细节丢失和过增强现象，使亮度映射曲线鲁棒性更强，能适应更多场景。

Description

一种调整图像亮度的方法、装置、芯片、介质及摄像设备

技术领域

本发明涉及图像处理领域，尤其涉及一种调整图像亮度的方法和装置，还涉及一种图像处理芯片、计算机可读存储介质以及摄像设备。

背景技术

随着摄像设备的普及，如室内室外监控、无人机拍摄、行车记录仪等等，通过摄像设备获取的图像由于各种因素的影响导致有的图像可能亮度较低，或者可能出现过曝，影响用户的使用效果，则需要摄像设备内置处理算法对采集到图像的亮度进行适当地调整。

图像亮度调整算法主要包括：曲线映射法和直方图均衡化方法；曲线映射法，是通过给定的一条映射曲线对图像亮度进行调整；直方图均衡化方法，本质是对图像进行非线性拉伸，使在一定灰度范围内的像素数量大致相等。然而，传统的曲线映射法适应性不强，很难适应所有场景，以至于鲁棒性不强；传统的直方图均衡化通常不能达到理想的效果，因为在均衡化过程中，会出现灰度级合并现象，导致部分细节丢失和过增强现象。

发明内容

基于上述现状，本发明的主要目的在于提供一种调整图像亮度的方法和装置，以解决细节丢失和过增强现象，同时提高曲线映射法的鲁棒性，以适应更多场景。

为实现上述目的，本发明采用的技术方案如下：

一种调整图像亮度的方法，包括步骤：

S10：获取待处理图像各灰度级的像素统计信息，并基于所述统计信息得到所述待处理图像的第一直方图；

S20：设定单一灰度级像素数量的波峰阈值和波谷阈值，对所述第一直方图进行波峰抑制和波谷抑制，使待处理图像各灰度级的像素数量被约束在波峰阈值与波谷阈值之间，并计算抑制后的直方图的像素总和与所述第一直方图的像素总和的比例因子，根据计算所得的比例因子对抑制后的直方图进行调整，使直方图的像素总和不变，得到第二直方图；

S30：求取所述第二直方图的累积分布函数并乘以255，作为第一转化函数T(i)，其中，i为像素灰度级的索引，范围为[0,256)；

S40：设置两个像素阈值t₁和t₂，对所述第二直方图进行分割，得到三个不同灰度区间段，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，w₁、w₂和第二段的权重三者构成权重曲线W(i)，其中w₁，w₂的范围为[0,1]；

S50：根据所述权重曲线对所述第一转换函数进行加权，得到第二转换函数T1(i)：

T1(i)＝T(i)*W(i)+i*(1-W(i))；

S60：通过所述第二转换函数T1(i)得到图像的增益曲线G(i)：

G(i)＝T1(i)/i；

S70：通过所述增益曲线对所述待处理图像进行亮度调整并输出。

优选地，步骤S20中，计算所述比例因子并根据所述比例因子对抑制后的直方图进行调整的方法采用如下公式实现：

其中，S1，S2分别为原始直方图和抑制后直方图的像素总和，

为两者像素总和的比例因子，w为所述待处理图像的宽度，h为所述待处理图像的高度。

优选地，步骤S40中，通过w₁和w₂线性插值得到第二段的权重，并构建权重曲线如下：

优选地，步骤S40中，通过w₁和w₂曲线拟合方法确定第二段的权重。

优选地，步骤S40中，根据待处理图像拍摄时的场景，选择预设的像素阈值t₁和t₂，并基于t₁和t₂确定预设的w₁和w₂。

优选地，在步骤S10中，先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

本发明还提供了一种调整图像亮度的装置，包括：

图像采集单元，用于获取待处理图像，并发送至直方图计算单元；

直方图计算单元，用于获取待处理图像各灰度级的像素统计信息，并基于所述统计信息得到所述待处理图像的第一直方图，并将所述第一直方图发送至直方图处理单元；

直方图处理单元，用于设定单一灰度级像素数量的波峰阈值和波谷阈值，对所述第一直方图进行波峰抑制和波谷抑制，使待处理图像各灰度级的像素数量被约束在波峰阈值与波谷阈值之间，并计算抑制后的直方图的像素总和与所述第一直方图的像素总和的比例因子，根据计算所得的比例因子对抑制后的直方图进行调整，使直方图的像素总和不变，得到第二直方图；

第一转换函数确定单元，用于求取所述第二直方图的累积分布函数并乘以255，作为第一转换函数T(i)；

权重曲线确定单元，用于设置两个像素阈值t₁和t₂，对所述第二直方图进行分割得到三个不同灰度区间段，并设置各灰度区间相应的权重，以构成权重曲线；

第二转换函数确定单元，用于根据所述权重曲线对所述第一转换函数进行加权，以得到第二转换函数T1(i)；

增益曲线构建单元，用于通过所述第二转换函数T1(i)得到图像的增益曲线；以及

输出单元，用于根据所述增益曲线对所述待处理图像进行亮度调整，并输出调整后的图像。

优选地，权重曲线确定单元被构造成，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，通过w₁和w₂线性插值得到第二段的权重，并构建权重曲线如下：

优选地，权重曲线确定单元进一步被构造成，根据待处理图像拍摄时的场景，选择预设的像素阈值t₁和t₂，并基于t₁和t₂确定预设的w₁和w₂。

优选地，直方图计算单元进一步被构造成先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

本发明还提供了一种图像处理芯片，在处理图像时能够实现本发明调整图像亮度的方法所描述的部分或全部步骤。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，在计算机程序被执行时，能够实现本发明调整图像亮度的方法所描述的部分或全部步骤。

本发明还提供了一种摄像设备，其包括本发明所提供的图像处理芯片，或者包括本发明所提供的调整图像亮度的装置。

本发明通过设定单一灰度级像素数量的波峰阈值和波谷阈值对直方图进行限制，从而限制了累积分布函数的斜率，同时通过设置像素阈值将直方图分割成不同灰度区间并设定各灰度区间对应的权重，构建权重曲线，有效避免了直方图均衡化过程中由于像素合并导致的细节丢失和过增强现象，且通过根据不同场景或需求设定像素阈值和权重使得亮度调整的增益曲线鲁棒性更强，能适应更多的应用场景。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对根据本发明的调整图像亮度的方法、装置、芯片、介质及摄像设备的优选实施方式进行描述。图中：

图1为根据本发明的一种优选实施方式的调整图像亮度的方法的流程图；

图2为根据本发明的一种优选实施方式的调整图像亮度的方法中对第一直方图进行抑制的原理示意图，其中A为原始直方图，B为抑制后的直方图；

图3为根据本发明的一种优选实施方式在逆光场景下的转换函数示意图；

图4为跟据本发明的一种优选实施方式在中间场景下的转换函数示意图；

图5为根据本发明实施例的一种优选实施方式的调整图像亮度的装置示意图。

具体实施方式

图1示出了本发明的一种优选实施方式的调整图像亮度的方法，包括以下步骤：

步骤S10：获取待处理图像各灰度级的像素统计信息，并基于所述统计信息得到所述待处理图像的第一直方图。

具体的，获取图像传感器中的待处理图像，并通过图像的像素分布进行统计得到所述待处理图像的直方图，具体的直方图可由式1得到：

H1(I_x,y)＝H1(I_x,y)+1；(x＜＝h,y＜＝w) (式1)

其中，H1为待处理图像直方图，记为第一直方图，举例来说，假设图像为8位，则H1可认为是长度为256的一维数组；I为待处理灰度图像，可认为是二维数组，x,y为图像位置索引，Ix,y为待处理灰度图像在x,y位置像素点的灰度值，h,w分别为图像的高和宽。

步骤S20：设定单一灰度级像素数量的波峰阈值和波谷阈值，对所述第一直方图进行波峰抑制和波谷抑制，使待处理图像各灰度级的像素数量被约束在波峰阈值与波谷阈值之间，并计算抑制后的直方图的像素总和与所述第一直方图的像素总和的比例因子，根据计算所得的比例因子对抑制后的直方图进行调整，使直方图的像素总和不变，得到第二直方图。

具体的，波峰抑制和波谷抑制，参照图2所示(图中横坐标为图像的灰度级L，纵坐标为该灰度级下的像素总和NUM)，设置单一灰度级像素数量的两个阈值，T1为波谷阈值，T2为波峰阈值，分别对直方图进行波峰抑制和波谷抑制，其中，波峰抑制是将所述第一直方图中像素数量大于所述波峰阈值的灰度级的像素数量减少至所述波峰阈值，波谷抑制是将所述第一直方图中像素数量小于所述波谷阈值的灰度级的像素数量增加至所述波谷阈值，从而使得待处理图像各灰度级的像素数量被约束在波峰阈值与波谷阈值之间。具体可通过公式2实现：

H2为抑制后直方图，i为像素灰度级的索引，范围为[0,256)，T1和T2分别为波谷阈值和波峰阈值。

经过波峰和波谷抑制后的直方图H2的像素总数发生改变，具体像素数量总和如式3所示：

S1，S2分别为第一直方图和波峰波谷抑制后的直方图的像素总和，为了保证抑制前后直方图的像素总和不变，需对H2进行调整得到第二直方图，H2的调整可采用式4实现：

其中，

为两者像素总和的比例因子。

可见，经过波峰抑制和波谷抑制，有效避免了某灰度等级幅值过高或过低，减小了不同灰度等级幅值差距，从而限制了直方图累积分布函数的斜率，避免直方图均衡化过程中导致的细节丢失和过度增强问题，改善图像质量。通过式4计算比例因子的方式对直方图的像素总和进行调整，计算简单，容易实现。

步骤S30：求取所述第二直方图的累积分布函数并乘以255，作为第一转换函数T(i)，其中，i为像素灰度级的索引，范围为[0,256)。

求取第二直方图的累积分布函数(CDF)。具体可通过式5实现：

其中，T(i)为累积分布函数。

为了确保T(i)的输出范围在[0,255]之内，则对T(i)进行如式6的变换：

T(i)＝T(i)/(w*h)*255 (式6)

依据直方图均衡化的方法，T(i)可以作为图像的转换函数，记为第一转换函数。

步骤S40：设置两个像素阈值t₁和t₂，对所述第二直方图进行分割，得到三个不同灰度区间段，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，w₁、w₂和第二段的权重三者构成权重曲线W(i)，其中，w₁，w₂的范围为[0,1]。

具体的，设置两个像素阈值t₁和t₂和两个权重值w₁，w₂，通过两个像素阈值t₁和t₂对所述第二直方图进行分割，得到三个不同灰度区间段，小于阈值t₁的灰度区间权重为w₁,大于阈值t₂的灰度区间权重为w₂，通过w₁和w₂确定阈值t₁和t₂之间的灰度区间对应的权重。

作为优选的实施方式，阈值t₁和t₂之间的灰度区间对应的权重通过线性插值方法得到，并构建权重曲线具体如式7：

作为另一优选的实施方式，阈值t₁和t₂之间的像素对应的权重通过曲线拟合方法确定。

可见，通过权重曲线可以进一步限制图像的亮度调整幅度，减缓直方图均衡化可能会带来的细节丢失和过增强现象。

步骤S50：根据所述权重曲线对所述第一转换函数进行加权，得到第二转换函数T1(i)：

T1(i)＝T(i)*W(i)+i*(1-W(i))。

具体的，将式6得到的第一转换函数和式7得到的权重曲线进行加权，得到第二转换函数，如式8所示：

T1(i)＝T(i)*W(i)+i*(1-W(i)) (式8)

在一实施例中，在逆光场景下，依据上述步骤求取的转换函数如图3所示：图中横坐标为图像采集的灰度值L(in)(像素值)，纵坐标为输出的灰度值L(out)(像素值)。

其中，直线表示恒等映射，即待处理图像灰度值等于输出的图像灰度值，若以该直线作为转换函数，则图像的亮度值没有任何调整。

实曲线为未加权处理第一转换函数，若以该实曲线作为转换函数，则在直线下方的像素将会变暗，在直线上方的像素将被拉亮。

虚曲线为加权之后的第二转换函数，与未加权处理的第一转换函数相比，加权后的第二转换函数可以减缓拉亮或者变暗的像素，减缓的程度和加权的权重系数有关。

作为优选的实施方式，可以根据不同的场景或者需求，设置并保存特定的像素阈值和权重值，从而在进行亮度调节时，可以方便地根据待处理图像拍摄时的场景，选择预设的像素阈值t₁和t₂，并基于t₁和t₂确定预设的w₁和w₂，例如通过查表法确定。

还在上述逆光场景的实施例中，转换函数如图3所示，像素值较大的像素对应的转换函数值在直线下方，像素会被压缩，如果不想这些像素被压缩，则可以设置一个较大的阈值和一个较小的权重，从而让这些像素对应的转换值尽可能贴近直线。像素值较小的像素对应的转换函数值在直线上方，像素会被提亮，如果不想让其受到权重曲线的限制，则可以设置一个较小的阈值和一个较大的权重，从而让这些像素对应的转换值尽可能贴近曲线上面。

在另一个实施例中，在中间场景下(像素集中在中间区域)，转换函数如图4所示，可以看出，像素值较低的像素将会被压缩，像素值较大的像素将会被拉亮。类似地，也可以通过设置合适的阈值和权重来限制拉伸强度，实现亮度的最佳调节。

在一个实施例中，如果处理单张图像，通过上述步骤设置阈值、权重等参数即可实现自适应调节不同图像的亮度，输出一张亮度最佳的图像。

通过第一转换函数和权重曲线的加权，可以实现对图像亮度的灵活处理，第二转换函数的鲁棒性更强，以适应更多的场景。

步骤S60：通过所述第二转换函数T1(i)得到图像的增益曲线G(i)：

G(i)＝T1(i)/i。

步骤S70：通过所述增益曲线对所述待处理图像进行亮度调整并输出。

具体的，将待处理图像通过增益曲线进行亮度调整，可以得到亮度调节后的输出图像，可通过式9实现：

out_x,y＝I_x,y*G(I_x,y) (式9)

其中，I为待处理图像，out为输出图像,out_x,y为输出图像x,y位置像素点的灰度值，I_x,y为待处理图像在x,y位置上的灰度值，G(I_x,y)为处理图像在x,y位置上的灰度值所对应的增益。

作为优选的实施方式，先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

具体的，利用伽马曲线调节亮度时，先对图像的直方图先进行伽马变换后，再进行上述实施方案描述的方法的后续处理。具体如式10：

H1(i)＝F(H1(i)) (式10)

其中，F为伽马变换。

通过两个亮度调节算法可能导致图像过增强，因此需要先进行伽马变换，以减小伽马曲线对该算法的影响。

与现有技术相比，本发明通过设定像素数量的波峰阈值和波谷阈值对直方图进行限制，从而限制了累积分布函数的斜率，同时通过设置阈值将直方图分割成不同灰度区间并设定各灰度区间对应的权重，有效避免了直方图均衡化过程中由于像素合并导致的细节丢失和过增强现象，且通过根据不同场景或需求设定阈值和权重使得亮度调整的增益曲线鲁棒性更强，能适应更多的应用场景。

为了实施上述调整图像亮度的方法，本发明还提供了一种调整图像亮度的装置，示意图如图5所示，该装置包括：

直方图计算单元，用于获取所述待处理图像各灰度级的像素统计信息，基于所述统计信息得到所述待处理图像的第一直方图，并将所述第一直方图发送至直方图处理单元；

权重曲线确定单元，用于设置两个像素阈值t₁和t₂，对所述第二直方图进行分割得到三个不同灰度区间段，并设置各灰度区间段相应的权重，以构成权重曲线；

作为优选的实施方式，直方图处理单元被构造成在基于直方图像素总和不变的原则对抑制后的直方图进行调整时，计算抑制后的直方图的像素总和与所述第一直方图的像素总和的差值，并将所述差值均匀地分布在整个灰度区间上。

作为优选的实施方式，直方图处理单元被构造成在基于直方图像素总和不变的原则对抑制后的直方图进行调整时，计算抑制后的直方图的像素总和与所述第一直方图的像素总和的比例因子，根据计算所得的比例因子对抑制后的直方图进行调整。

作为优选的实施方式，权重曲线确定单元被构造成，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，通过w₁和w₂线性插值得到第二段的权重，并构建权重曲线如下：

作为优选的实施方式，直方图计算单元进一步被构造成先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

本发明提供的调整图像亮度的装置，通过波峰抑制和波谷抑制限制了直方图累积分布函数的斜率，可以有效避免了直方图均衡化过程中由于像素合并导致的细节丢失和过增强现象，同时根据具体的场景或需求设置阈值对直方图进行分割，得到不同的灰度区间，并设置各灰度区间相应的权重，通过阈值分割与权重设置进一步限制图像的亮度调整幅度，使得图像的亮度调整装置的鲁棒性更强，能适应更多的应用场景。

本发明还提供了一种图像处理芯片，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备实现上述方法实施方案中所记载的调整图像亮度的部分或全部步骤。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被硬件(如处理器等)执行，以实现上述方法实施方案中所记载的调整图像亮度的方法的部分或全部步骤。

本发明还提供了一种摄像设备，例如室内室外监控设备、无人机、行车记录仪等，该摄像设备安装有前述的图像处理芯片或者包括前述的调整图像亮度的装置，能够实现上述方法实施方案中所记载的调整图像亮度的部分或全部步骤，以输出高质量的图像或图片。

需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims

1.一种调整图像亮度的方法，其特征在于，包括步骤：

S30：求取所述第二直方图的累积分布函数并乘以255，作为第一转换函数T(i)，其中，i为像素灰度级的索引，范围为[0,256)；

S40：设置两个像素阈值t₁和t₂，对所述第二直方图进行分割，得到三个不同灰度区间段，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，w₁、w₂和第二段的权重三者构成权重曲线W(i)，其中，w₁，w₂的范围为[0,1]；

T1(i)＝T(i)*W(i)+i*(1-W(i))；

S60：通过所述第二转换函数T1(i)得到图像的增益曲线G(i)：

G(i)＝T1(i)/i；

2.根据权利要求1所述的调整图像亮度的方法，其特征在于，在步骤S20中，计算所述比例因子并根据所述比例因子进行调整的方法采用如下公式实现：

其中，S1，S2分别为第一直方图和抑制后的直方图的像素总和，

3.根据权利要求1-2任一项所述的调整图像亮度的方法，其特征在于，所述步骤S40中，通过w₁和w₂线性插值得到第二段的权重，并构建权重曲线如下：

4.根据权利要求1-2任一项所述的调整图像亮度的方法，其特征在于，所述步骤S40中，通过w₁和w₂曲线拟合方法确定第二段的权重。

5.根据权利要求1-2任一项所述的调整图像亮度的方法，其特征在于，所述步骤S40中，根据待处理图像拍摄时的场景，选择预设的像素阈值t₁和t₂，并基于t₁和t₂确定预设的w₁和w₂。

6.根据权利要求1-2任一项所述的调整图像亮度的方法，其特征在于，所述步骤S10中，先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

7.一种调整图像亮度的装置，其特征在于，包括：

8.根据权利要求7所述的调整图像亮度的装置，其特征在于，所述权重曲线确定单元被构造成，设置第一段的权重为w₁，第三段的权重为w₂，并基于w₁和w₂确定第二段的权重，使得第二段的权重介于w₁和w₂之间，通过w₁和w₂线性插值得到第二段的权重，并构建权重曲线如下：

9.根据权利要求8所述的调整图像亮度的装置，其特征在于，所述权重曲线确定单元进一步被构造成，根据待处理图像拍摄时的场景，选择预设的像素阈值t₁和t₂，并基于t₁和t₂确定预设的w₁和w₂。

10.根据权利要求7-9任一项所述的调整图像亮度的装置，其特征在于，直方图计算单元进一步被构造成先基于所述统计信息得到所述待处理图像的原始直方图，再对所述原始直方图进行伽马变换，得到所述第一直方图。

11.一种图像处理芯片，其特征在于，所述图像处理芯片在处理图像时能够实现根据权利要求1-6任一项所述的调整图像亮度的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，能够实现根据权利要求1-6任一项所述的调整图像亮度的方法。

13.一种摄像设备，其特征在于，包括：根据权利要求11所述的图像处理芯片，或者根据权利要求7-10任一项所述的调整图像亮度的装置。