CN108111785B - 图像处理方法及装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请公开一种图像处理方法。图像处理方法包括：处理待处理图像以将待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；对初去黑图像降噪以得到降噪图像；和处理降噪图像以将降噪图像的每个像素的像素值减去剩余比例的所述暗电平以得到去黑后图像，剩余比例与所述预定比例的和为1，剩余比例大于所述预定比例。本申请还公开一种图像处理装置、计算机可读存储介质和计算机设备。本申请实施方式的图像处理方法及装置、计算机可读存储介质和计算机设备可以避免图像的暗部在降噪处理中因为信号较弱而效果较差，也可以避免因为黑电平的存在导致后续的各种图像处理效果变差，从而整体上提升图像处理的效果。

Description

图像处理方法及装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置、计算机可读存储介质和计算机设备。

背景技术

相关技术的图像处理方法先对图像进行黑电平校正(例如将图像的每个像素的像素值减去黑电平)，然后再对校正后的图像进行降噪处理。然而，图像的暗部本来信号(像素的像素值)就比较弱，黑电平校正后信号更弱，导致图像的暗部降噪处理的效果差。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、计算机可读存储介质和计算机设备。

本申请实施方式的图像处理方法包括以下步骤：

处理待处理图像以将所述待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

对所述初去黑图像降噪以得到降噪图像；和

处理所述降噪图像以将所述降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，所述剩余比例与所述预定比例的和为1，所述剩余比例大于所述预定比例。

本申请实施方式的一种图像处理装置，包括：

第一处理模块，所述第一处理模块用于处理待处理图像以将所述待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

第二处理模块，第二处理模块用于对所述初去黑图像降噪以得到降噪图像；和

第三处理模块，第三处理模块用于处理所述降噪图像以将所述降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，所述剩余比例与所述预定比例的和为1，所述剩余比例大于所述预定比例。

本申请实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行所述拍摄方法。

本申请实施方式的一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行所述图像处理方法。

本申请实施方式的图像处理方法及装置、计算机可读存储介质和计算机设备在对图像进行降噪处理前，仅减去至多部分黑电平，可以在较大程度上保持图像的暗部的信号，避免图像的暗部在降噪处理中因为信号较弱而效果较差，而在降噪处理后进一步减去所有的黑电平，可以避免因为黑电平的存在导致后续的各种图像处理效果变差，整体上提升图像处理的效果。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的模块示意图。

图3是本申请某些实施方式的计算机设备的平面示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置的模块示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的图像处理装置的第二处理模块的模块示意图。

图8是本申请某些实施方式的图像处理方法的流程示意图。

图9是本申请某些实施方式的图像处理装置的第一处理单元的模块示意图。

图10是本申请某些实施方式的图像处理方法的流程示意图。

图11是本申请某些实施方式的图像处理装置的第二处理单元的模块示意图。

图12是本申请某些实施方式的水平滤波像素行示意图。

图13是本申请某些实施方式的图像处理方法的流程示意图。

图14是本申请某些实施方式的图像处理装置的第三处理单元的模块示意图。

图15是本申请某些实施方式的垂直滤波像素行示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的图像处理装置的模块示意图。

图18是本申请某些实施方式的图像处理方法的流程示意图。

图19是本申请某些实施方式的图像处理装置的第一校正模块的模块示意图。

图20是本申请某些实施方式的不在增益网格点上的像素的示意图。

图21是本申请某些实施方式的图像处理方法的流程示意图。

图22是本申请某些实施方式的图像处理装置的模块示意图。

图23是本申请某些实施方式的图像处理方法的流程示意图。

图24是本申请某些实施方式的图像处理装置的第二校正模块的模块示意图。

图25是本申请某些实施方式的一组相邻像素的示意图。

图26是本申请某些实施方式的图像处理方法的流程示意图。

图27是本申请某些实施方式的图像处理装置的模块示意图。

图28是本申请某些实施方式的图像处理方法的流程示意图。

图29是本申请某些实施方式的图像处理装置的第六处理模块的模块示意图。

图30是本申请某些实施方式的图像处理方法的流程示意图。

图31是本申请某些实施方式的图像处理装置的第六处理模块的模块示意图。

图32是本申请某些实施方式的计算机设备的模块示意图。

图33是本申请某些实施方式的图像处理电路的模块示意图。

主要元件符号说明：

计算机设备100、图像处理装置10、第一处理模块12、第二处理模块14、第一处理单元142、第一确定子单元1422、第二确定子单元1424、第一计算子单元1426、第一判断子单元1428和第一处理子单元1421、第二处理单元144、第三确定子单元1442、第四确定子单元1444、第二计算子单元1446、第五确定子单元1448、第二判断子单元1441、第二处理子单元1443和第六确定子单元1445、第三处理单元146、第七确定子单元1462、第八确定子单元1464、第三计算子单元1466、第九确定子单元1468、第三判断子单元1461、第三处理子单元1463和第十确定子单元1465、第三处理模块16、第一获取模块18、第四处理模块11、第一校正模块13、第一确定单元132、第二确定单元134、第一判断单元136、第四处理单元138、第五处理单元131、第二校正模块15、第三确定单元152、第一计算单元154、第四确定单元156、第五确定单元158、第二判断单元151、第六处理单元153、第七处理单元155、第五处理模块17、第六处理模块19、第八处理单元192、第六确定单元194、第七确定单元196、第八确定单元198、第九处理单元191、第九确定单元193、第三判断单元195、第十处理单元197、第七处理模块1X、***总线20、处理器40、存储器60、内存储器80、显示屏30、输入装置50、图像处理电路70、ISP处理器72、控制逻辑器74、摄像头76、透镜762和图像传感器764、传感器78、图像存储器71、显示器73、编码器/解码器75。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一权值称为第二权值，且类似地，可将第二权值称为第一权值。第一权值和第二权值两者都是权值，但不是同一权值。

请参阅图1，本申请实施方式的图像处理方法包括以下步骤：

S12：处理待处理图像以将待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

S14：对初去黑图像降噪以得到降噪图像；和

S16：处理降噪图像以将降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，剩余比例与预定比例的和为1，剩余比例大于预定比例。

请参阅图2，本申请实施方式的图像处理装置10包括第一处理模块12、第二处理模块14、第三处理模块16。第一处理模块12用于处理待处理图像以将待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像。第二处理模块14用于对初去黑图像降噪以得到降噪图像。第三处理模块16用于处理降噪图像以将降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，剩余比例与预定比例的和为1，剩余比例大于预定比例。

也即是说，本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置10实现，其中，步骤S12可以由第一处理模块12实现，步骤S14可以由第二处理模块14实现，步骤S16可以由第三处理模块16实现。

请参阅图3，本申请实施方式的图像处理装置10可以应用于本申请实施方式的计算机设备100中，也即是说，本申请实施方式的计算机设备100可以包括本申请实施方式的图像处理装置10。

本申请实施方式的图像处理方法、图像处理装置10和计算机设备100在对图像进行降噪处理前，仅减去至多部分黑电平，可以在较大程度上保持图像的暗部的信号，避免图像的暗部在降噪处理中因为信号较弱而效果较差，而在降噪处理后进一步减去所有的黑电平，可以避免因为黑电平的存在导致后续的各种图像处理效果变差，整体上提升图像处理的效果。

请参阅图4，在某些实施方式中，本申请实施方式的图像处理方法还包括以下步骤：

S18：从图像传感器读取原图像；和

S11：对原图像进行预处理以确定统计信息并得到待处理图像。

请参阅图5，在某些实施方式中，图像处理装置10包括第一获取模块18和第四处理模块11。第一获取模块11用于从图像传感器读取原图像。第四处理模块11用于对原图像进行预处理以确定统计信息并得到待处理图像。

图像传感器包括具有像素阵列的集成电路和设置在像素阵列上的色彩滤镜阵列。每个像素包括用光电探测器，光电探测器可以用来探测光强。色彩滤镜阵列可以用来探测波长。根据探测到的光强和波长信息，可以形成原图像。对原图像进行预处理，可以确定在后续的图像处理中需要用到的统计信息，使得后续的图像处理得以正常进行。

在某些实施方式中，原图像包括拜耳阵列的原始数据。

拜耳阵列是应用得最为广泛的色彩滤镜阵列，简单易得，容易实现。当采用拜耳阵列作为色彩滤镜阵列时，原图像包括拜耳阵列的原始数据。

在某些实施方式中，图像传感器包括CMOS图像传感器。

CMOS图像传感器不仅非常省电，能够降低使用的成本，而且可以大大地简化***的硬件结构。

在某些实施方式中，预定比例小于等于10％。

预定比例小于等于10％，使得初去黑图像在暗处的信号不至于太弱，从而使降噪的效果更加明显。预定比例可以为0，也即是不进行黑电平校正。

请参阅图6，在某些实施方式中，步骤S14包括以下步骤：

S142：校正初去黑图像中对角方向上的两相邻绿色像素的不一致以得到绿色一致图像；

S144：对绿色一致图像应用水平滤波以得到水平滤波后图像；和

S146：对水平滤波后图像应用垂直滤波以得到降噪图像。

请参阅图7，在某些实施方式中，第二处理模块14包括第一处理单元142、第二处理单元144、第三处理单元146。第一处理单元142用于校正初去黑图像中对角方向上的两相邻绿色像素的不一致以得到绿色一致图像第二处理单元144用于对绿色一致图像应用水平滤波以得到水平滤波后图像。第三处理单元146用于对水平滤波后图像应用垂直滤波以得到降噪图像。

在给定均匀照明的平面条件下，对角方向上的两相邻绿色像素Gr和Gb具有微小的明度差异，对其进行校正可以避免去马赛克之后的全色图像中出现伪像。对绿色一致图像应用水平滤波和垂直滤波，使得图像的噪声降低。

请参阅图8，在某些实施方式中，步骤S142包括以下步骤：

S1422：确定绿色不一致校正阈值；

S1424：确定当前绿色像素的像素值与位于当前绿色像素右下角的右下角绿色像素的像素值；

S1426：计算当前像素的像素值与右下角绿色像素的像素值的差值；

S1428：判断差值是否小于绿色不一致校正阈值；和

S1421：在差值小于绿色不一致校正阈值时，以当前绿色像素的像素值与右下角绿色像素的像素值的平均值替换当前绿色像素的像素值和右下角绿色像素的像素值。

请参阅图9，在某些实施方式中，第一处理单元142包括第一确定子单元1422、第二确定子单元1424、第一计算子单元1426、第一判断子单元1428和第一处理子单元1421。第一确定子单元1422用于确定绿色不一致校正阈值。第二确定子单元1424用于确定当前绿色像素的像素值与位于当前绿色像素右下角的右下角绿色像素的像素值。第一计算子单元1426用于计算当前像素的像素值与右下角绿色像素的像素值的差值。第一判断子单元1428用于判断差值是否小于绿色不一致校正阈值。第一处理子单元1421用于在差值小于绿色不一致校正阈值时，以当前绿色像素的像素值与右下角绿色像素的像素值的平均值替换当前绿色像素的像素值和右下角绿色像素的像素值。

以当前绿色像素的像素值与右下角绿色像素的像素值的平均值替换当前绿色像素的像素值和右下角绿色像素的像素值，可以使得当前绿色像素的像素值和右下角绿色像素的像素值一致，进而避免去马赛克之后的全色图像中出现伪像。此外，此种校正方法有助于避免跨越边缘平均当前绿色像素和右下角绿色像素，从而改善和保持锐度。

请参阅图10，在某些实施方式中，步骤S144包括以下步骤：

S1442：确定水平滤波器，水平滤波器包括N个抽头，N个抽头包括中心抽头；

S1444：确定水平滤波像素行，水平滤波像素行包括分别对应N个抽头的N个像素，水平滤波像素行包括中心像素；

S1446：计算跨越N个抽头中每个抽头的边缘的水平梯度；

S1448：确定水平边缘阈值；

S1441：判断每个水平梯度是否高于水平边缘阈值；

S1443：在水平梯度高于水平边缘阈值时，将水平梯度对应的抽头折叠到中心像素；和

S1445：基于水平梯度确定水平滤波输出。

请参阅图11，在某些实施方式中，第二处理单元144包括第三确定子单元1442、第四确定子单元1444、第二计算子单元1446、第五确定子单元1448、第二判断子单元1441、第二处理子单元1443和第六确定子单元1445。第三确定子单元1442用于确定水平滤波器，水平滤波器包括N个抽头，N个抽头包括中心抽头。第四确定子单元1444用于确定水平滤波像素行，水平滤波像素行包括分别对应N个抽头的N个像素，水平滤波像素行包括中心像素。第二计算子单元1446用于计算跨越N个抽头中每个抽头的边缘的水平梯度。第五确定子单元1448用于确定水平边缘阈值。第二判断子单元1441用于判断每个水平梯度是否高于水平边缘阈值。第二处理子单元1443用于在水平梯度高于水平边缘阈值时，将水平梯度对应的抽头折叠到中心像素。第六确定子单元1445用于基于水平梯度确定水平滤波输出。

通过对绿色一致图像应用水平滤波，使得水平滤波后图像比绿色一致图像的噪声更低。

请参阅图12，在某些实施方式中，水平滤波器包括7抽头水平滤波器，7抽头水平滤波器包括7个抽头，水平滤波像素行包括对应于7个抽头的7个像素(P0,P1,P2……P6)，中心抽头置于中心像素P3，水平梯度和水平滤波输出可由如下公式确定：

Eh0＝abs(P0-P1)；

Eh1＝abs(P1-P2)；

Eh2＝abs(P2-P3)；

Eh3＝abs(P3-P4)；

Eh4＝abs(P4-P5)；

Eh5＝abs(P5-P6)；

P_horz＝C0×[(Eh2＞horzTh[c])？P3:(Eh1＞horzTh[c])？P2:(Eh0＞horzTh[c])？P1:P0]+

C1×[(Eh2＞horzTh[c])？P3:(Eh1＞horzTh[c])？P2:P1]+

C2×[(Eh2＞horzTh[c])？P3:P2]+

C3×P3+

C4×[(Eh3＞horzTh[c])？P3:P4]+

C5×[(Eh3＞horzTh[c])？P3:(Eh4＞horzTh[c])？P4:P5]+

C6×[(Eh3＞horzTh[c])？P3:(Eh4＞horzTh[c])？P4:(Eh5＞horzTh[c])？P5:P6]

其中，Eh0、Eh1、Eh2、Eh3、Eh4和Eh5是水平梯度，P_horz是水平滤波输出,horzTh[c]是水平边缘阈值，其中，C0～C6分别是对应于水平滤波像素行中像素P0～P6的滤波器抽头系数。

在某些实施方式中，滤波器抽头系数C0～C6包括具有3个整数比特和13个小数比特的2的补码值。

补码可以将符号位和数值域统一处理，使得加法和减法可以统一处理。

在某些实施方式中，滤波器抽头系数C0～C6关于中心像素P3对称。

在某些实施方式中，滤波器抽头系数C0～C6不关于中心像素P3对称。

滤波器抽头系数C0～C6可以关于中心像素P3对称，也可以不关于中心像素P3对称，使得关于水平滤波器的处理更加灵活。

请参阅图13，在某些实施方式中，步骤S146包括以下步骤：

S1462：确定垂直滤波器，垂直滤波器包括N个抽头，N个抽头包括中心抽头；

S1464：确定垂直滤波像素行，垂直滤波像素行包括分别对应N个抽头的N个像素，垂直滤波像素行包括中心像素；

S1466：计算跨越N个抽头中每个抽头的边缘的垂直梯度；

S1468：确定垂直边缘阈值；

S1461：判断垂直梯度是否高于垂直边缘阈值；

S1463：在垂直梯度高于垂直边缘阈值时，将垂直梯度对应的抽头折叠到中心像素；和

S1465：基于垂直梯度确定垂直滤波输出。

请参阅图14，在某些实施方式中，第三处理单元146包括第七确定子单元1462、第八确定子单元1464、第三计算子单元1466、第九确定子单元1468、第三判断子单元1461、第三处理子单元1463和第十确定子单元1465。

第七确定子单元1462用于确定垂直滤波器，垂直滤波器包括N个抽头，N个抽头包括中心抽头。第八确定子单元1464用于确定垂直滤波像素行，垂直滤波像素行包括分别对应N个抽头的N个像素，垂直滤波像素行包括中心像素。第三计算子单元1466用于计算跨越N个抽头中每个抽头的边缘的垂直梯度。第九确定子单元1468用于确定垂直边缘阈值。第三判断子单元1461用于判断垂直梯度是否高于垂直边缘阈值。第三处理子单元1463用于当垂直梯度高于垂直边缘阈值时，将垂直梯度对应的抽头折叠到中心像素。第十确定子单元1465用于基于垂直梯度确定垂直滤波输出。

通过对水平滤波后图像应用垂直滤波，使得降噪图像比水平滤波后图像的噪声更低。

请参阅图15，在某些实施方式中，垂直滤波器包括5抽头垂直滤波器，5抽头垂直滤波器包括5个抽头，垂直滤波像素行包括分别对应5个抽头的5个像素(P0,P1,P2……P4)，中心抽头置于中心像素P2，垂直梯度和垂直滤波输出可由如下公式确定：

Ev0＝abs(P0-P1)；

Ev1＝abs(P1-P2)；

Ev2＝abs(P2-P3)；

Ev3＝abs(P3-P4)；

P_vert＝C0×[(Ev1＞vertTh[c])？P2:(Ev0＞vertTh[c])？P1:P0]+

C1×[(Ev1＞vertTh[c])？P2:P1]+

C2×P2+

C3×[(Ev2＞vertTh[c])？P2:P3]+

C4×[(Ev2＞vertTh[c])？P2:(Ev3＞vertTh[c])？P3:P4]；

其中，Ev0、Ev1、Ev2和Ev3是垂直梯度，P_vert是垂直滤波输出，vertTh[c]是垂直边缘阈值，其中，C0～C4分别是对应于垂直滤波像素行中像素P0～P4的滤波器抽头系数。

利用上述公式，使得垂直滤波输出P_vert能够确定。

在某些实施方式中，滤波器抽头系数C0～C4可以是具有3个整数比特和13个小数比特的2的补码值。

补码可以将符号位和数值域统一处理，使得加法和减法可以统一处理。

在某些实施方式中，滤波器抽头系数C0～C4关于中心像素P2对称。

在某些实施方式中，滤波器抽头系数C0～C4不关于中心像素P2对称。

滤波器抽头系数C0～C4可以关于中心像素P2对称，也可以不关于中心像素P2对称，使得关于垂直滤波器的处理更加灵活。

请参阅图16，在某些实施方式中，本申请实施方式的图像处理方法还包括以下步骤：

S13：对初去黑图像进行透镜阴影校正以得到透镜阴影校正后图像。

请参阅图17，本申请实施方式的图像处理装置10还包括第一校正模块13。第一校正模块13用于对初去黑图像进行透镜阴影校正以得到透镜阴影校正后图像。

由于相机在成像距离较远时，随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少，使得获得的图像中间比较亮，边缘比较暗，从而使得图像亮度不均。对初去黑图像进行透镜阴影校正可以消除这种不良影响，提高后续处理的准确性。

请参阅图18，在某些实施方式中，S13包括以下步骤：

S132：确定二维增益网格，二维增益网格包括增益网格点，增益网格点以固定的水平间隔和垂直间隔分布在原始帧内；

S134：确定当前像素和激活处理区，激活处理区包括进行透镜阴影校正的区域；

S136：判断当前像素是否在增益网格点上；

S138：当当前像素在增益网格点中的特定网格点上时，使用特定网格点的增益值作为当前像素的增益值；和

S131：当当前像素不在增益网格点上时，利用当前像素所在的网格的左上网格点、右上网格点、左下网格点和右下网格点确定当前像素的增益值。

请参阅图19，在某些实施方式中，第一校正模块13包括第一确定单元132、第二确定单元134、第一判断单元136、第四处理单元138和第五处理单元131。第一确定单元132用于确定二维增益网格，二维增益网格包括增益网格点，增益网格点以固定的水平间隔和垂直间隔分布在原始帧内。第二确定单元134用于确定当前像素和激活处理区，激活处理区包括进行透镜阴影校正的区域。第一判断单元136用于判断当前像素是否在增益网格点上。第四处理单元138用于当当前像素在增益网格点中的特定网格点上时，使用特定网格点的增益值作为当前像素的增益值。第五处理单元131用于当当前像素不在增益网格点上时，利用当前像素所在的网格的左上网格点、右上网格点、左下网格点和右下网格点确定当前像素的增益值。

请参阅图20，在某些实施方式中，利用当前像素所在的网格的左上网格点、右上网格点、左下网格点和右下网格点确定的当前像素的增益值可以通过如下公式确定：

其中G是当前像素的增益值，G0、G1、G2和G3分别是左上网格点、右上网格点、左下网格点和右下网格点的增益值，X和Y分别是二维增益网格的网格间隔的水平大小和垂直大小，ii和jj是当前像素相对于左上网格点的水平偏移量和垂直偏移量。

请参阅图21，在某些实施方式中，本申请实施方式的图像处理方法还包括以下步骤：

S15：对初去黑图像进行缺陷像素校正。

由于图像传感器的元件众多，易出现缺陷像素，对初去黑图像进行缺陷像素校正可以消除缺陷像素，减少缺陷像素对后续处理的影响。

请参阅图22，本申请实施方式的图像处理装置10还包括第二校正模块15。第二校正模块用于对初去黑图像进行缺陷像素校正。

请参阅图23，在某些实施方式中，S15包括以下步骤：

S152：确定当前像素和与当前像素相邻的一组相邻像素，一组相邻像素中的每个像素均在原始帧内；

S154：计算当前像素与一组相邻像素中的每个像素的像素-像素梯度；

S156：确定像素梯度阈值(dprTh)并确定像素-像素梯度小于像素梯度阈值(dprTh)的数目C；

S158：确定最大计数(dprMaxC)；

S151：判断数目是否小于最大计数(dprMaxC)；

S153：当数目小于最大计数(dprMaxC)时，将当前像素识别成缺陷像素；和

S155：利用替换值替换当前像素的像素值。

请参阅图24，在某些实施方式中，第二校正模块15包括第三确定单元152、第一计算单元154、第四确定单元156、第五确定单元158、第二判断单元151、第六处理单元153和第七处理单元155。第三确定单元152用于确定当前像素和与当前像素相邻的一组相邻像素，一组相邻像素中的每个像素均在原始帧内。第一计算单元154用于计算当前像素与一组相邻像素中的每个像素的像素-像素梯度。第四确定单元156用于确定像素梯度阈值(dprTh)并确定像素-像素梯度小于像素梯度阈值(dprTh)的数目C。第五确定单元158用于确定最大计数(dprMaxC)。第二判断单元151用于判断数目是否小于最大计数(dprMaxC)。第六处理单元153用于当数目小于最大计数(dprMaxC)时，将当前像素识别成缺陷像素。第七处理单元155用于利用替换值替换当前像素的像素值。

请参阅图25，在某些实施方式中，一组相邻像素水平方向依次是像素P0、P1、P2和P3，当前像素包括在P1和P2之间的P，像素-像素梯度和数目可以通过如下的公式确定：

G_k＝abs(P-P_k)，其中0≤k≤3；

其中0≤k≤3。

请参阅图26，在某些实施方式中，本申请实施方式的图像处理方法还包括以下步骤：

S17：处理去黑后图像以得到预色调映射图像；

S19：对预色调映射图像应用局部色调映射以得到局部色调映射后图像；和

S1X：处理局部色调映射后图像以得到输出图像。

请参阅图27，本申请实施方式的图像处理装置10还包括：

第五处理模块17，第五处理模块用于处理去黑后图像以得到预色调映射图像；

第六处理模块19，第六处理模块用于对预色调映射图像应用局部色调映射以得到局部色调映射后图像；和

第七处理模块1X，第七处理模块用于处理局部色调映射后图像以得到输出图像。

色调映射技术在图像处理中，可用于把一组像素值映射到另一组像素值。当输入图像与输出图像具有不同的比特精度时，应用色调映射可以把输入图像值映射到输入图像的输出范围的对应值。色调映射技术包括局部色调映射技术和全部色调映射技术。局部色调映射技术相较于全局色调映射技术而言，可以改善局部对比度，输出局部对比度更好的图像，从而在美学上使观众更加满意。因而，对去黑后图像应用局部色调映射，可以使得局部色调映射后图像的对比度性质有所改善。

请参阅图28，在某些实施方式中，S19包括以下步骤：

S192：基于预色调映射图像的局部特征将预色调映射图像划分成多个部分；

S194：对当前部分确定总可用输出动态范围；

S196：基于总可用输出动态范围确定输出动态范围，输出动态范围为总可用输出动态范围的60％至70％；

S198：确定当前部分中的实际动态范围；和

S191：将实际动态范围映射至输出动态范围。

请参阅图29，在某些实施方式中，第六处理模块19包括第八处理单元192、第六确定单元194、第七确定单元196、第八确定单元198和第九处理单元191。第八处理单元192用于基于预色调映射图像的局部特征将预色调映射图像划分成多个部分。第六确定单元194用于对当前部分确定总可用输出动态范围。第七确定单元196用于基于总可用输出动态范围确定输出动态范围，输出动态范围为总可用输出动态范围的60％至70％。第八确定单元198用于确定当前部分中的实际动态范围。第九处理单元191用于将实际动态范围映射至输出动态范围。

将输出动态范围限制在总可用输出动态范围的90％，可以减弱局部色调映射，进而使局部色调映射后图像的噪点更加不明显。

请参阅图30，在某些实施方式中，S19包括以下步骤：

S192：基于预色调映射图像的局部特征将预色调映射图像划分成多个部分；

S194：对当前部分确定总可用输出动态范围；

S196：基于总可用输出动态范围确定输出动态范围，输出动态范围为总可用输出动态范围的60％至70％；

S198：确定当前部分的实际动态范围；

S193：确定当前部分的总可用动态范围；

S195：判断实际动态范围是否小于总可用动态范围；

S197：当实际动态范围小于总可用动态范围时，通过将实际动态范围映射至总可用动态范围来扩展实际动态范围以得到扩展后实际动态范围并将扩展后实际动态范围映射至输出动态范围。

请参阅图31，在某些实施方式中，第六处理模块19包括第八处理单元192、第六确定单元194、第七确定单元196、第八确定单元198、第九确定单元193、第三判断单元195和第十处理单元197。第八处理单元192用于基于预色调映射图像的局部特征将预色调映射图像划分成多个部分。第六确定单元194用于对当前部分确定总可用输出动态范围。第七确定单元196用于基于总可用输出动态范围确定输出动态范围，输出动态范围为总可用输出动态范围的60％至70％。第八确定单元198用于确定当前部分的实际动态范围。第九确定单元193用于确定当前部分的总可用动态范围。第三判断单元195用于判断实际动态范围是否小于总可用动态范围。第十处理单元197用于当实际动态范围小于总可用动态范围时，通过将实际动态范围映射至总可用动态范围来扩展实际动态范围以得到扩展后实际动态范围并将扩展后实际动态范围映射至输出动态范围。

将输出动态范围限制在总可用输出动态范围的90％，可以减弱局部色调映射，进而使局部色调映射后图像的噪点更加不明显。此外，局部色调映射技术一般不考虑未使用的值或值的范围是否被映射，导致输出值的一部分被用于表示实际上并不存在于当前部分的输入值，从而减少可用于表示存在于当前部分的输入值的可用输出值。此处在当前部分的实际动态范围小于总可用动态范围时，将实际动态范围扩展至总可用动态范围，然后再映射至输出动态范围，使得这个问题可以解决，从而使整个输出范围均可被当前部分的输入值利用。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行以下步骤：

S12：处理待处理图像以将待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

S14：对初去黑图像降噪以得到降噪图像；和

S16：处理降噪图像以将降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，剩余比例与预定比例的和为1，剩余比例大于预定比例。

图32为一个实施例中计算机设备的内部结构示意图。如图32所示，该计算机设备100包括通过***总线20连接的处理器40、存储器60(例如为非易失性存储介质)、内存储器80、显示屏30和输入装置50。其中，计算机设备100的存储器60存储有操作***和计算机可读指令。该计算机可读指令可被处理器40执行，以实现本申请实施方式的图像处理方法。该处理器40用于提供计算和控制能力，支撑整个计算机设备100的运行。计算机设备100的内存储器80为存储器60中的计算机可读指令的运行提供环境。计算机设备100的显示屏30可以是液晶显示屏或者电子墨水显示屏等，输入装置50可以是显示屏30上覆盖的触摸层，也可以是计算机设备100外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备100可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图32中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的计算机设备100的限定，具体的计算机设备100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图33，本申请实施例的计算机设备100中包括图像处理电路70，图像处理电路70可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图33为一个实施例中图像处理电路70的示意图。如图33所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图33所示，图像处理电路70包括ISP处理器72(ISP处理器72可为处理器40或处理器40的一部分)和控制逻辑器74。摄像头76捕捉的图像数据首先由ISP处理器72处理，ISP处理器72对图像数据进行分析以捕捉可用于确定摄像头76的一个或多个控制参数的图像统计信息。摄像头76可包括一个或多个透镜762和图像传感器764。图像传感器764可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器764可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器72处理的一组原始图像数据。传感器78(如陀螺仪)可基于传感器78接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器72。传感器78接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器764也可将原始图像数据发送给传感器78，传感器78可基于传感器78接口类型把原始图像数据提供给ISP处理器72，或者传感器78将原始图像数据存储到图像存储器71中。

ISP处理器72按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器72可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器72还可从图像存储器71接收图像数据。例如，传感器78接口将原始图像数据发送给图像存储器71，图像存储器71中的原始图像数据再提供给ISP处理器72以供处理。图像存储器71可为存储器60、存储器60的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器764接口或来自传感器78接口或来自图像存储器71的原始图像数据时，ISP处理器72可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器71，以便在被显示之前进行另外的处理。ISP处理器72从图像存储器71接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器72处理后的图像数据可输出给显示器73(显示器73可包括显示屏30)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器72的输出还可发送给图像存储器71，且显示器73可从图像存储器71读取图像数据。在一个实施例中，图像存储器71可被配置为实现一个或多个帧缓冲器。此外，ISP处理器72的输出可发送给编码器/解码器75，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器73设备上之前解压缩。编码器/解码器75可由CPU或GPU或协处理器实现。

ISP处理器72确定的统计数据可发送给控制逻辑器74单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜762阴影校正等图像传感器764统计信息。控制逻辑器74可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头76的控制参数及ISP处理器72的控制参数。例如，摄像头76的控制参数可包括传感器78控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜762控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜762阴影校正参数。

以下为运用图15中图像处理技术实现图像处理方法的步骤：

S12：处理待处理图像以将待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

S14：对初去黑图像降噪以得到降噪图像；和

S16：处理降噪图像以将降噪图像的每个像素的像素值减去剩余比例的暗电平以得到去黑后图像，剩余比例与预定比例的和为1，剩余比例大于预定比例。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种图像处理方法，其特征在于包括以下步骤：

处理待处理图像以将所述待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

对所述初去黑图像降噪以得到降噪图像；和

处理所述降噪图像以将所述降噪图像的每个像素的像素值减去剩余比例的所述暗电平以得到去黑后图像，所述剩余比例与所述预定比例的和为1，所述剩余比例大于所述预定比例。

2.如权利要求1所述的图像处理方法，其特征在于，所述预定比例小于等于10%。

3.如权利要求1所述的图像处理方法，其特征在于，所述对所述初去黑图像降噪以得到降噪图像的步骤包括以下步骤：

校正所述初去黑图像中对角方向上的两相邻绿色像素的不一致以得到绿色一致图像；

对所述绿色一致图像应用水平滤波以得到水平滤波后图像；和

对所述水平滤波后图像应用垂直滤波以得到降噪图像。

4.如权利要求3所述的图像处理方法，其特征在于，所述校正所述初去黑图像中对角方向上的两相邻绿色像素的不一致以得到绿色一致图像的步骤包括以下步骤：

确定绿色不一致校正阈值；

确定当前绿色像素的像素值与位于所述当前绿色像素右下角的右下角绿色像素的像素值；

计算所述当前绿色像素的像素值与所述右下角绿色像素的像素值的差值；

判断所述差值是否小于所述绿色不一致校正阈值；和

在所述差值小于所述绿色不一致校正阈值时，以所述当前绿色像素的像素值与所述右下角绿色像素的像素值的平均值替换所述当前绿色像素的像素值和所述右下角绿色像素的像素值。

5.如权利要求3所述的图像处理方法，其特征在于，所述对所述绿色一致图像应用水平滤波以得到水平滤波后图像的步骤包括以下步骤：

确定水平滤波器，所述水平滤波器包括N个抽头，所述N个抽头包括中心抽头；

确定水平滤波像素行，所述水平滤波像素行包括分别对应所述N个抽头的N个像素，所述水平滤波像素行包括中心像素；

计算跨越所述N个抽头中每个抽头的边缘的水平梯度；

确定水平边缘阈值；

判断每个所述水平梯度是否高于所述水平边缘阈值；

在所述水平梯度高于所述水平边缘阈值时，将所述水平梯度对应的抽头折叠到中心像素；和

基于所述水平梯度确定水平滤波输出。

6.如权利要求3所述的图像处理方法，其特征在于，所述对所述水平滤波后图像应用垂直滤波以得到降噪图像的步骤包括以下步骤：

确定垂直滤波器，所述垂直滤波器包括N个抽头，所述N个抽头包括中心抽头；

确定垂直滤波像素行，所述垂直滤波像素行包括分别对应所述N个抽头的N个像素，所述垂直滤波像素行包括中心像素；

计算跨越所述N个抽头中每个抽头的边缘的垂直梯度；

确定垂直边缘阈值；

判断所述垂直梯度是否高于所述垂直边缘阈值；

在所述垂直梯度高于所述垂直边缘阈值时，将所述垂直梯度对应的抽头折叠到所述中心像素；和

基于所述垂直梯度确定垂直滤波输出。

7.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括以下步骤：

处理所述去黑后图像以得到预色调映射图像；

对所述预色调映射图像应用局部色调映射以得到局部色调映射后图像；和

处理所述局部色调映射后图像以得到输出图像。

8.如权利要求7所述的图像处理方法，其特征在于，对所述预色调映射图像应用局部色调映射以得到局部色调映射后图像的步骤包括：

基于所述预色调映射图像的局部特征将所述预色调映射图像划分成多个部分；

对当前部分确定总可用输出动态范围；

基于所述总可用输出动态范围确定输出动态范围，所述输出动态范围为所述总可用输出动态范围的60%至70%；

确定所述当前部分中的实际动态范围；和

将所述实际动态范围映射至所述输出动态范围。

9.如权利要求7所述的图像处理方法，其特征在于，对所述预色调映射图像应用局部色调映射以得到局部色调映射后图像的步骤包括：

基于所述预色调映射图像的局部特征将所述预色调映射图像划分成多个部分；

对当前部分确定总可用输出动态范围；

基于所述总可用输出动态范围确定输出动态范围，所述输出动态范围为所述总可用输出动态范围的60%至70%；

确定所述当前部分的实际动态范围；

确定所述当前部分的总可用动态范围；

判断所述实际动态范围是否小于所述总可用动态范围；

当所述实际动态范围小于所述总可用动态范围时，通过将所述实际动态范围映射至所述总可用动态范围来扩展所述实际动态范围以得到扩展后实际动态范围并将所述扩展后实际动态范围映射至所述输出动态范围。

10.一种图像处理装置，其特征在于包括：

第一处理模块，所述第一处理模块用于处理待处理图像以将所述待处理图像的每个像素的像素值减去预定比例的暗电平以得到初去黑图像；

第二处理模块，所述第二处理模块用于对所述初去黑图像降噪以得到降噪图像；和

第三处理模块，所述第三处理模块用于处理所述降噪图像以将所述降噪图像的每个像素的像素值减去剩余比例的所述暗电平以得到去黑后图像，所述剩余比例与所述预定比例的和为1，所述剩余比例大于所述预定比例。

11.如权利要求10所述的图像处理装置，其特征在于，所述预定比例小于10%。

12.如权利要求10所述的图像处理装置，其特征在于，所述第二处理模块包括：

第一处理单元，所述第一处理单元用于校正所述初去黑图像中对角方向上的两相邻绿色像素的不一致以得到绿色一致图像；

第二处理单元，所述第二处理单元用于对所述绿色一致图像应用水平滤波以得到水平滤波后图像；和

第三处理单元，所述第三处理单元用于对所述水平滤波后图像应用垂直滤波以得到降噪图像。

13.如权利要求12所述的图像处理装置，其特征在于，所述第一处理单元包括：

第一确定子单元，所述第一确定子单元用于确定绿色不一致校正阈值；

第二确定子单元，所述第二确定子单元用于确定当前绿色像素的像素值与位于所述当前绿色像素右下角的右下角绿色像素的像素值；

第一计算子单元，所述第一计算子单元用于计算所述当前绿色像素的像素值与所述右下角绿色像素的像素值的差值；

第一判断子单元，所述第一判断子单元用于判断所述差值是否小于所述绿色不一致校正阈值；和

第一处理子单元，所述第一处理子单元用于在所述差值小于所述绿色不一致校正阈值时，以所述当前绿色像素的像素值与所述右下角绿色像素的像素值的平均值替换所述当前绿色像素的像素值和所述右下角绿色像素的像素值。

14.如权利要求12所述的图像处理装置，其特征在于，所述第二处理单元包括：

第三确定子单元，所述第三确定子单元用于确定水平滤波器，所述水平滤波器包括N个抽头，所述N个抽头包括中心抽头；

第四确定子单元，所述第四确定子单元用于确定水平滤波像素行，所述水平滤波像素行包括分别对应所述N个抽头的N个像素，所述水平滤波像素行包括中心像素；

第二计算子单元，所述第二计算子单元用于计算跨越所述N个抽头中每个抽头的边缘的水平梯度；

第五确定子单元，所述第五确定子单元用于确定水平边缘阈值；

第二判断子单元，所述第二判断子单元用于判断每个所述水平梯度是否高于所述水平边缘阈值；

第二处理子单元，所述第二处理子单元用于在所述水平梯度高于所述水平边缘阈值时，将所述水平梯度对应的抽头折叠到中心像素；和

第六确定子单元，所述第六确定子单元用于基于所述水平梯度确定水平滤波输出。

15.如权利要求12所述的图像处理装置，其特征在于，所述第三处理单元包括：

第七确定子单元，所述第七确定子单元用于确定垂直滤波器，所述垂直滤波器包括N个抽头，所述N个抽头包括中心抽头；

第八确定子单元，所述第八确定子单元用于确定垂直滤波像素行，所述垂直滤波像素行包括分别对应所述N个抽头的N个像素，所述垂直滤波像素行包括中心像素；

第三计算子单元，所述第三计算子单元用于计算跨越所述N个抽头中每个抽头的边缘的垂直梯度；

第九确定子单元，所述第九确定子单元用于确定垂直边缘阈值；

第三判断子单元，所述第三判断子单元用于判断所述垂直梯度是否高于垂直边缘阈值；

第三处理子单元，所述第三处理子单元用于当所述垂直梯度高于所述垂直边缘阈值时，将所述垂直梯度对应的抽头折叠到所述中心像素；和

第十确定子单元，所述第十确定子单元用于基于所述垂直梯度确定垂直滤波输出。

16.如权利要求10所述的图像处理装置，其特征在于，所述图像处理装置包括：

第五处理模块，所述第五处理模块用于处理所述去黑后图像以得到预色调映射图像；

第六处理模块，所述第六处理模块用于对所述预色调映射图像应用局部色调映射以得到局部色调映射后图像；和

第七处理模块，所述第七处理模块用于处理所述局部色调映射后图像以得到输出图像。

17.如权利要求16所述的图像处理装置，其特征在于，所述第六处理模块包括：

第八处理单元，所述第八处理单元用于基于所述预色调映射图像的局部特征将所述预色调映射图像划分成多个部分；

第六确定单元，所述第六确定单元用于对当前部分确定总可用输出动态范围；

第七确定单元，所述第七确定单元用于基于所述总可用输出动态范围确定输出动态范围，所述输出动态范围为所述总可用输出动态范围的60%至70%；

第八确定单元，所述第八确定单元用于确定所述当前部分中的实际动态范围；和

第九处理单元，所述第九处理单元用于将所述实际动态范围映射至所述输出动态范围。

18.如权利要求16所述的图像处理装置，其特征在于，所述第六处理模块包括：

第八处理单元，所述第八处理单元用于基于所述预色调映射图像的局部特征将所述预色调映射图像划分成多个部分；

第六确定单元，所述第六确定单元用于对当前部分确定总可用输出动态范围；

第七确定单元，所述第七确定单元用于基于所述总可用输出动态范围确定输出动态范围，所述输出动态范围为所述总可用输出动态范围的60%至70%；

第八确定单元，所述第八确定单元用于确定所述当前部分的实际动态范围；

第九确定单元，所述第九确定单元用于确定所述当前部分的总可用动态范围；

第三判断单元，所述第三判断单元用于判断所述实际动态范围是否小于所述总可用动态范围；

第十处理单元，所述第十处理单元用于当所述实际动态范围小于所述总可用动态范围时，通过将所述实际动态范围映射至所述总可用动态范围来扩展所述实际动态范围以得到扩展后实际动态范围并将所述扩展后实际动态范围映射至所述输出动态范围。

19.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至9中任一项所述的图像处理方法。

20.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行权利要求1至9中任一项所述的图像处理方法。

Images