CN111587573B - 一种图像处理方法、装置及计算机存储介质 - Google Patents
一种图像处理方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN111587573B CN111587573B CN201880086363.8A CN201880086363A CN111587573B CN 111587573 B CN111587573 B CN 111587573B CN 201880086363 A CN201880086363 A CN 201880086363A CN 111587573 B CN111587573 B CN 111587573B
- Authority
- CN
- China
- Prior art keywords
- light source
- color temperature
- high color
- region
- temperature light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 63
- 230000007613 environmental effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
Abstract
一种图像处理方法及装置,其中图像处理方法包括:获取图像的环境亮度值,若图像的环境亮度值大于第一亮度阈值,则对至少一个高色温光源的影响范围内的区域的像素块个数进行调整,得到图像的目标色彩统计信息;进而,根据目标色彩统计信息,对图像进行AWB校正。如此可知,本申请实施例中将环境亮度值作为AWB校正的一项重要影响因素,并将环境亮度值融合到图像的初始色彩统计信息中得到图像的目标色彩统计信息后,再进行AWB校正,从而能够有效避免AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的问题。
Description
技术领域
本申请涉及图像技术领域,尤其涉及一种图像处理方法及装置。
背景技术
目前,彩色相机内部有三个电子耦合元件,分别用来感受红绿蓝三种颜色的光线,默认情况下,三个颜色的感光电路信号的放大比例是1∶1∶1。在理想的拍摄环境下,纯白色的 (R,G,B)分量按照1∶1∶1的比例放大之后,得到的是没有偏色的白色,但在非理想的环境光条件下,白色成像出来的效果会偏向环境光的颜色,而不是纯白色。因此,使用相机拍照时,未经处理的原始图像存在整体偏色的问题,比如整体偏蓝色、整体偏黄色或整体偏绿色。为消除整体偏色,需要透过自动白平衡(auto white balance,AWB)校正,以使受环境光影响的白色还原成纯白色,保证在各种光线条件下,成像色彩跟物体真实的色彩保持一致。
一种简单的AWB校正的实现方式为:对于一个色彩丰富的图像,根据图像中各像素的(R,G,B)三个分量的平均值得到(R,G,B)三个通道的增益值,分别为R-gain、 G-gain、B-gain,进而将三个通道的增益值乘上图像中每个像素的(R,G,B),修正光源颜色造成图像色彩的偏差,从而完成AWB校正。
然而,由于高色温的光源在图像中的色彩偏向淡蓝色,低色温的光源在图像中的色彩偏向淡黄色,若图像内容中存在淡蓝色的物体,则会容易误判为高色温的光源,同样地,若图像中存在淡黄色的物体,则会容易误判为低色温的光源,因此,采用上述根据图像中各像素的(R,G,B)三个分量来进行AWB校正,会导致AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性。
发明内容
本申请实施例提供一种图像处理方法及装置,用于解决AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的技术问题。
第一方面,本申请实施例提供一种图像处理方法,该方法包括:获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数;以及,获取所述图像的环境亮度值,若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域;进而,根据所述目标色彩统计信息,对所述图像进行白平衡校正。
考虑到日光为自然界的光源,属于高色温光源,户外白天拍照的光源皆为高色温光源,户外白天拍照时的环境亮度值比室内拍照时的环境亮度值大很多,因此,拍照时的环境亮度值越高,越有可能是高色温光源。基于此,本申请实施例中,若图像的环境亮度值大于第一亮度阈值,则说明该图像是在高色温光源的场景下得到的图像,故可将高色温光源的影响范围内的区域中的像素块个数调大,即提升高色温光源的影响范围内的区域中的像素块个数所占的比重,进而根据调整得到的目标色彩统计信息进行AWB校正,相比于现有技术中仅根据色彩信息进行AWB校正的方式来说,本申请实施例中还将环境亮度值作为 AWB校正的一项重要影响因素,从而能够有效避免AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的问题。
在一种可能的设计中,可以根据所述环境亮度值,得到所述高色温光源的影响范围的半径;并进而根据所述高色温光源的影响范围的半径,确定所述至少一个高色温光源中的每个高色温光源的影响范围。
如此,由于高色温光源的影响范围是根据环境亮度值得到的,因此,在确定需要调整的区域时,充分考虑了环境亮度值这一因素,有利于提高AWB校正的准确性。
在一种可能的设计中,根据所述环境亮度值,得到所述高色温光源的影响范围的半径,包括:
若所述环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径为预设的所述高色温光源的最大影响范围的半径;
若所述环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径 P符合下述公式要求:
P=Pmin+(Pmax-Pmin)×BV-W1/W2-W1
其中,Pmin为预设的所述高色温光源的最小影响范围的半径,Pmax为预设的所述高色温光源的最大影响范围的半径,BV为所述环境亮度值,W1为所述第一亮度阈值,W2为所述第二亮度阈值,所述第二亮度阈值大于所述第一亮度阈值。
在一种可能的设计中,所述至少一个高色温光源包括D75光源、D65光源、D55光源和D50光源;预设的D75光源的最大影响范围的半径小于预设的D65光源的最大影响范围的半径;预设的D50光源的最大影响范围的半径小于预设的D55光源的最大影响范围的半径。
如此,由于D75光源的颜色与天空的蓝色范围有一部分重叠,若预设的D75光源的最大影响范围的半径过大,则可能会导致AWB校正的准确性降低,因此,预设的D75光源的最大影响范围的半径可以小于预设的D65光源的最大影响范围的半径,以便于避免预设的D75光源的最大影响范围的半径过大。
由于D50光源与其它中色温光源(TL84光源)较接近,若预设的D50光源的最大影响范围的半径过大,则可能会导致距离中色温光源较近的区域中的像素块的个数也进行了调整,使得AWB的准确性降低,因此,预设的D50光源的最大影响范围的半径可以小于预设的D55光源的最大影响范围的半径,以便于避免预设的D50光源的最大影响范围的半径过大。
在一种可能的设计中,对所述至少一个区域中的像素块的个数进行调整,可以包括:根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离;然后根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,计算得到所述第一区域的增益值;其中,所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的;最后将所述第一区域中的像素块个数乘以所述第一区域的增益值,就可以得到调整后的所述第一区域中的像素块个数。需要说明的是,由于第一区域为至少一个区域中的任一区域,因此,此处仅是以第一区域为例,具体描述了调整方式,至少一个区域中的每个区域均参照第一区域来执行。
在一种可能的设计中,所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的,包括:
若所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值,所述第三亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1符合下述公式要求:
G1=G1min+(G1max-G1min)×BV-W1/W3-W1
其中,G1min为预设的所述高色温光源的最小增益值,G1max为预设的所述高色温光源的最大增益值,BV为所述环境亮度值,W1为所述第一亮度阈值,W3为所述第三亮度阈值。
本申请实施例中,由于第一区域所属的高色温光源的增益值与环境亮度值相关,即第一区域所属的高色温光源的增益值是在充分考虑环境亮度值的基础上来确定的,从而使得第一区域所属的高色温光源的增益值更为合理,为保证AWB校正的准确性奠定基础。
在一种可能的设计中,若所述第一区域仅位于第一高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述第一高色温光源;所述第一高色温光源为所述至少一个高色温光源中的任一高色温光源;
若所述第一区域位于多个高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述多个高色温光源中与所述第一区域的距离最小的高色温光源。
在一种可能的设计中,所述三原色特征包括R/G值和B/G值。
根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离,包括:
D2=(M1,rg-M2,rg)+(N1,bg-N2,bg)
其中,D为所述第一区域与所述第一区域所属的高色温光源的距离,M1,rg为所述第一区域所属的高色温光源的R/G值,M2,rg为所述第一区域中的各像素块的R/G值的平均值,N1,bg为所述高色温光源的B/G值,N2,bg为所述第一区域中的各像素块的B/G值的平均值。
在一种可能的设计中,根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,得到所述第一区域的增益值,包括:
G=1+(G1-1)×Rn
R=P2-D2/P2
其中,G为所述第一区域的增益值,G1为所述第一区域所属的高色温光源的增益值,P 为所述第一区域所属的高色温光源的影响范围的半径,D为所述第一区域和所述第一区域所属的高色温光源的距离,R为大于等于0小于等于1的数值,n为大于0的数值。
在一种可能的设计中,根据所述相机参数确定图像的环境亮度值,包括:
BV=K×N2/(t×S)
其中,BV为所述图像的环境亮度值,N为光圈大小,t为曝光时间,S为感光值,K 为常数。
在一种可能的设计中,根据调整后的所述目标色彩统计信息,对所述图像进行白平衡校正,包括:将所述目标色彩统计信息,输入预设模型,对所述图像进行白平衡校正;所述预设模型通过对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到,其中,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。
本申请实施例中,由于进行训练的数据集合中包括多个第二历史图像的目标色彩统计信息,也就是说,在深度学习时也充分考虑了环境亮度值,从而使深度学习的结果与现实场景的表现更相符。
第二方面,本申请实施例提供一种图像处理方法,该方法包括:获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数;以及,获取所述图像的环境亮度值,若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数小于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个第一类型光源的影响范围内的区域,所述第一类型光源包括中色温光源和低色温光源;进而,根据所述目标色彩统计信息,对所述图像进行白平衡校正。
需要说明的是,第一方面所提供的图像处理方法与第二方面所提供的图像处理方法为基于同一发明构思而得到的技术方案,在第一方面中,通过提升高色温光源的影响范围内的区域中的像素块个数来实现调整,而第二方面中,通过降低中色温光源和低色温光源的影响范围内的区域中的像素块个数来实现调整,二者为相对应的两种做法,本申请实施例中侧重描述了第一方面中图像处理方法,第二方面中图像处理方法的具体实现可适应性参照第一方面来实现,此处不再赘述。
第三方面,本申请实施例提供一种图像处理装置,该图像处理装置包括:
处理模块,用于获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数;以及,获取所述图像的环境亮度值;
所述处理模块,还用于若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域;
校正模块,用于根据所述目标色彩统计信息,对所述图像进行白平衡校正。
在一种可能的设计中,所述处理模块,还用于通过如下方式计算所述高色温光源的影响范围:
根据所述环境亮度值,得到所述高色温光源的影响范围的半径;
根据所述高色温光源的影响范围的半径,确定所述高色温光源的影响范围。
在一种可能的设计中,所述处理模块根据所述环境亮度值,得到所述高色温光源的影响范围的半径,具体为:
若所述环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径为预设的所述高色温光源的最大影响范围的半径,所述第二亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径 P符合下述公式要求:
P=Pmin+(Pmax-Pmin)×BV-W1/W2-W1
其中,Pmin为预设的所述高色温光源的最小影响范围的半径,Pmax为预设的所述高色温光源的最大影响范围的半径,BV为所述环境亮度值,W1为所述第一亮度阈值,W2为所述第二亮度阈值。
在一种可能的设计中,所述至少一个高色温光源包括D75光源、D65光源、D55光源和D50光源;
预设的D75光源的最大影响范围的半径小于预设的D65光源的最大影响范围的半径;
预设的D50光源的最大影响范围的半径小于预设的D55光源的最大影响范围的半径。
在一种可能的设计中,所述处理模块具体用于,通过如下方式对所述多个区域中的至少一个区域中的像素块的个数进行调整:
根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离;
根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,得到所述第一区域的增益值;所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的;
将所述第一区域中的像素块个数乘以所述第一区域的增益值,得到调整后的所述第一区域中的像素块个数。
在一种可能的设计中,所述处理模块还用于,通过如下方式确定所述第一区域所属的高色温光源的增益值:
若所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值,所述第三亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1符合下述公式要求:
G1=G1min+(G1max-G1min)×BV-W1/W3-W1
其中,G1min为预设的所述高色温光源的最小增益值,G1max为预设的所述高色温光源的最大增益值,BV为所述环境亮度值,W1为所述第一亮度阈值,W3为所述第三亮度阈值。
在一种可能的设计中,若所述第一区域仅位于第一高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述第一高色温光源;所述第一高色温光源为所述至少一个高色温光源中的任一高色温光源;
若所述第一区域位于多个高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述多个高色温光源中与所述第一区域的距离最小的高色温光源。
在一种可能的设计中,所述三原色特征包括R/G值和B/G值;
所述处理模块具体用于,通过如下方式得到所述第一区域与所述第一区域所属的高色温光源的距离:
D2=(M1,rg-M2,rg)2+(N1,bg-N2,bg)2
其中,D为所述第一区域与所述第一区域所属的高色温光源的距离,M1,rg为所述第一区域所属的高色温光源的R/G值,M2,rg为所述第一区域中的各像素块的R/G值的平均值,N1,bg为所述高色温光源的B/G值,N2,bg为所述第一区域中的各像素块的B/G值的平均值。
在一种可能的设计中,所述处理模块具体用于,通过如下方式得到所述第一区域的增益值:
G=1+(G1-1)×Rn
R=P2-D2/P2
其中,G为所述第一区域的增益值,G1为所述第一区域所属的高色温光源的增益值,P 为所述第一区域所属的高色温光源的影响范围的半径,D为所述第一区域和所述第一区域所属的高色温光源的距离,R为大于等于0小于等于1的数值,n为大于0的数值。
在一种可能的设计中,所述处理模块具体用于,通过如下方式确定图像的环境亮度值:
BV=K×N2/(t×S)
其中,BV为所述图像的环境亮度值,N为光圈大小,t为曝光时间,S为感光值,K 为常数。
在一种可能的设计中,所述校正模块具体用于:
将所述目标色彩统计信息,输入预设模型,对所述图像进行白平衡校正;所述预设模型通过对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到,其中,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。
本申请实施例的又一方面提供一种图像处理装置,所述装置包括:存储器,用于存储软件程序;处理器,用于读取所述存储器中的软件程序并执行上述第一方面和第二方面各种可能的设计中所述的图像处理方法。
本申请实施例的又一方面提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述第一方面和第二方面各种可能的设计中所述的图像处理方法。
本申请实施例的又一方面提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面和第二方面各种可能的设计中所述的图像处理方法。
本申请实施例的又一方面提供一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面和第二方面各种可能的设计中所述的图像处理方法。
附图说明
图1a为将图像中各个像素块的三原色特征标示在色彩坐标平面得到的示意图;
图1b为图像的二维色彩信息直方统计图;
图1c为本申请实施例提供的一种图像处理整体流程示意图;
图1d为本申请实施例提供的一种图像处理装置的结构示意图;
图1e为本申请实施例提供的另一种图像处理装置的结构示意图;
图2为本申请实施例提供的图像处理方法对应的流程示意图;
图3为本申请实施例提供的对第一区域中的像素块个数进行调整的流程示意图;
图4为本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合附图对本申请实施例作进一步地详细描述。
图像是由多个像素组成的,像素可以通过(R,G,B)来表示,像素的三原色特征用于描述像素的色彩信息,比如,像素的三原色特征可以包括R/G值和B/G值。
由于图像中像素的个数较多,为便于分析,通常情况下,可将图像切割成n*m个像素块(block),每个像素块中包括一个或多个像素。进一步地,将像素块中所有像素的(R,G,B)三个分量的值相加后求平均值,可得到该像素块的(R,G,B),进而根据该像素块的(R,G,B)可以得到该像素块的三原色特征,即R/G值和B/G值。
此外,目前定义有九种标准光源,九种标准光源的色温由高到低分别为:D75,色温为7500°K;D65,色温为6500°K;D55,色温为5500°K;D50,色温为5000°K;CWF,色温为4100°K;TL84,色温为4000°K;U30,色温为3000°K;A,色温为2850°K;H,色温为2300°K。其中,D75、D65、D55与D50归纳为高色温,CWF、TL84与U30归纳为中色温,A与H归纳为低色温。高色温的光源在图像中的色彩偏向淡蓝色,低色温的光源在图像中的色彩偏向淡黄色,基于各光源的颜色,同样可得到各光源的三原色特征。
结合上述描述,如图1a所示,为将图像中各个像素块的三原色特征标示在色彩坐标平面得到的示意图。其中,圆点所在的位置表示各个像素块的三原色特征,九个圆圈所在的位置表示九种标准光源的三原色特征。
需要说明的是,上述仅是以三原色特征包括R/G值和B/G值为例来描述,在其它可能的实现方式中,以像素为例,也可以将像素的(R,G,B)转换到其它的色彩空间,比如 (Y,Cb,Cr)或(Y,U,V)的色彩空间,相应地,像素的三原色特征可以包括(Cb, Cr)或(U,V)。其中,Y是指亮度分量,Cb指蓝色色度分量,Cr指红色色度分量,U 和V均指色度。
进一步地,根据图像的各像素块的三原色特征,可将图像的像素块划分到多个区域,进而得到图像的初始色彩统计信息,初始色彩统计信息包括多个区域的每个区域中的像素块个数。如图1b所示,为图像的二维色彩信息直方统计图,每个小方格代表一个区域,R/G值和B/G值在该小方块覆盖范围内的像素块即为该区域的像素块,小方格内的数字表示该区域的像素块个数。
为提高AWB校正的准确性,一种AWB校正方法为:使用卷积神经网路(convolutional neural network,CNN)对二维色彩信息直方统计图进行深度学习(deeplearning),以实现 AWB校正。具体来说,可利用多个图像的二维色彩信息直方统计图作为训练数据集合,当进行深度学习时,训练数据集合中每个图像的二维色彩信息直方统计图均提供对应的实际基准(ground truth)作为训练的参考,实际基准为二维色彩信息直方统计图的其中一格坐标,其代表此二维色彩信息直方统计图的最佳AWB位置(即最佳R-gain、G-gain、B-gain);完成训练后,可得到CNN模型。后续取得一个新图像时,将新图像的二维色彩信息直方统计图输入到此CNN模型,即可产生对应此新图像的R-gain、G-gain、B-gain,用以修正图像色偏。
由于上述CNN模型是通过对大量的图像进行训练得到的,因此,相比于仅依据图像上(R,G,B)三个分量的平均值得到(R,G,B)三个通道的增益值的方式来说,其准确性较高。然而,上述CNN模型是对图像的二维色彩信息直方统计图做卷积运算,其处理数据只能是图像的色彩信息,因此,当采用CNN模型以图像的二维色彩信息直方统计图作为输入,进行深度学习以实现AWB校正时,无法再加入其它的信息,导致训练产生的CNN模型仍会容易受图像内物体颜色影响而降低AWB校正的准确性。
基于此,本申请实施例提供一种图像处理方法,用于解决AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的技术问题。
具体来说,该方法包括:获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数;以及,获取所述图像的环境亮度值,若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域;进而,根据所述目标色彩统计信息,对所述图像进行白平衡校正。如此可知,本申请实施例中将环境亮度值作为AWB校正的一项重要影响因素,并将环境亮度值融合到图像的初始色彩统计信息中得到图像的目标色彩统计信息后,再进行AWB校正,从而能够有效避免AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的问题。
下面结合图1c描述一种可能的图像处理整体流程。如图1c所示,通过感光元件生成图像后,将图像输入到二维色彩信息直方统计图产生模块,生成图像的初始二维色彩信息直方统计图;环境亮度值产生模块可从感光元件获取相机参数,进而根据相机参数得到环境亮度值,并输入到二维色彩信息直方统计图产生模块;二维色彩信息直方统计图产生模块可判断环境亮度值的大小,若环境亮度值大于第一亮度阈值,则可对图像的初始二维色彩信息直方统计图进行调整,进而得到图像的目标二维色彩信息直方统计图,并输入到校正模块,校正模块可通过预设模型对目标二维色彩信息直方统计图进行处理,进而实现白平衡校正,其中,预设模型可以是由外部设备训练生成并输入到执行图像处理流程的图像处理装置中,或者,也可以是以固件形式直接存储在该装置中,具体不做限定。进一步地,通过AWB模块对图像进行白平衡校正后,可将校正后的图像输入到其它图像信号处理(image signal processing,ISP)模块(比如降噪模块等,此处不做具体限定),进而得到输出图像。
本申请实施例中的图像处理方法可以由图像处理装置来执行。其中,所述图像处理装置可以为半导体芯片,所述半导体芯片可以被设置于摄像机、视频监控设备以及具有拍照功能的终端设备内;或者,所述图像处理装置也可以为摄像机、视频监控设备以及具有拍照功能的终端设备。如图1d和1e所示,为本申请实施例提供的一种图像处理装置100,包括处理器11和存储器12。
处理器11可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
存储器12可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由该装置存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接(如图1d所示)。存储器也可以和处理器集成在一起(如图1e所示)。
其中,所述存储器12可以用于存储执行本申请方案的应用程序代码,并由处理器11 来控制执行,也就是说,所述处理器11用于执行所述存储器12中存储的应用程序代码实现本申请实施例中的图像处理方法。
需要说明的是,上述所描述的终端设备可以为手机(mobile phone)、平板电脑(pad) 等,具体不做限定。
图2为本申请实施例提供的图像处理方法对应的流程示意图,如图2所示,该方法包括:
步骤201,获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数。
此处,可通过生成图像的二维色彩信息直方统计图,得到初始色彩统计信息,具体可参见上述描述图1b的内容。
步骤202,获取所述图像的环境亮度值。
一种可能的实现方式为,获取所述图像拍摄时的相机参数,根据所述相机参数确定所述图像的环境亮度值。此处,相机参数可以包括光圈大小、曝光时间和感光值中的至少一项,当然还可以包括其它参数,具体不做限定。
在一个示例中,确定的图像的环境亮度值可以符合下述公式1的要求:
BV=K×N2/(t×S)......公式1
其中,BV为所述图像的环境亮度值,N为光圈大小,t为曝光时间,S为感光值,K 为常数。
本申请实施例中,K可以为大于0的常数,用于对环境亮度值进行校正,比如,在一固定已知亮度场景下,可以利用K将BV设定为一个期望的数值,以方便后续对BV的使用。在一个示例中,可以先将K设定为1,对1000Lux光源下固定场景拍照,此时得到BV为 20,若期望此场景的BV为100,则可将K值设定为5即可,此后K值固定不变,当此固定场景的光源由1000Lux开始增加时,BV也就从100开始增加。
步骤203,若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述至少一个区域为至少一个高色温光源的影响范围内的区域。
需要说明的是,第一区域为所述至少一个区域中的任一区域,也就是说,至少一个区域中的每个区域都符合上述有关第一区域的描述。举个例子,至少一个区域包括区域1、区域2、区域3,则:目标色彩统计信息中区域1的像素块个数大于初始色彩统计信息中区域1的像素块个数,目标色彩统计信息中区域2的像素块个数大于初始色彩统计信息中区域2的像素块个数,目标色彩统计信息中区域3的像素块个数大于初始色彩统计信息中区域3的像素块个数。
此处,由于日光为自然界的光源,属于高色温光源,户外白天拍照的光源皆为高色温光源(D75光源、D65光源、D55光源与D50光源),户外白天拍照时的环境亮度值比室内拍照时的环境亮度值大很多,因此,拍照时的环境亮度值越高,越有可能是高色温光源。基于此,本申请实施例中,若图像的环境亮度值大于第一亮度阈值,则可对至少一个高色温光源的影响范围内的区域中的像素块个数进行调整,从而提高AWB校正的准确性。其中,至少一个高色温光源可以包括D75光源、D65光源、D55光源与D50光源。若图像的环境亮度值小于等于第一亮度阈值,由于此时无法确定是否一定为低色温光源,因此可采用现有技术中的方式进行AWB校正,本申请实施例中对此种情形下的AWB校正方式不做具体限定。其中,第一亮度阈值可以根据实际需要进行设置;进一步地,由于上述在计算环境亮度值时,引入了校正常数K,因此,在设置第一亮度阈值时需要考虑上述K的取值,若K的取值较大,会使得计算得到的环境亮度值较大,故需要相应地设置第一亮度阈值。
本申请实施例中,可以根据环境亮度值,得到高色温光源的影响范围的半径,并进而根据所述高色温光源的影响范围的半径,可确定出至少一个高色温光源中的每个高色温光源的影响范围。比如,以图1b所示意的D75光源为例,在确定出D75光源的影响范围的半径后,可以D75光源所在的位置为圆心,根据半径得到圆,该圆所覆盖的范围即为D75 光源的影响范围。
其中,根据环境亮度值得到高色温光源的影响范围的半径的方式可以有多种。一种可能的实现方式中,可以预先设置环境亮度值和高色温光源的影响范围的半径之间的对应关系,该对应关系可以有多种形式,示例性地可以为:环境强度值在(a,b]这一范围时,其对应的高色温光源的影响范围的半径为d,环境强度值在(b,c]这一范围时,其对应的高色温光源的影响范围的半径为e。如此,后续可根据环境亮度值和该对应关系得到高色温光源的影响范围的半径。
又一种可能的实现方式中,若环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径可以为预设的所述高色温光源的最大影响范围的半径;若环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径P符合下述公式要求:
P=Pmin+(Pmax-Pmin)×BV-W1/W2-W1......公式2
其中,Pmin为预设的所述高色温光源的最小影响范围的半径,Pmax为预设的所述高色温光源的最大影响范围的半径,BV为所述环境亮度值,W1为所述第一亮度阈值,W2为所述第二亮度阈值,第二亮度阈值大于第一亮度阈值,第二亮度阈值可以根据实际需要进行设置。
本申请实施例中,由于D75光源的颜色与天空的蓝色范围有一部分重叠,若预设的D75光源的最大影响范围的半径过大,则可能会导致AWB校正的准确性降低,因此,预设的D75光源的最大影响范围的半径可以小于预设的D65光源的最大影响范围的半径,以便于避免预设的D75光源的最大影响范围的半径过大。
由于D50光源与其它中色温光源(TL84光源)较接近,若预设的D50光源的最大影响范围的半径过大,则可能会导致距离中色温光源较近的区域中的像素块的个数也进行了调整,使得AWB的准确性降低,因此,预设的D50光源的最大影响范围的半径可以小于预设的D55光源的最大影响范围的半径,以便于避免预设的D50光源的最大影响范围的半径过大。
进一步地,本申请实施例中,预设的D75光源的最大影响范围的半径 (D75_radius_max)、预设的D65光源的最大影响范围的半径(D65_radius_max)、预设的 D55光源的最大影响范围的半径(D55_radius_max)与预设的D50光源的最大影响范围的半径(D50_radius_max)可以满足如下关系:
D75_radius_max/D65_radius_max=0.85
D50_radius_max/D65_radius_max=0.60
D55_radius_max/D65_radius_max=1.0
需要说明的是,上述关系仅为一种示例,本申请实施例对此不做限定。
根据上述内容可知,本申请实施例中,由于高色温光源的影响范围是根据环境亮度值得到的,因此,在确定需要调整的区域时,充分考虑了环境亮度值这一因素,有利于提高 AWB校正的准确性。
本申请实施例中,对多个区域的至少一个区域中的像素块个数进行调整的方式可以有多种。一种可能的实现方式中,可以预先设置一个大于0的增益值,将至少一个区域中的像素块个数均乘以该增益值,从而实现对至少一个区域中的像素块个数的调整。比如,该增益值为1.2,调整前:区域1中的像素块个数为25,区域2中的像素块个数为35,区域 3中的像素块个数为45;则调整后:区域1中的像素块个数为30(25*1.2),区域2中的像素块个数为42(35*1.2),区域3中的像素块个数为54(45*1.2)。
又一种可能的实现方式中,针对于某一个高色温光源(比如D75光源)来说,D75光源的影响范围内具有多个区域,不同的区域和D75光源的距离可能不同,因此,本申请实施例中考虑设置不同的区域具有不同的增益值(Gain),从而实现更为精准合理的调整。比如,若区域1和D75光源的距离小于区域2和D75光源的距离,则区域1的增益值可大于区域2的增益值。
具体来说,设置不同的区域具有不同的增益值的实现方式可以有多种,下面仅以第一区域为例,结合图3描述一种可能的实现方式,其它区域均可参照第一区域来实现。如图 3所示,包括:
步骤301,根据第一区域中的各像素块的三原色特征和第一区域所属的高色温光源的三原色特征,得到第一区域与第一区域所属的高色温光源的距离。
此处,若第一区域仅位于第一高色温光源的影响范围内,则第一区域所属的高色温光源为第一高色温光源,比如,第一高色温光源可以为D75光源、D65光源、D55光源与 D50光源中的任一光源。若第一区域位于多个高色温光源的影响范围内,则第一区域所属的高色温光源为多个高色温光源中与第一区域的距离最小的高色温光源,比如,D75光源和D65光源的影响范围具有重叠区域,第一区域位于该重叠区域,则若第一区域和D75 光源的距离小于第一区域和D65光源的距离,则第一区域所属的高色温光源为D75光源。
在一个示例中,第一区域与第一区域所属的高色温光源的距离可通过如下方式得到:
D2=(M1,rg-M2,rg)2+(N1,bg-N2,bg)2......公式3
其中,D为所述第一区域与所述第一区域所属的高色温光源的距离,M1,rg为所述第一区域所属的高色温光源的R/G值,M2,rg为所述第一区域中的各像素块的R/G值的平均值,N1,bg为所述第一区域所属的高色温光源的B/G值,N2,bg为所述第一区域中的各像素块的 B/G值的平均值。
在其它可能的实现方式中,上述公式中的M1,rg、M2,rg、N1,bg、N2,bg也可以具有为其它含义,以第一区域所属的高色温光源为D75光源为例,比如:M1,rg可以为图1b所示意出的D75光源所在的方块的中心位置的R/G值,M2,rg可以为第一区域的中心位置的R/G值, N1,bg可以为D75光源所在的方块的中心位置的B/G值,N2,bg可以为所述第一区域中的中心位置的B/G值。如此,也可以基于上述公式得到第一区域与第一区域所属的高色温光源的距离。
步骤302,根据所述距离、第一区域所属的高色温光源的影响范围的半径和第一区域所属的高色温光源的增益值,得到第一区域的增益值。
此处,第一区域所属的高色温光源的增益值可以是根据环境亮度值确定的,具体的实现方式可以有多种。一种可能的实现方式中,可以预先设置环境亮度值和第一区域所属的高色温光源的增益值之间的对应关系,从而可根据环境亮度值和该对应关系得到第一区域所属的高色温光源的增益值。
又一种可能的实现方式中,若所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值。若所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1符合下述公式要求:
G1=G1min+(G1max-G1min)×BV-W1/W3-W1......公式4
其中,G1min为预设的所述高色温光源的最小增益值,G1max为预设的所述高色温光源的最大增益值,BV为所述环境亮度值,W1为所述第一亮度阈值,W3为所述第三亮度阈值。第三亮度阈值大于第一亮度阈值,第三亮度阈值可以根据实际需要进行设置。
需要说明的是,第三亮度阈值可以和第二亮度阈值相同,或者也可以不同,具体不做限定。
本申请实施例中,由于第一区域所属的高色温光源的增益值与环境亮度值相关,即第一区域所属的高色温光源的增益值是在充分考虑环境亮度值的基础上来确定的,从而使得第一区域所属的高色温光源的增益值更为合理,为保证AWB校正的准确性奠定基础。
在根据所述距离、第一区域所属的高色温光源的影响范围的半径和第一区域所属的高色温光源的增益值,确定第一区域的增益值时,其具体实现的计算方式可以有多种形式,本申请实施例提供的一种可能的计算方式为:
其中,G为所述第一区域的增益值,G1为所述第一区域所属的高色温光源的增益值,P 为所述第一区域所属的高色温光源的影响范围的半径,D为所述第一区域和所述第一区域所属的高色温光源的距离,R为大于等于0小于等于1的数值,n为大于0的数值。
根据上述公式可知,若第一区域与第一区域所属的高色温光源的距离越大,则第一区域的增益值会越小。以D75光源的影响范围内的区域为例,从D75光源中心到四周的区域的增益值逐渐降低,n可用于控制从D75光源中心到四周的区域的增益值降低的特性。具体来说,n可以为大于0且小于等于10的数值。
需要说明的是,上述公式仅为一种示例性表示,在其它可能的实施例中,本领域技术人员也可以进行变形,具体不做限定。
步骤303,将第一区域中的像素块个数乘以第一区域的增益值,得到调整后的第一区域中的像素块个数。比如,第一区域中的像素块个数为25,步骤302中得到的第一区域的增益值为1.2,则调整后得到的第一区域中的像素块个数为30。
根据上述内容可知,本申请实施例中在对第一区域中的像素块个数进行调整时,充分考虑到第一区域和第一区域所属的高色温光源的距离,从而实现有针对性地调整。
步骤204,根据所述目标色彩统计信息,对所述图像进行白平衡校正。
如此可知,本申请实施例中将环境亮度值作为AWB校正的一项重要影响因素,并将环境亮度值融合到图像的初始色彩统计信息中得到图像的目标色彩统计信息后,再进行AWB校正,从而能够有效避免AWB校正容易受图像内物体颜色影响而降低AWB校正的准确性的问题。
此处,为进一步提高白平衡校正的准确性,可将所述目标色彩统计信息,输入预设模型,进而对图像进行校正。该预设模型可以是预先对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到的,其中,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。具体实现时,可以采用卷积神经网络对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行深度学习,或者也可以采用其它可能的算法进行训练,本申请实施例对此不做限定。本申请实施例中,由于进行训练的数据集合中包括多个第二历史图像的目标色彩统计信息,也就是说,在深度学习时也充分考虑了环境亮度值,从而使深度学习的结果与现实场景的表现更相符。
需要说明的是,图2和图3中所涉及的步骤编号仅为执行流程的一种可能示例,具体实施中对各个步骤的先后顺序不做限定,比如步骤201和步骤202可以同时执行,或者,步骤202先于步骤201执行。
针对于上述方法流程,本申请实施例还提供一种图像处理装置,该图像处理装置的具体实现可参见上述方法流程。基于相同发明构思,图4为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以为半导体芯片,该图像处理装置可用于执行上述图2、图3所示意的方法流程,如图4所示,该图像处理装置400包括:
处理模块401,用于获取图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括多个区域的每个区域中的像素块个数(对应于图2中所示意的步骤201);以及,获取所述图像的环境亮度值(对应于步骤202);
所述处理模块401,还用于若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域(对应于步骤203);
校正模块402,用于根据所述目标色彩统计信息,对所述图像进行白平衡校正(对应于步骤204)。
在一种可能的设计中,所述处理模块401,可以根据所述环境亮度值,得到所述高色温光源的影响范围的半径;并根据所述高色温光源的影响范围的半径,确定所述至少一个高色温光源中的每个高色温光源的影响范围。
在一种可能的设计中,所述处理模块401根据所述环境亮度值,得到所述高色温光源的影响范围的半径时,具体可以为:
若确定所述环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径为预设的所述高色温光源的最大影响范围的半径,所述第二亮度阈值大于所述第一亮度阈值;若所述环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径P可以符合上述公式2的要求。
在一种可能的设计中,所述至少一个高色温光源包括D75光源、D65光源、D55光源和D50光源;其中,预设的D75光源的最大影响范围的半径小于预设的D65光源的最大影响范围的半径;预设的D50光源的最大影响范围的半径小于预设的D55光源的最大影响范围的半径。
在一种可能的设计中,所述处理模块401具体用于通过图3所示意的步骤301至303对所述至少一个区域中的像素块的个数进行调整。
在一种可能的设计中,所述处理模块401具体可以通过如下方式确定所述第一区域所属的高色温光源的增益值:
若确定所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值,所述第三亮度阈值大于所述第一亮度阈值;
若确定所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1可以符合上述公式4的要求。
在一种可能的设计中,若所述第一区域仅位于第一高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述第一高色温光源;所述第一高色温光源为所述至少一个高色温光源中的任一高色温光源;若所述第一区域位于多个高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述多个高色温光源中与所述第一区域的距离最小的高色温光源。
在一种可能的设计中,所述三原色特征包括R/G值和B/G值。
所述处理模块401可通过上述公式3得到所述第一区域与所述第一区域所属的高色温光源的距离。
在一种可能的设计中,所述处理模块401可通过上述公式5得到所述第一区域的增益值。
在一种可能的设计中,所述处理模块401可通过上述公式1确定图像的环境亮度值。
在一种可能的设计中,所述校正模块402具体可以用于将所述目标色彩统计信息,输入预设模型,对所述图像进行白平衡校正;其中,所述预设模型通过对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (24)
1.一种图像处理方法,其特征在于,所述方法包括:
根据图像的各个像素块的三原色特征,获取所述图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括所述图像的多个区域的每个区域中的像素块个数;
获取所述图像的环境亮度值;
若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域;
根据所述目标色彩统计信息,对所述图像进行白平衡校正。
2.根据权利要求1所述的方法,其特征在于,计算所述高色温光源的影响范围的方法包括:
根据所述环境亮度值,得到所述高色温光源的影响范围的半径;
根据所述高色温光源的影响范围的半径,确定所述高色温光源的影响范围。
3.根据权利要求2所述的方法,其特征在于,根据所述环境亮度值,得到所述高色温光源的影响范围的半径,包括:
若所述环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径为预设的所述高色温光源的最大影响范围的半径,所述第二亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径P符合下述公式要求:
P=Pmin+(Pmax-Pmin)×BV-W1/W2-W1
其中,Pmin为预设的所述高色温光源的最小影响范围的半径,Pmax为预设的所述高色温光源的最大影响范围的半径,BV为所述环境亮度值,W1为所述第一亮度阈值,W2为所述第二亮度阈值。
4.根据权利要求3所述的方法,其特征在于,所述至少一个高色温光源包括D75光源、D65光源、D55光源和D50光源,其中:
预设的D75光源的最大影响范围的半径小于预设的D65光源的最大影响范围的半径;
预设的D50光源的最大影响范围的半径小于预设的D55光源的最大影响范围的半径。
5.根据权利要求1所述的方法,其特征在于,对所述多个区域中的至少一个区域中的像素块的个数进行调整,包括:
根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离;
根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,得到所述第一区域的增益值;所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的;
将所述第一区域中的像素块个数乘以所述第一区域的增益值,得到调整后的所述第一区域中的像素块个数。
6.根据权利要求5所述的方法,其特征在于,所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的,包括:
若所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值,所述第三亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1符合下述公式要求:
G1=G1min+(G1max-G1min)×BV-W1/W3-W1
其中,G1min为预设的所述高色温光源的最小增益值,G1max为预设的所述高色温光源的最大增益值,BV为所述环境亮度值,W1为所述第一亮度阈值,W3为所述第三亮度阈值。
7.根据权利要求5所述的方法,其特征在于:
若所述第一区域仅位于第一高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述第一高色温光源;所述第一高色温光源为所述至少一个高色温光源中的任一高色温光源;
若所述第一区域位于多个高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述多个高色温光源中与所述第一区域的距离最小的高色温光源。
8.根据权利要求5所述的方法,其特征在于,所述三原色特征包括R/G值和B/G值;
根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离,包括:
D2=(M1,rg-M2,rg)2+(N1,bg-N2,bg)2
其中,D为所述第一区域与所述第一区域所属的高色温光源的距离,M1,rg为所述第一区域所属的高色温光源的R/G值,M2,rg为所述第一区域中的各像素块的R/G值的平均值,N1,bg为所述高色温光源的B/G值,N2,bg为所述第一区域中的各像素块的B/G值的平均值。
9.根据权利要求5所述的方法,其特征在于,根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,得到所述第一区域的增益值,包括:
G=1+(G1-1)×Rn
R=P2-D2/P2
其中,G为所述第一区域的增益值,G1为所述第一区域所属的高色温光源的增益值,P为所述第一区域所属的高色温光源的影响范围的半径,D为所述第一区域和所述第一区域所属的高色温光源的距离,R为大于等于0并且小于等于1的数值,n为大于0的数值。
10.根据权利要求1至9中任一项所述的方法,其特征在于,获取所述图像的环境亮度值,包括:
BV=K×N2/(t×S)
其中,BV为所述图像的环境亮度值,N为光圈大小,t为曝光时间,S为感光值,K为常数。
11.根据权利要求1至9中任一项所述的方法,其特征在于,根据调整后的所述目标色彩统计信息,对所述图像进行白平衡校正,包括:
将所述目标色彩统计信息,输入预设模型,对所述图像进行白平衡校正;所述预设模型通过对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到,其中,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。
12.一种图像处理装置,其特征在于,所述装置包括:
处理模块,用于根据图像的各个像素块的三原色特征,获取所述图像的初始色彩统计信息,所述图像包括多个像素块,所述像素块包括一个或多个像素,所述初始色彩统计信息包括所述图像的多个区域的每个区域中的像素块个数;以及,获取所述图像的环境亮度值;
所述处理模块,还用于若所述图像的环境亮度值大于第一亮度阈值,则对所述多个区域的至少一个区域中的像素块个数进行调整,得到所述图像的目标色彩统计信息,所述目标色彩统计信息包括调整后的所述多个区域的每个区域中的像素块个数;其中,所述目标色彩统计信息中第一区域的像素块个数大于所述初始色彩统计信息中所述第一区域的像素块个数,所述第一区域为所述至少一个区域中的任一区域,所述至少一个区域为至少一个高色温光源的影响范围内的区域;
校正模块,用于根据所述目标色彩统计信息,对所述图像进行白平衡校正。
13.根据权利要求12所述的装置,其特征在于,所述处理模块,还用于通过如下方式计算所述高色温光源的影响范围:
根据所述环境亮度值,得到所述高色温光源的影响范围的半径;
根据所述高色温光源的影响范围的半径,确定所述高色温光源的影响范围。
14.根据权利要求13所述的装置,其特征在于,所述处理模块根据所述环境亮度值,得到所述高色温光源的影响范围的半径,具体为:
若所述环境亮度值大于第二亮度阈值,则所述高色温光源的影响范围的半径为预设的所述高色温光源的最大影响范围的半径,所述第二亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于所述第二亮度阈值,则所述高色温光源的影响范围的半径P符合下述公式要求:
P=Pmin+(Pmax-Pmin)×BV-W1/W2-W1
其中,Pmin为预设的所述高色温光源的最小影响范围的半径,Pmax为预设的所述高色温光源的最大影响范围的半径,BV为所述环境亮度值,W1为所述第一亮度阈值,W2为所述第二亮度阈值。
15.根据权利要求14所述的装置,其特征在于,所述至少一个高色温光源包括D75光源、D65光源、D55光源和D50光源;
预设的D75光源的最大影响范围的半径小于预设的D65光源的最大影响范围的半径;
预设的D50光源的最大影响范围的半径小于预设的D55光源的最大影响范围的半径。
16.根据权利要求12所述的装置,其特征在于,所述处理模块具体用于,通过如下方式对所述多个区域中的至少一个区域中的像素块的个数进行调整:
根据所述第一区域中的各像素块的三原色特征和所述第一区域所属的高色温光源的三原色特征,得到所述第一区域与所述第一区域所属的高色温光源的距离;
根据所述距离、所述第一区域所属的高色温光源的影响范围的半径和所述第一区域所属的高色温光源的增益值,得到所述第一区域的增益值;所述第一区域所属的高色温光源的增益值是根据所述环境亮度值确定的;
将所述第一区域中的像素块个数乘以所述第一区域的增益值,得到调整后的所述第一区域中的像素块个数。
17.根据权利要求16所述的装置,其特征在于,所述处理模块还用于,通过如下方式确定所述第一区域所属的高色温光源的增益值:
若所述环境亮度值大于第三亮度阈值,则所述第一区域所属的高色温光源的增益值为预设的所述第一区域所属的高色温光源的最大增益值,所述第三亮度阈值大于所述第一亮度阈值;
若所述环境亮度值小于等于第三亮度阈值,则所述第一区域所属的高色温光源的增益值G1符合下述公式要求:
G1=G1min+(G1max-G1min)×BV-W1/W3-W1
其中,G1min为预设的所述高色温光源的最小增益值,G1max为预设的所述高色温光源的最大增益值,BV为所述环境亮度值,W1为所述第一亮度阈值,W3为所述第三亮度阈值。
18.根据权利要求16所述的装置,其特征在于:
若所述第一区域仅位于第一高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述第一高色温光源;所述第一高色温光源为所述至少一个高色温光源中的任一高色温光源;
若所述第一区域位于多个高色温光源的影响范围内,则所述第一区域所属的高色温光源为所述多个高色温光源中与所述第一区域的距离最小的高色温光源。
19.根据权利要求16所述的装置,其特征在于,所述三原色特征包括R/G值和B/G值;
所述处理模块具体用于,通过如下方式得到所述第一区域与所述第一区域所属的高色温光源的距离:
D2=(M1,rg-M2,rg)2+(N1,bg-N2,bg)2
其中,D为所述第一区域与所述第一区域所属的高色温光源的距离,M1,rg为所述第一区域所属的高色温光源的R/G值,M2,rg为所述第一区域中的各像素块的R/G值的平均值,N1,bg为所述高色温光源的B/G值,N2,bg为所述第一区域中的各像素块的B/G值的平均值。
20.根据权利要求16所述的装置,其特征在于,所述处理模块具体用于,通过如下方式得到所述第一区域的增益值:
G=1+(G1-1)×Rn
R=P2-D2/P2
其中,G为所述第一区域的增益值,G1为所述第一区域所属的高色温光源的增益值,P为所述第一区域所属的高色温光源的影响范围的半径,D为所述第一区域和所述第一区域所属的高色温光源的距离,R为大于等于0小于等于1的数值,n为大于0的数值。
21.根据权利要求12至20中任一项所述的装置,其特征在于,所述处理模块具体用于,通过如下方式确定图像的环境亮度值:
BV=K×N2/(t×S)
其中,BV为所述图像的环境亮度值,N为光圈大小,t为曝光时间,S为感光值,K为常数。
22.根据权利要求12至20中任一项所述的装置,其特征在于,所述校正模块具体用于:
将所述目标色彩统计信息,输入预设模型,对所述图像进行白平衡校正;所述预设模型通过对多个第一历史图像的初始色彩统计信息和多个第二历史图像的目标色彩统计信息进行训练得到,其中,所述第一历史图像的环境亮度值小于等于第一亮度阈值,所述第二历史图像的环境亮度值大于第一亮度阈值。
23.一种图像处理装置,其特征在于,所述装置包括:
存储器,用于存储软件程序;
处理器,用于读取所述存储器中的软件程序并执行权利要求1至权利要求11中任一项所述的图像处理方法。
24.一种计算机存储介质,其特征在于,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现权利要求1至权利要求11中任一项所述的图像处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/089089 WO2019227355A1 (zh) | 2018-05-30 | 2018-05-30 | 一种图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111587573A CN111587573A (zh) | 2020-08-25 |
CN111587573B true CN111587573B (zh) | 2021-06-15 |
Family
ID=68696786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880086363.8A Active CN111587573B (zh) | 2018-05-30 | 2018-05-30 | 一种图像处理方法、装置及计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111587573B (zh) |
WO (1) | WO2019227355A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150392B (zh) * | 2020-09-30 | 2024-03-19 | 普联技术有限公司 | 一种低照度图像的修复方法及装置 |
CN115514947B (zh) * | 2021-06-07 | 2023-07-21 | 荣耀终端有限公司 | 一种ai自动白平衡的算法和电子设备 |
CN115514948B (zh) * | 2021-06-07 | 2023-08-08 | 荣耀终端有限公司 | 图像调节方法以及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1953561A (zh) * | 2006-11-27 | 2007-04-25 | 北京中星微电子有限公司 | 一种校正白平衡的方法和*** |
CN101039439A (zh) * | 2007-04-23 | 2007-09-19 | 北京中星微电子有限公司 | 一种实现白平衡校正的方法及装置 |
CN105227945A (zh) * | 2015-10-21 | 2016-01-06 | 维沃移动通信有限公司 | 一种自动白平衡的控制方法及移动终端 |
CN105611184A (zh) * | 2015-12-18 | 2016-05-25 | 珠海全志科技股份有限公司 | 数码影像装置白平衡调试方法及调试*** |
CN105959662A (zh) * | 2016-05-24 | 2016-09-21 | 深圳英飞拓科技股份有限公司 | 自适应白平衡调整方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4941370B2 (ja) * | 2008-03-18 | 2012-05-30 | 富士通株式会社 | 画像補正プログラム、画像補正装置および画像補正方法 |
KR101678691B1 (ko) * | 2010-05-12 | 2016-11-23 | 삼성전자주식회사 | 광원의 특성을 이용한 이미지 처리 장치 및 방법 |
CN102395035B (zh) * | 2011-11-22 | 2013-08-21 | 北京英泰智软件技术发展有限公司 | 一种智能摄像机白平衡处理方法 |
CN104954772B (zh) * | 2015-06-26 | 2017-05-10 | 济南中维世纪科技有限公司 | 一种应用于自动白平衡算法的图像近灰色像素选取算法 |
CN107690065A (zh) * | 2017-07-31 | 2018-02-13 | 努比亚技术有限公司 | 一种白平衡校正方法、装置及计算机可读存储介质 |
-
2018
- 2018-05-30 CN CN201880086363.8A patent/CN111587573B/zh active Active
- 2018-05-30 WO PCT/CN2018/089089 patent/WO2019227355A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1953561A (zh) * | 2006-11-27 | 2007-04-25 | 北京中星微电子有限公司 | 一种校正白平衡的方法和*** |
CN101039439A (zh) * | 2007-04-23 | 2007-09-19 | 北京中星微电子有限公司 | 一种实现白平衡校正的方法及装置 |
CN105227945A (zh) * | 2015-10-21 | 2016-01-06 | 维沃移动通信有限公司 | 一种自动白平衡的控制方法及移动终端 |
CN105611184A (zh) * | 2015-12-18 | 2016-05-25 | 珠海全志科技股份有限公司 | 数码影像装置白平衡调试方法及调试*** |
CN105959662A (zh) * | 2016-05-24 | 2016-09-21 | 深圳英飞拓科技股份有限公司 | 自适应白平衡调整方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019227355A1 (zh) | 2019-12-05 |
CN111587573A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101527860B (zh) | 白平衡控制设备及其控制方法和摄像设备 | |
KR100886099B1 (ko) | 감마 보정 곡선의 자동 산출 장치 및 방법 | |
US10757386B2 (en) | White balance calibration method based on skin color data and image processing apparatus using the same | |
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
CN111587573B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
CN109672871B (zh) | 白平衡信息同步方法、装置及计算机可读介质 | |
WO2019170007A1 (zh) | 图像色彩调整方法及装置 | |
US9716880B2 (en) | Image calibrating method for stitching images and related camera and image processing system with image calibrating function | |
WO2017096858A1 (zh) | 图像白平衡的调整方法和装置 | |
CN111861922A (zh) | 颜色校正矩阵的调整方法及装置、存储介质 | |
CN108063926B (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
US9319653B2 (en) | White balance compensation method and electronic apparatus using the same | |
WO2020093653A1 (zh) | 色彩调整方法、色彩调整装置、电子设备及计算机可读存储介质 | |
CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
WO2022036539A1 (zh) | 一种多相机色彩一致性校正方法和装置 | |
CN112788322B (zh) | 自适应白平衡处理方法、装置、介质及电子设备 | |
CN103685854A (zh) | 图像处理装置、图像处理方法和程序 | |
US9131200B2 (en) | White balance adjusting method with scene detection and device thereof | |
US20190311464A1 (en) | Tuning for deep-learning-based color enhancement systems | |
CN110033412B (zh) | 一种图像处理方法及装置 | |
JP2022543158A (ja) | キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器 | |
CN113271450B (zh) | 白平衡调整方法、影像处理装置与影像处理*** | |
CN102938842A (zh) | 影像校正装置、影像校正方法及相关装置和产品 | |
JP2009217174A (ja) | 映像表示システムの調整装置、調整方法、幾何情報取得方法、及びプログラム | |
CN104869379A (zh) | 白平衡补偿方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |