CN107993189B - 一种基于局部分块的图像色调动态调节方法和装置 - Google Patents
一种基于局部分块的图像色调动态调节方法和装置 Download PDFInfo
- Publication number
- CN107993189B CN107993189B CN201610950433.2A CN201610950433A CN107993189B CN 107993189 B CN107993189 B CN 107993189B CN 201610950433 A CN201610950433 A CN 201610950433A CN 107993189 B CN107993189 B CN 107993189B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- current pixel
- image
- value
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000903 blocking effect Effects 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/053—Detail-in-context presentations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于局部分块的图像色调动态调节方法和装置,所述方法包括以下步骤:首先根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;而后根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;而后根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;而后根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;而后采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。通过上述方法可以有效提高图像局部对比度,很好地保留图像细节,同时相较于现有算法而言算法复杂度相对简单,有利于提高图像处理效率。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种基于局部分块的图像色调动态调节方法和装置。
背景技术
亮度(Luminance)是人眼对光照度(photometric quantity)的感知结果,一般以cd/m2为单位。动态范围(dynamic range)是最高亮度和最低亮度的比值,人眼在观察物体时可以自适应调整场景中很亮或者很暗的区域,然而相机由于亮度动态范围有限,往往无法对场景中高亮或者过暗的区域予以同时显示,导致捕捉到的图像出现部分失真现象。
目前,通过采用宽动态范围(wide dynamic range,简称WDR)技术来解决上述问题。具体算法包括全局映射算法、局部直方图算法、Retinex理论等,这些算法计算量大、复杂度高,不利于硬件实现,同时也无法很好地保留图像细节,处理后的图像依然存在着大量的噪声。
发明内容
为此,需要提供一种基于局部分块的图像色调动态调节的技术方案,用以解决现有的宽动态范围技术在处理图像时,算法复杂度高、计算量大、硬件成本高、图像细节无法很好保存等问题。
发明人提供了一种基于局部分块的图像色调动态调节方法,所述方法包括以下步骤:
根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;
根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;
根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;
根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;
采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。
进一步地,所述像素值包括R分量值、G分量值以及B分量值,所述“获取当前像素点对应的亮度分量值”包括:
根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,计算当前像素点的亮度分量值。
进一步地,所述像素值包括R分量值、G分量值以及B分量值,所述“获取当前像素点对应的亮度分量值”包括:
对当前像素点的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素点的亮度分量值。
进一步地,所述“获取当前像素点对应的背景亮度值”包括步骤:
设定一个以当前像素点为中心的高斯模糊核作为当前像素点在图像上的背景区域;
计算设定的高斯模糊核内的像素点的高斯加权平均值,作为当前像素点对应的背景亮度值。
进一步地,所述“设定一个以当前像素点为中心的高斯模糊核”包括步骤:
按梯度依次增大高斯模糊核半径,并依次计算增大的高斯模糊核范围内所有像素点的高斯加权平均值的差值比;
如果差值比大于预设阈值时,选择增大前的高斯模糊核为设定的高斯模糊核。
进一步地,所述步骤“根据当前像素点在图像上的临近区域”包括步骤:
将图像划分为若干个NxN子块,
根据当前像素点所在的位置,确定与当前像素点相邻的子块为临近区域。
进一步地,所述步骤“获取一个与当前像素点对应的平均亮度值”包括步骤:
获取与当前像素点相邻的子块对应的像素平均值;
根据当前像素点与相邻的子块的中心像素点的坐标位置关系,对所获取的像素平均值进行第二加权运算,得到与当前像素点对应的平均亮度值。
发明人还提供了一种基于局部分块的图像色调动态调节装置,所述装置包括亮度获取模块、局部背景亮度模块、块平均亮度模块、局部色调映射模块和增益处理模块;
所述亮度获取模块用于根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;
所述局部背景亮度模块用于根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;
所述块平均亮度模块用于根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;
所述局部色调映射模块用于根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;
所述增益处理模块用于采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。
进一步地,所述像素值包括R分量值、G分量值以及B分量值,所述亮度获取模块用于“获取当前像素点对应的亮度分量值”包括:
所述亮度获取模块用于根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,计算当前像素点的亮度分量值。
进一步地,所述像素值包括R分量值、G分量值以及B分量值,所述亮度获取模块用于“获取当前像素点对应的亮度分量值”包括:
所述亮度获取模块用于对当前像素点的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素点的亮度分量值。
进一步地,所述局部背景亮度模块用于“获取当前像素点对应的背景亮度值”包括:
局部背景亮度模块用于设定一个以当前像素点为中心的高斯模糊核作为当前像素点在图像上的背景区域,并计算设定的高斯模糊核内的像素点的高斯加权平均值,作为当前像素点对应的背景亮度值。
进一步地,所述“局部背景亮度模块用于设定一个以当前像素点为中心的高斯模糊核”包括:
局部背景亮度模块用于按梯度依次增大高斯模糊核半径,并依次计算增大的高斯模糊核范围内所有像素点的高斯加权平均值的差值比,并在差值比大于预设阈值时,选择增大前的高斯模糊核为设定的高斯模糊核。
进一步地,所述“块平均亮度模块用于根据当前像素点在图像上的临近区域”包括:
块平均亮度模块用于将图像划分为若干个NxN子块,并根据当前像素点所在的位置,确定与当前像素点相邻的子块为临近区域。
进一步地,所述块平均亮度模块用于“获取一个与当前像素点对应的平均亮度值”包括步骤:
块平均亮度模块用于获取与当前像素点相邻的子块对应的像素平均值,并根据当前像素点与相邻的子块的中心像素点的坐标位置关系,对所获取的像素平均值进行第二加权运算,得到与当前像素点对应的平均亮度值。
上述技术方案所述的基于局部分块的图像色调动态调节方法和装置,所述方法包括以下步骤:首先根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;而后根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;而后根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;而后根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;而后采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。通过上述方法可以有效提高图像局部对比度,很好地保留图像细节,同时相较于现有算法而言算法复杂度相对简单,有利于提高图像处理效率。
附图说明
图1为本发明一实施方式涉及的基于局部分块的图像色调动态调节装置的示意图;
图2为本发明另一实施方式涉及的基于局部分块的图像色调动态调节装置处理图像流程示意图;
图3为本发明一实施方式涉及的基于局部分块的图像色调动态调节方法的流程图;
附图标记说明:
110、摄像头;
120、图像;
130、图像处理芯片;131、CPU;133、DSP;135、内存;
140、图像优化模块;141、亮度获取模块;143、局部背景亮度模块;145、块平均亮度模块;147、局部色调映射模块;
150、优化图像;
210、当前像素点;
220、临近图像块;225、背景图像块;
230、当前像素亮度;
240、块平均亮度;
250、局部背景亮度;
260、增益系数;
270、合并操作。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
图1描述的是本发明一实施方式涉及的,基于局部分块的图像色调动态调节装置的示意图。在图1中,摄像头110为可安装于摄像机、手机、平板等电子设备上的,具有采集图像数据功能的电子元件。图像120为摄像头110所采集的图像数据,包括一帧或者多帧图像或者视频。图像处理芯片130(即本发明提到的基于局部分块的图像色调动态调节装置)可以接收摄像头110所采集的图像120,进行相应地优化处理后,输出优化图像150。
图像处理芯片130可以设计为一个独立的芯片,或整合到其他芯片中。图像处理芯片130包括CPU131、DSP133、内存135以及图像优化模块140等各种硬件模块。CPU131为中央处理器(Central Processing Unit,简称CPU),用于对图像处理过程进行整体控制;DSP133为数字信号处理器(Digital Signal Processor,简称DSP),用于提供图像优化模块140在优化过程中需要的相应功能;内存135为缓存模块,用于缓存图像优化模块140在图像处理过程中的一些数据。
图像优化模块140为一个对图像进行优化的硬件模块,至少包括亮度获取模块141、局部背景亮度模块143、块平均亮度模块145和局部色调映射模块147。所述亮度获取模块141用于根据一张图像120上一个当前像素点的像素值,获取当前像素点对应的“亮度分量值”;所述局部背景亮度模块143用于根据当前像素点在图像上的背景区域,获取当前像素点对应的“背景亮度值”;所述块平均亮度模块145用于根据当前像素点在图像上的临近区域块,获取一个与当前像素点对应的“平均亮度值”;所述局部色调映射模块147用于根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的一个“像素增益系数”。图像处理芯片130利用该像素增益系数,对该当前像素点进行优化处理,以提高图像120的局部对比度,并使图像120上的细节更加清晰。图像处理芯片130将优化后的像素点存储在优化图像150后,再选取图像120上的下一个像素点,重复上述的优化处理。图像处理芯片130优化完图像120上所有的像素点后,生成并输出优化图像150。
图2描述的是图像处理芯片优化图像的一个处理流程实施例。该图像处理芯片对应图1的图像处理芯片130,并包含一个对应图1的图像优化模块。该图像优化模块的亮度获取模块141、局部背景亮度模块143、块平均亮度模块145和局部色调映射模块147一一对应图1中的相应模块。
在一个实施例中,图像处理芯片的图像优化模块首先从图像120上选择的一个当前像素点210,并将该当前像素120输入给亮度获取模块141。亮度获取模块141根据当前像素点210的像素值,来获取一个对应的亮度分量值作为当前像素亮度230。当前像素点210的像素值可以是RGB值,包括代表红色的R分量值、绿色的G分量值、以及蓝色的B分量值。亮度获取模块141可以根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,作为当前像素亮度230。这一过程可以用以下公式表示:
L=max(R,G,B);
其中,L表示当前像素亮度230,R、G、B分别表示当前像素点210的R分量值、G分量值以及B分量值。
在另一实施例中,亮度获取模块141可以对当前像素点210的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素亮度230。第一加权运算可以用以下公式(1)表示:
L=a*R+b*G+c*B;a+b+c=1 公式(1)
其中,L表示当前像素亮度230,R、G、B分别表示当前像素点210的R分量值、G分量值以及B分量值。所述a、b、c分别表示R分量值、G分量值、B分量值对应的权重值,a、b、c可以根据实际需要选取满足公式(1)条件的数值。
亮度获取模块141获取当前像素亮度230后,局部背景亮度模块143可以从图像120中,截取一个与当前像素点210相关的背景图像块225,再通过对该背景图像块225和当前像素亮度230的处理,获得局部背景亮度250。为了尽可能准确地计算某个像素的局部背景亮度250,局部背景亮度模块143需要在图像120中选取尽可能大的背景区域进行平滑滤波,又要保证选取的背景区域的边界不跨越进入高对比度区域。换句话说,局部背景亮度模块143一方面要求所选取的背景图像块225中的各个像素点的像素值尽可能接近,另一方面要求所选取的背景图像块225尽可能地包含更多的像素点。
在一实施方式中,局部背景亮度模块143采用高斯金字塔算法来获取一个合适的背景图像块225用于计算局部背景亮度250。具体来说,局部背景亮度模块143先设定一个以当前像素点210为中心的高斯模糊核作为当前像素点在图像120上的背景图像块225;而后计算该高斯模糊核内的像素点的高斯加权平均值,来作为与当前像素点210相对应的局部背景亮度250。上述“设定一个以当前像素点210为中心的高斯模糊核”还包括:按梯度逐步增大高斯模糊核半径,并计算增大后的高斯模糊核的高斯加权平均值,与增大前的高斯模糊核的高斯加权平均值的差异;如果差异大于预设阈值条件时,选择增大前的高斯模糊核为设定的高斯模糊核,并用该设定的高斯模糊核来计算局部背景亮度250。局部背景亮度模块143输出的局部背景亮度250可以定为LBackground(x,y)。
在某些实施例中,上述步骤可以用以下几个公式来表示。公式(2)为高斯加权平均值(Weighted Average)的计算公式:
其中,(x,y)指当前像素点210在图像120内的坐标;L(x,y)为当前像素点210对应的当前像素亮度230;Gauss(x,y,r)指以(x,y)为中心,以r为半径的高斯模糊核的计算结果;为卷积运算。因此,WA(x,y,r)表示一个以(x,y)为中心,以r为半径的高斯模糊核的范围内所有像素点的高斯加权平均值。
公式(3)为度量高斯加权平均值差异的计算公式:
在公式(3)中,WA(x,y,rIncreased)指用公式(2)计算出的,以增大后的rIncreased为半径的高斯模糊核内所有像素点的高斯加权平均值;WA(x,y,rOriginal)指以增大前的rOriginal为半径的高斯模糊核内所有像素点的高斯加权平均值;rIncreased>rOriginal。另外,公式(3)中的DiffRatio为上述两个高斯加权平均值的差值比;C为常数;ε为预设阈值,取值范围在0~1之间。
可以给公式(3)中的高斯模糊核半径一个预设的初始值,然后以一个设定的递增速度依次增大高斯模糊核的半径,也可按用户设置的其他方式均匀或不均匀地递增。比如,高斯模糊核的半径初始值可以预设为k0,而递增速度可以设为m倍。这样,高斯模糊核半径可以依次以等比序列(比如k0、k0*m、k0*m2、k0*m3等)逐渐增大采用此级数序列的高斯模糊核半径,通过上述的公式(3)来找到一个能够满足公式(3)且半径最大的高斯模糊核作为背景图像块225,并用于计算局部背景亮度250。实际应用中可根据图像120的像素尺寸或细节清晰度,适当调整高斯模糊核的半径初始值或递增速度来保证局部细节的同时兼顾光照估计的准确性,优化整体对比度。
在某些实施例中,块平均亮度模块145通过从图像120中找到与当前像素点210相邻的临近图像块220,再通过对该临近图像块220的处理,来获得与当前像素点210相应的块平均亮度240。临近图像块220是指一个或者多个与当前像素点210临近的,从图像120上所获取得到的预设大小的图像块。预设的大小可为NxN或者MxN;M,N为任何大于1的整数。比如,处于当前像素点210的上、下、左、右的四个预设大小图像块,可为当前像素点210的临近图像块220。或者,以在图像120上穿过当前像素点210的横坐标线和纵坐标线为分界线,处于当前像素点210的左上、左下、右上、右下的四个预设大小的图像块,也可为当前像素点210的临近图像块220。对于处在图像120边缘的当前像素点210,与其相邻的临近图像块220可能少于四个(比如1个或者2个)。另外,与当前像素点210相邻的图像块可以包含(或者不包含)该当前像素点210。
在一些实施例中,在确定当前像素点210的临近图像块220后,块平均亮度模块145计算每个临近图像块220的相应的平均亮度值。具体来说,对于每个临近图像块220,块平均亮度模块145将该临近图像块220内所有像素点相应的亮度分量值相加后,除以该临近图像块220内像素点的个数,所获得的值即为该临近图像块220的平均亮度值。一个像素点相应的亮度分量值可以通过其R、G、B分量值计算得到。另外,块平均亮度模块145可以对像素点相应的亮度分量值通过一个Gamma变换作进一步的调整。
在一些实施例中,块平均亮度模块145在获取了每个临近图像块220的相应的平均亮度值后,可以根据当前像素点210与这些临近图像块220的中心像素点的坐标位置关系,对这些平均亮度值进行第二加权运算,并得到一个与当前像素点210对应的“平均亮度值”。比如说,块平均亮度模块145根据当前像素点210与每个临近图像块220的中心像素点的距离,给予这些坐标位置关系不同的权重(比如,距离越近权重越大)。然后,块平均亮度模块145用这些权重对这些临近图像块220对应的平均亮度值进行第二加权运算(如同下述公式(7)似的运算),得到当前像素点210附近的临近图像块220的块平均亮度240,并记录为LAverage(x,y)。
优选的,块平均亮度模块145可以先将图像120划分为若干个NxN子块,所述N可以是2的任何大于1的幂次方。而后,CPU131可以预先计算好图像120上各个NxN子块对应的平均亮度值,并将计算结果存储于内存135中。例如,块平均亮度模块145将图像划分为50个8x8子块,分别计算50个子块的相应平均亮度值后,将50个计算结果存储于内存135中。
之后,当要计算一个当前像素点210附近的临近图像块220的块平均亮度240时,块平均亮度模块145可以根据当前像素点210所在的坐标位置,确定与当前像素点210相邻的一个或者多个NxN子块为当前像素点210的临近图像块220。比如,块平均亮度模块145可以先确定子块的中心像素点与当前像素点210距离最小的4个NxN子块为相邻图像块220,并从内存135中读取与这4个NxN子块对应的4个平均亮度值。之后,块平均亮度模块145根据当前像素点210与4个相邻NxN子块的中心像素点的坐标位置关系,对所获取的4个平均亮度值进行第二加权运算,就此得到当前像素点210附近的临近图像块220的块平均亮度240。
在一些实施例中,在从块平均亮度模块145处接收到当前像素点210对应的块平均亮度240,并从局部背景亮度模块143处接收到当前像素点210对应的局部背景亮度250后,局部色调映射模块147可以根据该块平均亮度240以及局部背景亮度250,计算当前像素点210对应的一个增益系数260。增益系数260的计算如公式(6)所示:
其中,Gain(x,y)为为增益系数260;LAverage(x,y)为当前像素点210相对应的块平均亮度240;LBackground(x,y)为与当前像素点210相对应的局部背景亮度250;func表示对函数后的两个值进行线性或非线性运算得到另一个数值,计算的算法可以根据实际需要进行调整。a为系数,C为常数,其大小可以调整,用于避免过度拉伸图像暗区并导致噪声恶化。
在一些实施例中,块平均模块145和局部色调映射模块147储存于内存135的块平均亮度240和各种查找表,可以用于对图像120的下一帧图像的处理上。具体来说,如果图像优化模块判断下一帧图像与本帧图像120没有大的区别,那块平均模块145和局部色调映射模块147可以采用已经储存于内存135的各种数据来计算增益系数260,而不用根据下一帧图像再次划分NxN子块,计算每个子块的块平均亮度240,或者建立新的查找表。
增益系数260确认后,图像优化模块将当前像素点210与增益系数260通过一个合成操作270,获取一个在优化图像150中的一个优化像素,合成操作如以下的公式所示:
Rout(x,y)=Gain(x,y)*L(x,y)1-γ*Rγ(x,y);
Gout(x,y)=Gain(x,y)*L(x,y)1-γ*Gγ(x,y);
Bout(x,y)=Gain(x,y)*L(x,y)1-γ*Bγ(x,y);
这里γ可用于调整结果饱和度,在一些实施例中令γ=1可简化为
通过公式(8)可以看出,在合成操作270中,图像优化模块将当前像素点210对应的R分量值R(x,y)、G分量值G(x,y)、以及B分量值B(x,y)依次与增益系数260进行相乘,得到R分量值Rout(x,y)、G分量值Gout(x,y)、以及B分量值Bout(x,y),作为优化像素点的分量值。至此,图像优化模块将该优化像素点存储在优化图像150中与当前像素点210在图像120中的位置相对应的位置,就此完成了对图像120上的一个像素点的优化。而后图像处理芯片130依次从图像120上获取下一个未优化的像素点,作为当前像素点210进行下一轮的优化处理(采用上述方法计算该当前像素点210对应的增益系数,并采用增益系数对该当前像素点210进行增益),从而生成最终的优化图像150。经过上述方法优化后的图像局部对比度明显,可以很好地保留图像细节。
图3为本发明一实施方式涉及的,基于局部分块的图像色调动态调节方法的流程图。该图像色调动态调节方法可通过图1的图像处理芯片、图像优化模块、亮度获取模块、局部背景亮度模块、块平均亮度模块、和局部色调映射模块来实现。请参阅图3,所述方法包括以下步骤:
首先进入步骤S301:图像处理芯片的亮度获取模块,可以根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值。
在某些实施例中,当前像素点210的像素值包括R分量值、G分量值以及B分量值,所述“获取当前像素点对应的亮度分量值”包括:根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,计算当前像素点的亮度分量值。在另一些实施例中,所述“获取当前像素点对应的亮度分量值”包括:对当前像素点的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素点的亮度分量值。
而后进入步骤S302:图像处理芯片的局部背景亮度模块,可以根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值。
在一个实施方式中,局部背景亮度模块可以采用高斯金字塔算法来确定局部背景亮度2,高斯金字塔算法具体包括步骤:局部背景亮度模块首先设定一个以当前像素点为中心的高斯模糊核作为当前像素点在图像上的背景区域;而后计算设定的高斯模糊核内的像素点的高斯加权平均值,作为当前像素点对应的背景亮度值(即上述局部背景亮度250)。
在本实施方式中,所述“设定一个以当前像素点为中心的高斯模糊核”包括步骤:局部背景亮度模块按梯度依次增大高斯模糊核半径,并依次计算增大的高斯模糊核范围内所有像素点的高斯加权平均值的差值比;如果差值比大于预设阈值时,选择增大前的高斯模糊核为设定的高斯模糊核。
在一些实施例中,为了进一步简化运算,高斯模糊核的计算结构可近似用2的整数幂次逼近。进一步地,为了便于硬件实现,可以按照一个级数序列依次增大高斯模糊核的半径,直到找到一个差值比小于预设阈值,且半径最大的高斯模糊核作为背景图像块用于计算背景亮度值。
而后进入步骤S303:图像处理芯片的块平均亮度模块,可以根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值。“获取一个与当前像素点对应的平均亮度值”可以通过以下方式实现:块平均亮度模块首先获取与当前像素点相邻的子块对应的像素平均值,而后根据当前像素点与相邻的子块的中心像素点的坐标位置关系,对所获取的像素平均值进行第二加权运算,得到与当前像素点对应的平均亮度值,所述当前像素点对应的平均亮度值即为所需要的块平均亮度240。
在一些实施例中,块平均亮度模块可以预先计算好图像上各个子块对应的平均亮度值,并将计算结构存储于内存中。之后,块平均亮度模块可以先确定与当前像素点相邻的子块,并获取这些相邻子块对应的平均亮度值;而后根据当前像素点与相邻子块的中心像素点的坐标位置关系,对所获取的相邻子块对应的平均亮度值进行第二加权运算,得到当前像素点所在的临近图像块的块平均亮度。
而后进入步骤S304:图像处理芯片的局部色调映射模块,可以根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数。
为了减少计算增益系数的计算量,在一实施例中,局部色调映射模块可以将图像划分为若干个子块,并计算每个子块的中心像素点对应的增益系数。之后,局部色调映射模块将各个子块的中心像素点的坐标位置与该中心像素点对应的增益系数的对应关系存储为Gain查找表,并将所述Gain查找表存储于内存135中。而后根据当前像素点210的坐标位置,确定临近图像块220所包含的与当前像素120最邻近的4个NxN子块(左上UL、右上UR、左下DL、右下DR),通过Gain查找表得到这4个NxN子块的中心像素点对应的4个增益系数。而后局部色调映射模块147通过公式(7)进行计算,得到当前像素点对应的增益系数。
在另一实施例中,局部色调映射模块将图像划分为若干个子块,并计算每个子块对应的块平均亮度。之后,局部色调映射模块根据块平均亮度获取与子块对应的Gain曲线公式,将该Gain曲线公式与子块的对应关系存储为查找表,并将所述查找表存储于内存135中。而后根据当前像素点的坐标位置,确定临近图像块220所包含的与当前像素120最邻近的4个NxN子块(左上UL、右上UR、左下DL、右下DR),通过查找表得到这4个NxN子块的Gain曲线公式,代入当前像素点210对应的局部背景亮度而得到4个增益系数。而后局部色调映射模块147通过公式(7)进行计算,得到当前像素120对应的增益系数260。
增益系数260确认后,可以进入步骤S305:图像处理芯片的图像优化模块,采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。即将当前像素点与增益系数通过一个合成操作,获取一个在优化图像中的一个优化像素点。至此,图像处理芯片完成了对图像上的一个像素点的优化。而后图像处理芯片还用于依次对图像上的各个像素点进行优化(分别采用上述方法计算各个像素点对应的增益系数,并采用增益系数对该像素点进行增益),从而生成最终的优化图像。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。
Claims (10)
1.一种基于局部分块的图像色调动态调节方法,其特征在于,所述方法包括以下步骤:
根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;
根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;所述获取当前像素点对应的背景亮度值包括步骤:设定一个以当前像素点为中心的高斯模糊核作为当前像素点在图像上的背景区域;计算设定的高斯模糊核内的像素点的高斯加权平均值,作为当前像素点对应的背景亮度值;所述设定一个以当前像素点为中心的高斯模糊核包括步骤:按梯度依次增大高斯模糊核半径,并依次计算增大的高斯模糊核范围内所有像素点的高斯加权平均值的差值比;如果差值比大于预设阈值时,选择增大前的高斯模糊核为设定的高斯模糊核;
根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;
根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;所述像素增益系数的计算公式如下:
其中,Gain(x,y)为坐标为当前像素点对应的像素增益系数;LAverage(x,y)为当前像素点相对应的平均亮度值;LBackground(x,y)为当前像素点对应的背景亮度值;func表示对函数后的两个值进行线性或非线性运算得到另一个数值;a为调节系数,C为常数;
采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。
2.如权利要求1所述的基于局部分块的图像色调动态调节方法,其特征在于,所述像素值包括R分量值、G分量值以及B分量值,所述“获取当前像素点对应的亮度分量值”包括:
根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,计算当前像素点的亮度分量值。
3.如权利要求1所述的基于局部分块的图像色调动态调节方法,其特征在于,所述像素值包括R分量值、G分量值以及B分量值,所述“获取当前像素点对应的亮度分量值”包括:
对当前像素点的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素点的亮度分量值。
4.如权利要求1所述的基于局部分块的图像色调动态调节方法,其特征在于,所述步骤“根据当前像素点在图像上的临近区域”包括步骤:
将图像划分为若干个NxN子块,
根据当前像素点所在的位置,确定与当前像素点相邻的子块为临近区域。
5.如权利要求4所述的基于局部分块的图像色调动态调节方法,其特征在于,所述步骤“获取一个与当前像素点对应的平均亮度值”包括步骤:
获取与当前像素点相邻的子块对应的像素平均值;
根据当前像素点与相邻的子块的中心像素点的坐标位置关系,对所获取的像素平均值进行第二加权运算,得到与当前像素点对应的平均亮度值。
6.一种基于局部分块的图像色调动态调节装置,其特征在于,所述装置包括亮度获取模块、局部背景亮度模块、块平均亮度模块、局部色调映射模块和增益处理模块;
所述亮度获取模块用于根据一张图像上一个当前像素点的像素值,获取当前像素点对应的亮度分量值;
所述局部背景亮度模块用于根据当前像素点在图像上的背景区域,获取当前像素点对应的背景亮度值;所述局部背景亮度模块用于获取当前像素点对应的背景亮度值包括:局部背景亮度模块用于设定一个以当前像素点为中心的高斯模糊核作为当前像素点在图像上的背景区域,并计算设定的高斯模糊核内的像素点的高斯加权平均值,作为当前像素点对应的背景亮度值;所述局部背景亮度模块用于设定一个以当前像素点为中心的高斯模糊核包括:局部背景亮度模块用于按梯度依次增大高斯模糊核半径,并依次计算增大的高斯模糊核范围内所有像素点的高斯加权平均值的差值比,并在差值比大于预设阈值时,选择增大前的高斯模糊核为设定的高斯模糊核;
所述块平均亮度模块用于根据当前像素点在图像上的临近区域,获取一个与当前像素点对应的平均亮度值;
所述局部色调映射模块用于根据当前像素点对应的背景亮度值以及对应的平均亮度值,获取当前像素点对应的像素增益系数;所述像素增益系数的计算公式如下:
其中,Gain(x,y)为坐标为当前像素点对应的像素增益系数;LAverage(x,y)为当前像素点相对应的平均亮度值;LBackground(x,y)为当前像素点对应的背景亮度值;func表示对函数后的两个值进行线性或非线性运算得到另一个数值;a为调节系数,C为常数;
所述增益处理模块用于采用当前像素点对应的像素增益系数对当前像素点的像素值进行增益处理。
7.如权利要求6所述的基于局部分块的图像色调动态调节装置,其特征在于,所述像素值包括R分量值、G分量值以及B分量值,所述亮度获取模块用于“获取当前像素点对应的亮度分量值”包括:
所述亮度获取模块用于根据当前像素点R分量值、G分量值、B分量值三者中数值最大的分量值,计算当前像素点的亮度分量值。
8.如权利要求6所述的基于局部分块的图像色调动态调节装置,其特征在于,所述像素值包括R分量值、G分量值以及B分量值,所述亮度获取模块用于“获取当前像素点对应的亮度分量值”包括:
所述亮度获取模块用于对当前像素点的R分量值、G分量值以及B分量值进行第一加权运算,获取当前像素点的亮度分量值。
9.如权利要求6所述的基于局部分块的图像色调动态调节装置,其特征在于,所述“块平均亮度模块用于根据当前像素点在图像上的临近区域”包括:
块平均亮度模块用于将图像划分为若干个NxN子块,并根据当前像素点所在的位置,确定与当前像素点相邻的子块为临近区域。
10.如权利要求9所述的基于局部分块的图像色调动态调节装置,其特征在于,所述块平均亮度模块用于“获取一个与当前像素点对应的平均亮度值”包括步骤:
块平均亮度模块用于获取与当前像素点相邻的子块对应的像素平均值,并根据当前像素点与相邻的子块的中心像素点的坐标位置关系,对所获取的像素平均值进行第二加权运算,得到与当前像素点对应的平均亮度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610950433.2A CN107993189B (zh) | 2016-10-27 | 2016-10-27 | 一种基于局部分块的图像色调动态调节方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610950433.2A CN107993189B (zh) | 2016-10-27 | 2016-10-27 | 一种基于局部分块的图像色调动态调节方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107993189A CN107993189A (zh) | 2018-05-04 |
CN107993189B true CN107993189B (zh) | 2021-06-18 |
Family
ID=62029441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610950433.2A Active CN107993189B (zh) | 2016-10-27 | 2016-10-27 | 一种基于局部分块的图像色调动态调节方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107993189B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003582B (zh) * | 2018-08-15 | 2020-01-31 | 四川长虹电器股份有限公司 | 一种提高超多背光分区控制***图像显示效果的方法 |
CN110445986B (zh) * | 2019-07-30 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
KR20210112042A (ko) * | 2020-03-04 | 2021-09-14 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
WO2022241676A1 (zh) * | 2021-05-19 | 2022-11-24 | 深圳市大疆创新科技有限公司 | 色调映射方法、图像处理装置及成像装置 |
CN115810021A (zh) * | 2021-09-15 | 2023-03-17 | 华为技术有限公司 | 一种色调映射方法、设备及*** |
CN114820377A (zh) * | 2022-05-10 | 2022-07-29 | 平安科技(深圳)有限公司 | 文本图像处理方法、装置、计算机设备及可读存储介质 |
CN115809960A (zh) * | 2022-06-08 | 2023-03-17 | 北京爱芯科技有限公司 | 图像拼接装置、芯片以及图像拼接方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901475A (zh) * | 2010-06-12 | 2010-12-01 | 北京理工大学 | 基于视网膜自适应模型的高动态范围图像色调映射方法 |
CN102339461A (zh) * | 2010-07-27 | 2012-02-01 | 夏普株式会社 | 图像增强方法和设备 |
CN102722868A (zh) * | 2012-05-23 | 2012-10-10 | 西安理工大学 | 一种高动态范围图像色调映射方法 |
CN102779330A (zh) * | 2012-06-13 | 2012-11-14 | 京东方科技集团股份有限公司 | 图像增强方法、图像增强装置和显示装置 |
CN104618700A (zh) * | 2015-01-29 | 2015-05-13 | 电子科技大学 | 一种彩色高动态范围图像增强显示的方法 |
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
CN105139343A (zh) * | 2014-05-30 | 2015-12-09 | 上海贝卓智能科技有限公司 | 一种图像处理方法、装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050117799A1 (en) * | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
-
2016
- 2016-10-27 CN CN201610950433.2A patent/CN107993189B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901475A (zh) * | 2010-06-12 | 2010-12-01 | 北京理工大学 | 基于视网膜自适应模型的高动态范围图像色调映射方法 |
CN102339461A (zh) * | 2010-07-27 | 2012-02-01 | 夏普株式会社 | 图像增强方法和设备 |
CN102722868A (zh) * | 2012-05-23 | 2012-10-10 | 西安理工大学 | 一种高动态范围图像色调映射方法 |
CN102779330A (zh) * | 2012-06-13 | 2012-11-14 | 京东方科技集团股份有限公司 | 图像增强方法、图像增强装置和显示装置 |
CN105139343A (zh) * | 2014-05-30 | 2015-12-09 | 上海贝卓智能科技有限公司 | 一种图像处理方法、装置 |
CN104618700A (zh) * | 2015-01-29 | 2015-05-13 | 电子科技大学 | 一种彩色高动态范围图像增强显示的方法 |
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107993189A (zh) | 2018-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107993189B (zh) | 一种基于局部分块的图像色调动态调节方法和装置 | |
CN109191395B (zh) | 图像对比度增强方法、装置、设备及存储介质 | |
US10410327B2 (en) | Shallow depth of field rendering | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
Lee et al. | A space-variant luminance map based color image enhancement | |
KR102317613B1 (ko) | 로컬라이징된 콘트라스트 향상을 위한 시스템들 및 방법들 | |
CN110766639B (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
JP2016503926A (ja) | 画像処理方法及び装置並びに撮影端末 | |
CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
CN110428389B (zh) | 基于msr理论和曝光融合的微光图像增强方法 | |
US20210272252A1 (en) | Systems and methods for image processing | |
JP2014154108A (ja) | 画像処理装置 | |
US10580122B2 (en) | Method and system for image enhancement | |
CN112019762A (zh) | 视频处理方法及装置、存储介质及电子设备 | |
TWI694722B (zh) | 用於高動態範圍成像的曝光位準控制、系統和方法 | |
WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
CN111127337A (zh) | 图像局部区域高光调整方法、介质、设备及装置 | |
EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
CN116563190B (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
CN109308690B (zh) | 一种图像亮度均衡方法及终端 | |
KR20140072980A (ko) | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 | |
CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN110610525A (zh) | 一种图像处理的方法、装置及计算机可读存储介质 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
CN114266803A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Applicant after: Ruixin Microelectronics Co., Ltd Address before: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Applicant before: Fuzhou Rockchips Electronics Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |