CN102693532B - 图像阴影和高光的自动局部调整 - Google Patents
图像阴影和高光的自动局部调整 Download PDFInfo
- Publication number
- CN102693532B CN102693532B CN201210045349.8A CN201210045349A CN102693532B CN 102693532 B CN102693532 B CN 102693532B CN 201210045349 A CN201210045349 A CN 201210045349A CN 102693532 B CN102693532 B CN 102693532B
- Authority
- CN
- China
- Prior art keywords
- square
- image
- reference picture
- shadow region
- highlight area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000005457 optimization Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 21
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 42
- 230000002708 enhancing effect Effects 0.000 description 34
- 230000009471 action Effects 0.000 description 31
- 230000007246 mechanism Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000611 regression analysis Methods 0.000 description 5
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005728 strengthening Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
图像的阴影和高光区域可以以局部的方式被自动地优化。可以生成模片,它可以自动地将数字图像的局部区域识别为高光区域或阴影区域。随后对高光区域和阴影区域可分别自动地运用不同的处理。可以获得针对整个数字图像的亮度直方图、以及数字图像中分别位于高光区域和阴影区域的那些部分的亮度直方图。这些直方图的矩,包括均值和方差,可以与目标矩进行比较,可以继续分别对高光区域和阴影区域进行处理直到实现一个或多个目标矩。目标矩可以基于先前对图像的参考集合进行手动优化而生成的关系从原始图像直方图的原始矩生成。
Description
背景技术
众所周知,人眼同时感知明亮和昏暗的区域的细节的能力与传统的图像捕捉设备不匹配。结果,摄影师通过肉眼可以感知到一个场景在明亮的和昏暗的区域都有细节,但是,当摄影的时候,所得到的该同样场景的照片可能包含“溢出的”、缺乏细节的明亮的区域,并可能包含类似太暗的、并且同样缺乏细节的黑暗的区域。专业的摄影师很清楚这个缺陷并通过可在捕捉图像之前实施的各种手段来预防这一点。反之,业余摄影师往往并不清楚他们的图像捕捉设备的这些局限性,结果,捕捉到的图像缺乏细节。
随着数字图像捕捉和数字图像处理技术的到来,在图像被捕捉之后可应用各种机制来改进图像的明亮或者昏暗区域的细节的缺失。典型地这些机制被称作“高光和阴影”处理。在多数数字图像编辑软件应用程序中可找到手动的高光和阴影处理功能。然而,由于这些程序提供的高光和阴影处理是由用户手动调节的,改进给定图像的能力直接取决于该用户熟练地有见识地使用这些功能的能力。不幸的是,起初不很了解如何避免照出这种照片的用户事后同样不大可能熟练运用高光和阴影处理来修复这些照片。
认识到此二分性,一些数字图像编辑软件应用程序提供自动的高光和阴影处理,通常称作“自动曝光”。然而,这种自动处理对整个数字图像运用同样的修正。这些自动处理没有尝试区分数字图像的哪些区域代表高光、哪些区域代表阴影,并区分对待这些区域,或对这些不同的区域运用不同的修正。相反,这种自动的高光和阴影处理笼统地基于整个图像来决定要运用的数字修正,并将这些修正运用到整个图像中。
发明内容
在一个实施例中,自动高光和阴影处理在数字图像上局部地实施,这样该数字图像的各个区域可对其运用不同的高光和阴影处理。
在另一个实施例中,生成一个模片(mask)来识别代表数字图像的高光区域的那些数字图像部分以及识别代表数字图像的阴影区域的那些数字图像部分。这个模片可通过对被处理的数字图像运用高斯模糊来生成,从而将微小细节用与其环境同样的方式来分类。此外,高斯模糊的结果可与原始图像混合以保留识别为高光的区域和识别为阴影的区域之间的锐利转变。
在进一步的实施例中,自动运用的高光和阴影处理可以基于可以从一个或多个光度直方图中导出的目标集合,所述光度直方图包括针对整个数字图像的光度直方图和分别表示阴影区域和高光区域的各自的光度直方图。光度直方图的平均值、方差值和其它矩值可被用来生成目标矩值,包括目标平均值和目标方差值。之后高光和阴影区域可被自动地处理直至至少有一个矩值达到了目标矩值。
在又一实施例中,从光度直方图的已有的矩值中导出目标矩值的机制可从数字图像的参考集合中获得。数字图像的参考集合可以被手动调整,以优化这些数字图像的高光和阴影区域的细节的显示。包括各自代表阴影区域和单独代表高光区域的直方图的原始图像的光度直方图可与手动修正过的图像的光度直方图进行比较。从这种比较中,能够获得从原始矩值导出目标矩值的机制。
提供本发明内容部分以简化的形式介绍概念的选择,在下面具体实施方式中其将被进一步描述。本发明内容并不旨在识别所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
其它特征和优点将通过下面通过参考附图进行的具体描述而变得清楚。
附图说明
结合附图,下述具体描述可以被最好地理解,其中:
图1是图像的阴影和高光区域的示例性自动和局部调整的框图;
图2是用于自动识别图像的高光和阴影区域的模片的示例生成的框图;
图3是对图像的高光和阴影区域的示例加权的示意图;
图4是以局部的方式自动调整图像的阴影和高光区域的示例机制的框图;
图5是生成原始图像的直方图矩和目标直方图矩之间的函数关系的示例机制的流程图;
图6是以局部的方式自动调整图像的阴影和高光区域的示例机制的流程图;及
图7是示例计算设备的框图。
具体实施方式
下述说明涉及以局部的方式自动调整图像的阴影和高光区域的机制。可生成自动将数字图像的局部区域识别为高光区域或阴影区域的模片。随后,不同的处理可自动地分别运用到高光区域和阴影区域。可对整个图像、以及分别在高光区域和阴影区域的那些数字图像部分获取光度直方图。包括例如均值和方差的那些直方图的矩可与目标矩进行比较,并且可继续分别对高光区域和阴影区域运用处理,直至达到一个或多个目标矩。可以基于图像参考集合的先期手动优化生成的关系从原始图像直方图的原始矩中生成目标矩。
为了举例,此处所述的技术参考单一静态数字图像。然而,这些参考的确是示例性的,而非旨在将所描述的机制限定到静态数字图像的处理。事实上,所描述的技术同样可适用于任何一个或多个数字图像或数字图像的序列,包括数字电影和其它动态数字图像内容中发现的那些。此外,此处所描述的技术也同样可适用于数字图像,而不管这些数字图像是以何种方式捕捉到的,包括通过数字摄像机捕获的数字图像、模拟图像的数字扫描及生成的数字图像。
虽然并不要求,以下描述将在由计算设备执行的比如程序模块的计算机可执行指令的常规背景中进行。更具体来说,除非另作说明,所述描述将参考由一个或多个计算设备或***设备实施的动作或操作的符号表示。同样地,要理解的是,有时被称为是计算机执行的这些动作和操作包括以结构化形式表示数据的电子信号的处理单元进行的处理。这种处理对数据进行转换或将其保存在存储器中某处,它以本领域技术人员周知的方式重新配置或其他方式改变计算设备或***设备的操作。保存数据所用的这些数据结构是具有由数据格式定义的特定属性的物理位置。
通常,程序模块包括实施特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。此外,本领域技术人员将理解所述计算设备无需局限于传统的个人计算机,它包括其它计算配置,包括手持设备、多处理器***、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型机等。类似地,所述计算设备无需局限于独立的计算设备,因为所述机制也可以在分布计算环境中实践,在分布计算环境中,任务由通过通信网络连接的远程处理设备执行。在分布计算环境中,程序模块可以置于本地和远程记忆储存设备这两者中。
翻到图1,展示了***100,其包括示例性的数字图像110和示例性的自动校正的数字图像130。通过对图像110和130的视觉比较可以看出,自动校正的图像130改善了例如原始图像110中看上去昏暗的、缺乏细节的那些区域的阴影区域的细节呈现。运用到原始图像110的调整可以按动作120所示的自动的方式来运用。在一个实施例中,运用到原始图像110的由动作120所表示的自动校正可以以局部的方式运用,从而实施到原始图像110的比如由椭圆116和118大致勾画的区域的阴影区域的调整可以使得这些区域的细节能被显现,比如自动校正的图像130中所显示的那样,而同时在原始图像110的比如由椭圆112和114大致勾画的区域的高光区域仅运用最小的调整,从而保留原始图像110中的那些区域中已经显示的细节。本领域技术人员将认识到,如果没有运用这种局部调整,而是动作120所表示的对原始图像110的调整被全局地运用到整个图像,那么得到的图像要么会保留基本缺乏细节的阴影区域,要么会导致高光区域太亮且失去这些区域中原本存在的细节。
翻到图2,***200说明了一个示例性的机制,用于识别数字图像中的哪些像素或其它量要被当作图像的具体的、局部的区域或方面的部分,例如,哪些像素要被当作图像的高光区域或阴影区域的部分。***200参考包括高光区域211和阴影区域216的简化的、示例性的图像210说明了一个这样的示例性机制。此外,为了说明这一个示例性机制,该简化的、示例性的图像210包括高光区域211中的细节212和213,及阴影区域216中的细节217和218。本领域技术人员将认识到,为了确定哪些像素要接收特定于高光的调整,高光区域211中的细节212和213的像素应被当作高光区域211的一部分,即使这些像素可能在光度上比该高光区域211中的其它像素要暗得多。类似地,为了确定哪些像素要接收特定于阴影的调整,阴影区域216中的细节217和218的像素同样应被当作阴影区域216的一部分,即使这些像素可能在光度上比该阴影区域216中的其它像素要亮得多。
因此,从图像210中导出模片,它能够用于将图像210中的每个像素分配作为高光区像素、阴影区像素或其某种组合,细节212和213及周围区域211之间的光度差异、以及细节217和218及周围区域216之间的差异可被减少。在一个实施例中,为了减少这种光度上的差异,可以在图像210中运用高斯模糊,如动作220所示。
本领域技术人员将认识到,比如动作220所示的高斯模糊的运用通俗地说能够使各种细节212、213、217和218分别“淡入”到它们的周围区域211和216中。因此,如图2的***200所示,通过将比如动作220所示的高斯模糊运用到示例性的图像210中可以得到的示例性的图像230,可包括对应于示例性图像210的高光区域211的高光区域231和对应于示例性图像210的阴影区域216的阴影区域236。在高光区域231中,对应于示例性图像210中的细节212和213的细节232和233在得到的图像230中可以更加扩散,致使细节区域232和233更大,这些区域的每一个在它们与周围高光区域231之间的光度上的区别更小。类似地,在阴影区域236中,对应于示例性图像210中的细节217和218的细节237和238在得到的图像230中可以同样更加扩散,也致使细节区域237和238更大,这些区域的每一个在它们与周围阴影区域236之间的光度上的区别更小。细节区域,比如细节区域232、233、237、238,与其周边区域(比如高光区域231和阴影区域236)各自的光度之间差别的减少可以使得得到的图像230作为模片来使用,该模片可用于识别属于高光区域的那些像素和属于阴影区域的那些像素,包括识别更大的高光区域和阴影区域内的细节区域的像素,这将在下面进一步详述。
本领域技术人员将认识到,比如动作220所示的高斯模糊的运用典型地要求指定所运用的高斯模糊的半径。在一个实施例中,动作220运用的高斯模糊可以具有介于被运用高斯模糊的图像210的尺寸的2%到10%之间的半径。经验测试显示高斯模糊的半径为被运用高斯模糊的图像的最小尺寸的4%时效果好。本领域技术人员将认识到,这里用到的术语“半径”意为用作高斯滤波器核心的高斯分布的标准偏差。在图2的***200所示的特定例子中,示例性图像210形状是长方形的,因此其高度尺寸比宽度尺寸要长。因此,在这个特定的例子中,动作220运用的高斯模糊可以具有是示例性图像210的宽度的4%的半径。在一个实施例中,为了优化性能,可以利用三或四个继发方形模糊有效地近似大核心高斯模糊。
比如图2的示例***200所示,示例性图像210包括在高光区域211和阴影区域216之间的精确的轮廓215。不幸的是,动作220所示的高斯模糊的运用不仅能够以上面详细描述的方式模糊细节区域,也可造成图像230的高光区域231和阴影区域236之间的扩散的或模糊的过渡235。在细节区域的情况下可能期望这些区域的模糊以及这些区域和它们周边区域之间的光强度差别的减少,与细节区域的情况不同,在过渡235的情况下,可能更期望保留精确的轮廓,比如轮廓215,而不是模糊的轮廓235。例如,本领域技术人员将认识到,过渡235的模糊可能导致对高光区域侧上的像素运用以阴影为中心的处理,以及类似地,对阴影区域侧上的像素运用以高光为中心的处理。发生这一事件的视觉影响可能是过渡235附近区域中的“光晕”或其它类似的视觉伪像。
在一个实施例中,为了消除在高光区域和阴影区域之间恰当过渡的区域中的这种模糊(而不仅仅在高光区域或阴影区域内的细节),可以运用混合,使得可以从示例性图像210中保留锐利轮廓215,同时得到的图像230的其它区域中存在的模糊因上述有益的理由而另外被保留。因此,如图2的示例***200的混合动作240所示,可生成混合图像250,其包括光强度上模糊而较不清晰的来自结果图像230的细节区域232、233、237和238,同时也保留了来自示例性图像210的锐利轮廓215。
一个实施混合动作240的示例性机制可以是简单保留得到的图像230中除了动作220所运用的高斯模糊的梯度接近其理论最大值处的区域之外的区域。在这些区域中,可以转而使用示例性图像210的对应部分。例如,混合图像250可表达为示例性图像210和对示例性图像210运用动作220的高斯模糊后所得到的结果图像230的数学组合。这一表达的形式可以是:混合图像=高斯图像+(原始图像-高斯图像)×。本领域技术人员将认识到,在上面的表达式中称作“高斯图像”的得到的图像230中梯度量值很小或接近于零的区域中,比如高光区域231和阴影区域236的大部分中,上述表达式变成混合图像=高斯图像+(原始图像-高斯图像)×,其简化为混合图像=高斯图像+0=高斯图像。反之,在得到的图像230的梯度量值接近其理论最大值的区域,比如在过渡区域235,上述表达式变成混合图像=高斯图像+(原始图像-高斯图像)×,其简化为混合图像=高斯图像+(原始图像-高斯图像)×1=原始图像。因此,如混合图像250所示,高光区域251和阴影区域256之间的过渡255可几乎等同于示例性图像210中的过渡215,而细节252、253、257和258,以及高光区域251和阴影区域256几乎可以分别等同于来自得到的图像230的细节232、233、237和238,以及高光区域231和阴影区域236。
如前面指出的,图2的示例性***200所示的动作的目的是生成可用于识别像素是属于高光区域、阴影区域或其某种组合的模片。在一个实施例中,混合图像250的光强度可被用作模片,并由此实施将每个像素分配作为高光区域像素、阴影区域像素或其某种组合。例如,如果图像250的光度是基于范围从0到1的标准尺度考虑的,其中零值代表没有光度,或绝对的黑,值一代表可能的最高光度,或绝对的白,像素的光度值可被认为是像素分配到高光区域的指示,反之,一减去该像素的光度值所得到的值可被认为是该像素分配到阴影区域的指示。例如,区域252中可以具有高光度值但还不是光度值1的例如光度值0.75的像素,可被认为75%分配到高光区域,或75%是高光区域的一部分,及25%分配到阴影区域,或25%是阴影区域的一部分。如下面将进一步详细描述的,这一确定可以使得运用到高光区域的修正仅有75%能运用到上述示例性像素中,并进一步使得运用到阴影区域的修正仅有25%能运用到上述示例性像素。
当图像250的光强度可以被直接用作将每个像素量化为高光区域像素、阴影区域像素或其某种组合的模片,在另一个实施例中,像素属于高光区域、阴影区域或其某种组合的加权可以略微修改以产生高光和阴影区域的更具视觉吸引力的自动增强和调整。例如,如图3所示的曲线图300示出了存在于比如混合图像250中的光度值与分配给具有这些光度值的像素的得到的阴影和高光加权之间的一个示例性的非线性转换。通过示例,虚线311和321代表上述的直接的加权。例如上述示例性像素在曲线图300的光度轴320上的位置337处有一个光度,如图3所示。如前面所指出的,这一示例性像素可被分配为25%属于阴影区域,如直接的、线性阴影加权函数341上的点366所示,并可被分配为75%属于高光区域,如直接的、线性高光加权函数351上的点365所示。
另一个实施例考虑采用分段的、非线性的加权函数,比如曲线图300中所示的加权函数340和350,而不是从上述比如加权函数341和351所示的直接的、线性加权中生成加权(通过该加权特定像素被考虑作为阴影区域、高光区域或其某种组合的一部分)。更确切地说,为了改善视觉外观,可以选择建立黑点光度332,使得光度低于该黑点光度332的像素被加权为100%属于阴影区域。类似地,同样为改善视觉外观,也可以选择建立白点光度338,使得光度高于该白点光度338的像素被加权为100%属于高光区域。因此,如曲线图300所示,阴影加权函数340可以是分段的函数,其可导致光度值低于黑点光度值332的所有像素被分配100%属于该阴影区域的加权。类似地,同样如曲线图300所示,高光加权函数350同样可以是分段的函数,其可导致光度值高于白点光度值338的所有像素被分配100%属于该高光区域的加权。
黑点光度值332和白点光度值338可以独立地建立。例如,在一个实施例中,黑点光度值332可以简单地设为光度值零。在另一个实施例中,黑点光度值332可被设置为与原始图像110(如图1所示)暗电流均值相等。类似地,在一个实施例中,白点光度值338可以简单地设为光度值一。在另一个实施例中,白点光度值338可设为与原始图像110(如图1所示)光度范围中的最高值相等。
在一个实施例中,分段的高光加权函数350可以从高光限制光度值336线性地向前面所述的白点光度值338前进。该高光限制光度值336可以与阴影限制光度值334一起设立,使得只要高光限制光度值336大于阴影限制光度值334,就不会有像素被加权成同时属于阴影区域和高光区域。然而在其它实施例中,高光限制光度值336可被设置为小于阴影限制光度值334。事实上,如下面将进一步描述的,这些实施例可以提供视觉上更好的结果。如图3的曲线图300所示,高光限制光度值336可以是这样选择的光度值:其使得具有大于高光限制光度值336的光度值的所有像素至少在某种程度上被加权为属于高光区域。更通俗地说,高光限制光度值336可以是像素所能具有的、且尚未被加权为(即使部分地被加权为)属于高光区域的最高光度值。结果,分段的高光加权函数350可以对光度小于或等于高光限制光度336的所有像素运用零高光加权,然后线性地增加运用到具有介于高光限制光度值336和白点光度值338之间的光度值的那些像素的高光加权,然后将100%的高光加权运用到具有大于或等于白点光度值338的光度值的所有像素。在数学上,将像素加权为属于高光区域可被表达为:Min。
按照类似方式,阴影加权函数340可以是分段函数,它可以对具有大于或等于阴影限制光度值334的光度的所有像素运用零阴影权值,并且可以将100%的阴影加权运用到具有小于或等于黑点光度值332的光度的所有像素。因此,通俗地说,像高光限制光度336一样,阴影限制光度334 可以被认为是像素所能具有的、且尚未被加权为(即使部分地被加权为)属于阴影区域的最低光度值。如下面将进一步指出的,虽然阴影限制光度334被显示为低于高光限制光度336,从而使得没有像素被加权为(或至少部分地被加权为)属于阴影区域和高光区域这两者,但阴影限制光度334可以独立于高光限制光度336而设置,并可设置为高于高光限制光度336。
回到阴影加权函数340,阴影加权函数340并非以线性的方式从黑点光度值332降低到阴影限制光度值334,而是可以以非线性的方式降低,比如曲线图300中所示那样。例如,阴影加权函数340可以以与光度值的平方成反比的方式降低,使得运用到光度值在黑点光度值332和阴影限制光度值334之间的像素的阴影加权以曲线图300所示的方式从100%降到0%。从数学上,将像素加权为属于阴影区域可表达为:Min。如所示,经验证据表明运用到给定像素的阴影加权的这样一个抛物线下降可以产生视觉上更吸引人的结果。
在一个实施例中,阴影限制光度值334可以被设置为低于高光限制光度值336的光度,比如例如图3的示例性曲线图300所示。在这样一个实施例中,如前面所指出的,将没有像素被加权为属于高光区域和阴影区域这两者。事实上,光度值高于阴影限制光度值334且低于高光限制光度值336的像素将不会被加权为属于阴影区域或高光区域。然而在另一个实施例中,阴影限制光度值334可以独立于高光限制光度值336而设置,使得阴影限制光度值334可以高于高光限制光度值336。本领域的技术人员将认识到,在这样一个实施例中,光度值高于高光限制光度值336但低于阴影限制光度值334的那些像素将至少部分地被加权为属于高光区域和阴影区域这两者。
例如,高光限制光度值336可以被设置为等于黑点光度值332,从而提供可以类似于直接的、线性高光加权函数351的高光加权函数350,例外的是对于光度值小于黑点光度值332(仍可以加权为不属于高光区域)的像素和光度值大于白点光度值338(仍可被加权为整体属于高光区域)的像素来说,高光权值函数350仍然可以是分段的。作为另一个例子,阴影限制光度值334可以被设置为当利用规则的阈值算法时判定是高光区域像素的那些像素的平均光强度值。在一个实施例中,该阈值算法可以是最小化高光类或阴影类的类内方差同时最大化高光和阴影类之间的类间方差的阈值算法。
图300描述了一个从比如上述的模片来识别应该对其运用加权的特定于高光的调整的那些像素、应该对其运用加权的特定于阴影的调整的那些像素和应该对其运用其某种加权组合的那些像素的示例性机制。本领域技术人员将认识到,能够被运用的一类调整可以由给定输入条件定义输出结果的色调曲线来描述。因此,一个色调曲线可以描述运用到阴影区域的调整,而另一个独立确定的色调曲线可以描述运用到高光区域的调整。通过这种方式,运用到原始图像110(如图1所示)的调整可以以局部的方式来运用,其中运用到阴影区域的调整与运用到高光区域的调整不同。
如前所述,运用到比如原始图像110(如图1所示)的图像的调整的目的是改善太暗的阴影区域中细节的显示和太亮的高光区域中细节的显示,例如由经验不足的摄影者拍摄的照片中发现的高光区域和阴影区域。以上描述示出了可以将原始图像中的特定像素识别为至少部分地属于高光区域和至少部分地属于阴影区域的几种机制,以允许运用到这些区域中每一个区域的不同调整,从而允许局部调整。下面详述的调整在像素的“亮度”和能对该亮度作出的变更的上下文中描述。本领域的技术人员将知道,确定像素在红、绿、蓝(“RGB”)色彩空间中的亮度值的一个传统机制可被表达为:亮度=0.299×R+0.587×G+0.114×B,其中变量“R”、“G”、“B”分别代表红、绿、蓝色值。然而,同样将被本领域技术人认识到的是,也可利用替代的亮度确定公式。例如,在另一个实施例中,亮度值可简单地为红、绿或蓝色值的最大值。
为改善高光区域和阴影区域中的细节显示,作为高光区域或阴影区域的部分背景的像素的亮度值以及包含试图使其更加可见的高光区域或阴影区域细节的像素的亮度值之间的差别可以被增大。可以提供过于简化的例子,说明将阴影区域像素的亮度值增加比如增益因子为2的简单增益的效果。在这样一个过于简化的例子中,构成昏暗背景的、例如亮度值约为0.1的像素将被调整增益因子,以具有约为0.2的亮度值,而构成阴影区域的细节的、亮度值例如介于约为0.15到0.2之间的像素将被调整增益因子,以具有约为0.3到0.4的亮度值。结果,可以从这个过于简化的例子中看出,如果构成昏暗背景的那些像素和构成细节的那些像素之间的原始光度值的差仅为0.05,将很难将构成细节的像素与构成背景的像素进行很好地区分。然而,在这个过于简化的例子中运用增益因子之后,构成昏暗背景的那些像素和构成细节的那些像素之间的最终光度值的差不再只是0.05,而是至少差为0.1或高达0.2,从而使得细节能被容易地感知到。
为改善高光区域的细节显示,包括明亮背景的像素的亮度值和包括细节的像素的亮度值之间的差同样可以增加,例外的是,与其中亮度差的这种增加可通过增加包括细节的像素的亮度来实现的阴影区域的情况不同,在高光区域,这种亮度差的增加可通过减少包括细节的像素的亮度同时保持或以较小的比率减少包括背景的像素的亮度来实现。总的来说,像素亮度的调整,或者事实上对像素的任何视觉调整可以通过比如可将输入亮度映射到修正的输出亮度的色调曲线的形式来表示。本领域技术人员将认识到,这种色调曲线的形状可被弯曲,使得增大包括背景的像素亮度和包括细节的像素亮度之间的差。例如,可以运用到阴影区域的色调曲线可以被弯曲,使得可改变阴影区域内包括较明亮的细节的像素的亮度,从而这些像素相比于该阴影区域内包括较昏暗背景的像素亮度来说更加突出。类似地,可以运用到高光区域的色调曲线可以被弯曲,使得改变高光区域内包括较明亮的背景的像素的亮度,从而该高光区域内包括较昏暗的细节的像素亮度相比于较明亮的背景来说能够更加突出。
在一个实施例中,色调曲线可以局部地运用到阴影区域来调整该区域内的像素,其形式可以是:,其中项“亮度”可以指可基于比如原始图像110(图1所示)的原始图像亮度的归一化的亮度值,例外的是其被归一化为在0到1的范围内对其量化并考虑由设置以上详述的黑点光度值332和白点光度值338而建立的最大范围。数学上,这些条件可通过如下定义在上述表达式中所用的“亮度”来满足:。类似地,在一个实施例中,可以局部地运用到高光区域以调整该区域的像素的色调曲线的形式可以是:,其中项“亮度”还是指上述的归一化的亮度值。
上述色调曲线可以表达为运用到原始图像像素的亮度值以实现局部和自动的预期调整的增益因子。本领域技术人员将认识到,输出或运用增益因子的结果仅仅是输入与增益因子的乘积。结果,增益因子仅仅是输出和输入的比值。对于像素亮度值的情况,运用到给定像素的增益因子是运用增益因子之后得到的结果亮度值除以原始亮度值。如前面所指出的,在一个实施例中,可运用到阴影区域的色调曲线的形式可以为:,或更具体地,这样一个表达式可以表示输出(归一化的)亮度。输入(还是归一化的)亮度仅仅是项“亮度”。输出除以输入,运用到阴影区域中的像素亮度的增益因子可以是,该式消去项“亮度”,就变成了。因此,运用到阴影区域中的像素亮度的增益因子可取决于那些像素的原始亮度和运用于该阴影区域中的增强量,运用于该阴影区域中的增强量可以被自动和动态地调整,这将在下面做进一步的详述。类似地,在一个实施例中,可运用于高光区域的色调曲线的形式可以是:,或更具体地,这样一个表达式可以表示输出(归一化的)亮度。输入(还是归一化的)亮度仅仅是项“亮度”。输出除以输入,运用到高光区域中的像素亮度的增益因子可以是,该式消去项“亮度”,就变成了。因此,运用到高光区域中的像素亮度的增益因子可以取决于那些像素的原始亮度和运用于该高光区域的增强量,运用于该高光区域的增强量同运用于阴影区域的增强量一样可以被自动和动态地调整,调整方式将在下面做进一步的详述。
由于可以运用的预期的自动调整的局部性属性,因此上述增益描述是在运用到阴影区域的那些像素的增益和分别决定的运用到高光区域的那些像素的增益范围的上下文中提供的。然而,如前面所指出的,像素可以被加权为至少部分地属于高光和阴影区域这两者。同样地,在一个实施例中,运用到原始图像的每个像素的增益可以是针对阴影区域的增益乘以该像素被分配为属于阴影区域的任何加权,加上针对高光区域的增益乘以该像素被分配为属于高光区域的任何加权。此外,尽管上述描述是在亮度值的上下文中提供的,但所述增益调整的一个优点在于它可以直接运用到每个像素的色彩数据。因此,例如,在公知的红、绿、蓝(RGB)色彩空间里,上述增益可简单地直接运用到像素的红、绿、蓝分量。在一个可选的实施例中,比如YIQ色彩空间,增益可以被运用到亮度(Y)分量。
翻到图4,***400示出了自动确定运用到高光区域和阴影区域的增强量的一个示例性机制。首先,可选择原始参考图像集合410。在一个实施例中,该原始参考图像集合410可以仅仅是展现在高光区域和阴影区域中细节的典型丢失(比如在用户想要自动调整的照片类型中会找到的)的图像。从原始参考图像集合410中,可以生成比如原始参考图像直方图420的一个或多个直方图,如生成动作411所示。本领域技术人员将认识到,图像的直方图可以是示出具有特定特征(比如特定光强度)的像素量的图形表示。例如,可以在直方图的水平轴上设置一个光强度值范围,然后对于每个光强度值,该光强度值处的条高度可以代表图像中具有该光强度值的像素数。
在一个实施例中,原始参考图像集合410中的每个原始参考图像通过动作411可以具有至少三个原始参考图像直方图,比如集合420中为其生成的原始参考图像直方图。一个这样的原始参考图像直方图可以是原始参考图像的传统的直方图。另一个原始参考图像直方图可以是原始参考图像中被识别为阴影区域的那些区域的直方图,第三个原始参考图像直方图可以是原始参考图像中被识别为高光区域的那些区域的直方图。将原始参考图像中的像素识别或加权为至少部分地属于高光区域或阴影区域,这可以通过使用任意多个方法来实现,这些方法包括,例如,手动勾画这种高光区域和阴影区域,或可选地,通过比如上面详细描述的自动的方法。
对于被识别为仅部分在高光区域、阴影区域或其某种结合中加权的像素,得到的原始参考图像直方图可以考虑此加权。比如,如果一个示例性的像素仅加权为50%属于阴影区域,那么当比如通过动作411生成阴影区域直方图时,生成的直方图在统计该阴影区域内与该示例性的像素具有同样亮度值的像素总数的时候,可以将这个示例性的像素仅算作半个像素。类似地,如果该示例性的像素也被加权为25%属于高光区域,那么,在生成高光区域直方图时,所生成的直方图在统计该高光区域内与该示例性的像素具有同样亮度值的像素总数的时候,可以将这个示例性的像素仅算作四分之一个像素。然而,当生成整个图像的直方图时,在统计整个图像内与该示例性的像素具有同样亮度值的像素总数的时候,该示例性的像素可以算作整个像素。在这种方式中,像素、或至少其部分可以被计入在生成的阴影区域直方图、高光区域直方图和整个图像直方图的一个或多个中。
一旦通过动作411从原始参考图像集合410中生成了原始参考图像直方图集合420,就可以对原始参考图像直方图集合420中的每个直方图生成各种矩。在一个实施例中,所生成的矩可以包括可被认为是一阶矩的直方图所表示的亮度值的平均值,可以被认为是二阶矩的直方图中表示的亮度值的方差,以及其它不同阶的矩。比如,直方图中亮度值的平方根均值可以被认为是1/2阶的矩。原始参考图像矩的集合430可以以这种方式从原始参考图像直方图集合420比如通过生成动作421生成。还是如前面指出的,针对原始参考图像集合410中的每个原始参考图像,可以生成作为原始参考图像直方图集合420的一部分的多个原始参考图像直方图,并且针对那些生成的直方图的每一个可以生成作为原始参考图像矩的集合430的一部分的多个矩。
此外,原始参考图像集合410中的原始参考图像可以被手动优化,比如图4的***400所示的手动优化动作412所示。在一个实施例中,这种手动优化可以包括对那些原始参考图像的高光区域和阴影区域这两者手动、局部运用调整。这种手动优化可以从原始参考图像410得到代表改善的视觉呈现的手动优化的参考图像集合440。通俗地说,手动优化参考图像集合440可以被认为是在给定原始参考图像集合410的情况下(比如由熟练的图像编辑者)所能获得的“最佳”结果。
比如由生成动作441所示,手动优化的参考图像直方图集合450可以从手动优化的参考图像集合440生成,这和从原始参考图像集合410通过生成动作411生成原始参考图像直方图集合420的方式相同。因此,在一个实施例中,手动优化参考图像直方图集合450可以包含针对手动优化的参考图像集合440中的各个手动优化的图像的多个直方图,例如包括,针对整个手动优化参考图像的手动优化的参考图像直方图,以及仅针对手动优化的参考图像的阴影区域和针对独立的高光区域的各个手动优化的参考图像直方图。
进一步地,可以从手动优化的参考图像直方图集合450中的直方图生成一个或多个矩,比如上面参照原始矩集合430描述的矩。因此,如图4的***400所示,生成动作451可以从手动优化的参考图像直方图集合450生成优化的矩集合460。
利用原始矩集合430和优化的矩集合460,可以执行回归分析436来导出将原始矩关联到相应的优化矩的一个或多个函数470。例如,回归分析436可以生成一个函数,它可以是所述一个或多个函数470的一部分,其可以描述针对整个图像生成的原始参考图像直方图的均值与同样针对整个图像生成的手动优化的参考图像直方图的均值之间的关系。作为另一例子,回归分析436可以生成不同的函数,它也可以是一个或多个函数470的一部分,它们可以描述仅针对阴影区域生成的原始参考图像直方图的均值与同样仅针对阴影区域的手动优化的参考图像直方图的均值之间的关系。在一个实施例中,回归分析436能够导出函数470,对于阴影区域,函数470专用于包括如下内容的矩:整个图像的均值、仅阴影区域的均值、阴影区域的标准偏差以及针对整个图像的平方根矩;对于高光区域,函数470专用于包括如下内容的矩:整个图像的方差、整个图像的均值、整个图像的平方根矩、仅高光区域的均值以及仅高光区域的标准偏差。
作为一个例子,描述仅针对阴影区域生成的原始参考图像直方图的均值和仅针对阴影区域生成的手动优化的参考图像直方图的均值之间的关系的一个函数的形式可以是:目标阴影均值=Min(0.7,0.6727×原始阴影均值+0.3538)。作为另一个例子,描述仅针对阴影区域生成的原始参考图像直方图的标准偏差和仅针对阴影区域生成的手动优化的参考图像直方图的标准偏差之间的关系的函数的形式可以是:目标阴影标准偏差=Min(0.7,0.5494×Min(1,原始阴影标准偏差)+0.4171)。其它示例性的函数可以如下:对于阴影区域,目标全局均值=Min(0.7,0.5589×原始全局均值+0.3001)以及目标全局平方根矩=Min(0.8,0.4891×原始全局平方根矩+0.407)。类似地,对于高光区域,示例性的函数可包括:目标全局方差=Max(0.02,0.7047×原始全局方差),目标全局均值=Max(0.01,0.7859×原始全局均值),目标全局平方根矩=0.2,目标高光均值=Max(0.01,1.3290×原始高光均值-0.4119),目标高光标准偏差=Max(0.01,1.3409×(1.0-原始高光标准偏差)-0.3788)。结果,在一个实施例中,一个或多个函数470可以将原始值关联到类似直方图的类似矩的手动优化的值或者“目标”值。
一旦得到了这样的一个或多个函数470,在一个实施例中,这只需在最初完成一次,这样的一个或多个函数470就可以被用于后续图像的自动和局部的调整。例如,原始图像110可以以图4的***400所示的方式被自动调整。最初,可以从原始图像110生成一个或多个图像直方图480,如生成动作481所示。如上详述的,能够生成的一个或多个图像直方图480可以包括整个图像110的直方图,和仅原始图像110的阴影区域和高光区域各自的直方图。可以从那些一个或多个图像直方图480生成多个图像矩490,如生成动作491所示。如上所述,多个图像矩490可以包括,例如:整个原始图像110的直方图均值、原始图像110的阴影区域的直方图的均值、原始图像110的高光区域的直方图的均值、整个原始图像110的直方图的方差、原始图像110的阴影区域的直方图的方差、原始图像110的高光区域的直方图的方差,等等。
利用一个或多个函数470,可以生成目标矩495,如生成动作492所示。例如,来自一个或多个函数470的函数可以已经由回归分析436生成,并且定义整个原始参考图像的直方图的均值与整个手动优化的参考图像的直方图的均值之间的关系,可以利用该函数,借助整个原始图像110的直方图的均值,从矩490生成可以作为目标矩495的一部分的、整个图像的直方图的目标均值。同样,可以利用定义原始参考图像的高光区域的直方图的均值与手动优化的参考图像的高光区域的直方图的均值之间的关系的函数,借助高光区域直方图的均值,从矩490之中生成可以作为目标矩495的一部分的、仅高光区域的直方图的目标均值。
一旦生成了目标矩495,就可以自动调整原始图像110,如动作499所示,直至目标矩495中的一个或多个被满足,从而产生自动校正的图像130。更具体地,最初可以选择原始图像110的区域,比如高光区域或阴影区域。接下来,可以选择该区域中的初始增强量并根据以上所述进行运用该初始增强量。例如,如果最初选择了原始图像110的阴影区域,则可以选择该阴影区域的初始增强量,并通过用等于的量乘以该阴影区域的每个像素来运用该初始增强量,其中“阴影区域中的增强量”是被选择运用的阴影区域中的初始增强量,并且“亮度”是运用该增益的像素的亮度。类似地,如果最初选择了原始图像110的高光区域,可以选择该高光区域中的初始增强量,并通过用等于的量乘以高光区域的每个像素来运用该初始增强量,其中“高光区域中的增强量”是选择运用的高光区域中的初始增强量,并且“亮度”是运用该增益的像素的亮度。
一旦该初始增强量被运用到高光区域或阴影区域,就可以生成一个或多个更新的图像直方图。例如,在运用了初始增强量之后,可以生成针对整个图像的更新的直方图。作为选择或此外,取决于选择哪个区域来接收初始增强量,可以生成仅针对阴影区域或高光区域的更新的直方图。生成的直方图随后能够被用来生成矩(比如均值、方差或其它的矩),这些矩可以与对应的目标矩495相比较。例如,阴影或高光区域直方图的均值可以与对应的目标均值相比较。在一个实施例中,如果满足了来自目标矩495之中的任一目标矩,那么可以停止对原始图像110(至少针对曾运用那些调整的区域)进行调整。在另一个实施例中,可以继续进一步的调整以确定后续的应用是否会导致将满足其它目标矩。在这样的另一实施例中,如果后续的调整不会导致其它目标矩被满足,则根据需要也可以不作出那些调整。
然而,如果初始增强不足以导致新计算的矩中任一个等于至少一个目标矩,比如目标矩495,则处理可返回到对增强量的选择上,并且可以选择新的、更大的增强量。上述处理随后可以重复进行以确定是否更大的增强量导致一个或更多目标矩的实现。在一个实施例中,可以利用依赖于二分法或牛顿方法的传统优化算法来增加通向解量的收敛速度。
一旦最初选择的区域被调整了使得满足了至少一个相关目标矩,就可以选择另一个区域。例如,如果最初选择了阴影区域,并且将其调整到直至满足了目标矩495中的至少一个目标矩,那么随后可以选择高光区域,并可以以上述同样的方式将其调整。作为选择,对高光区域和阴影区域的调整可以以交替的顺序进行,每次调整比上一次要大,直至满足目标矩495中的至少一个目标矩,或作为选择,直至满足多个目标矩。在这种方式中,可以实施以局部的方式在原始图像110的高光区域和阴影区域上分别进行的自动调整,从而产生自动校正的图像130,如图4的动作499所示。
翻到图5,其中所示的流程图500示出了可以生成直方图矩和目标直方图矩之间的函数关系的一系列示例性步骤。最初,如流程图500的步骤510所示,可以选择包含一个或多个的参考图像的集合。接下来,在步骤520中,可以生成针对每个参考图像的高光和阴影模片,比如根据上面详述的机制。利用步骤520中生成的模片,可以在步骤530中生成直方图,包括,例如每个整个图像的直方图、仅每个图像的阴影区域的直方图和仅每个图像的高光区域的直方图。利用步骤530中生成的直方图,可以在步骤540中生成一个或多个矩,包括,例如可认为是一阶矩的均值、可认为是二阶矩的方差等。同样,如上所述,步骤540生成的矩可以包括针对整个图像直方图的矩、以及仅针对阴影区域直方图或仅高光区域直方图的矩,及其它类似的矩。
一旦在步骤540中生成相关的矩,处理可进行到步骤550,此时,步骤510中选择的一个或多个参考图像可以被手动地调整来优化其视觉质量。例如,在步骤550,可以由熟练的用户以手动的方式运用上述增强来调整选择的图像,使得高光区域和阴影区域内原本不容易被看见的细节变得更加清晰。在一个可替换的实施例中,在步骤550,熟练的用户可以利用其它已知的数字照片编辑工具来作出他们认为是有必要的那些调整,以使参考图像更美观,或者优化它们的视觉质量。在步骤550的手动调整之后,在步骤560,可以生成类似步骤530生成的那些直方图。例如,在步骤560,可以生成整个图像的直方图、高光区域的直方图和阴影区域的直方图。在一个实施例中,在调整的图像中可以利用先前在步骤520为该图像生成的高光和阴影模片来识别高光区域和阴影区域。在步骤570中,从步骤560中生成的直方图可生成类似于步骤540中生成的那些矩。和前面一样,这些矩可以包括均值、方差和其它轻量矩。
在步骤580,可以生成步骤540中生成的直方图矩和步骤570中生成的直方图矩之间的函数关系。例如,在一个实施例中,在步骤580中可以利用线性回归来生成函数关系。最终,如上所详述的,可以利用步骤580中生成的函数关系从根据此处描述的机制进行自动局部增强的原始图像的已知的原始矩生成目标矩。一旦在步骤580中生成此函数关系,相关处理可以在步骤590中结束。
翻到图6,其中所示的流程图600示出了原始图像可以自动地以局部的方式进行调整的一系列示例性步骤。最初,在步骤610,可获取原始图像,比如由想对图像运用自动、局部的调整来改善图像的视觉外观的用户指定。接下来,在步骤620,可以以比如上面详述的方式生成针对步骤610指定的图像的高光和阴影模片。接下来,在步骤630,可以生成针对在步骤610中接收的图像的一个或多个直方图。在步骤630中生成的直方图可以包括整个图像的直方图,以及利用步骤620中生成的高光和阴影模片来识别的图像的阴影区域和图像的高光区域的直方图。在步骤640,可以生成针对步骤630中生成的直方图的一个或多个矩。如前所述,这些矩可以包括均值,方差值,或其它值,并且可以针对步骤630中生成的每一个直方图来生成。
在步骤650,利用在步骤640中生成的原始矩以及原始矩和目标矩之间的预定函数关系可以生成一个或多个目标矩,函数关系例如是流程图500中(如图5所示)生成的函数关系,更具体地说,是比如流程图500的步骤580(均在图5示出)所生成的函数关系。在步骤660,可以比如以上面详述的方式选择并运用要运用到高光区域或阴影区域的增强量。在一个实施例中,对一个区域的增强可以一直进行直到完成,然后可进行对另一个区域的增强,而在另一个实施例中,对多个区域的增强可以并行进行。一旦在步骤660中对比如高光区域,阴影区域或对二者并行运用了增强,处理可以进行到步骤670,此时,可以针对在步骤660中运用增强得到的图像生成一个或多个直方图,比如整个图像的直方图,阴影区域和高光区域的直方图。在步骤680,可以生成步骤670中生成的一个或多个直方图的相关矩,比如均值和方差。在步骤690,步骤680中生成的矩可以与步骤650中生成的对应的目标矩进行比较。如果在步骤690中确定在步骤680生成的矩与在步骤650生成的目标矩相等,则在步骤660中运用增强得到的图像可以成为自动校正的图像,并且可以作为自动校正的图像提供给用户,比如步骤699所示。相反,如果在步骤690中确定在步骤680中生成的矩与在步骤650中生成的目标矩不相等,则处理可返回到步骤660。
如前面所指出的,在一个实施例中,在步骤690,可以确定是否至少有一个矩与对应的目标矩相等。然而在可替换的实施例中,步骤690处的确定可以寻求等于多个目标矩、或等于最大数量的目标矩,包括如果那些之前运用的增强减少了满足的目标矩的数量则撤销之前运用的增强。
如果在步骤690确定处理应该回到步骤660,则在一个实施例中,在步骤660中运用的后续增强可以运用到之前运用过增强的相同区域。例如,如果在步骤610接收的原始图像的阴影区域被选择在步骤660中增强,则一旦之后回到步骤660,该阴影区域可以再次被增强。可替换地,如果在步骤690确定处理应返回到步骤660,则在步骤660运用的后续增强可以运用到与之前运用过增强的区域所不同的区域。因此,例如,如果在步骤660选择阴影区域来增强,则一旦后面回到步骤660,可以选择高光区域而非阴影区域来增强。
翻到图7,示出了示例性的计算设备700,结合它,上述机制能够在其上实施。图7的示例性的计算设备700可以包括但不限于一个或多个中央处理单元(CPU)720,可以包括RAM732的***存储器730,和将包括***存储器的各个***组件耦合到处理单元720的***总线721。***总线721可以是包括存储器总线或存储控制器、***总线和采用多种总线架构中任一种的局部总线的若干类型总线结构的任意一个。计算设备700可以包括图形硬件,例如用于以上面详述的方式可被自动地、局部地增强的图像的显示。计算设备700的图形硬件可以包括但不限于图形硬件接口750和显示设备751。此外,计算设备700也可以包括比如可以从中获取数字图像的数字摄影机(未示出)的图形输入硬件。图形硬件可以与***总线721通信耦合。
计算设备700典型地也包括计算机可读媒介,它可以包括能够被计算设备700访问的任何可用的媒介,并包括易失和非易失的媒介以及可移动和非可移动的媒介。作为示例,而非限制,计算机可读媒介可以包括计算机存储媒介和通信媒介。计算机存储媒介包括以任何方法或技术实施的用于比如计算机可读指令、数据结构、程序模块或其它数据之类的信息的存储的媒介。计算机存储媒介包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储装置、磁盒、磁带、磁盘存储或其它磁性存储设备,或可用来存期望的信息并可以由计算设备700访问的任何其它媒介。通信媒介典型地将计算机可读指令、数据结构、程序模块或其它数据具体化在调制数据信号上,调制数据信号比如是载波或其它传输机制并包括任何信息传送媒介。作为示例,而非限制,通信媒介包括比如有线网络或专线连接的有线媒介和比如声、RF、红外和其它无线媒介的无线媒介。任何上述的组合也应包含在计算机可读媒介的范围内。
***存储器730包括易失的及/或非易失存储器形式的计算机存储媒介,比如只读存储器(ROM)731和前面提到的RAM 732。包含帮助比如在启动时在计算设备700的元件之间传输信息的基本例程的基本输入/输出***733(BIOS)典型地存储在ROM 731中。RAM 732典型地包含立即可访问的和/或目前正在被处理单元720操作的数据及/或程序模块。作为示例,而非限制,图7描述了操作***734以及其它程序模块735和程序数据736。
计算设备700也可包括其它可移动/非可移动的、易失/非易失的计算机存储媒介。仅作为示例,图7描述了从非可移动、非易失的磁介质读取或向其写入的硬盘驱动器741。可以与示例性的计算设备一起使用的其它可移动的/非可移动的、易失的/非易失的计算机存储媒介包括但不限于,盒式磁带、闪存卡、数字多功能盘、数字录影带、固态RAM,固态ROM等。硬盘驱动741典型地通过比如接口740的非可移动存储器接口连到***总线721。
上面所讨论的及图7所示的驱动器及它们相关的计算机存储媒介为计算设备700提供计算机可读指令、数据结构、程序模块及其他数据的存储。例如在图7中,硬盘驱动741被示出为存储操作***744、其它程序模块745和程序数据746。注意这些组件可以与操作***734、其它程序模块735及程序数据736相同或不同。操作***744、其它程序模块745和程序数据746此处被赋予不同的数字来说明至少它们是不同的副本。
计算设备700可以使用到一个或多个远程计算机的逻辑连接而工作在联网环境中。计算设备700被示出为通过网络接口或适配器760连接到通用网络连接761,网络接口或适配器760进而连接到***总线721。在联网环境中,描述为与计算设备700或其部分或***设备相关的程序模块可以在一个或多个通过通用网络连接771与计算设备700通信耦合的其它计算设备的存储器中存储。要理解的是所示网络连接是示例性的,并且可以使用在计算设备之间建立通信连接的其它方式。
如从上述描述中可以看出,列举了自动地且局部地调整和增强数字图像的机制。考虑到此处描述的主题的多种可能的变体,作为我们的发明,我们要求保护可落入下面随附的权利要求书及其等同体范围内的所有这样的实施例。
Claims (10)
1.一种通过以局部的方式自动调整数字图像(110)来生成改善的图像的方法,所述方法包含步骤:
生成模片,其将数字图像(110)的高光区域区别于所述数字图像的阴影区域勾画出来;
生成所述数字图像(110)的一个或多个直方图(480);
从所述数字图像(110)的一个或多个直方图(480)中生成一个或多个矩(490);
从一个或多个矩(490)中生成一个或多个目标矩(495);
对所述数字图像(110)中由所述模片勾画的区域运用调整以获取调整的图像(130);
对应于从所述数字图像(110)中生成的所述一个或多个直方图(480)的至少一些,生成所述调整的图像的一个或多个调整的直方图;
从所述一个或多个调整的直方图中生成一个或多个调整的矩;所述一个或多个调整的矩对应于从所述一个或多个直方图(480)中生成的矩(490)中的至少一些;及
如果所述调整的矩没有一个等于对应的目标矩(495),则在调整比先前运用的调整更大的情况下重复所述运用调整、所述生成所述一个或多个调整的直方图、及所述生成所述一个或多个调整的矩。
2.根据权利要求1所述的方法,其中所述生成模片包括对所述数字图像运用高斯模糊,并从所述高斯模糊和所述数字图像的混合生成所述模片,所述混合在高斯模糊的数字图像上的、高斯模糊的梯度接近于其理论最大值的区域中强化所述数字图像。
3.根据权利要求1所述的方法,其中所述生成一个或多个直方图包括生成仅针对所述数字图像的高光区域的高光区域直方图以及仅针对所述数字图像的阴影区域的阴影区域直方图。
4.根据权利要求1所述的方法,其中所述生成一个或多个矩包括生成所述一个或多个直方图的个体的均值及所述一个或多个直方图的个体的方差。
5.根据权利要求1所述的方法,进一步包括步骤:如果所述调整的矩的至少一个等于对应的目标矩,则在区域与先前调整所运用的先前区域不同的情况下重复所述运用调整、所述生成所述一个或多个调整的直方图及所述生成所述一个或多个调整的矩。
6.根据权利要求1所述的方法,其中所述重复是对高光区域和阴影区域交替实施的。
7.根据权利要求1所述的方法,进一步包括步骤:即使所述调整的矩的至少一个等于对应的目标矩,也在调整比先前运用的调整更大的情况下重复所述运用调整、所述生成所述一个或多个调整的直方图及所述生成所述一个或多个调整的矩,以确定是否所述重复将导致更多的调整的矩等于对应的目标矩。
8.根据权利要求1所述的方法,其中所述生成所述一个或多个目标矩包括:
针对参考图像集合中的每个参考图像生成模片,所生成的模片将参考图像的高光区域区别于所述参考图像的阴影区域勾画出来;
针对所述参考图像集合中的每个参考图像生成一个或多个参考图像直方图;
针对所述参考图像集合中的每个参考图像从所述一个或多个参考图像直方图中生成一个或多个参考图像矩;
手动优化所述参考图像集合中的每个参考图像的视觉外观以增强所述高光区域和所述阴影区域的细节;
针对所述参考图像集合中的每个手动优化的参考图像生成一个或多个优化的直方图;
针对所述参考图像集合中的每个参考图像从所述一个或多个优化的直方图中生成一个或多个优化的矩;
生成所述一个或多个矩的个体与所述一个或多个优化的矩的对应个体之间的函数关系;及
利用所生成的函数关系从所述一个或多个矩中生成所述一个或多个目标矩。
9.一种通过以局部的方式自动调整数字图像(110)来生成改善的图像的设备,所述设备包含步骤:
用于生成模片的组件,其将数字图像(110)的高光区域区别于所述数字图像的阴影区域勾画出来;
用于生成所述数字图像(110)的一个或多个直方图(480)的组件;
用于从所述数字图像(110)的一个或多个直方图(480)中生成一个或多个矩(490)的组件;
用于从一个或多个矩(490)中生成一个或多个目标矩(495)的组件;
用于对所述数字图像(110)中由所述模片勾画的区域运用调整以获取调整的图像(130)的组件;
用于对应于从所述数字图像(110)中生成的所述一个或多个直方图(480)的至少一些,生成所述调整的图像的一个或多个调整的直方图的组件;
用于从所述一个或多个调整的直方图中生成一个或多个调整的矩的组件;所述一个或多个调整的矩对应于从所述一个或多个直方图(480)中生成的矩(490)中的至少一些;及
用于如果所述调整的矩没有一个等于对应的目标矩(495),则在调整比先前运用的调整更大的情况下重复所述运用调整、所述生成所述一个或多个调整的直方图、及所述生成所述一个或多个调整的矩的组件。
10.一种生成原始直方图矩和目标直方图矩之间的函数关系(470)的方法,所述方法包括步骤:
针对参考图像集合(410)的每个参考图像生成模片,所生成的模片将参考图像的高光区域区别于参考图像的阴影区域勾画出来;
针对所述参考图像集合(410)的每个参考图像生成一个或多个直方图(420);
针对所述参考图像集合(410)的每个参考图像从所述一个或多个直方图(420)中生成一个或多个矩(430);
手动优化所述参考图像集合(410)中的每个参考图像的视觉外观以增强所述高光区域和所述阴影区域的细节;
针对所述参考图像集合中的每个手动优化的参考图像生成一个或多个优化的直方图(450);
针对所述参考图像集合中的每个参考图像从所述一个或多个优化的直方图(450)中生成一个或多个优化的矩(460);及
生成所述一个或多个矩(430)的个体与所述一个或多个优化的矩(460)的对应个体之间的函数关系(470)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/034811 | 2011-02-25 | ||
US13/034,811 US8644638B2 (en) | 2011-02-25 | 2011-02-25 | Automatic localized adjustment of image shadows and highlights |
US13/034,811 | 2011-02-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102693532A CN102693532A (zh) | 2012-09-26 |
CN102693532B true CN102693532B (zh) | 2016-08-10 |
Family
ID=46719031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210045349.8A Active CN102693532B (zh) | 2011-02-25 | 2012-02-27 | 图像阴影和高光的自动局部调整 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8644638B2 (zh) |
CN (1) | CN102693532B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666148B2 (en) | 2010-06-03 | 2014-03-04 | Adobe Systems Incorporated | Image adjustment |
US8842911B2 (en) | 2011-02-04 | 2014-09-23 | Apple Inc. | Luma-based color matching |
US8644638B2 (en) * | 2011-02-25 | 2014-02-04 | Microsoft Corporation | Automatic localized adjustment of image shadows and highlights |
US8903169B1 (en) | 2011-09-02 | 2014-12-02 | Adobe Systems Incorporated | Automatic adaptation to image processing pipeline |
US9008415B2 (en) * | 2011-09-02 | 2015-04-14 | Adobe Systems Incorporated | Automatic image adjustment parameter correction |
US9031319B2 (en) * | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US9536290B2 (en) * | 2012-06-10 | 2017-01-03 | Apple Inc. | Tempered auto-adjusting, image-editing operation |
US9070195B2 (en) * | 2012-06-10 | 2015-06-30 | Apple Inc. | Method and system for auto-enhancing photographs with saturation adjustments |
KR101493418B1 (ko) * | 2013-03-29 | 2015-02-13 | 현대엠엔소프트 주식회사 | 공중사진의 그림자 제거 방법 및 그 장치 |
US9105088B1 (en) * | 2013-10-04 | 2015-08-11 | Google Inc. | Image blur with preservation of detail |
TWI532026B (zh) * | 2013-12-18 | 2016-05-01 | 原相科技股份有限公司 | 影像亮度調整方法、物件追蹤方法以及物件追蹤裝置 |
CN103761134A (zh) * | 2014-01-28 | 2014-04-30 | 华为技术有限公司 | 一种处理图片的方法及电子设备 |
US9165210B1 (en) | 2014-05-27 | 2015-10-20 | Qualcomm Incorporated | Systems and methods for localized contrast enhancement |
US10607324B2 (en) | 2015-04-28 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
US9767543B2 (en) * | 2015-09-22 | 2017-09-19 | Samsung Electronics Co., Ltd. | Method and apparatus for enhancing images via white pop-out |
US9576351B1 (en) * | 2015-11-19 | 2017-02-21 | Adobe Systems Incorporated | Style transfer for headshot portraits |
WO2017177284A1 (en) * | 2016-04-15 | 2017-10-19 | University Of Southern Queensland | Methods, systems, and devices relating to shadow detection for real-time object identification |
AU2018250354B2 (en) * | 2016-04-15 | 2020-11-19 | Deere And Company | Method and System for Extracting Shadows from an Image during Optical Based Selective Treatment of an Agricultural Field |
CN106296617B (zh) * | 2016-08-22 | 2019-03-05 | 腾讯科技(深圳)有限公司 | 人脸图像的处理方法及装置 |
KR102397924B1 (ko) * | 2018-03-05 | 2022-05-16 | 삼성전자 주식회사 | 이미지 보정 방식 및 이미지의 특징 정보에 기반하여 이미지를 보정하는 전자 장치 및 방법 |
US10628929B2 (en) * | 2018-05-28 | 2020-04-21 | Augentix Inc. | Method and computer system of image enhancement |
US11217205B2 (en) * | 2018-07-12 | 2022-01-04 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering contents for vision accessibility |
US11049224B2 (en) | 2018-12-05 | 2021-06-29 | Microsoft Technology Licensing, Llc | Automated real-time high dynamic range content review system |
JP2021173901A (ja) * | 2020-04-27 | 2021-11-01 | キヤノン株式会社 | 表示制御装置、表示制御方法およびプログラム |
CN111914934B (zh) * | 2020-07-31 | 2023-07-04 | 平安科技(深圳)有限公司 | 基于局部阴影特效的图像样本生成方法及装置 |
CN112291522B (zh) * | 2020-10-28 | 2023-11-24 | 广东小天才科技有限公司 | 一种像素风表盘背景的预览方法及可穿戴设备 |
CN112561847B (zh) * | 2020-12-24 | 2024-04-12 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
CN114205573B (zh) * | 2021-11-29 | 2024-04-30 | 信利光电股份有限公司 | 一种摄像头成像为圆形画面的镜头阴影校正方法及摄像模组 |
US11772561B1 (en) * | 2022-04-07 | 2023-10-03 | GM Global Technology Operations LLC | Digital flashlight to help hitching and other maneuvers in dim environment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320469A (zh) * | 2008-07-09 | 2008-12-10 | 北京新岸线网络技术有限公司 | 图像光照校正方法、图像光照校正装置 |
CN101739678A (zh) * | 2008-11-10 | 2010-06-16 | 财团法人工业技术研究院 | 物体阴影的检测方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5818975A (en) * | 1996-10-28 | 1998-10-06 | Eastman Kodak Company | Method and apparatus for area selective exposure adjustment |
US7088388B2 (en) | 2001-02-08 | 2006-08-08 | Eastman Kodak Company | Method and apparatus for calibrating a sensor for highlights and for processing highlights |
US7068841B2 (en) | 2001-06-29 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | Automatic digital image enhancement |
US6826310B2 (en) * | 2001-07-06 | 2004-11-30 | Jasc Software, Inc. | Automatic contrast enhancement |
US7113649B2 (en) * | 2002-06-24 | 2006-09-26 | Eastman Kodak Company | Enhancing the tonal characteristics of digital images |
US6941005B2 (en) * | 2002-11-01 | 2005-09-06 | Coulter International Corp. | Monitoring and control of droplet sorting |
US7283666B2 (en) * | 2003-02-27 | 2007-10-16 | Saquib Suhail S | Digital image exposure correction |
US7970171B2 (en) * | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
US7586653B2 (en) * | 2005-04-22 | 2009-09-08 | Lexmark International, Inc. | Method and system for enhancing an image using luminance scaling |
US20080267524A1 (en) | 2007-04-30 | 2008-10-30 | Doron Shaked | Automatic image enhancement |
JP4978378B2 (ja) * | 2007-08-31 | 2012-07-18 | セイコーエプソン株式会社 | 画像処理装置 |
US8285059B2 (en) | 2008-05-20 | 2012-10-09 | Xerox Corporation | Method for automatic enhancement of images containing snow |
US20100195906A1 (en) | 2009-02-03 | 2010-08-05 | Aricent Inc. | Automatic image enhancement |
CN101833749B (zh) * | 2009-03-12 | 2012-03-28 | 株式会社理光 | 检测图像中阴影的装置和方法 |
US8644638B2 (en) * | 2011-02-25 | 2014-02-04 | Microsoft Corporation | Automatic localized adjustment of image shadows and highlights |
US8554011B2 (en) * | 2011-06-07 | 2013-10-08 | Microsoft Corporation | Automatic exposure correction of images |
-
2011
- 2011-02-25 US US13/034,811 patent/US8644638B2/en active Active
-
2012
- 2012-02-27 CN CN201210045349.8A patent/CN102693532B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320469A (zh) * | 2008-07-09 | 2008-12-10 | 北京新岸线网络技术有限公司 | 图像光照校正方法、图像光照校正装置 |
CN101739678A (zh) * | 2008-11-10 | 2010-06-16 | 财团法人工业技术研究院 | 物体阴影的检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US8644638B2 (en) | 2014-02-04 |
CN102693532A (zh) | 2012-09-26 |
US20120219218A1 (en) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102693532B (zh) | 图像阴影和高光的自动局部调整 | |
CN104717432B (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
CN101242476B (zh) | 图像颜色自动校正方法及数字摄像*** | |
CN109801240B (zh) | 一种图像增强方法以及图像增强装置 | |
CN105745914B (zh) | 用于逆色调映射的方法和*** | |
CN101061704B (zh) | 色彩调整装置及方法 | |
US8538147B2 (en) | Methods and appartuses for restoring color and enhancing electronic images | |
CN103593830B (zh) | 一种低照度视频图像增强方法 | |
US8902328B2 (en) | Method of selecting a subset from an image set for generating high dynamic range image | |
CN110706172B (zh) | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | |
CN101983510B (zh) | 自适应局部白平衡调节的***与方法 | |
CN103632351A (zh) | 一种基于亮度基准漂移的全天候交通图像增强方法 | |
CN104935902A (zh) | 图像色彩增强方法、装置及电子设备 | |
CN108024105A (zh) | 图像色彩调节方法、装置、电子设备及存储介质 | |
CN105096267A (zh) | 一种基于拍照识别调节眼部亮度的方法和装置 | |
CN107077830A (zh) | 适用于无人机控制端的屏幕亮度调整方法及无人机控制端 | |
CN106454144B (zh) | 一种对谷歌眼镜图像过度曝光的校正方法 | |
CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
US20230074060A1 (en) | Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
CN106686320B (zh) | 一种基于数密度均衡的色调映射方法 | |
CN114222098B (zh) | 投影设备伽马曲线调整方法及设备 | |
CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN108564633B (zh) | 灰度图像压缩方法、装置及计算机设备 | |
WO2012167128A1 (en) | Image content-based color balancing | |
CN106803920A (zh) | 一种图像处理的方法、装置及智能会议终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150611 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150611 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |