CN102918562B - 用于生成增强图像的方法和*** - Google Patents

Abstract

一种生成图像增强函数的方法，该函数用于增强包括多个像素的输入图像以形成增强输出图像。该方法包括接收包括多个像素的参考图像；接收源自包括相应多个像素的参考图像的增强图像；计算多个查找表，其中每个查找表将第一多个像素值映射到第二多个像素值；生成包括查找表的空间变化函数的图像增强函数，该图像增强函数当被应用于参考图像时生成增强图像的近似值。

Description

用于生成增强图像的方法和***

技术领域

本发明涉及用于生成增强图像(enhancedimage)的方法和***。

背景技术

通常，开始于图像X并以某种方式(如动态范围压缩、对比度扩展或色调映射)处理该图像，以在某种意义上增强图像，给出图像Y＝f(X)。通常增强函数是局部变化的(localvarying)并且计算成本高。此外，增强可能以引入一些空间伪影(spatialartefact)的代价改进一些图像特征。作为一个例子，在动态范围压缩中，大的输入信号范围被映射到较小范围(其中使所有图像细节变得显著)，在高对比度的边缘处常常引入了“晕轮(halo)”或“振铃(ringing)”伪影。

一种避免空间伪影的方式是在空间上处理所述图像，计算Y＝f_spatial(X)，然后找到使f_global(X)＝Y的全局映射函数f_global()。f_global()是指这样的函数：它将X中的每个不同的亮度级映射到Y中的唯一亮度级。如果X(a，b)和X(c，d)索引了X中满足X(a，b)＝X(c，d)的像素，则经过全局变换，Y(a，b)＝Y(c，d)。有许多我们可以选择用来找到全局函数近似值的方式。例如，如果我们找到使f_global()具有与Y相同的直方图的函数，则该处理被称为直方图匹配。

不幸的是，全局映射不总是能对局部计算进行近似。例如，根据定义，全局变换不能改变图像的空间结构。图1图示了非全局函数和全局函数之间的差别。这里，输入X中的每个亮度级映射到许多输出。选择这些输出之一显然表示一种粗略近似(假如映射是全局的，则所有这些点将会在一条曲线上)。

发明内容

本发明的各方面力图减少或克服上述问题中的一个或多个问题。根据本发明的第一方面，提供了一种生成图像增强函数的方法，该函数用于增强包括多个像素的输入图像以形成包括多个像素的增强输出图像，该方法包括：

接收包括多个像素的参考图像；

接收包括相应多个像素的增强图像，其中所述增强图像是从所述参考图像导出的；和

计算多个查找表(lookuptable)，

其中，每个查找表将第一多个像素值映射到第二多个像素值；和

生成图像增强函数，所述图像增强函数包括所述查找表的空间变化(spatiallyvarying)函数并且当被应用于所述输入图像时形成所述输出图像；其中，所述图像增强函数当被应用于所述参考图像时生成所述增强图像的近似值。

根据本发明的第二方面，提供了一种生成增强输出图像的方法，该方法包括：

接收包括多个像素的输入图像；和

将图像增强函数应用于输入图像以生成输出图像；

其中，所述图像增强函数包括多个查找表的空间变化函数。

本发明的优选实施例可以以计算机程序或者硬件、软件和/或固件的某种组合方式实现，或者在被配置为执行任一上述方法的所有步骤的计算机处理器上实现。

根据本发明的另一方面，提供了一种图像处理***，该***包括：第一组件，所述第一组件可操作来接收包括多个像素的输入图像；处理器，所述处理器可操作来实现上述第一和/或第二方面的方法以根据所述输入图像生成增强输出图像。

根据本发明的另一方面，提供了一种图像处理***，该图像处理***包括：

第一组件，所述第一组件可操作来接收多个输入图像，每个输入图像包括多个像素；和

处理器，所述处理器可操作来实现上述方法以根据所述多个输入图像生成多个增强输出图像。

根据本发明的另一方面，提供了一种图像输出***，所述图像输出***被设置为响应于输入数据的接收而生成输出图像，

其中，当所述输入数据编码图像数据时，所述图像输出***可操作来输出取决于所述图像数据的图像，

其中，当所述输入数据编码图像数据和图像增强函数时，所述***被设置为将所述图像增强函数应用于所述图像数据以生成所述输出图像；所述图像增强函数包括多个查找表的空间变化函数。

根据本发明的另一方面，提供了一种用于编码增强图像的数据的数据格式，所述数据格式包括：

编码了图像数据的数据，所述图像数据包括所述图像的非增强形式；和

定了义图像增强函数的数据，图像增强函数包括多个查找表的空间变化函数，其中所述增强图像是通过将所述图像增强函数应用于所述图像数据而生成的。

优选地，这些方法中的各个像素值是RGB值的对数。然而，这些像素值也可以按诸如RGB、CIELab、YUV、XYZ以其他单位进行编码。

本发明的优选实施例能够使用增强图像和参考图像(从该参考图像进行了增强)来生成对这种增强进行近似的函数。该函数优选地既减少了常规地增强图像所需的处理，又避免了经常由常规近似引入的空间伪影。

在一些实施例中，该函数可以被方便地存储用于以后的处理或应用。例如，所述函数可以被存储为图像文件(该文件以其他方式包含未增强的图像)的头部(head)。接收方能够常规地查看图像文件，而如果他拥有能够读取该头部的软件，则能够用最少的处理资源来施加这种图像增强。

在一些实施例中，可以基于与待增强的图像相似的图像生成该函数。例如，视频序列的第一帧可以提供用来生成函数(该函数可被应用于每一帧)的参考图像，或者，图像的缩小尺寸版本或子区域可以被用来生成将被应用于整个图像的函数。

优选地，用于增强输出图像的图像增强函数基于输入图像的每个像素(其值对应于与输出图像的像素中位置对应的输入图像的像素的值)来确定在输出图像的每个像素处的值。

在一些实施例中，在输入图像的像素的像素值处于查找表中两个像素值之间的情况下，对图像增强函数进行应用的方式包括：确定第一和第二参考像素值，它们是查找表中的两个像素值，这两个值最接近于输入图像的所述像素的像素值；

将图像增强函数应用于输入图像的所述像素，假定其值是第一参考像素值，以产生第一结果；

将图像增强函数应用于输入图像的所述像素，假定其值是第二参考像素值，以产生第二结果；

通过(优选地使用与下述比率对应的比率：输入图像的像素的像素值与第一参考像素值之间的差对输入图像的像素的像素值与第二参考像素值之间的差的比率)内插第一和第二结果，来生成输出图像的相应像素的值。

本发明的实施例力图提供一种用于使用空间变化查找表来对图像增强函数进行近似的通用方法。这能够在引入全局性措施时保持空间变化增强的能力，从而不引入空间伪影。

附图说明

现在将参照附图仅通过举例的方式说明本发明的优选实施例，其中：

图1是描述全局函数与非全局函数之间差别的曲线图；

图2是根据本发明的一个实施例的图像处理***的原理图；

图3是根据本发明的一个实施例的方法的流程图；

图4是根据本发明另一个实施例的方法的流程图；

图5的a)到g)是展示用于去除晕影的本发明的实施例的图像；

图6的a)到d)是展示用于提供动态范围压缩的本发明的实施例的图像；和

图7的a)到c)是展示用于提供动态范围压缩的本发明的实施例的图像。

具体实施方式

图2描绘了图像处理***1，该图像处理***包括第一组件10、第二组件14和处理器12。第一组件10是可操作来接收包括多个像素的输入图像的组件。优选地，第一组件10是图像捕捉装置或视频捕捉装置。第二组件14可操作来接收图像增强函数。

在第一组件10处接收了输入图像时，处理器12可操作来使用由第二组件14接收的图像增强函数以使用生成增强输出图像的方法从输入图像生成增强输出图像，如以下具体所述。

在一些实施例中，如以下具体所述，第二组件14使用包括从输入图像得到参考图像的方法来生成图像增强函数。

在第一组件10是视频捕捉装置的情况下，如以下具体所述，处理器12可操作来使用具体的帧(例如由视频捕捉装置10捕捉的视频序列的第一帧)给生成图像增强函数的方法作为参考图像。处理器12可操作来以常规方式增强参考图像，并生成随后被应用于视频序列的其他帧的图像增强函数。

在图3中描绘了根据本发明的生成图像增强函数的方法的一个实施例。图3是生成图像增强函数的方法的流程图。

在该方法的第一步骤20，接收包括多个像素的参考图像。可以通过各种方式接收所述参考图像，例如，它可以是从图像捕捉装置捕捉的输入图像，或者是视频序列的帧。它可以是从数据存储介质(诸如计算机硬盘)取得的。

在步骤22，接收增强图像。该增强图像是从参考图像导出的。从参考图像导出增强图像的方法与根据本发明的该实施例的方法的操作不相关。参考图像和增强图像二者都可以(例如)从数据存储介质获得或从外部组件(该组件捕捉参考图像并将其增强以形成增强图像)接收。或者，步骤22自身可以包括将参考图像增强以形成增强图像。可对参考图像进行增强的例子包括动态范围压缩和去除晕影(removingvignetting)。

步骤24包括计算多个查找表。下文提供了计算多个查找表的方法。

步骤26包括生成图像增强函数。所生成的图像增强函数包括这些查找表的空间变化函数。所生成的图像增强函数当被应用于参考图像时，形成对于增强图像的近似。

图4描绘了生成增强输出图像的方法。

步骤30包括接收包括多个像素的输入图像。输入图像可通过各种方式接收，包括从数据存储介质获得或者由图像或视频捕捉装置捕捉。

在步骤32，将输入图像用作参考图像来生成图像增强函数。然而，如果图像增强函数已经存在，例如，如果其被存储在数据存储介质上，被包括在包含输入图像的文件的头部中，和/或先前已经从其他图像(例如视频序列的其他帧)生成，则可以省略该步骤。

在步骤34，图像增强函数被应用于输入图像以生成输出图像。

查找表方法的优选实施例包括两个阶段：1)通过检查X与Y＝_spatialf(X)之间的关系来构建N个查找表L＝{L_i，，L₂，...L_N}的预处理，和2)计算被表示为Y’的Y的近似值为：

Y’＝Ψ(X，L)(1)

建立查找表

1)直接查找

每个查找表总结了从输入亮度到输出亮度的映射。对于具有256亮度级的8位图像(如，在JPEG标准中使用的)，查找表仅仅是256个输出数字的列表(具中数字的顺序实际上定义了输入值)。例如，如果113的输入值被映射到在第4查找表中的输出值149，则：L₄(113)＝149。我们将这种形式的查找称为直接查找。

2)使用内插查找

然而，我们不一定要存储所有输入值。相反，我们可以有具有M个条目的查找表。在该情况下，我们在M个输入等级中的每个级均存储输入和输出值二者。下面我们示出了在M＝3的情况下的查找表。

输入	输出
		0	0

128	64
		255	255

该查找表将128映射到64，因此该表被设计为使得图像变暗。对于在表中未直接查到的输入值(如，输入亮度96)，我们必须假定某种内插方案。例如，96是在0到128之间位置的(96-0)/(128-0)＝3/4。假定查找表建模了能够以分段线性方式被近似的函数，我们将输出值计算为在两个相应输出值之间相同分数的值，即0.25*0+0.75*64＝48。这就是线性内插。

我们也可以使用结合超过2个量化等级的已知而进行的内插，如双三次(bicubic)插值。

方便的是，想到按以下方式进行内插的查找表。首先，我们将输入像素分组或量化到在查找表中的多个条目，给出q₁，q₂，...，q_m。对于这些量化值，我们计算输出条目o₁，o₂，...，o_m(参见下面的(3))。现在假设X(a，b)位于量化值j和j+1之间。对于线性内插，我们计算输出值为：

fr＝(X(a，b)-q_j)/(q_j+1-q_j)

(2)

Ψ(X(a，b))＝f_r*o_j+1+(1-f_r)*o_j

(3)计算查找表条目

建立全局查找表是自然而然的：我们试图寻找将所有输入亮度映射到相应输出值的函数，同时最小化某个成本标准。作为一个例子，我们可以要求被应用于输入图像的查找表(使用内插方案)产生与空间增强输入相同的直方图。

可替代地，查找表中的值可以通过最小二乘处理得到。例如，如果图像中的M个像素位于区间[64，196]中，并且它们的平均值(对所有像素进行最佳近似的单个值)为67，我们则可以在表1中用67取代64。我们还可以选择输出值以最小化某种其他标准，例如与真值的最大偏差，或任何明可夫斯基范数(Minkowskinorm)。而且，如果内插方案正被使用，则它应被结合到最小化处理中。

(4)定义位置

在本发明的实施例中，我们将假定N个查找表。每个查找表将根据某种位置定义来构建。例如，我们可以将查找表的‘中心’定在像素位置(c，d)。相对于该像素位置，根据函数w(a，b，c，d)对坐标(a，b)加权(或者，如果认为(c，d)是固有的，则简单地为w(a，b))。例如，候选的加权函数可以是例如欧几里得距离的倒数或欧几里得距离平方的倒数。

w_E(a，b，c，d)＝1/Euclidean(a，b，c，d)

Euclidean(a，b，c，d)＝sqrt([a-c]²+[b-d]²)(3)

$W_{E^2}(a,b,c,d)=1/\mathrm{Euclidean}{(a,b,c,d)}^2$

同样，我们可以在像素位置(c，d)设置具有均值(0，0)和标准偏差为σ个像素的正态分布。指派给(a，b)的权重值则与下式成比例：

$(1/k)\exp (-\frac{\mathrm{Euclidean}{(a,b,c,d)}^2}{{2\mathrm{\σ}}^2})---\left(4\right)$

其中，k是使正态分布之下的面积总和为1的常数。

为了我们的目的，在每个图像位置处定义的任何函数均可被用作为加权函数：我们不需要使用固定在特定像素处的位置概念。例如，我们可以使用二维离散余弦变换(DCT)扩展来定义图像像素对不同的查找表的贡献。假设图像像素是范围[-π，π]内的坐标，在DCT扩展中的前3项则为：

w₁(a，b)＝1/k

$w_2(a,b)=\cos \frac{a}{2}---\left(5\right)$

$w_3(a,b)=\cos \frac{b}{2}$

我们可以使用的其他函数包括傅立叶级数展开，正弦展开，或基于多项式的函数。

(5)空间变化查找表的应用

编号(1)到(4)的部分给了我们绘制和应用空间变化查找表的工具。给定N个查找表，我们有N个位置函数。这可以是被设置在N个空间位置的N个正态函数。或，二维离散余弦扩展中的前N项。因为这些函数自身的线性组合定义了新的函数(我们所利用的特性)，它们通常被称为基(基本)函数：它们形成了我们希望建模的其他函数的模块。

假设一个直接查找表(对于每个输入有已知的唯一输出)和N个查找表(每个查找表具有一个相应的局部定义)，我们将输出图像Y’＝Ψ(X，L)计算为：

$\mathrm{\ψ}(X(a,b),L)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i(a,b)L_i\left(X(a,b)\right)}{n}$ $n=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i(a,b)---\left(6\right)$

即，为了计算对于每个查找表的输出值，我们查找对于输入亮度X(a，b)的相应条目。然后我们通过相应加权函数对该亮度加权。我们针对所有查找表和加权函数进行求和。最终，我们可以除以归一化因子n。注意这个最后的步骤是可选的(我们可以使其作为加权函数自身的一部分)

$w_i(a,b)\→\frac{w_i(a,b)}{n}$

如果我们假定了使用内插的查找表，我们则计算f_r(根据公式(2)的两个量化等级之间的输入值的位置)。将X(a，b)以下和以上的量化等级表示为q_below(a，b)和q_above(a，b)，将查找表计算的输出计算为：

ψ(X(a，b)，L)＝(1-f_r)*ψ(q_below(a，b)，L)+f_r*ψ(q_above(a，b)，L)(7)

其中我们使用公式(6)来计算对于给定量化值的输出。

重要的是，对于空间变化查找表的应用是一种逐像素的操作(空间处理的效果在查找表中)。因而，我们可以在图像中执行逐像素空间处理(所以不再需要存储图像大小缓冲)。

同样，许多函数的效果可以使用相当粗略的量化来获得。例如，在以下讨论的例子中，我们对于被量化成仅17个等级的对数像素亮度计算查找表(典型的线性RGB图像仅仅具有大约8个亮度对数单位，我们已经发现对每0.5个对数单位进行量化就足够了)。

于是，如果我们有N个具有k个量化等级的查找表，空间处理就可以被存储有Nk个数字。如果N是例如8，k是17，则只有136个数字需要被存储(这些可以作为图像头部而加入)。

根据本发明的实施例的查找表结构的含义之一是，在(a，b)处的定义的函数取决于非局部(许多像素位置之外)的像素。即，该函数是由具有相同量化值的像素(这个集合可能在位置方面是稀疏的)定义的。进一步地，在像素位置处从输入得出输出的函数是复杂的、一般而言非线性的(实际上非双射的(non-bijective))映射。

在“LocalLinearLUTMethodforSpatialColorCorrectionAlgorithmSpeed-up”，IEEProceedingsIEEProcVision，Image&SignalProcessing，2006年6月-第153卷，第3期，第357-363页中，Gatta，Rizzi和Marini首先提出，在确定输入和输出亮度级之间的关系时，只有局部像素起作用。其次，他们提出，该关系可以被建模为简单的线性函数。第三，他们提出，这个线性函数是基于所有量化等级而导出的。有利的是，根据本发明的实施例的方法没有采用这些假设中的任何一项。所有像素位置都影响某像素处的映射。只有相同量化等级的像素值才决定在输入和输出亮度之间的关系。而且，得到的关系是高度非线性的。

(6)计算空间变化查找表的条目

对于标准的全局查找表，我们可以想到能够建立空间变化查找表的许多方法。例如，我们可以根据某种位置定义来计算局部输入和输出直方图。每个查找表则将由直方图匹配来确定。或者，我们能够最小化更一般的误差标准。

(6a)直方图匹配

为了理解如何能实现这个处理，将直方图看作概率分布是有用的。对于标准图像X，则P(X(a，b))是亮度值X(a，b)出现在该图像中的概率(我们可以假设X被量化或未被量化)。在算出这些概率时，我们可能根据空间加权函数对可能性加权。例如，如果X(a，b)＝10＝X(c，d)，但是w(a，b)＝1且w(c，d)＝2，则像素位置(c，d)的出现贡献了(a，b)的1/5。事实上，我们可以将这种分布建立过程形象化为“向箱中添加球”。这里，每个像素位置被分配了一些大数量(B)个球。每个可能的强度级(或被量化的强度级)表示箱的数量。如果w(a，b)是给定空间位置处的加权，则当建立分布w(a，b)*时，B个球被添加到相应的箱中。以此方式，我们建立了根据空间位置而加权的直方图。我们使用相同的加权函数建立输入和输出直方图。直方图匹配所返回的查找表将输入亮度映射到输出亮度。

直方图匹配方法的一个优点是，从输入到输出的映射是递增的(因此是可逆的)函数。大部分全局色调映射具有这个特性。当然，这种用于查找表的创建的直方图框架仅仅在加权函数都为正的时候才有意义。

(6b)最小误差LUT的创建

给定已知正被使用的位置函数，我们通过使用公式(6)进行回归，可以对查找表直接求解。然而，为了理解这种方法，有用的是，将方程(6)看成是对所有像素一起并且同时地适用。设w(a，b)表示对应于在像素位置(a，b)处所有N个加权函数的权重值的1×N向量。让我们只考虑在图像中是相同像素值或被量化为相同值的那些像素。如果存在M个这样的像素，我们就可以将M个权向量中的每一个堆积在另一个的顶部上，给出M×N矩阵W。对应于W的M个行，有M个目标输出值(在空间增强输出图像中)，这些输出值我们用向量_o表示。我们通过进行以下求解，来针对查找表中的N个条目求解向量_L：

$\underset{-}{\underset{L}{\min }}\left|\right|W\underset{-}{L}-\underset{-}{o}\left|\right|---\left(8\right)$

这里||·||表示要被最小化的误差度量。公式(8)可以以许多方式求解。最小二乘是常规的方法，或者为了确保数值稳定性，我们可以使用正则化(regularised)最小二乘。我们还可以选择最小化最大误差，或使用模拟了感知色差的公式。

我们针对每个唯一亮度(直接查找表)或每个量化输入对公式(8)求解。每个最小化返回在N个查找表中的对于该值(或量化值)的N个条目。

在误差最小化的途径中，我们可以使用任何位置函数(不只是都为正的位置函数)。虽然在该情况下从输入到输出的映射不一定是递增函数。然而，我们还可以执行查找表通过将等式(8)改写为下式来实现递增函数：

$\underset{q}{\mathrm{\Σ}}\underset{\underset{\‾}{L^q}}{\min }\left|\right|W^q\underset{\‾}{L^q}-\underset{\‾}{o}\left|\right|s,t{L}_i^q>q_i^{q-1}---\left(9\right)$

对于最小二乘最小化来说，公式(9)是具有唯一全局最小值的二次规划问题。

对不同颜色空间的应用

本发明的实施例能够被用于以不同单位编码的图像。例如，我们可以建立查找表并查找对于以RGB、CIELab、log(RGB)、YUV、XYZ等编码的图像的查找表函数ψ。实际上是对于以给定格式编码的图像的任何函数。

对像素窗口的应用

本发明的实施例也可以只被应用于图像的特定区域，例如像素的小窗口(例如，如果增强仅被应用于那里)。或者，我们可以对许多窗口应用许多查找表。在这组窗口覆盖了整个图像的极限情况下，我们返回到最初问题的公式。然而，在该情况下，每个加权函数将只对于特定的窗口是非零的，而对于其他位置为零。

导函数

已知输入图像X和输出Y(对于某个空间变化增强函数)，我们可以选择得出导函数。例如：

Z＝Ψ(Y-X，L)→Y’＝Z+X(10)

交叉图像增强

可能的是，应用于一个图像的增强可以被交叉应用于另一个图像。例如，我们可以处理图像X以去除许多相机***中都见到的晕影(图像边缘变暗的地方)。该函数不太可能依赖于图像内容，因此我们可以对用于校准图像的增强进行建模，然后将其应用于后续图像：

Ψ_calibration(X_calibration，L)＝Y’_calibration≈Y_calibration

Y’＝Ψ_calibration(X，L)(11)

公式～(11)教导了我们可以基于输入校准图像和其对应的处理后的输出之间的关系来计算近似函数。然后，该近似函数可以被应用于所有输入图像X。

交叉图像增强(使用空间变化查找表)的其他应用包括：1)使降低了分辨率的图像reduce_resolution(X)增强，并将近似函数应用于全分辨率图像X；2)在视频序列中，对于帧数i计算近似值并将该函数应用于帧i+k(k＞0)。

实例1：去除晕影

在图5(a)中，我们示出了高频灰度目标。在图5(b)中示出了强晕影的效果。为了去除晕影，我们应用(11)，在该情况下，我们将完美图表图像用作输出，并将扭曲对应物用作输入，来找到校准函数ψ。在该实例中，我们找到将输入图像的自然对数最佳地映射到输出图像的自然对数的近似函数。将该函数再次应用到图5(b)(我们应用于图5(b)的对数并对结果取幂)，我们获得了校正的图像5(c)。既然有了近似函数，我们就考虑晕影图像5(d)并校正它以去除晕影5(e)(鹦鹉的未扭曲图像是Kodak测试图像之一http://r0k.us/graphics/kodak/)。我们重复这个实验，但现在使用第16分辨率校准图像找到了近似函数ψ(也是在对数空间中执行所有计算)。将该函数应用于扭曲图表，获得了5(f)，将其用于扭曲的鹦鹉，我们得到5(g)。通过寻找小图像上的近似函数然后将其用于全分辨率图像，我们能够去除所示晕影。这是有利的，因为寻找近似算法的计算成本通常要大于其应用。

实例2：动态范围压缩

在图6(a)中，我们示出了曝光不足的鹦鹉图像。动态范围压缩(DRC)算法试图将大亮度输入范围映射到较小亮度范围(例如，显示装置的亮度范围)。最简单的DRC算法之一是将最初图像除以附近像素的局部平均值。这个操作通常在对数空间中执行。即，我们拍摄图像，计算像素值的对数。然后，通过卷积，我们计算局部平均值。在该实例中，我们使用逆指数滤波器进行卷积，该滤波器具有的标准偏差是图像水平维度大小的1/8。在对数空间中，除法变为减法。因此，我们从每个对数像素值减去局部平均值。现在我们取幂。然后，我们将图像除以全局最大值(在该情况下被定义为99％的分位数)用于显示。这最后一步是必要的，因为当我们除以局部平均值时(局部平均值除法与全局范围无关)，两个具有不同全局平均亮度的图像会被映射到相同的输出图像。

在图6(b)中示出了该处理的结果。注意，不仅暗值已变亮，而且一些亮像素看起来变暗了。这是我们所期望的，因为我们实际上正通过将像素移到更接近于局部平均值来压缩动态范围(在此限制中，如果我们使用正好的局部平均值——单个像素，则输出图像将是统一的灰度)。

现在，对于晕影实例，我们在对数空间中执行查找表操作。即，我们使用合适的空间变化查找表将输入映射到输出对数图像。然后，通过取幂恢复了最终图像。然而，这里我们使用导函数近似(10)。即，我们对输出与输入图像之间的差建模。将这个差与输入相加，给出了希望的输出图像。图6(c)示出了以这种方式得到的图像。最终，我们使用第16分辨率输入和输出图像导出了近似函数。然后该函数被应用于全分辨率输入。这允许我们计算图6(d)所示的图像。

图7示出的实例突出显示了对于动态范围压缩，这种“减去平均值”方法的“晕轮”问题。7(a)是输入图像。7(b)是从中减去了局部平均值(通过使用逆指数滤波器进行卷积来计算，该滤波器具有的标准偏差是图像x维度大小的1/4)的图像。注意现在的边缘看起来好像发光的程度：它有晕轮。这是动态压缩算法中的一个常见的伪影。

我们应用与图6相同的工作流程。我们对于导函数情况下输入和输出图像之间的关系进行建模。然后我们应用这种空间变化查找以恢复图7中的输出。注意，晕轮的出现被减少。减少的程度可以通过位置加权函数的合适设计来控制。

本申请要求在英国专利申请GB1002632.6中公开内容的优先权，该公开内容通过引用方式结合在本申请所附的摘要中。

参考文献

【1】C.Gatta，A.Rizzi，D.Marini，″LocalLinearLUTMethodforSpatial ColorCorrectionAlgorithmSpeed-up″，IEEProceedingsIEEProc.Vision，Image&SignalProcessing，2006年6月-第153卷，第3期，第357-363页。

Claims (15)

1.一种生成图像增强函数的方法，该函数用于增强包括多个像素的输入图像以形成包括多个像素的增强输出图像，所述方法包括：

接收包括多个像素的参考图像；

接收包括相应多个像素的增强图像，其中，所述增强图像是从所述参考图像导出的；

计算多个空间变化查找表，每个空间变化查找表总结了从输入亮度到输出亮度的映射，每个空间变化查找表基于各自的加权函数来计算，其中所述加权函数根据像素的位置来对每一个像素的像素值关联权重；和

生成所述图像增强函数，所述图像增强函数当被应用于所述输入图像时形成所述输出图像，其中，相同量化级的像素值决定像素的输入和输出亮度之间的关系，

其中所述图像的增强函数在输出图像的每一个像素为所述输入图像的相应像素的像素值定义一个所述空间变化查找表的条目的加权组合，其中权重由每个空间变化查找表的加权函数提供以确定特定的像素位置；

其中所述图像增强函数当被应用于所述参考图像时生成所述增强图像的近似值。

2.根据权利要求1所述的方法，其中，每个查找表被定义为位于参考像素处，其中，每个像素处来自每个查找表的加权贡献取决于该像素与针对该查找表的参考像素之间的欧几里得距离。

3.根据权利要求2所述的方法，其中，所述加权贡献通过包括从下述项构成的组中选择的函数而取决于欧几里得距离：

欧几里得距离的倒数、欧几里得距离的平方的倒数、正态分布。

4.根据权利要求1所述的方法，其中，所述增强函数包括从由下述项构成的组中选择的函数：

二维余弦变换，傅立叶级数展开，正弦展开，多项式函数。

5.根据权利要求1所述的方法，其中，每个查找表是通过包括以下步骤的处理而导出的：

根据所述参考图像的像素值计算第一直方图；

根据所述增强图像的像素值计算第二直方图；

利用所述第一直方图和第二直方图之间的直方图匹配来导出所述查找表。

6.根据权利要求5所述的方法，其中，计算所述第一直方图和第二直方图的步骤包括：使用加权函数，使得对相应图像的每个像素的像素值的相应直方图的贡献取决于像素位置。

7.根据权利要求6所述的方法，其中，在计算所述第一直方图和第二直方图时使用的加权函数相同。

8.根据权利要求1所述的方法，其中，所述查找表是通过下述方式导出的：使所述增强图像与当所述图像增强函数被用于所述参考图像时所生成的图像之间的误差最小化。

9.根据权利要求8所述的方法，其中，使用从由下述项构成的组中选择的方法来最小化所述误差：

最小二乘法；

正则化最小二乘法；

感知误差标准，该标准包括人类视觉的计算模型；

最大偏差标准；和

任何明可夫斯基范数。

10.根据权利要求8所述的方法，其中，使用下述约束来最小化所述误差：每个查找表中的那些条目构成递增函数。

11.根据权利要求1所述的方法，其中所述图像增强函数包括非线性函数。

12.根据权利要求1所述的方法，其中计算多个查找表包括：对于具有量化值的每个输入像素，识别具有相同量化值的其它输入像素。

13.根据权利要求1所述的方法，其中所述图像增强函数基于所述输入图像的每个像素确定在所述输出图像的每个像素处的值，该值对应于输入图像中与输出图像的像素的位置相对应的像素的值。

14.根据权利要求1所述的方法，其中输出图像的像素的亮度与输入图像的像素的亮度之间的关系至少部分地取决于具有与输入图像的像素一样的亮度量化级的像素的查找表。

15.根据权利要求1所述的方法，其中每个查找表对应于相应的位置函数。