CN101646092B

CN101646092B - 图像处理方法和移动通信终端

Info

Publication number: CN101646092B
Application number: CN2009101610009A
Authority: CN
Inventors: 森弘史
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-08-05
Filing date: 2009-08-04
Publication date: 2012-01-11
Anticipated expiration: 2029-08-04
Also published as: US20100194769A1; CN101646092A; US8379040B2; JP2010039199A; JP5091796B2; EP2151815A1; EP2151815B1

Abstract

本发明涉及图像处理方法和移动通信终端。在图像处理方法和装置中，根据亮度信号计算APL(平均图像电平)，根据色度信号获取权重系数，在图像帧中包含多个像素，根据APL值获取峰值亮度。随后，图像帧在峰值亮度的限度内在显示面板上显示。

Description

图像处理方法和移动通信终端

技术领域

本发明涉及图像处理方法和配备有诸如PDP(等离子显示面板)或OLED(有机发光二极管)面板的显示模块的移动通信终端。

背景技术

众所周知，在诸如PDP和OLED面板的自发光显示面板中，功率消耗根据所显示的场景而改变，并且有通过根据所显示的场景控制峰值亮度而降低电功率消耗的方法。例如，日本专利申请公开号No.2007-147868(Tada等人)公开了调整基本峰值亮度值，以致对于每个基本周期，电功率消耗保持在预定的电能消耗之下。具体地，对于每个图像帧，根据图像帧的平均灰度获取峰值亮度比，并通过将基本峰值亮度值与峰值亮度比相乘来计算标准峰值亮度值。此后，对于每个基本周期，如果通过将平均灰度值与标准峰值亮度值相乘而计算的电功率消耗超过预定的电能消耗，则调整标准峰值亮度。

日本专利申请公开号No.2004-266755(Fujishima)公开了基于根据两个连续帧的平均亮度信号计算的索引值而获取修正强度，并根据该修正强度获得γ修正函数。此后，根据γ修正函数执行亮度修正。

然而，本发明的发明人认识到这些公开文件在修正亮度信号时，都没有考虑色彩，因此，亮度不自然地变化。特别是，JP2004-266755(Fujishima)没有记载有关电功率消耗的内容。

发明内容

本发明的示意性实施例提供了一种图像处理方法，其能够减少功率消耗而无需降低在亮度方面的图像质量。

一种图像处理方法，包括：对于图像帧的每个像素，接收包括亮度信号和色度信号的图像数据；根据所述色度信号计算饱和度值；通过查询权重系数存储器，获取与所述饱和度值对应的权重系数；对于所述每个像素，通过将所述亮度信号与所述权重系数相乘来计算第一值；累计所述每个像素的所述第一值；通过将所累计的第一值除以在所述图像帧中包含的像素的数量来计算图像电平值；通过查询增益存储器，获取与所述图像电平值对应的峰值亮度；以及根据所获取的峰值亮度，转换在所述图像数据中包括的所述亮度信号。

附图说明

说明书所包括并构成其一部分的附图示出了本发明的示意性实施例，并且与上面所给出的总体描述和在下面给出的示意性实施例的详细说明一起用于解释本发明的原理。在附图中：

图1是示出本发明的实施例的蜂窝电话的配置的框图；

图2是示出由图1所示的蜂窝电话执行的图像处理功能的配置的框图；

图3A和3B是用于说明被图2所示的权重计算功能查询的权重LUT(查找表)的特性的图；

图4A和4B是用于说明被权重计算功能查询的权重LUT的另一个特性的图；

图5是用于说明被增益计算功能查询的LUT的特性的图；

图6是用于说明图2所示的图像处理功能的操作的流程图。

具体实施方式

下面参照附图描述本发明的示意性实施例。

图1示出蜂窝电话10的示意性配置，该蜂窝电话10配备有根据本实施例的图像处理装置。蜂窝电话10包括：控制单元1，其控制蜂窝电话10的各种类型的操作；图像生成单元2，其对被编码的移动图像数据进行解码；数字地面广播接收单元3，其经由天线4接收包含在由控制单元1标识的信道中的广播信号，并通过解调所接收的广播信号来提取TS(传输流)分组；无线单元5，其通过解调经由天线7从基站接收的无线信号来获取基带信号；信号处理单元6，其通过根据CDMA方法对基带信号解码来获取语音信号、控制信号和数据信号，并且还对将要经由天线7传输的语音信号、控制信号和数据信号进行编码；麦克风8，其捕捉语音；扬声器9，其输出来自信号处理单元6的语音信号；以及显示控制单元20，其控制显示面板30，以致在显示面板30上显示图像信号。

蜂窝电话10中的图像处理装置对应于图1中的图像处理功能100，其是控制单元1的一部分，因为在该实施例中的控制单元1中，图像处理的主要功能由硬件和软件的组合(例如固件)实现。

图2是示出由图像处理功能100执行的详细处理的功能性框图。

作为人类视觉特性，有一种著名的特性，称为赫尔姆霍-科尔劳奇(Helmholtz-Kohlrausch)效应。该特性表明即使亮度没有变化，当在图像中饱和度增加时，也感觉到图像更加明亮。即，人们感觉到彩色图像比非彩色图像更加明亮，即使这两种图像具有相同的亮度级别。

因此，在该实施例中，当APL(平均图像电平)值表明图像帧是彩色的时候，控制该图像帧的可允许亮度级别以不使用最高的亮度级别内的给定数量的亮度级别。在这种情况下，由于使用相对较低的亮度级别，因此可以减少功率消耗；然而，由于图像是彩色的，因此，人们仍然感觉该图像具有足够的亮度。另一方面，当APL值表明图像帧是非彩色的时候，最高的亮度级别或几乎是最高的亮度级别被用于显示该单色图像帧，以致人们仍然感觉该图像帧足够明亮。

图像处理功能100包括APL计算功能110、权重计算功能120、峰值亮度计算功能130、增益计算功能140和图像修正功能150。

图像生成单元2对被编码的比特流，诸如视频基本流，进行解码，其中该比特流在位于数字地面广播接收单元3和图像生成单元2之间的多路复用流解复用器(未示出)处从包含在TS(传输流)分组中的多路复用流中被解复用；并且生成亮度信号Y以及色度信号U和V作为图像帧的每个像素的图像数据。多路复用流可以是包含在从服务器下载的数据文件中的流。

APL计算功能110经由权重计算功能120，查询由权重计算功能120管理的存储区域中的权重查找表(LUT)121，并根据从图像生成单元输出的色度信号U和V来获取权重系数。此后，APL计算功能110用所提取的权重系数对亮度信号Y进行加权，并计算图像帧的APL值。

权重LUT 121例如是存储色度信号(U和V)与对应的权重系数W(U，V)之间的关系的表。即，该表示出了色相与饱和度之间的关系。在该实施例中，为了不降低图像质量，当色度信号指示对亮度变化更多灵敏度时，权重系数就降低。例如，当显示非彩色图像帧时，当亮度级别变得更低时，所显示的图像帧的所感知的亮度变得更暗；因此，更小的权重系数被分配给非彩色图像帧。

为此，APL计算功能110通过加权，减少根据由相对非彩色的像素组成的非彩色图像帧而计算的APL值比减少根据由相对彩色的像素组成的彩色图像帧而计算的APL值更多。

以下说明如何设置权重系数W(U，V)。

图3A示出色度信号(U和V)的值与饱和度之间的关系，四个箭头指示饱和度的增加量。因此，在这个例子中，随着饱和度增加并走向坐标中心，权重系数选取更大的值。

具体地，权重系数W(U，V)根据下面的等式W_S(U，V)计算。

饱和度＝squr(u²+v²)

if)饱和度＜TH_S

W_S(u，v)＝a(饱和度)+b

else)

W_S(u，v)＝1

TH_S＝64

其中，a是斜率，b是完全非彩色色彩的权重系数，TH_S是阈值。

即，如图3B所示，当饱和度小于阈值TH_S时，等式W_S(u，v)线性地变化。并且，当饱和度大于或等于阈值TH_S时，等式W_S(u，v)是1(固定值)。然而，等式W_S(u，v)并不局限于上述特性。等式W_S(u，v)可以用高斯方程表示。另外，等式W_S(u，v)可以通过设置至少两个阈值而包括多个断点。

如上所述，通过根据饱和度将权重特征设置在权重LUT 121中，由APL计算功能计算的彩色图像帧(例如运动图像的帧)的APL值比非彩色图像帧的APL值相对变得更大。因此，对于彩色图像帧，峰值亮度Y-peak(最大亮度级别)变得较低，从而降低了功率消耗。

根据赫尔姆霍-科尔劳奇效应，还已知根据色相改变所感知的亮度。例如，对于黄颜色，即使饱和度变化，亮度也是单一的。然而，对于诸如蓝色或紫色的短波长颜色的色相，或者诸如红色的长波长颜色的色相，当饱和度增加时，所感知的亮度也增加；因此，如图4A所示，权重LUT 121可以存储在亮度上的权重系数随着色相θ趋于黄色而降低的权重特征。图4A中的两个箭头表示权重级别的增加方向。

具体地，权重系数W(U，V)根据下面的等式W_θ(u，v)计算。

if)θ＜TH_θ

W_θ(u，v)＝c(π-θ)+d

else)

W_θ(u，v)＝c(θ-π)+d

TH_θ＝π

其中，c和d是常数值，π是圆周率。

即，如图4B所示，权重特征被设置在权重LUT 121中。同样，在这种情况下，权重等式W_θ(u，v)也不局限于用如图4B所示的多边形线表示，而是还可以用高斯方程表示。

另外，权重特征可以通过结合两个权重特征来表示。例如，由下面的权重等式W(u，v)定义的权重特征可以被设置在权重LUT 121中。

W(u，v)＝W_S(u，v)＊W_θ(u，v)

现在返回到有关图2的说明，如上所述，说明了权重计算功能120管理存储区域中的权重LUT 121；然而，除了权重LUT 121外，权重计算功能120可以基于根据权重LUT 121模拟的等式，计算权重系数。然后，APL计算功能110通过用根据存储区域中的等式计算的权重系数对亮度信号加权来计算APL值。

峰值亮度计算功能130经由增益计算功能140，查询由增益计算功能140管理的存储区域中的增益查找表(LUT)141，并确定与从APL计算功能110接收的APL对应的峰值亮度。因此，峰值亮度计算功能130确定适合于显示图像帧的峰值亮度。

增益LUT 141是定义APL值与增益之间的关系的表，并具有如图5所示的随着APL值增加而增益降低的特征。在图5中，增益LUT 141用线性函数的组合表示；然而，增益LUT 141可用高斯函数表示，也可以根据模拟函数通过操作实现。

图2的图像修正功能150根据由峰值亮度计算功能130计算的峰值亮度，生成亮度信号的修正值，根据所生成的修正值修正图像数据的亮度信号Y，并输出修正后的亮度信号Y’以及色度信号(U和V)。

显示控制单元20从图像修正功能150接收修正后的亮度信号Y’和色度信号(U和V)的图像数据，并根据修正后的亮度信号Y’和色度信号(U和V)，控制诸如OLED面板或PDP的自发光显示面板，以在显示面板30上显示诸如静态图像或移动图像的图像。

接下来说明由具有上述功能的图像处理装置执行的处理。

图6是示出由图像处理装置执行的处理的流程图，其中，由图像生成单元2获得的图像数据如上所述地被修正，图像处理装置在帧到帧的基础上执行处理。

参照图6说明该处理。

在步骤6a，APL计算功能110首先初始化apl和N，其中apl是将在后面的处理中使用的变量，N是指示在一个图像帧中包含的像素的数量(一行上的像素的数量乘以一列上的像素的数量)的变量，并前进到步骤6b。在这种情况下，将0设置给变量apl，作为初始值。

在步骤6b，APL计算功能110首先选择将被处理的图像帧上由坐标(x，y)指定的一个像素。相同的像素不会被APL计算功能110从一个图像帧中选择两次。然后，APL计算功能110经由权重计算功能120，获取与根据所选择的坐标(x，y)上的像素计算的色度信号U(x，y)和V(x，y)对应的权重系数W(U(x，y)，V(x，y))，并将与坐标(x，y)对应的亮度信号Y乘以所获取的权重系数。随后，APL计算功能120将乘法的结果加到变量apl上，处理进行到步骤6c。

在步骤6c，APL计算功能120检查包含在将被处理的图像帧中的所有像素的所有乘法是否都已经被计算。如果所有像素的乘法都已经被执行，步骤6c中的“是”，则处理进行到步骤6d，否则，步骤6c中的“否”，则处理返回到步骤6b，并对剩余的像素执行计算。

在步骤6d，APL计算功能120通过将在步骤6b和6c中计算的变量apl除以变量N(N表示像素的总数)，计算APL值，处理进行到步骤6e。这样，将被处理的帧的APL值被确定。

在步骤6e，峰值亮度计算功能130经由增益计算功能140，查询由增益计算功能140管理的增益LUT 141，并获取与在步骤6d中计算的APL值对应的增益值GainLUT[APL]。当获得GainLUT[APL]时，峰值亮度计算功能130通过将显示面板30的最大亮度级别与所获得的增益值GainLUT[APL]相乘而确定峰值亮度Y_peak，处理进行到步骤6f。例如，当显示面板30的亮度用8比特信号表示时，亮度可以用256个级别表示。在这种情况下，如果所获取的增益值GainLUT[APL]是0.9，则峰值亮度Y_peak是229。因此，亮度级别0(最低亮度级别)到229(最高亮度级别)被用于显示对应的帧。图5中的最大增益和最小增益根据0＜最小增益＜最大增益＜1的标准定义。

随后，当将被处理的图像帧的适当的峰值亮度被确定时，图像修正功能150根据亮度信号的可再现范围和峰值亮度Y_peak，生成修正查找表(LUT)。在这种情况下，在该实施例中，由于亮度信号仍然用8比特表示，因此，亮度信号的可再现范围被假定为256个级别。

在步骤6f，图像修正功能150初始化在控制单元1中用于标识亮度信号Y的计数器值y。

如上所述，具有高APL级别的帧的峰值亮度Y_peak比具有低APL值的帧的峰值亮度Y_peak被减少更大的量，而具有较小APL值的图像帧用显示面板30的可再现峰值亮度Y_peak显示在显示面板30上。另一方面，具有较大APL值的图像帧用比显示面板30的可再现峰值亮度低的峰值亮度Y_peak显示在显示面板30上。

在步骤6g，图像修正功能150根据在步骤6e中计算的峰值亮度Y_peak，生成亮度信号的修正查找表(LUT)151，在可再现亮度范围内Y＝0到Y＝255。修正LUT 151定义了可再现亮度范围内每个亮度信号Y与转换后的亮度信号Y-LUT[y]之间的关系。首先，图像修正功能150从计数器中读取计数器值y＝0，并计算与0对应的Y-LUT[0]。然后，图像修正功能150将计数器值y增加1。接着，图像修正功能150从计数器中读取计数器值y＝1，并计算与1对应的Y-LUT[1]。步骤6g中的过程持续到在步骤6h中图像修正功能150检测到计数器值y超过255。例如，如果峰值亮度Y_peak是229，如上所述，则Y-LUT[0]通过(229/255)＊0计算，Y-LUT[0]对应于0；Y-LUT[1]通过(229/255)＊1计算，由于四舍五入，Y-LUT[1]对应于0；Y-LUT[255]通过(229/255)＊255计算，Y-LUT[255]对应于229。

因此，包括可再现范围内的亮度信号Y(0到255)与转换后的亮度信号Y-LUT[0]到Y-LUT[255]之间的关系的修正LUT 151完成。

即，修正后的亮度信号Y-LUT[y]是通过将亮度的灰度减少峰值亮度Y_peak与255(最大亮度级别)的比率而获得的值。然而，并不局限于用上述方法获得修正后的亮度信号Y-LUT[y]。亮度可以鉴于显示面板30的反向γ特性而在显示面板30的实际亮度中减小，或者可以通过控制RGB信号的γ特征而不是亮度信号来减小。

在步骤6i，图像修正功能150选择将要处理的图像帧中的一个像素。在由步骤6i和6j组成的循环处理中，相同的像素不会从一个图像帧中被选择两次。

图像修正功能150从修正LUT 151中提取与由坐标(x，y)指定的亮度信号Y(x，y)对应的修正后的亮度信号Y-LUT[Y(x，y))，接着，输出修正后的亮度信号Y-LUT[Y(x，y))作为与坐标(x，y)对应的亮度信号Y’(x，y)，处理进行到步骤6j。因此，亮度信号Y(x，y)被转换为修正后的亮度信号Y-LUT[Y(x，y)]。同样，图像修正功能150向显示控制单元20输出亮度信号U(x，y)和V(x，y)以及亮度信号Y’(x，y)。

在步骤6j，图像修正功能150检查包含在将被处理的图像帧中的所有像素是否都根据步骤6i所指定的处理而被处理了。如果帧中的所有像素都被处理了，步骤6j中的“是”，则处理结束；然而，如果有至少一个像素没有被处理，步骤6j中的“否”，则处理返回到步骤6i，执行由步骤6i指定的处理，直到所有的像素都被处理。

如上所述，在图像处理功能100中，首先对于图像帧中包含的所有像素，通过将亮度信号乘以与色度信号对应的权重系数而获得值，然后，根据该值计算平均值，最后，根据该平均值确定峰值亮度。随后，根据峰值亮度修正亮度信号。

因此，由于亮度信号被图像处理功能100在帧到帧的基础上考虑到色度信号而进行了修正，因此，自发光显示面板的电功率消耗可以根据所显示的场景而减少，无需降低亮度。

简而言之，本发明并不限于上述实施例，并且组成单元可以在本发明的精神和范围内在执行阶段进行各种修改和体现。通过适当地组合在上面实施例中公开的多个组成单元，可以形成各种发明。例如，在每个实施例中，可以从所有的组成单元中省略若干组成单元。另外，不同实施例的组成单元可以根据需要进行组合。

显然，本发明的多种修改和变化在上述教导下是可能的。因此，应当知道，在后附的权利要求的范围内，本发明可以不同于在此所具体描述的来实施。

Claims

1.一种包括多个像素的图像帧的图像处理方法，其特征在于，包括：

对于图像帧的每个像素，接收包括亮度信号和色度信号的图像数据；

根据所述色度信号计算饱和度值；

通过查询权重系数存储器，获取与所述饱和度值对应的权重系数；

对于所述每个像素，通过将所述亮度信号与所述权重系数相乘来计算第一值；

通过对所述第一值计算平均值来计算所述图像帧的图像电平值；

通过查询增益存储器获取与所述图像电平值对应的峰值亮度；以及

根据所获取的峰值亮度转换包括在所述图像数据中的亮度信号。

2.根据权利要求1所述的方法，其特征在于，所述饱和度值通过计算所述色度信号的平方根来获得。

3.根据权利要求1所述的方法，其特征在于，还包括：

根据所述峰值亮度生成转换表，以减小所述亮度信号的可再现范围；

所述转换通过查询所述转换表而将所述亮度信号转换为转换后的亮度信号。

4.根据权利要求3所述的方法，其特征在于，所述生成通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘而计算所述转换后的亮度信号，并通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表。

5.根据权利要求1所述的方法，其特征在于，所述权重系数存储器存储所述饱和度值与所述权重系数之间的关系，以致所述权重系数随着所述饱和度值增加而增加。

6.一种移动通信装置，其特征在于，包括：

接收单元，其接收广播数据；

图像生成单元，其对于图像帧的每个像素，生成包括亮度信号和色度信号的图像数据；以及

控制单元，其控制所述移动通信装置；

其中，所述控制单元：

根据所述色度信号计算饱和度值；

7.根据权利要求6所述的移动通信装置，其特征在于，所述饱和度值通过计算所述色度信号的平方根来获取。

8.根据权利要求6所述的移动通信装置，其特征在于，所述控制单元根据所述峰值亮度生成转换表，以减小所述亮度信号的可再现范围，并且通过查询所述转换表，将所述亮度信号转换为转换后的亮度信号。

9.根据权利要求8所述的移动通信装置，其特征在于，所述控制单元通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘来计算所述转换后的亮度信号，并通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表。

10.根据权利要求6所述的移动通信装置，其特征在于，所述权重系数存储器存储所述饱和度值与所述权重系数之间的关系，以致所述权重系数随着所述饱和度值增加而增加。

11.一种移动通信装置，其特征在于，包括：

接收单元，其接收广播数据；

图像生成单元，其对于图像帧的每个像素生成包括亮度信号和色度信号的图像数据；以及

控制装置，其控制所述移动通信装置；

其中，所述控制装置包括：

用于根据所述色度信号计算饱和度值的装置；

用于通过查询权重系数存储器而获取与所述饱和度值对应的权重系数的装置；

用于对于所述每个像素，通过将所述亮度信号与所述权重系数相乘而计算第一值的装置；

用于通过对所述第一值计算平均值来计算所述图像帧的图像电平值的装置；

用于通过查询增益存储器获取与所述图像电平值对应的峰值亮度的装置；以及

用于根据所获取的峰值亮度转换包括在所述图像数据中的亮度信号的装置。

12.根据权利要求11所述的移动通信装置，其特征在于，所述饱和度值通过计算所述色度信号的平方根来获取。

13.根据权利要求11所述的移动通信装置，其特征在于，所述控制装置还包括：用于根据所述峰值亮度生成转换表以减小所述亮度信号的可再现范围以及通过查询所述转换表而将所述亮度信号转换为转换后的亮度信号的装置。

14.根据权利要求13所述的移动通信装置，其特征在于，所述控制装置还包括：用于通过将输入亮度与所述峰值亮度除以最大亮度值的结果相乘来计算所述转换后的亮度信号以及通过使所述输入亮度与所述转换后的亮度信号关联而生成所述转换表的装置。

15.根据权利要求11所述的移动通信装置，其特征在于，所述权重系数存储器存储所述饱和度值与所述权重系数之间的关系，以致所述权重系数随着所述饱和度值增加而增加。

16.一种图像处理方法，包括：

获取与所述色度信号对应的权重系数；

通过对所述亮度信号与所述权重系数相乘而获得的值计算平均值来计算所述图像帧的图像电平值；

根据所获取的峰值亮度转换所述亮度信号。

17.根据权利要求16所述的方法，其特征在于，所述转换对于每一帧设置最大亮度电平，并转换所述亮度信号以致转换后的亮度信号满足所述最大亮度电平。

18.根据权利要求16所述的方法，其特征在于，所述权重系数根据通过所述色度信号计算的饱和度来获取；当所述饱和度增加时，所述权重系数取较大的值。

19.根据权利要求16所述的方法，其特征在于，所述权重系数根据通过所述色度信号计算的饱和度来获取；与所述饱和度小于阈值时的权重系数相比，所述饱和度大于或等于所述阈值时的权重系数取较大的值。

20.根据权利要求16所述的方法，其特征在于，所述权重系数根据通过所述色度信号计算的色相来获取；当所述色相趋于黄色时，所述权重系数取较小的值。