CN1812481A

CN1812481A - 图像处理装置及其方法

Info

Publication number: CN1812481A
Application number: CNA2006100024196A
Authority: CN
Inventors: 福田康男
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-01-27
Filing date: 2006-01-27
Publication date: 2006-08-02
Anticipated expiration: 2026-01-27
Also published as: JP2006211247A; KR100790198B1; US20060164557A1; KR20060086881A; EP1686811A1; CN100596165C; US7630020B2; JP4612845B2

Abstract

为了实现可以获得类似遮光效果的运动图像数据的图像处理，低频分量的提取处理必须被添加到运动图像的重放处理中，从而需要高的处理成本和高的处理性能。因此，在不参考另一个帧的色彩校正帧的情况中，亮度分量被从整个色彩校正帧图像中提取出来以产生亮度分量图像和低频亮度分量图像。色彩校正帧图像使用亮度分量图像和低频亮度分量图像而被进行色彩校正。另一方面，在参考另一个帧的色彩校正帧的情况中，色彩校正帧图像的转变区被检测，并且其中低频亮度分量图像必须被更新的更新图像区被基于该区确定。转变区的亮度分量被从色彩校正帧图像中提取，并且被与参考帧图像的那些分量组合，从而产生了色彩校正帧的亮度分量图像。更新图像区的低频亮度分量被从亮度分量图像中提取，并且被与参考帧图像的那些分量组合，从而产生色彩校正帧的低频亮度分量图像。色彩校正帧图像使用所产生的亮度分量图像和低频亮度分量图像而被进行色彩校正。

Description

图像处理装置及其方法

技术领域

本发明涉及图像处理装置及其方法，更具体地，涉及用于对具有帧间转变信息的运动图像数据的帧图像进行色彩校正的图像处理。

背景技术

作为用适当明亮度感测照片的方法，已知测量将被感测的景像的平均亮度并控制相机的快门速度、光圈值等的方法。此外，还已知基于所谓的估计计量的曝光控制方法，该方法用于通过将景像分段成预定的区、然后通过将对各个区测得的亮度值进行加权来计算平均亮度值从而获得适合曝光值。

但是，在其中物体与背景相比特别黑的所谓背光景像中被感测的图像中，物体不可避免地会变黑。为了在这种背光景像中用适当的明亮度感测照片，相机的曝光值必须被设置成感测相对较明亮的图像(曝光校正)。但是，曝光校正不仅需要麻烦的操作而且还需要技巧。即使在合适的曝光值可以被设置用于物体时，背景也常常变得过亮。

作为用于在其中难以合适地确定图像明亮度的背光景像中获得具有合适明亮度的图像的模拟摄像技术，已知所谓的在暗室中进行的遮光。通过应用遮光，可以获得具有合适明亮度的照片。

作为在数字图像处理中实现遮光的方法，已知例如报道：Jobson等人的“A Multiscale Retinex For Bridging the Gap Between ColorImages and the Human observation of Scenes”，IEEETRANSACTION IMAGE PROCESSING，VOL.6，NO.7，JULY 1997(参考文献1)。在该方法中，在通过对数字图像进行对数转换(log-convert)获得的分量与对数转换后分量的低频分量之间执行微分处理。然后，通过将数字图像低频范围中的亮的分量处理为更暗些、并将低频范围中的暗的分量处理为更亮一些，图像被改变成更好。

还已知报道：Reinhard等人的“Photographic Tone Reproductionfor Digital Images”，acm Transactions on Graphics，JULY 2002，Vol.21，No.3。该报道还提出了在数字图像处理中使用数字图像的亮度分量及其低频分量获得类似遮光效果的方法。

当然，曝光校正不限于静止图像，在运动图像感测中也有类似的需求。因为运动图像可以被看作是沿时间轴连续的一系列静止图像的集合，所以前面提到的图像校正可以被容易地应用于运动图像。

但是，数字运动图像数据的重放处理具有高的处理成本，并且要求重放装置具有高的处理性能。此外，为了实现可以获得类似遮光效果的图像处理，低频分量的提取处理等必须被添加到运动图像的重放处理中，因此需要更高的处理成本和更高的处理性能。当然，这些要求会导致装置的高价格。

作为一种与该图像处理相关联的已知技术，已知一种在日本专利特开公告号2000-149014中描述的装置。

近年来，使用在个人计算机(PC)上运行的应用程序软件来重放数字运动图像数据是可能的。但是，中央处理单元(CPU)或图像处理单元(GPU)都需要具有高的处理性能。如果处理性能不够，那么处理就不能被及时进行，并且在运动图像重放时一些帧不会被重放，从而导致所谓的掉帧。

就数字运动图像数据的处理负荷的减少而言，已知在日本专利特开公告号2002-77723中描述的技术。该技术基于编码时的差异图像来检测景像变化，确定在景像变化时使用预定图像的校正方法，并应用该确定的校正方法直到下一个景像变化。但是，该技术不能被应用于获得类似遮光效果的图像处理。

发明内容

本发明的第一方面公开了(权利要求1)一种对运动图像数据的帧图像执行色彩校正的方法，该方法包括以下步骤：

检测在色彩校正的目标帧图像中的转变区；

根据检测出的转变区在目标帧图像中设置其中低频数据将被更新的更新区；

根据目标帧图像的图像数据产生更新区的低频数据；以及

根据参考帧图像的低频数据和更新区的低频数据产生目标帧图像的低频数据，并对目标帧图像执行色彩校正。

根据本发明，在进行运动图像数据的帧图像的色彩校正时的处理负荷可以被减少。

根据下面结合附图的描述，本发明的其它特征和优点将变得清楚，其中在所有附图中相同的标号指代相同或相似的部分。

附图说明

图1是示出了图像处理装置的安排的框图。

图2是用于说明色彩校正处理的流程图；

图3是概念性地示出了色彩校正处理与各个数据之间关系的图；

图4是用于说明作为具有转变信息的运动图像示例的MPEG运动图像压缩方法的图；

图5是用于说明在帧图像具有参考关系时亮度分量图像和低频亮度分量图像的更新处理的图；

图6是用于更详细地说明图5所示图像区的图；

图7是示出了运动图像色彩校正处理的细节的流程图；

图8是示出了根据第二实施例的运动图像色彩校正处理的流程图；

图9是示出了根据第三实施例的运动图像色彩校正处理的流程图；

图10是用于说明图9所示的第二色彩校正处理的流程图；

图11示出了区判断地图的示例；

图12是示出了根据第三实施例的运动图像色彩校正处理的修改的流程图；

图13是示出了根据第四实施例的运动图像色彩校正处理的流程图；以及

图14是示出了根据第四实施例的修改的运动图像色彩校正处理的流程图。

具体实施方式

下面将参照附图详细地描述根据本发明优选实施例的图像处理。

第一实施例

[装置的安排]

图1是示出了图像处理装置的安排的框图。

CPU 104通过使用RAM 106作为工作存储器执行存储在ROM105中的程序而经由***总线108控制将在后面描述的各个部件，从而实现将在后面描述的图像处理等。将在后面描述的图像处理等所需的程序和数据被存储在数据存储单元102或ROM 105中。这些程序和数据被暂时装载到RAM 106上，然后被执行。

输入单元101输入来自操作键盘和指示设备的用户的指令和数据。指示设备包括鼠标、跟踪球、跟踪板、写字板(tablet)等。在该实施例被应用于数码相机时，安装在数码相机操作单元上的按钮、模式旋钮等对应于输入单元101。当然，键盘(所谓的软键盘)可以被显示在显示单元103(将在后面描述)上以通过操作按钮或模式旋钮或前面提到的指示设备来输入字符。

数据存储单元102是用于保存运动图像数据等的存储器，通常优选地包括例如硬盘、CD-ROM、CD-R、DVD、存储卡、USB存储器等的可移动存储介质。数据存储单元102除了可以存储图像数据之外，还可以存储程序和其它数据。

通信单元107是使装置之间进行通信的接口。例如，通信单元107包括有线的或无线的网络接口，例如通用串行总线(USB)、IEEE 1394等的串行总线接口，红外线通信(IrDA)接口，等等。当然，经由电话线等的通信可以使用，并且通信单元107在这种情况下包括调制解调器。

显示单元103显示图像处理之前和之后的运动图像、用户界面的图像等等，并且通常使用CRT、液晶显示器等等。当然，显示单元103可以包括视频接口，并且可以经由电缆将运动图像和用户界面显示在外部显示器上。

注意，图1图示了包括输入单元101、数据存储单元102和显示单元103的全部的单个装置的安排示例。可替换地，这些单元可以基于已知的通信方法经由通信路径被连接，并且可以整体形成图1所示的安排。

当根据预定格式具有帧间转变信息的运动图像数据被存储在数据存储单元102中时，第一实施例的图像处理装置会适当地起作用。但是，运动图像数据可以经由通信单元107而从外部接收，并且所接收的运动图像数据可以被存储在数据存储单元102或RAM 106中，从而实现将在后面描述的图像处理。在这种情况下，处理可以在所有的运动图像数据被接收之后被进行，或者已经接收的运动图像数据可以与运动图像数据的接收并行地被处理。此外，如果可以确保在RAM106上有大到足以存储中间图像(亮度分量图像)等的存储容量，那么数据存储单元102就可以被省略。

或者，当CPU 104执行帧间转变信息检测处理的程序以产生帧间转变信息时，接收自具有CCD等的图像输入装置的运动图像数据可以经受图像处理。帧间转变信息检测处理可以使用例如已知的运动向量产生处理。

[色彩校正处理]

由CPU 104执行且将被应用于静止图像或运动图像的帧的色彩校正处理将被首先描述，然后再描述运动图像的色彩校正处理。

图2是用于说明色彩校正处理的流程图，下面将概述该色彩校正处理。例如，图像被从数据存储单元102输入(S201)，然后输入图像的亮度分布被检查以产生亮度图像(S202)。二维滤波处理被应用于亮度图像，以提取低频分量从而产生低频分量的亮度图像(以下称之为低频亮度图像)(S203)。亮度图像和低频亮度图像被与多个分辨率相一致地产生，并且原始图像将被参照处于多个分辨率的亮度图像和低频亮度图像来进行色彩校正(S204)，从而输出色彩校正后的图像(S205)。

例如，当输入图像通过IEC61966-2-1中所述的sRGB色彩空间表达时，输入图像亮度分量的提取处理(S202)遵循在IEC61966-2-1中描述的方法。即，输入图像通过伽马转换和3×3矩阵运算而被转换成CIE1931XYZ色彩空间上的图像。使X(x，y)、Y(x，y)和Z(x，y)为于位置(x，y)处转换像素值R(x，y)、G(x，y)和B(x，y)时的数据。那么，Y(x，y)是将被提取的亮度分量，而X(x，y)和Z(x，y)是色彩分量。在该亮度提取的硬件实现情况中，例如，这种提取电路包括使用查找表和矩阵运算电路的表查找电路(伽马转换单元)。

作为亮度分量的提取方法，前面提到的处理可以被简化，并且亮度分量可以省去伽马转换而仅仅通过矩阵运算而被提取。此外，使用下面的色彩空间替换CIE1931XYZ色彩空间，相应的色彩空间转换就可以被使用。

色彩空间	亮度分量	色彩分量
色彩空间	亮度分量	色彩分量	YCbCr	Y值	Cb和Cr值
L^a^b^*	L^*值	a^和b^值	YCbCr	Y值	Cb和Cr值
L^a^b^*	L^*值	a^和b^值	HSV	V值	H和S值
HSL	L值	H和S值	HSV	V值	H和S值

色彩空间转换可以使用由相关标准等指定的一个，但是它可使用近似计算。例如，所指定的在YCbCr色彩空间上从RGB值到Y值的转换使用由下式给出的转换公式来表示：

Y＝0.299R+0.587G+0.114B ....(1)

取代该公式，转换可以使用由下式给出的近似公式：

Y＝(3R+6G+B)/10 ....(2)

此外，RGB信号值的G值可以被用作亮度分量的近似值，或者RGB分量的平均值或最大值可以被用作亮度值。

在第一实施例的描述中，假设输入图像通过sRGB色彩空间表达。但是，即使在图像由除sRGB之外的RGB色彩空间(例如AdobeRGB色彩空间、RIM/ROMM RGB色彩空间等)表达时，它可以根据各个色彩空间的定义而被转换成CIE1931XYZ(或前面描述的其它色彩空间)上的图像。

色彩空间可以根据每个色彩空间的定义或转换公式或者使用ICC简档(profile)等而被转换。这种方法在输入图像由独立于设备的RGB值(设备RGB值)表达且不能使用简单的转换公式被转换时是尤其有效的。

此外，当输入图像由例如sYCC取代RGB表达时，它可以使用转换公式而从sYCC转换成CIE1931 XYZ(或者上述的其它色彩空间)或者使用ICC简档等转换。但是，当原始图像由sYCC表达并且YCbCr的Y被用作亮度分量时，即在原始色彩空间匹配于亮度分量的色彩空间时，原始图像的Y值只需要被简单提取，并且对色彩空间转换处理的需要就可以被免除了。

接下来，低频亮度分量提取处理(S203)被使用已知的低频滤波处理来实现。

根据上面作为色彩校正处理(S204)的示例而被描述的基于参考文献1的方法，亮度分量和被按比例转换的亮度分量的分布被进行对数转换，并且它们的差异被输出。而且，不同比例(不同分辨率)下的差异输出的加权平均被定义为改进的亮度分量。该方法不能根据图像调整改进程度。在本实施例中，被按比例转换的亮度分量的对数转换输出被乘以一个系数。该系数是调整改进程度的参数。

基于上述处理的改进的亮度分量由下式给出：

Y′(x，y)＝∑_nWn{γ₀·logY(x，y)-γ₁·log[Fn(x，y)*Y(x，y)]}

...(3)

其中，Y’(x，y)是具有坐标值(x，y)的改进的亮度分量，

Fn(x，y)是在坐标值(x，y)处的高斯函数，

Wn是比例之间的权重，

n是指示比例的参数，

γ₀是指示改进程度的参数0，

γ₁是指示改进程度的参数1，以及

*是积和运算。

注意，比例之间的权重Wn可以通过调整比例的标准偏差而被省略(由简单取平均来替换)。此外，就图像数据的图像质量而言，通过逆转换(指数运算)将图像数据重新转换成原始亮度单元比不象公式(3)中那样输出对数转换后的值优选。因此，更优选的是将由下式给出的输出定义为改进的亮度分量：

Y′(x，y)＝exp(γ₀·logY(x，y)

-γ₁·Ave[log(Fn(x，y)*Y(x，y))]} ...(4)

其中，Ave是平均值运算。

取代公式(4)，公式(5)可以被使用：

Y′(x，y)＝Y(x，y)^γ0/{Ave[Fn(x，y)*Y(x，y)]}^γ1 ...(5)

注意，处于多个比例的按比例转换后的输出的平均值运算可以在低频亮度分量的提取处理(S203)中进行，并且处于多个比例的按比例转换后的输出的平均值可以被定义为按比例转换后的亮度分量的分布。

或者，作为获得与公式(4)或(5)类似的效果的公式，公式(6)可以被使用。

Y′(x，y)＝Ave[Y(x，y)^γ0/{Fn(x，y)*Y(x，y)}^γ1] ...(6)

在向改进的亮度分量转换的硬件实现的情况中，例如，这种转换电路包括例如平均值运算电路、用于产生查找表的电路、表存储电路、表查找电路(伽马转换单元)和除法电路。注意，平均值运算电路可以被安排在实现低频亮度分量的提取的部分中。

而且，在色彩校正处理(S204)中，色彩分量被根据向改进的亮度分量的转换而被校正，使得处理之后图像数据的色彩尽可能保持不变。优选地，例如，色彩分量X(x，y)和Z(x，y)被分别乘以转换之后和之后的亮度分量的比Y，(x，y)/Y(x，y)(以下称之为校正比)。但是，容易简化处理。例如，只有Y(x，y)通过公式(5)或(6)被转换到Y’(x，y)，而没有转换被应用到色彩分量X(x，y)和Z(x，y)。

转换后的XYZ数据的色彩空间被转换以获得sRGB数据。该处理是步骤S202中的色彩空间转换的逆转换。因此，3×3矩阵运算和逆伽马转换被进行以输出图像，该图像的sRGB分量分别具有8个比特(S205)。在图像数据的这种重构的硬件实现中，例如，这种重构电路包括乘法和除法电路、矩阵运算电路和使用查找表的表查找电路(逆伽马转换单元)。

或者，校正比Y’(x，y)/Y(x，y)可以通过上述方法计算，并且输入图像的sRGB分量可以被分别乘以该比。

图3概念性地示出了色彩校正处理与各个数据之间的关系。

亮度部分图像402被从sRGB输入图像401中提取出来，然后通过低通滤波处理被转换成低频亮度分量图像403。然后，改进的亮度值Y’被根据与输入图像401的像素411对应的低频亮度分量图像403的像素的Y值以及色彩校正参数405(对应于γ₀、γ₁等)而计算出来。此外，作为与输入图像401的像素411对应的亮度分量图像402的像素412的亮度值Y的比的校正比Y’/Y被计算。然后，像素411的sRGB值被分别乘以校正比Y’/Y等等，以计算sRGB输出图像404的像素414的像素值。注意，像素412对应于公式(4)到(6)中的Y(x，y)，像素413对应于公式(4)到(6)中的Fn(x，y)*Y(x，y)。

色彩校正参数405可以根据图像处理***而被预先设置，并且它们可以被应用。或者，可以准备多个色彩校正参数设置，因此用户可以有选择地设置这些参数。在这种情况下，这些参数设置可以以允许用户容易地识别出色彩校正参数差异的形式而被显示在显示单元103上，所述参数差异例如“强”、“中”、“弱”等。当然，例如列表框、文本框、滑块、按钮等的GUI可以被显示在显示单元103上，用户可以通过操作输入单元101来选择或输入值。

图3图示了输入图像401、亮度分量图像402和低频亮度分量图像403具有相同的大小。但是，这些图像的大小不需要匹配。也就是说，取样可以在亮度分量和/或低频亮度分量的提取中进行。在这种情况下，亮度分量图像402和低频亮度分量图像403可以在上述处理的执行之前通过已知的可变放大处理被转换成具有与输入图像401相同的大小。亮度分量图像402可以是产生低频亮度分量图像403所需的中间图像数据，并且亮度分量可以在色彩校正时从输入图像401中被重新提取。

[运动图像]

图4是用于说明作为具有转变信息的运动图像的示例的MPEG运动图像压缩方法的图。

将通过MPEG编码被编码的帧被分成称为内部图片(I图片)、预测图片(P图片)和双向预测图片(B图片)的三种图片类型，如图4所示。

I图片帧可以仅仅通过帧间编码而不参照其它帧的信息被编码/解码，但是其具有大的代码大小。P图片帧经受对差异进行编码的帧间预测编码，并且具有比I图片更小的代码大小，所述差异是通过使用先前一个或多个帧的在前I或P图片帧进行运动补偿预测获得的。B图片帧经受双向帧间预测编码，该编码不仅根据先前的帧而且根据随后的I或P图片帧进行预测，并且具有比P图片还小的代码大小。

为了增加编码效率，可能主要使用P和B图片。但是，考虑到例如搜索等的重放、编辑以及从错误恢复，I图片在编码时被以适当间隔***，如在例如图4中所示。如图4所示，包括I图片的多个帧的单元被叫做GOP(图片组)。图4中示出的箭头指示帧的参考关系。

因为P和I图片帧在MPEG编码时将被参考，所以一个先前的或随后的I或P图片帧只需要相对于当前被解码的B图片被呈现。也就是说，使帧(T0)和帧(T1)为先前的I或P图片和随后的I或P图片的解码结果的帧图像。然后，就得到了下面的关系。

·当前将被解码的帧是I图片帧：帧(T1)被丢弃，并且当前帧的解码结果被设置为新的帧(T1)。帧(T0)可以被丢弃。

·当前将被解码的帧是P图片帧：帧(T0)被丢弃，并且当前帧(T1)被设置为新的帧(T0)。而且，当前帧的解码结果被设置为帧(T1)。

在第一实施例中，在运动图像重放时，帧图像即被解码，并且每一帧图像的亮度分量图像和低频亮度分量图像被产生以执行对帧图像的色彩校正处理。这些亮度分量图像与前面提到的帧图像的解码(产生)和丢弃同时地产生和丢弃。即，根据运动图像数据编码方法，亮度分量图像在帧图像的解码(产生)处理之后或者并行地被产生。然后，低频亮度图像被产生，并且相应的亮度分量图像和低频亮度分量图像在帧图像的丢弃之后或者并行地被丢弃。

在没有被编码的运动图像数据的情况中，亮度分量图像根据该帧图像的存储格式在该帧图像的提取之后或者并行地被产生，然后低频亮度分量图像被产生。相应的亮度分量图像和低频亮度分量图像在帧图像的丢弃之后或者并行地被丢弃。当运动图像数据经由通信单元107从外部接收时，前面提到的解码(产生)或提取在需要时包括帧图像的请求或接收。

[更新处理]

图5是用于说明在帧图像具有参考关系时亮度分量图像和低频亮度分量图像的更新处理的图，并且示出了在色彩校正处理中使用的帧图像与图像数据之间的关系。

参考帧图像501是将由将被色彩校正的帧图像511(以下将称作色彩校正帧图像)参考的帧图像，并且在MPEG情况中为I或P图片帧图像。色彩校正帧图像511是将被当前色彩校正的帧图像，并且是通过对P或B图片帧进行解码而获得的图像。

参考帧的亮度分量图像502是通过从参考帧图像501中提取亮度分量而获得的。参考帧的低频亮度分量图像503是通过对参考帧的亮度分量图像502应用低通滤波处理获得的。同样，色彩校正帧的亮度分量图像512是通过从色彩校正帧图像511中提取亮度分量获得的。此外，色彩校正帧的低频亮度分量图像513是通过对色彩校正帧的亮度分量图像512应用低通滤波处理获得的。

假设色彩校正帧511中的给定图像区532参照参考帧图像501中的图像区531。为了简化，假设色彩校正帧图像511中除图像区532之外的像素与参考帧图像501中处于相同位置的那些像素相同，并且既没有位置改变也没有像素值改变。

参考帧的亮度分量图像502中的图像区534以及色彩校正帧的亮度分量图像512中的图像区536就位置而言对应于图像区532。同样，参考帧的亮度分量图像502中的图像区533就位置而言对应于图像区531。此外，色彩校正帧的低频亮度分量图像513中的图像区541就位置而言对应于图像区536。同样，参考帧的低频亮度分量图像503中的图像区539就位置而言对应于图像区534。

另一方面，色彩校正帧的低频亮度分量图像中的图像区540在低频亮度分量的提取时即受到图像区536中像素亮度值的影响。参考帧的低频亮度分量图像503中的图像区538就位置而言对应于图像区540。同样，色彩校正帧的亮度分量图像512中的图像区537在图像区540的低频分量的提取时即被参考。参考帧的亮度分量图像502中的图像区535就位置而言对应于图像区537。

图6是用于更详细地说明图5所示图像区的图，图6中最小的矩形的阵列指示像素。

假设3×3滤波处理将被应用于图像。在这种情况下，像素711的处理参照图像区702中的像素被进行。这时，作为图像区701中的像素，像素712被参考。换句话说，像素711的滤波处理结果取决于像素712。同样，如可以根据上述描述看出的，在图像区701周围，其滤波处理结果取决于图像区701中的像素的区是图像区703。换句话说，当图像区701中的像素值已经变化时，图像区703中的像素值必须被更新。如果滤波形状被确定并且图像区701的形状也被确定，那么图像区703也被唯一确定。

此外，图像区704在图像区703中的像素的滤波处理时被参考，并且在滤波形状被确定且图像区703的形状也被确定时被唯一确定。

注意，滤波形状不限于3×3矩形，而是它可以是其它形状和大小。例如，滤波形状不需要总是具有相同的竖直和水平大小，并且竖直或水平大小不需要总是由奇数个像素表示。当然，滤波不需要总是为矩形，而是可以具有任意形状和大小。

现在回去参照图5，假设图像区532参考图像区531。此外，假设色彩校正图像帧511中除图像区532之外的像素与参考帧图像501中处于相同位置的那些像素相同，并且既没有位置改变也没有像素值改变。在这种情况下，关于色彩校正帧的亮度分量图像512中除图像区536之外的像素，处于参考帧的亮度分量图像502中相同位置的像素值被参考(或者被复制)。关于图像区536，亮度分量可以被从图像区532中提取。

关于色彩校正帧的低频亮度分量图像513中除图像区540之外的像素，处于参考帧的低频亮度分量图像503中相同位置的像素值被参考(或者被复制)。关于图像区540，低频亮度分量可以被从更新后的色彩校正帧的亮度分量图像512的图像区537中提取。

在上面的描述中，色彩校正帧图像仅仅参考一个帧图像。但是，当多个帧图像被参考，如MPEG的B图片帧那样时，前面提到的更新处理就可以被应用。

[运动图像的色彩校正处理]

下面的描述将在如下的假设之下给出，所述假设即输入图像和色彩校正之后的输出图像由sRGB色彩空间指定，并且亮度和色调由通过转换sRGB获得的sYCC色彩空间指定。此外，在下面的描述中，一种类型的低频分量图像被用在色彩校正中。

图7是示出了将由CPU 104执行的运动图像色彩校正处理的细节的流程图。图7中相同的标号指代与图2中相同的过程，并且其详细描述通常被省略。在下面的描述中，MPEG数据被用作具有帧间转变信息的运动图像数据。

在将在下面描述的处理之前，CPU 104执行用于在步骤S201中对MPEG数据进行解码的处理。如果有色彩校正帧图像(P或B图片帧)和参考图像(I或B图片帧)，那么参考帧图像被解码，并被存储在RAM 106或数据存储单元102中。

注意，色彩校正帧的亮度分量图像和低频亮度分量图像以及参考帧的亮度分量图像和低频亮度分量图像的产生将在下面描述，而这些图像的丢弃的描述将不被具体说明。如上所述，这些图像在丢弃相应的帧图像时即被丢弃。

CPU 104判断色彩校正帧是否参考另一个帧(S301)。在MPEG数据的情况下，色彩校正帧的图片类型被检查，并且如果图片类型是I图片，那么判断为该帧不参考另一个帧；如果图片类型是P或B图片，那么判断为该帧参考另一个帧。注意，该判断处理可以通过根据MPEG标准检查MPEG数据而被实现。但是，优选地，在色彩校正处理之前的解码处理时对各个帧的判断结果被存储在RAM 106中，并且存储在RAM 106中的判断结果被参考。

在不参考另一个帧的色彩校正帧的情况中，CPU 104从整个色彩校正帧图像中提取亮度分量以产生色彩校正帧的亮度分量图像，其被保存在RAM 106或数据存储单元102中(S307)，如在步骤S202中一样。随后，CPU 104从色彩校正帧的亮度分量图像中提取低频亮度分量以产生色彩校正帧的低频亮度分量图像，其被保存在RAM 106或数据存储单元102中(S308)，如在步骤S203中一样。CPU 104使用亮度分量图像和色彩校正帧的低频亮度分量图像对色彩校正帧图像进行色彩校正(S306)，如在步骤S204中一样。

另一方面，在参考另一个帧的色彩校正帧的情况中，CPU 104参照色彩校正帧图像与参考帧图像之间的转变信息检测包括色彩校正图像转变的图像区(以下将被称为转变区)(S302)。在MPEG数据的情况中，转变区可以参照运动向量作为转变信息而被检测。也就是说，在MPEG数据的情况中，色彩校正帧图像被分段成块，并且运动向量被分配给各个块。因此，通过检查每个运动向量，对于与参考帧图像的相应块相比没有位置和像素值转变的块，判断出没有运动；否则，检测出有运动。或者，指示可允许值的阈值可以被设置为运动向量的位置和像素值的转变量。如果转变量等于或小于阈值，那么可以判断出没有运动；否则，判断出有运动。注意，块的运动向量和它们的转变信息可以通过根据MPEG标准检查MPEG数据而获得。优选地，这些信息块可以被存储在RAM 106中在解码处理时用于各个帧，并且运动的有/无可以参照存储在RAM 106中的信息来判断。

接下来，CPU 104确定必须被更新的图像区(以下称为更新图像区)(S303)。该处理根据图5中的图像区541确定低频亮度分量图像513中将被更新的图像区540。因为这些区的确定方法已经使用图6进行了描述，所以其详细描述将被省略。在这种情况下，更新图像区被确定为具有在步骤S302检测到的转变的块。

CPU 104然后提取转变区的亮度分量(S304)。在该处理中，图5中图像区536的亮度值被计算。图像区536的亮度分量被参照存储于RAM 106或数据存储单元102中的色彩校正帧图像511的图像区532来计算。注意，步骤S304中的处理基本上与图2所示步骤S202中的相同，不同的只是输入为转变区(部分图像)。也就是说，与步骤S202中相同的处理被执行以使图像区532作为输入来获得图像区536的亮度分量图像(部分亮度部分图像)。在该处理中，在RAM 106或数据存储单元102上确保用于存储色彩校正帧的亮度分量图像的区域。色彩校正帧的亮度分量图像没有任何转变的图像区，即除图5所示亮度分量图像512的转变区536之外的图像区通过复制参考帧的亮度分量图像502的相应亮度像素值而被存储。此外，转变区536通过记录在步骤S304中产生的亮度分量的像素值而被保存。

CPU 104然后提取在步骤S303中确定的更新图像区的低频亮度分量(S305)。在该处理中，图5中图像区540的低频亮度分量的像素值被计算。图像区540的低频亮度分量被参照色彩校正帧图像512的图像区537来计算，所述图像区537在步骤S304中被产生并且被存储在RAM 106或数据存储单元102中。注意，步骤S305中的处理与图2所示步骤S203中的处理基本上相同，不同的只是输入为色彩校正帧图像的亮度分量图像的部分图像。也就是说，与步骤S203中相同的处理被执行以使图像区537作为输入，从而获得了图像区540的低频亮度分量图像。在该处理中，在RAM 106或数据存储单元102上确保有用于存储色彩校正帧的低频亮度分量图像的区域。色彩校正帧的低频亮度分量图像中不需要任何更新处理的图像区，即除图5所示低频亮度分量图像513的更新图像区540之外的图像区，通过复制参考帧的低频亮度分量图像503的相应低频亮度像素值而被存储。然后，更新图像区540通过记录在步骤S305中产生的低频亮度分量的像素值而被保存。

也就是说，在步骤S304中转变区的亮度分量被从色彩校正帧图像中提取，并且被与参考帧图像的那些分量组合，从而产生了色彩校正帧的亮度分量图像。然后，在步骤S305，更新图像区的低频亮度分量被从在步骤S304中产生的亮度分量图像中提取，并且被与参考帧图像的低频亮度分量组合，从而产生色彩校正帧的低频亮度分量图像。使用亮度分量图像和以这种方式产生的色彩校正帧的低频亮度分量图像，色彩校正帧图像被进行色彩校正(S306)，如在步骤S204中一样。

一旦使用亮度分量和低频亮度分量进行了运动图像的色彩校正，这些分量就只被从将被更新的区(转变区和更新图像区)中提取，从而减小了色彩校正的处理负荷。特别是，当具有相对较小转变的运动图像例如监视相机等的运动图像将被进行色彩校正时，处理负荷可以被有效地减小。

第二实施例

下面将描述根据本发明第二实施例的图像处理。注意，第二实施例中相同的标号指代与第一实施例中相同的部分，并且其详细描述将被省略。

第一实施例已经例示了其中色彩校正帧是否参考另一个帧被简单判断来控制分支到第一处理(S307和S308)和第二处理(S302到S305)的处理的情况。但是，当存在许多帧间转变时，在只处理转变区的第二处理上的处理负荷经常变得比处理整理整个色彩校正图像的第一处理上的处理负荷更重。因此，将说明在参考另一个帧的色彩校正帧的情况中增加了另一个判断处理、并且基于判断结果控制分支到第一或第二处理的处理的第二实施例。

图8是示出了根据第二实施例的运动图像色彩校正处理的流程图。图8中相同的步骤号码指代与图2和图7中的那些相同的过程，并且其详细描述将被省略。在下面的描述中，MPEG数据被用作具有帧间转变信息的运动图像数据。

如图8所示，在于步骤S302检测到转变区之后，CPU 104判断转变区是否小(S310)。如果转变区小，那么第二处理被执行；否则，第一处理被执行。

在MPEG数据的情况中，转变区是否小是通过检查具有转变的块的数量并将其与预定阈值相比来判断的，因为作为转变信息的运动向量被分配给具有固定大小的每个图像块。或者，具有转变的像素的数量可以被获得，并且其中具有转变的像素数量小于预定值的块可以被判断为没有转变的块。

每个块的运动向量被检查以在即使没有位置转变发生时判断其位置和方向是否已经转变或者块差异信息是否已经转变，从而检测该块的转变，并计数转变从其被检测的块的数量。块的运动向量和它们的转变信息可以通过根据MPEG标准检查MPEG数据而被获得。优选地，这些信息块可以被存储在RAM 106中在解码处理时用于各个帧，并且存储在RAM 106中的信息可以被参考。

注意，阈值可以根据经验来确定，并且可以被存储在ROM 105或数据存储单元102中。或者，用户可以指定阈值。在这种情况下，在图8所示的处理之前，例如列表框、文本框、滑块、按钮等的GUI可以被显示在显示单元103上，并且用户可以通过操作输入单元101来选择或输入阈值。当然，用户的阈值指定可以根据图8所示的处理而被单独接受，并且用户指定的值可以在步骤S310的判断处理中从RAM 106等被加载。

步骤S310中的判断处理判断在处理部分图像时的容易性，即，第二处理的后面阶段(S303到S306)上的处理负荷是否很重。只有当判断出处理负荷轻时，第二处理的后面阶段才被执行。因此，本发明不限于前面提到的判断方法，而是可以采用任何其它方法，只要第二处理后面阶段上的处理负荷可以被估计和判断即可。

以这种方式，除了关于色彩校正帧是否参考另一个帧的判断之外，判断转变区是否小以选择处理色彩校正帧图像的第一或第二处理，从而与第一实施例相比进一步有效地减小了处理负荷。

第三实施例

下面将描述根据本发明第三实施例的图像处理。注意，第三实施例中的相同标号指代与第一和第二实施例中相同的部件，并且其详细描述将被省略。

图9是示出了根据第三实施例的运动图像色彩校正处理的流程图。图9中相同的步骤标号指代与图2、7和8中的那些相同的过程，并且其详细描述将被省略。在下面的描述中，MPEG数据被用作具有帧间转变信息的运动图像数据。

在不参考另一个帧的色彩校正帧的情况中，色彩校正帧图像被使用亮度分量图像和色彩校正图像的低频亮度分量图像而被进行色彩校正(S320)，如在步骤S204中一样。该处理以下将被称为第一色彩校正处理。

另一方面，参考另一个帧的帧的色彩校正(S321)参照参考帧的亮度分量图像和低频亮度分量图像、或者在步骤S303产生的部分亮度分量图像和在步骤S304产生的部分低频亮度分量图像而被进行。该处理以下将被称为第二色彩校正处理。

图10是用于说明第二色彩校正处理的流程图。

将被进行色彩校正的像素(以下称为感兴趣像素)被初始化为图像的第一像素(S901)，并且判断感兴趣像素是否落在于步骤S302中检测出的转变区内(S902)。该处理对应于关于感兴趣像素是否落在图5所示图像区535或537内的判断，并且可以通过将感兴趣像素的坐标值与指示步骤S302中检测出的转变区的坐标值相比来实现。

如果感兴趣像素落在转变区内，那么与感兴趣像素位置相应的亮度分量的像素值被根据部分亮度分量图像读出(S903)。另一方面，如果感兴趣像素落在转变区外，那么与感兴趣像素位置相应的亮度分量的像素值被根据参考帧的亮度分量图像读出(S904)。

然后判断感兴趣像素是否落在步骤S303中确定的将被更新的区内(D905)。该处理对应于关于感兴趣像素是否落在图5所示图像区538或540内的判断，并且可以通过将感兴趣像素的坐标值与指示步骤S303中确定的将被更新的区的坐标值相比较来实现。

如果感兴趣像素落在将被更新的区内，那么与感兴趣像素的位置相应的低频亮度分量的像素值被根据部分低频亮度分量图像读出(S906)。另一方面，如果感兴趣像素落在将被更新的区之外，那么与感兴趣像素位置相应的低频亮度分量的像素值被根据参考帧的低频亮度分量图像读出(S907)。

感兴趣像素的像素值通过公式(4)到(6)之一使用亮度分量和低频亮度分量的像素值而被进行色彩校正(S908)。然后判断所有像素的处理是否已经完成(S909)。如果将被处理的像素仍旧存在，那么下一个像素被选择为感兴趣像素(S910)，并且流程返回到步骤S902。之后，步骤S902到S910被重复直到所有像素的处理都已完成。

在上面的描述中，步骤S902和S905中的在内部/在外部判断过程是基于区的坐标值和感兴趣像素的坐标值而作出的。可替换地，图11中所述的区判断地图1001可以被并行于步骤S302和S303中的过程产生，并且判断可以参照区判断地图1001来进行。

在图11所示的区判断地图1001中，标号1002指代将被更新的区；1003指代转变区。例如，值“2”被记录在转变区1003的各个像素中，值“1”被记录在通过从将被更新的区1002中除去转变区1003后获得的区的像素中，值“0”被记录在其它像素中。如果与感兴趣像素位置相应的区判断地图1001的像素值为“2”，那么在步骤S902判断出感兴趣像素落在转变区内；否则，判断出感兴趣像素落在转变区之外。同样，如果与感兴趣像素位置相应的区判断地图1001的像素值为“0”，那么在步骤S905判断出感兴趣像素落在将被更新的区之外；否则，判断出感兴趣像素落在将被更新的区内。当然，与转变区相关联的区地图和与将被更新的区相关联的区地图可以被单独产生。

以这种方式，一旦使用亮度分量和低频亮度分量对运动图像进行了色彩校正，这些分量就只被从将被更新的区(转变区和更新图像区)中提取，从而减小了色彩校正的处理负荷。

此外，如图12所示，第二实施例(图8)中关于转变区是否小的判断也可以被添加到图10所示的处理中以选择处理色彩校正帧图像的第一或第二处理，从而与图10所示的处理相比进一步有效地减小了处理负荷。

第四实施例

下面将描述根据本发明第四实施例的图像处理。注意，第四实施例中的相同标号指代与第一到第三实施例中相同的部件，并且其详细描述将被省略。

图13是示出了根据第四实施例的运动图像色彩校正处理的流程图。图13中的相同步骤标号指代与图2、7和9中的那些相同的过程，并且其详细描述将被省略。在下面的描述中，MPEG数据将被用作具有帧间转变信息的运动图像数据。

在不参考另一个帧的色彩校正帧的情况下，第一色彩校正处理使用亮度分量图像和色彩校正帧的低频亮度分量图像被应用于色彩校正帧图像(S320)，如在步骤S204一样。

另一方面，参考另一个帧的帧的被色彩校正后的部分图像被如下获得。第二色彩校正处理参照参考帧的亮度分量图像和低频亮度分量图像或者在步骤S303中产生的部分亮度分量图像和在步骤S304中产生的部分低频亮度分量图像而被应用于色彩校正帧图像中将被更新的区。通过该处理，获得了色彩校正后的部分图像(S330)。色彩校正后的部分图像和参考帧的色彩校正后的图像被组合以获得色彩校正帧图像的色彩校正结果(S331)。为了这一目的，在RAM 106或数据存储单元102上确保有用于存储色彩校正后的帧图像的区域，并且将被更新的区的色彩校正后的部分图像被覆写在参考帧的色彩校正后的图像上。

以这种方式，在使用亮度分量和低频亮度分量对运动图像进行色彩校正之后，这些分量即被只从将被更新的区(转变区和更新图像区)中提取出来，从而减小了色彩校正的处理负荷。

第四实施例已经例示了其中参考帧的色彩校正后的图像被存储、并且其被与通过第二色彩校正处理获得的色彩校正后的部分图像组合的情况。但是，色彩校正可以使用参考帧图像或色彩校正帧图像、参考帧的亮度分量图像和低频亮度分量图像之一来进行，并且该色彩校正结果的图像可以与通过第二色彩校正处理获得的部分图像组合。通过这种处理，可以被参考的帧的色彩校正后的图像不需要被存储在RAM 106或数据存储单元102中。也就是说，虽然因为增加了色彩校正处理而使得处理负荷变得比第四实施例的处理更重，但是可以被参考的帧的色彩校正后的图像不需要被保存，从而相应地减小了存储器大小。

此外，如图14所示，第二实施例(图8)中关于转变区是否小的判断也可以被添加到图13所示的处理中以选择处理色彩校正帧图像的第一或第二处理，从而与图13所示的处理相比进一步有效地减小了处理负荷。

实施例的修改

上面描述的实施例已经说明了用MPEG编码的运动图像数据作为具有转变信息的运动图像数据的示例。但是，前面提到的图像处理可以被容易地应用于其它格式的运动图像数据，只要它们具有帧间转变信息即可。

在上面的描述中，转变区的亮度分量图像是通过参考色彩校正帧图像获得的。可替换地，被该色彩校正帧参考的参考帧可以被参考。因为MPEG数据具有每个块的旋转和差异信息，所以参考帧图像在旋转和差异被应用于参考帧图像的参考块之后被参考。

在例如通过RGB线性转换获得的YCbCr的色彩空间的情况中，参考帧的亮度分量图像的参考块可以被使用。在这种情况下，亮度分量图像的每个块的转变可以被容易地预测，因为色彩空间是通过线性转换获得的。

其它实施例

本发明可以应用到由多个设备(例如主计算机。接口、读取器、打印机)构成的***或包括单个设备的装置(例如复印机、传真机)。

另外，本发明的目的也可以通过提供一种存储用于对计算机***或装置执行(例如个人计算机)执行前述处理的程序代码的存储介质、由计算机***或装置的CPU或MPU从存储介质读取程序代码并然后执行该程序来实现。

在这种情况下，从存储介质读取的程序代码实现根据各实施例的功能，且存储程序代码的存储介质构成了本发明。

另外，例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失型存储卡和ROM的存储介质可用于提供程序代码。

另外，除了根据上述实施例的前述功能通过执行由计算机读取的程序代码而实现以外，本发明还包括这样的情形，其中工作于计算机之上的OS(操作***)等执行根据程序代码的指示的部分或整个过程且实现根据上述实施例的功能。

另外，本发明还包括这样的情形，其中当从存储介质读取的程序代码写入***到计算机中的功能扩展卡中或提供在连接到计算机的功能控制单元中的存储器中后，包含在功能扩展卡或单元中的CPU等执行根据程序代码的指示的部分或整个过程且实现上述实施例的功能。

在其中本发明被应用到前述存储介质的情况下，存储介质存储相应于各实施例中描述的流程图的程序代码。

由于本发明的许多明显广泛范围的不同实施例可以在不背离本发明精神和范围的情况下作出，应当理解本发明不限于其特定实施例，而是由权利要求书进行限定。

Claims

1.一种对运动图像数据的帧图像执行色彩校正的方法，包括以下步骤：

检测在色彩校正的目标帧图像中的转变区；

根据目标帧图像的图像数据产生更新区的低频数据；以及

2.根据权利要求1的方法，其中该产生和执行步骤通过合成参考帧图像的低频数据和更新区的低频数据产生相应于整个目标帧图像的低频数据，并使用相应于整个目标帧图像的低频数据执行色彩校正。

3.根据权利要求1的方法，其中该产生和执行步骤包括以下步骤：

判断在更新区中是否存在感兴趣像素；

当在更新区中存在感兴趣像素时，使用更新区的低频数据产生感兴趣像素的低频数据，并使用产生的低频数据对感兴趣像素执行色彩校正；以及

当在更新区中不存在感兴趣像素时，从参考帧图像的低频数据中提取感兴趣像素的低频数据，并使用提取出的低频数据对感兴趣像素执行色彩校正。

4.根据权利要求1的方法，其中该产生和执行步骤包括以下步骤：

判断在更新区中是否存在感兴趣像素；

当在更新区中不存在感兴趣像素时，读出经受色彩校正的参考帧图像的像素数据，作为经受色彩校正的感兴趣像素的数据。

5.根据权利要求1的方法，还包括步骤：当在目标帧图像中存在许多转变区时，根据整个目标帧图像的图像数据产生整个目标帧图像的低频数据。

6.根据权利要求1的方法，其中运动图像数据是MPEG数据，且转变区的检测使用MPEG数据的帧间转变信息。

7.一种对运动图像数据的帧图像执行色彩校正的图像处理装置，包括：

检测器，被安排来检测在色彩校正的目标帧图像中的转变区；

设置器，被安排来根据检测出的转变区在目标帧图像中设置其中低频数据将被更新的更新区；

产生器，被安排来根据目标帧图像的图像数据产生更新区的低频数据；以及

处理器，被安排来根据参考帧图像的低频数据和更新区的低频数据产生目标帧图像的低频数据，并对目标帧图像执行色彩校正。

8.根据权利要求7的装置，其中所述处理器通过合成参考帧图像的低频数据和更新区的低频数据产生相应于整个目标帧图像的低频数据，并使用相应于整个目标帧图像的低频数据执行色彩校正。

9.根据权利要求7的装置，其中所述处理器通过执行以下步骤执行色彩校正：

判断在更新区中是否存在感兴趣像素；

10.根据权利要求7的装置，其中所述处理器通过执行以下步骤来执行色彩校正：

判断在更新区中是否存在感兴趣像素；

11.根据权利要求7的装置，其中，所述产生器当在目标帧图像中存在许多转变区时，根据整个目标帧图像的图像数据产生整个目标帧图像的低频数据。

12.根据权利要求7的装置，其中运动图像数据是MPEG数据，且所述检测器使用MPEG数据的帧间转变信息检测转变区。