CN101031972A - 色彩判定元数据生成的方法及设备 - Google Patents

Abstract

一种方法提供用于确定要对表示运动图像序列的图像数据执行的色彩校正过程(705)的元数据。元数据中的指令控制将要执行多少色彩校正以及这类操作发生的时间。图像数据则经过在指定时间并且以确定顺序执行的指定色彩校正操作(710)。图像数据则由呈现装置作为一系列图像呈现(715)。可选地，图像数据的不同区域可经过不同的色彩校正操作。

Description

色彩判定元数据生成的方法及设备

相关申请的交叉引用

本申请要求2004年9月29日提交的美国临时申请No.60/614110的优先权。

技术领域

一般来说，本发明涉及视频处理领域，以及更具体来说，涉及视频段的色彩校正。

背景技术

在例如用于电影或电视行业的后期制作领域，操作视频编辑器的人可控制视频内容的色彩以便为了艺术目的而允许导演预期的特效。例如，可通过加亮视频内容的色彩以便描绘“柔和”效果或者通过色彩变暗来描绘“砂质”色彩效果来修改视频内容。

当修改视频内容的色彩时，可能难以让这类变更从编辑装置保持到用来显示装置内容的装置、如视频监视器或电影放映机。或者，如果视频内容在编辑工作流程中经过多个装置，则这类装置可能没有相互通信的部件来有效地表明对视频内容的色彩进行了什么变更，因为不同的装置具有处理色彩校正的不同能力。

发明内容

以上所述的问题以及先有技术的其它相关问题通过本发明来解决。

根据本发明的一个方面，涉及用于传送和使用元数据的方法，所述元数据涉及要对于表示图像序列的图像数据执行的色彩校正操作的顺序以及将对这类图像数据执行的这类操作的数量。

结合附图，参照以下对优选实施例的详细说明，本发明的这些以及其它方面、特征和优点将变得非常明显。

附图简介

图1是简图，说明可视信息获取及编辑***的一个示范实施例；

图2是简图，说明色彩校正操作；

图3是示意图，说明对图像数据的不同序列执行的各种色彩校正操作的操作；

图4是用于色彩校正操作的示例升力曲线；

图5是用于色彩校正操作的示例增益曲线；

图6是用于色彩校正操作的示例伽玛曲线；以及

图7是简图，说明对能够作为图像序列呈现的数据应用色彩校正操作的方法的一个实施例。

具体实施方式

本发明的一个示范实施例针对用来创建、编辑和显示视频内容的视频获取/编辑工作流程。如图1所示，***100是采用获取装置105来获取视频内容的示范可视信息获取/编辑工作流程。获取装置105是诸如摄影机、电影摄影机、电影数字化仪、视频捕捉装置之类的装置或者能够存储稍后可能在视觉上采取视频段的形式再现的可视信息的其它类型的装置。术语“视频段”表示沿时间线的图像序列的任何时间、空间或时空分段。术语“可视信息”(或图像数据)是能够表示图像的任何类型的信息。在本发明的优选实施例中，可视信息是用于生成作为视频序列提供或者作为一系列帧在电影上显示的图像序列(运动图像)的信息。

获取装置105可在例如胶片、计算机存储器、闪存卡、硬盘驱动器、数字视频光盘(DVD)、计算机磁盘、数字存储装置、档案存储磁带等的存储媒体上存储获取的可视信息。当这类可视信息通常以数字形式存储时，获取装置使所存储可视信息经过定义所存储视频信息的色彩属性、称作色彩空间的变换。不同类型的色彩空间在本领域是已知的，例如由国际照明协会(CIE 1931，L^*a^*b^*)国际电信联盟(ITU REC 601)、红蓝绿等所定义。这些标准在本领域中定义可视信息存储时的色彩属性，以及再现这类可视信息(以视频或电影的形式)。

来自获取装置105的可视信息要由可采取非线性编辑器、计算机等的形式的编辑装置110进行修改。在本发明的一个优选实施例中，编辑装置110用于色彩管理，其中来自获取装置105的已存储可视信息被检索(扫描、从存储装置中读取、通过网络连接传送等)，并且是诸如2k DA VINCI和DISCREET LUSTRE 4k之类的软件可修改的，其中色彩修改表示由例如着色师或导演之类的人进行的创造性选择。

可选地，色彩修改表示其中可视信息经过修改以便适应装置的特征的自动操作。例如，由获取装置105存储的可视信息可具有与编辑装置110所使用的不同的色彩空间。因此，***经过配置，使得经由查找表、色彩变换信息、软件转换等将可视信息修改为用于编辑装置110的色彩空间。

应当注意，虽然本发明的获取/编辑工作流程***相对于获取装置105和编辑装置110来论述，但是大家要理解，其它装置可用于视频编辑工作流程。例如，获取装置105可能表示由家庭用户使用的摄影机，以及编辑装置110可能表示运行数字视频(DV)编辑软件的家用计算机及其它装置。另外，编辑装置110可选地表示一系列装置，其中各装置用于编辑可视信息。例如，一个编辑装置110可能由导演控制以便进行某些初始色彩修改选择，以及第二编辑装置可能由操作员控制以便在这类可视信息通过呈现装置115作为图像帧序列印制到生胶片之前对其进行色彩校正。

呈现装置115用于呈现可视信息，用于采用诸如监视器、电影放映机、数字光线处理(DLP)、液晶显示器、印片机之类的装置进行显示，或者作为用来最终以可视形式呈现可视信息的胶片、CD-ROM、DVD、计算机磁带、闪存卡等呈现这类信息。优选地，可视信息将作为用于形成诸如视频序列(用于录像带、DVD流播视频等)的内容的运动图像序列以及胶片上的图像帧来组成。

申请人注意到，下面将要说明的本发明的原理也适用于消费者电子设备，其中广播者或内容生产者(用作获取装置705的代理)提供表示图像序列的图像数据。广播者可对于具体类型的装置(例如对于特定类型的显示装置)规定：一种色彩校正技术应用于一种类型的装置(等离子体显示装置)以及第二色彩校正应用于第二类型的装置(阴极射线管显示装置)。根据本发明的原理可指定其它显示装置。本发明的原理还可用来校准编辑设备以便在执行色彩校正操作时获得一致结果。

如本申请先前所述，装置可利用不同的色彩空间，或者已经对可视信息的色彩进行了修改。本申请提供生成元数据的***，元数据表示其中所进行的色彩修改可在不同装置和厂商使用和/或提供的软件之间传送的构架。这种元数据优选地基于具有图像序列的XML方案关联色彩校正元数据。本发明采纳其中色彩校正元数据可在时间上与图像序列关联的前提，其中对于两个时间周期之间使用两个不同集合的色彩校正元数据。

另外，本发明还采纳其中不同色彩校正器可用于可视数据的前提。不同类型的色彩校正器和色彩校正操作是本领域已知的，例如采用具有红绿蓝(RGB)输出的一系列三个一维查找表(参见图2)、利用亮度和色度(YcrCb)的一系列三个一维查找表、三维查找表、预先计算的矩阵变换、升力增益伽玛函数规范等。色彩校正器的应用则可对于不同的时间周期以不同顺序来排序。

例如，对于图像序列的一个时间周期，图像首先经过基于RGB的色彩校正，然后再经过受到升力增益伽玛色彩校正操作影响的彩色校正。对于第二时间周期，图像的第二序列经过三维查找表，然后再经过基于RGB的色彩校正操作。根据本发明的原理可采用其它色彩校正过程。

表1表示用于对图像序列执行色彩校正操作的描述工具的一个示范实施例。这些操作可在配有图像序列的元数据中得到反映。色彩校正算子的所述方面利用定义为运动图像专家小组(MPEG-7)可视标准(ISO/IEC 15938-3：2002)的一部分的术语。

描述工具集	功能性
		色彩校正	描述一个、两个或三个色彩校正器的级联应用。
色彩校正器	描述单个色彩校正器的规范。色彩校正器的示例类型包括：三个一维查找表三维查找表预先计算的矩阵变换升力增益伽玛函数规范。
		色彩工具	描述色彩成分及其量化。
时间同步工具	描述媒体时间和时长与胶片边缘代码和胶片长度的同步。
		结构描述工具(来自MPEG-7)	描述相对于所应用色彩校正的视频的结构。结构描述包括多媒体内容的空间、时间或时空段。

表1

色彩校正器的应用可应用于***100中的任何位置，其中可对于特定装置或者对于视频图像序列在不同时间进行多个色彩校正器。图3说明可执行不同色彩校正过程的时间和位置的一个示范实施例。对于作为视频序列300提供的图像序列，序列分解为一系列三个时间段T1、T2和T3。对于T1，视频序列分为两个不同的视频段V10和V11，其中对V10执行一个色彩校正操作C10，以及对V11执行第二色彩校正操作C11。

时间T2表示色彩校正器C20和C22的应用之间存在时间间隙的情况。如图所示，视频序列V20和V22分别经过C20和C22。V21不经过色彩校正操作。时间T3表示当视频序列V32经过色彩校正器C32时、视频序列V30经过色彩校正器C30的情况。同样明显的是，对于视频序列V31，两种色彩校正操作C30和C32均应用于视频序列，以便在它们的应用时间中重叠。

表2表示用于生成以色彩判定列表的形式来表明色彩校正元数据的元数据的XML方案的一个示范实施例。

XML术语	成分	描述
			ColorDecisionList(色彩判定列表)		用作描述的根元素。Colordecisionlist(色彩判定列表)将用作描述中的最高元素。它是基于MPEG-7视频段描述符段的元素，并包含MPEG-7视频段DS所提供的所有时间、空间和时空分解
	MediaInformation(媒体信息)	标识附加了这个元数据的视频图片序列的元数据
			MediaType(媒体信息)	经过色彩校正的媒体的类型
	Visual Descriptor(可视描述符)	描述图像和视频的可视特征，例如色彩、纹理、形状和运动等，如MPEG-7中那样
			Spatial Decomposition(空间分解)	图像或图像序列中的空间区域(参见MPEG-7)
	Temporal Decomposition(时间分解)	具有图像序列的时间图像段(图像子集)(参见MPEG-7)
			Spatio TemporalDecomposition(时空分解)	具有图像序列的运动区域(参见MPEG-7)

表2

表3表示用于生成表明用于对图像段进行色彩校正的色彩校正处理的元数据的XML方案的一个示范实施例。

XML术语	成分	描述
			ColorCorrectionType(色彩校正类型)		色彩校正类型定义用于对图像序列进行色彩校正的色彩校正方案。优选地，所执行的色彩校正器操作的数量为三，但可执行或多或少的操作。
	ColorCorrector(色彩校正器)	色彩校正器算子是可由以下所列的后续色彩校正器替代的抽象元素。
			ColorFunctionLGG(色彩函数LGG)	允许指定升力、增益和伽玛的色彩校正器算子。可修改这些属性中的最多三个。
	ColorLookUpX(色彩查找X)	允许指定最多三个一维查找表的色彩校正器算子。一个一维查找表用于一个色彩成分。(X＝1，2或3)。一维查找表只是1×N矩阵，其中的N为查找元素的数量。查找元素的数量(N)不涉及输入或输出量化(例如输入或输出色彩的R、G或B的位的数量)。
			ColorLookup3D(色彩查找3D)	色彩校正器算子允许指定三个一维查找表操作，优选地各色彩成分一个，取决于所选色彩空间。三维查找表由四维矩阵表示(L×M×N×3)。前三维(L×M×N)表示各色彩成分(例如R、G、B)的查找元素的数量；第四维表示3个输出色彩成分。
	ColorLookUPPrecomputedMatrix(色彩查找预先计算的矩阵)	彩色校正器算子允许经由九个一维查找表来指定输入RGB值的预先计算的3×3变换。

表3

表4表示用于生成表明用于对图像段进行色彩校正的特定色彩校正操作的具体细节的元数据的XML方案的一个示范实施例。

XML术语	成分	描述
			ColorCorrectorBaseType(色彩校正器基类型)		对于具体的色彩校正器，与色彩校正器关联的元数据的一般格式(位于表3中)
	InputColorSpace(输入色彩空间)	色彩校正器的输入色彩空间。可用色彩空间的类型优选地如同MPEG-7中那样对于色彩空间数据类型(RGB、YCbCr、HSV、HMMD、参考RGB的线性变换矩阵、单色)来定义
				OutputColorSpace(输出色彩空间)	色彩校正器的输出色彩空间。可用色彩空间的类型优选地如同MPEG-7中那样对于色彩空间数据类型(RGB、YCbCr、HSV、HMMD、参考RGB的线性变换矩阵、单色)来定义
	InputColorQuantization(输入色彩量化)	色彩校正器的输入色彩量化。这个变量指定要量化的色彩成分，从而允许这些成分以任意顺序被量化。各色彩空间的允许色彩成分组合为R、G、B、Y、Cb、Cr、H、S、V和算子Max、Min、Diff及Sum。这个参数基于来自MPEG-7的ColorQuantization(色彩量化)描述符，但是这个参数的值从12位的值扩展到32位。
				OutputColorQuantization(输出色彩量化)	色彩校正器的输出色彩量化。这个变量指定要量化的色彩成分，从而允许这些成分以任意顺序被量化。各色彩空间的允许色彩成分组合为R、G、B、Y、Cb、Cr、H、S、V和算子Max、Min、Diff及Sum。这个参数基于来自MPEG-7的ColorQuantization(色彩量化)描述符，但是这个参数的值从12位的值扩展到32位。

表4

以上所述的ColorLookup1D(色彩查找1D)色彩校正操作优选地由各色彩成分的三个一维查找表组成。输入色彩空间的量化通常等于查找表中的条目数量。在这种情况下，不需要内插。但能够让一维色彩查找表包含比输入色彩空间更少的条目。例如，考虑对于各色彩成分具有6位色彩量化和16条目查找表的RGB输入色彩空间。输入值的值可能经过缩减以便采用本领域已知的内插技术来匹配有限数量的输出值。

ColorLookup3D(色彩查找3D)色彩校正器采用三维色彩查找表来执行色彩空间之间的变换。例如，具有RGB输入和输出色彩空间的三维查找表取输入RGB三元组，并经由内插将它映射到输出R’G’B’三元组，其中具有各RGB输入三元组的可能唯一的输出值。对于精确表示，采用各色彩成分作为查找表维把输入色彩空间中的色彩成分的各组合映射到输出色彩成分。例如，对于10位RGB输入和输出色彩，可创建具有1024×1024×1024(或者超过十亿个条目)的三维立方体。因此，为了使用这种类型的色彩校正，优选的是采用某种类型的内插、如三线性或四线性内插，其中具有某些限制(参见Kasson、Nin、Plouffe、Hafner的“采用三维内插来执行色彩空间转换”(Journal of Electronic Imaging，1995年7月，Vol.4(4))，以获得更多资料)

ColorLookupPrecomputedMatrx(色彩查找预先计算的矩阵)色彩校正器采用以下形式的线性矩阵变换：

$\left[\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right]=\left[\begin{array}{ccc}{a}_{\mathrm{RR}}& a_{\mathrm{RG}}& a_{\mathrm{RB}}\\ a_{\mathrm{GR}}& a_{\mathrm{GG}}& a_{\mathrm{GB}}\\ a_{\mathrm{RR}}& a_{\mathrm{BG}}& a_{\mathrm{BB}}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

ColorLookupPrecomputedMatrix操作则计算3×3变换矩阵中的各系数的查找值的列表。对于各输出值(R’、G’或B’)，处理包括三个查找操作(R、G和B的各一个)，之后跟随两个加法。总共需要九个一维查找表(L′_XX)：

$\left[\begin{array}{c}{R}^{\′}=L_{\mathrm{RR}}^{\′}\left(R\right)+L_{\mathrm{RG}}^{\′}\left(G\right)+L_{\mathrm{RB}}^{\′}\left(B\right)\\ G^{\′}=L_{\mathrm{GR}}^{\′}\left(R\right)+L_{\mathrm{GG}}^{\′}\left(G\right)+L_{\mathrm{GB}}^{\′}\left(B\right)\\ B^{\′}=L_{\mathrm{BR}}^{\′}\left(R\right)+L_{\mathrm{BG}}^{\′}\left(G\right)+L_{\mathrm{BB}}^{\′}\left(B\right)\end{array}\right]$

ColorFunctionLGG(色彩函数LGG)色彩校正器使用从模拟视频处理中得到的控件来进行，即改变各色彩成分的输入输出传递特性的升力(称作黑色电平、消隐电平或建立)、增益及伽玛。色彩校正器提供指定色彩校正函数而不是枚举查找值的能力。升力、增益和伽玛鉴于信号色彩成分R来分配。

升力提高输入输出传递特性的y截取，其中

                       R′＝R+L

                    其中L∈[-1，1]

输出值R’由规范化输出区间[0，1]限制，参见图4的具有升力＝±.25的示例升力曲线

对于增益：

增益(G)换算输出值。

R′＝GR        0≤G＜∞

或者等效地

G＝tan(θ_G)    0≤θ_G≤90°

其中 $\left\{\begin{array}{c}G\∈[0,\∞)\\ {\mathrm{\θ}}_G\∈[0,\frac{\mathrm{\π}}{2}]\end{array}\right.$

输出值R’由规范化输出区间[0，1]限制。

参见图5或示例增益曲线，其中，增益＝.364(＝20°)，增益＝1.73(60°)

对于伽玛：

伽玛(γ)是基于乘幂对色彩成分的非线性校正。

R′＝R^γ

其中γ∈[0，1]

输出值R’由规范化输出区间[0，1]限制。

参见图6，其中，y＝.333，以及y^-1＝3.0

以上列出的函数的应用以升力、增益然后伽玛的顺序。或者：R′＝[G(R+L)]^y优选地，对于图像的各序列(视频段)，应当通过表明色彩校正器的应用(或者非应用)的媒体时间(启动时间、瞬间和时长)来描述。MPEG-7 MDS小节6.4提供多个不同的元数据集来描述媒体时间。时间描述优选地基于国际标准化组织(ISO 8601)标准的词汇表示的有限集合。另外也可使用图像序列的时间的其它表示，例如运动图像电视工程师协会(SMPTE)时间代码、采用MediaTimePoint函数的格式的值以及采用MediaTimeDuration函数的格式的值(两种函数均在MPEG-7中定义)等。

应当注意，虽然针对视频图像序列描述了本发明的原理，但是本发明支持对于图像序列的不同区域的色彩校正的应用。视频段分解工具(如MPEG-7 MDS ISO/IEC 15938-5(11.4.9)中所述)描述如何把一系列视频帧分解为相应的空间和时间值。或者可从图像序列中获得某个图像，并把这种图像分解为矩形或多边形子区域(参见MPEG-7 MDS ISO/IEC 15938-5(11.4))。色彩校规范化可应用于各图像的每个子区域。

如果特定区域在帧上移动，则可应用MPEG-7 MDS ISO/IEC15938-5(11.4)和MPEG-7 Visual 15938-3(5.6，9.4，和10.3)的原理。通过使用MPEG-7工具移动区域，色彩校正可应用于其轮廓由矩形、椭圆或任意多边形的列表所定义的一个或多个移动区域。区域的形状可能是固定或者是不固定的(例如随时间相互间移动的多边形顶点)。区域的运动可通过模型参数的顶点的线性或正交时间内插来建模(例如两个速度参数用于固定转换，四个参数用于旋转和缩放，六个参数用于仿射变换等)。

图7提供根据以上所述原理、鉴于校正元数据的接收用于执行色彩校正的方法的一个示范实施例。在步骤705，呈现装置115接收表示可在视觉上呈现为运动图像序列的信息的数据。在步骤710，呈现装置115确定是否接收到色彩校正元数据，上述色彩校正元数据表明表示要在视觉上呈现的信息的数据是否应当进行色彩校正。在这个步骤中，进行关于多少不同的色彩校正操作应当被执行以及以什么顺序执行的确定。待执行的不同色彩操作的数量优选地为三。

可选地在步骤710，存在包含具有表明应当进行特定色彩校正操作的时间的元数据的时间信息，如上所述。或者可能存在表明图像序列的某个区域(从可视信息中生成)应当采用特定技术在特定时间长度进行色彩校正的元数据。根据本发明的原理，其它图像序列或图像区域可经过相同或不同的色彩校正操作。

步骤715让呈现装置115根据所接收元数据来执行色彩校正操作。如果色彩校正元数据表明情况是这样，则可执行若干不同的色彩校正操作。另外，元数据可控制应当通过所选色彩校正操作影响可视信息多长时间和/或什么部分。在步骤720，色彩校正数据作为输出到显示装置、在印片机上印制或者能够在色彩校正操作方面呈现可视信息(图像数据)的其它任何类型的装置的一系列图像来呈现。应当注意，***100中的任何装置、包括获取装置105和编辑装置110在内均可执行以上所述的步骤。另外，生成表明待执行的色彩校正操作的数量、待执行的具体色彩操作以及这类操作的顺序的元数据的方面可通过***100的任何装置、通过应用图7所示的反方法步骤来执行。

还要理解，本发明可通过各种形式的硬件、软件、固件、专用处理器或者它们的组合来实现。本发明优选地以硬件和软件的组合形式来实现。此外，软件优选地以程序存储装置上包含的应用程序的形式来实现。应用程序可上载到包括任何适当体系结构的机器上并由其执行。该机器优选地在具有诸如一个或多个中央处理器(CPU)、随机存取存储器(RAM)以及输入/输出(I/O)接口之类的硬件的计算机平台上实现。计算机平台还可包括操作***和微指令代码。本文所述的各种过程和功能可能是微指令代码的组成部分或者是经由操作***运行的应用程序的组成部分(或者它们的组合)。另外，其它各种外部设备、如附加的数据存储装置以及打印装置可连接到计算机平台。

虽然本文结合附图描述了说明性实施例，但是要理解，本发明不限于那些明确的实施例，本领域的技术人员可以对其进行其它各种变更和修改，而没有违反本发明的范围或精神。所有这些变更和修改均包含在如权利要求书所定义的本发明的范围之内。

Claims (15)

1.一种生成用于色彩校正操作的元数据的方法，包括以下步骤：

生成描述要执行的多个色彩校正操作的第一元数据段(710)；

生成指定要执行的色彩校正操作的第二元数据段(710)。

2.如权利要求1所述的方法，其特征在于，要执行的色彩校正操作的所述数量少于三种不同的色彩校正操作。

3.如权利要求1所述的方法，其特征在于，还包括以下步骤：

生成指定执行表示所述色彩校正操作的第一色彩校正操作以及第二色彩校正操作的顺序的第三元数据段，其中，将对表示运动图像序列的图像数据执行所述第一和第二色彩校正操作。

4.如权利要求1所述的方法，其特征在于，还包括以下步骤：

生成指定表明对于表示运动图像序列的图像数据执行所述色彩校正操作的时间的时间信息的第三元数据段。

5.如权利要求4所述的方法，其特征在于，还包括以下步骤：

生成指定对附加图像序列执行第二色彩校正操作的附加时间信息的第四元数据段。

6.如权利要求5所述的方法，其特征在于，所述色彩校正操作和所述第二色彩操作的应用在应用于图像的所述序列和附加序列时重叠。

7.如权利要求1所述的方法，其特征在于，还包括以下步骤：

生成用于表明在其中执行所述色彩校正操作的图像的区域的第三元数据段。

8.如权利要求7所述的方法，其特征在于，所述元数据表明所述色彩校正操作应用于从表示图像序列的图像数据中选取的两个图像的相同区域。

9.如权利要求1所述的方法，其特征在于，所述色彩校正操作从一维色彩变换、三维色彩变换、预定的矩阵以及升力、增益、伽玛函数的至少一个中选取。

10.一种执行色彩校正操作的方法，包括以下步骤：

响应接收的元数据而确定要执行的多个色彩校正操作(710)；以及

对图像数据执行在所述前一个步骤(715)中确定的色彩校正操作。

11.如权利要求10所述的方法，其特征在于，所述色彩校正是以指定顺序来执行的第一色彩校正操作和第二色彩校正操作。

12.如权利要求11所述的方法，其特征在于，在与所述第二色彩校正操作相同的时间对表示图像序列的图像数据执行所述第一色彩校正操作。

13.如权利要求10所述的方法，其特征在于，根据接收的元数据，所述色彩校正操作在特定时间中执行特定时长。

14.如权利要求10所述的方法，其特征在于，对从用于呈现图像序列的图像数据中选取的图像的指定区域执行所述色彩校正操作。

15.如权利要求10所述的方法，其特征在于，所述色彩校正操作从一维色彩变换、三维色彩变换、预定的矩阵以及升力、增益、伽玛函数的至少一个中选取。

Images