发明内容
具有改进过的环境照明将是有利的。为了更好地着眼于这种关注,在本发明的第一方面,提出一种***,用于促进随着图像或者视频渲染(rendering)的产生伴随着同时产生受控环境照明,包括颜色选择器,用于根据和图像或者视频中的至少一幅图像相关的场景照明信息选择受控环境照明的颜色,该***进一步包括下列之一:
i)输入端,用于接收图像或者视频;图像分析器,用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端,用于接收场景照明信息,
iii)输入端,包括剖析器,该输入端经过布置用于接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,该剖析器从元数据提取场景照明信息。
这使得将图像中的照明转化成观看者房间中的环境照明。在图像或者视频中以及在观看者的房间中,照明是主要的环境气氛创造者。根据和图像有关的照明信息选择环境照明的颜色能帮助更好地将图像或者视频的气氛传达到观察者的房间中。这产生了更自然的环境照明颜色和更专注的观看体验。基于场景照明的环境照明颜色具有相当令人满意的特性并提供十分专注的环境。作为色彩学科中使用的术语,色彩,包括光诱发的所有感知特性,包括亮度、饱和度和色调。该***具有另外的优点,由于场景照明具有相对稳定并且相对缓慢改变的特性,所以根据场景照明信息确定的环境照明色彩也相对稳定并且相对缓慢地改变。这适用于具有类似照明条件的视频以及系列图像。
通过根据场景照明信息选择环境照明色彩能够在观看者的房间中重新产生图像或者视频气氛。例如,可以选择场景照明颜色使其等同于由场景照明信息(scene lighting information)表示的色彩。
一个实施例,包括:
输入端,用于接收图像或者视频;
图像分析器,用于基于图像或者视频计算表示场景照明的照明参数,其中放置颜色选择器用来根据照明参数选择色彩。
借助于图像分析器,无需知道摄影或者照片拍摄的过程中的实际照明条件就可以有效地恢复场景照明信息。
在一实施例中,将图像分析器构造成根据以下至少一个计算照明参数:
灰度世界方法(gray world method);
评估每个色彩通道最大值的方法;
色域映射方法;
颜色相关(color by correlation);或者
神经网络方法。
这些计算图像的照明参数方法是已知的。灰度世界方法和评估每个色彩通道最大值的方法是计算方法上相对高效的例子,而色域映射方法、相关色彩法或者神经网络方法可能提供相当好的结果。
在一实施例中,放置颜色选择器用于根据场景照明信息选择受控环境照明的色度和/或色调。色度和/或色调对于对应图像/视频渲染产生特定气氛尤其重要。
在一实施例中,设置颜色选择器使得不依赖场景信息选择受控环境照明的亮度。
尽管可以根据场景照明选择所有的色度、色调和亮度,但是有时候不根据场景照明信息选择环境照明的亮度也是有利的。例如,可以固定照明级。
在一实施例中,设置图像分析器使其刚好在至少一个图像渲染前实时计算照明参数(illuminant parameter)。在这种情况下,可以基于光源控制环境照明而无需对所提供的图像或视频提出特殊的要求。由于该实施例依赖于刚好在渲染至少一个图像之前计算照明参数,所以照明参数没有必要通过电视广播存储或者存储在存储媒介(例如DVD、VHS带)上。
一个实施例包括元数据产生器,用于包括与视频或图像有关的元数据中选定的颜色。这使得颜色选择执行得更早。还有几个要这么做的原因。例如,可以离线执行计算和存储用于后续使用,从而比进行实时计算需要更少的处理能量。并且,允许渲染前的手动校正,并且它允许将所选择的颜色信息由内容提供者例如广播台进行分配。元数据可以是各种格式,例如MPEG 7或者EXIF。
一个实施例包括输入端,用于接收场景照明信息。由于将场景照明信息提供给了输入端,所以颜色选择器需要非常少的计算资源。
在一实施例中,场景照明信息表示至少一个图像所捕获场景的物理照明条件。这允许使用相对精确的照明信息。例如,来自存储照明需求的记录数据可以使用,或者来自视频记录或者摄影期间所使用光传感器的信息。而且,可以使用闪光灯信息(以EXIF格式存储)。
在一实施例中,场景照明信息表示在至少一个图像中捕获的人工计算机制图场景的人工计算机制图照明条件。对于获得精确的照明信息这是个尤其有效的方法。这可以用在例如计算机游戏中。在计算机制图中,照明条件完全受到所使用的计算机制图软件的控制。这是借助计算机制图制作例如动画片中的例子。另一种应用包括通过环境照明增强的计算机游戏。例如,可以使用OpenGL生成计算机制图的图像或者视频。OpenGL提供了一应用程序界面,用于详细指明人造物体(例如动画片或图像中的动画人物)的形状和外观,以及照亮人造物体的人造光源的位置和特征。光源的规格可以作为照明信息使用。
在一实施例中,输入端经过布置用于接收和视频或图像有关的元数据,场景照明信息合并到元数据中,输入端包括从元数据中提取场景照明信息的剖析器。元数据通常已经同图像和视频数据一起产生。因此从元数据中提取照明信息是容易实现的。
在一实施例中,元数据包括照明不变量颜色描述符以及颜色选择器,经过布置用于根据照明不变量颜色描述符选择颜色。由MPEG 7标准获知照明不变量颜色描述符的例子,ISO/IEC 15938-3内颜色描述符打包,它们是主导颜色、可升级颜色、颜色布局和颜色结构。由照明不变量处理的一个或多个颜色描述符号也可以包含在这种描述符内。由于颜色选择器不需要处理整个图像时,并且照明不变量颜色描述符已经是MPEG 7标准的标准化特征,这可以高效地实现。
该***包括光源控制器,用于控制环境光源从而和图像渲染同步产生选定颜色的光。***还可以包括渲染图像的显示器。***还可以包括连接到光源控制器的至少一个环境光源。
环境照明源和显示器可以包含在不同的装置中。当使用远离(例如1米外、2米外或者3米外)显示器的一个或者多个光源时,根据场景照明信息选择的经过改进的、更稳定的颜色甚至会更明显。如果光源分布在观察者周围这甚至会更真实。当多个独立设备构成控制源全部支持同样的内容渲染时,这同样适用。
一实施例包括创作工具(authoring tool),用于产生元数据,促进随着图像或者视频渲染的进行与同时产生受控环境照明,包括下列之一:
i)输入端,用于接收图像或者视频;图像分析器(304),用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端,用于接收场景照明信息,
并且,所述创作工具包括:
颜色选择器,用于根据和图像或者视频的至少一个图像有关的场景照明信息选择受控环境照明的颜色;以及
元数据产生器,用于包括和图像或者视频有关的元数据的颜色表示。
创作工具中结合颜色选择器允许一些有趣的特征,例如便捷手动校正和所选颜色的微调,以及交互识别必须通过颜色选择器选择颜色的有趣的区域。
一实施例包括促进随着图像或者视频渲染的产生同时产生受控环境照明的方法,包括根据与图像或者视频的至少一个图像有关的场景照明信息选择受控环境照明的颜色,并且该方法包括下列之一:i)接收场景照明信息,
ii)接收图像或者视频,并基于图像或者视频计算表示场景照明的照明参数,其中依据照明参数进行选择颜色的步骤,
iii)接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,并且从元数据提取场景照明信息。
实施例的具体描述
环境智能照明中的新近发展考虑到依赖光效的自动内容。一个实例是环境照明体电视。来自视频内容的自动光效产品的情况下,现有的解决方案使用视频区域的主导颜色概念。评价场景中的照明是个问题,其在计算机视觉的很多领域,比如目标识别、背景-前景区分以及图像和视频索引与恢复被提出来了。
自动光效果产生的算法使用对视频区域的主导颜色估计。例如,这可以结合Leaky TV的概念完成,其目的在于扩展视频边界的颜色、提供从电视到墙的颜色“泄漏”效应。主导颜色具有一些不期望的特性。这对于不是安装在TV后面的光单元尤其适用。在这里这些光单元被叫做“光扬声器”。主导颜色的一个问题是场景中小的全局变化会在产生的光效应中产生很大的变化。如此大的变化可能是不期望的,尤其是对于以较高能量级产生光并限定了环境整体照明主要部分的光单元。在自动光效应生成的后期阶段所产生光效应的变化可以控制和减弱。然而,优选以满意的方式直接评价来自图像或者视频的光效应。场景照明通常比主导颜色稳定得多并且变化更慢。这对单个静止图像也适用,例如当渲染在类似的照明条件下拍摄的一系列图像时。进一步地,场景照明是视频和静止摄影中的一种主要气氛产生者。因此,估计场景照明并将其传送到观看者的四周可以产生更期望的光效应特性以及更专注的环境。并且,当图像或者视频由家庭摄影或者家庭视频得到时,环境照明增强了重温记忆、重现现场瞬间及相同气氛重生的可能性。
场景照明信息,可以记录并作为媒介流的一部分给出,或者通过图像或者视频评估,其可以用于自动产生与媒介同步的光效应或者产生光脚本。目前的工作允许在线和离线对照明进行评估。评估可以基于整个视频帧(图像)或者视频帧(图像)的区域信息,并且可以将结果映射为单个光单元或者多个光单元。
由照相机记录的图像依赖于三个因素:场景的物理内容、入射到场景上的照明以及照相机的特性。颜色稳定性计算的目的是用来解释照明效果,或者通过直接将图像映射为标准照明不变量表示形式,或者通过确定可用于后续图像颜色校正的照明描述。这具有很重要的应用,例如目标识别和场景理解,以及图像复制和数码摄影。颜色稳定性计算的另一个目的是从在未知照明条件下所摄图像中找到场景的非平凡照明不变量描述。这通常分为两步。第一步是估计照明参数,然后第二步使用这些参数计算照明独立表面描述符。在这里所描述的实施例中环境照明和场景照明的重新产生是第一步骤的目的。
由K.Barnard等人在2002年第9期IEEE Trans.Im.Proc.,中发表的“A comparison of computational color constancy algorithms-Part I:Methodology and experiments with synthesized data”和“PartII:Experiments with Image Data”,下文中共同称作“Barnard”,描述和比较了大量颜色恒定算法,包括灰度世界方法、由每个通道的最大值进行照明估计、色域映射方法、用相关颜色以及神经网络方法。在这些算法中,使用照明参数计算照明独立表面描述符。例如,可以将照明不变量描述具体指定为场景的图像,如同它是在已知的、标准的、规范的光条件下拍摄的图像。通常来说,可以假设照明变化的对角线模式。在这种假设下,可以通过对每个通道独立进行缩放将在一种照明下拍摄的图像映射成在另一种照明下拍摄的图像。在适当的颜色空间中进行该比例缩放,例如由CIE(例如CIELAB)定义其中一种颜色空间。然而,这里将针对RGB颜色空间中的特殊实施例解释比例缩放。假设在未知的照明条件下对于白斑的照相机响应是(RU、GU、BU),以及在已知条件对标准照明的响应是(RC、GC、BC)。那么通过RC/RU、GC/GU和BC/BU分别对三个通道进行比例缩放,可以将对白斑的响应从未知的情况映射到规范的情况。就其他非白斑的相同比例缩放工作来说,据说对角线模式是适用的。如果对角线模式导致了大的误差,那么可以借助例如传感器锐化改善性能。
一个实施例包括家庭娱乐***,其中使用可用发光单元将视频内容播放与场景照明的重构同步。借助于实时算法,例如Barnard中描述的颜色恒定算法中的一种,如灰度世界(gray world)方法、由每个通道的最大值进行照明估计、色域映射(gamut mapping)方法、用相关颜色和神经网络方法,评价给定空间区域的场景照明。可替换地,通过内容提供者预计算给定空间区域的场景照明,并将其包含在伴随视频内容的元数据中。由家庭娱乐***处理元数据,并和视频渲染同步启动这里所述的光效应。在另一个备选实施例中,给定空间区域的场景照明源于媒介的元数据部分,例如Mpeg 7描述符。例如,元数据包括视频录制过程中关于实际照明条件的信息。
在估计完场景照明后,将估计映射到可用的光单元。该步骤基于屏幕或场景不同区域内的照明条件。可替换地,基于元数据中的信息。例如,元数据可以规定为每个光扬声器的光效应。并且,考虑到内容色彩空间内的色彩,将所估计的场景照明传输到光单元的色彩空间中。可由家庭娱乐***在线执行这一可选步骤。最后,颜色修正的光效渲染与内容同步。
这里描述的方法可用于自动或半自动产生光效的***。该方法还可以用于产生光效的离线脚本的自动或半自动产生或者为环境脚本写入器提供工具,如在amBX中。
图1表示一起居室100,包括家庭娱乐***的部件。家庭娱乐***包括显示器102和光源104。显示器102具有可选情境光源,包括一个或者多个照亮空间和显示器102后面墙壁的受控光源。情境光源是受控光源。图1中所示的家庭娱乐***还包括光扬声器104。这种光扬声器是和显示器分离的装置的受控光源。在图中,每个光源照亮房间的一个角落。
根据显示器上的渲染(rendering)控制受控光源的颜色。例如,确定渲染场景的场景照明并使用该信息控制光源。基于与渲染的不同方面相关的信息对不同的光源采取不同的控制。例如,显示器可以分区,每个区对应于一个光源。使用和每个区相关的场景照明信息控制每个相应的光源。还可能的是,所有的光源产生相同的颜色以产生均匀的环境照明。
图2表示本发明的一个实施例。一般来说,视频内容在屏幕上渲染之前需要对其进行分析。这种内容分析提取几个用于计算房间内光单元的颜色和强度的特征。然后将这些值发送给和显示器上内容同步的光单元内。将内容202发送给内容分析器204。将内容分析器204合成得到的内容特征发送给颜色/强度选择器210。选定的颜色和/或强度用于控制光单元212。颜色选择器210和同步装置206通讯从而确保光效和显示器208上渲染内容的同步。
图3表示本发明几个实施例的方案。它示出了***300,其促进了随着图像或者视频渲染的产生同步产生受控环境照明。该***包括颜色选择器302,用于选择受控环境照明的颜色。为此,它接收与图像或视频的至少一幅图像相关的场景照明信息。该信息可以来源于输入端310和/或图像分析器304。
在一实施例中,由输入端310接收图像或者视频,并将其提供给图像分析器304。图像分析器一次分析至少一个图像的至少一个区域。图像分析器304计算图像的区域的照明参数。将该照明参数发送给颜色选择器302。可以计算几个照明参数(例如,颜色坐标、亮度、图像不同区域的值)并将它们发送给颜色选择器302。
照明参数(illuminant parameter)是在计算颜色不变量算法中经常使用的概念,如上面解释的。将照明参数(采用简单的例子,照相机对于白斑的响应)发送给颜色选择器302,其选择适当的颜色控制光源以产生环境照明气氛。照明参数包括估计照明的颜色信息。借助于受控光源重新产生图像的照明。为了那个目的,通常在图像的颜色空间给出的场景照明的颜色(即照明的颜色)会被有选择地传送到光源312的颜色空间内。如果光源运行在与图像和/或显示器不同的颜色空间中,这是有用的。例如,光源312包括多个LED,能够根据它们的基色渲染不同的颜色,其中多个LED的基色和用于图像编码的基色不同。将选定的颜色发送给光源312,光源产生选定颜色的光。可选的不同颜色,例如对应屏幕不同区域内的照明条件,选定并用于控制显示器周围和/或房间中的其它地方的不同光源。
图像分析器304可以基于灰度世界假设(gray world assumption)。根据这种假设,场景平均等同于在场景照明条件下响应所选“灰度”颜色值的照相机。在对角线假设下,可以从该平均估计白色。白色在场景照明条件下被假定作为场景照明颜色。
图像分析器304可替换地基于由每个通道的最大值进行的照明估计。它用每个通道中的最大响应估计照明,例如,如果使用RGB色彩空间则评价通道R、G和B。
图像分析器304可替换地基于色域映射(gamut mapping)。特别是,图像分析器确定由图像中(区域中)出现的颜色的凸壳界定的色域。色域映射方法中,图像的色域(即图像中存在的颜色组)映射到在预定的发光体内的假想图像色域中。最佳的一个映射(或多个映射)作为照明的估计。例如,如果图像具有黄色照明,那么在图像中将不会有很多饱和蓝色。这意味着色域将对于蓝变小。由于本领域都知晓的如何借助色域映射获得照明参数,本说明书中将不会进进一步说明。
颜色恒定算法领域的其它已知方法包括用相关颜色和神经网络方法。这些和其他方法在Barnard中得到阐明。本领域技术人员将理解的是,这些和其它算法可以用于识别图像或者视频的照明参数。
在一实施例中,颜色选择器经过布置用于根据场景照明信息选择受控环境照明的色度和/或色调,以及不依赖场景照明信息选择受控环境光的亮度。例如,在更轻松的观看体验中保持亮度恒定不变,或者保持亮度高于预定的最小值之上,甚至经过渲染的图像平均亮度非常低。
***300经过布置用于刚好在与受控环境光效同步渲染显示器314上至少一个图像之前计算照明参数。
在一实施例中,输入端310经过布置用于从外部源接收场景照明信息,例如以元数据伴随比如EXIF或者MPEG7格式的图像或视频的形式。还可以在独立文件中提供元数据。接收到的信息表示至少一个图像中捕获到场景的物理照明条件。颜色选择器根据接收到的信息选择颜色,例如它选择对应于物理照明条件的颜色。在另一个实施例中,接收到的信息表示至少一个图像中捕获到的人工计算机绘图的人工计算机绘图照明条件。该实施例尤其关注具有环境照明的计算机游戏。
在一实施例中,输入端310接收照明不变量颜色描述符(例如作为MPEG7数据的一部分),并且颜色选择器经过布置用于根据照明不变量颜色描述符选择颜色。照明不变量颜色描述符的一个实例,从MPEG7标准获知,将颜色描述符打包到在ISO/IEC15938-3中,它们是主导颜色、可升级的颜色、颜色布局和颜色结构。通过照明不变量方法处理的一个或者多个颜色描述符能够包含在描述符中。本领域技术人员将认识到,通过找到照明不变量颜色的除数和在场景照明条件下的颜色,颜色选择器302能够计算场景照明信息。
在一实施例中,***包括元数据产生器308。它包括与视频或者图像相关的元数据中所选定的颜色。例如,可以包括所选定的颜色作为使用标准元数据格式例如EXIF或者MPEG7的特性。该元数据可以包含在图像文件中或者视频数据流中并存储以备后续使用或者播放。在该实施例中,该***不需要,尤其是,显示器314和/或光控制器316和/或光源312。
在一实施例中,***包括光源控制器316。光源控制器316控制环境光源312。它将从颜色选择器302接收到的选定颜色转化成控制信号发送给光源312。光源控制器将颜色转换到适于直接控制光源的色彩空间。例如,如果由颜色选择器302在CIELAB色彩空间或者显示器的色彩空间中给出选定的颜色,那么可以基于光源能够产生的原色将色彩转换到色彩空间。这种转换是本领域公知的。
光源312可以是显示器后面的光。它还可以是远离显示器的光源。采用不同的颜色或者采用相同的颜色控制多个光源。为此,***可以包括不止一个光源、光控制器和/或颜色选择器。采用单个光源控制器控制多个光源也是可能的。光源可以处在从房间的一边到另一边,例如至少远离显示器一米。
在一实施例中,***包括受控光源312。通过颜色选择器302选择光源312产生的光颜色。
显示器314用于渲染图像或视频。光源控制器316使受控光源与图像渲染同步产生具有所选定颜色的光。可以在与显示器隔离的装置(或者设备)中包含一个或者多个受控制光源312。这允许使用远离显示器并彼此远离的光源。采用这种方法,房间内较大的一部分以基于场景照明信息的颜色被照亮。
用于产生元数据的创作工具具有***300。对应于元数据的图像或者视频提供给输入端310。颜色选择器302根据图像或视频中捕获的至少一个图像的场景照明选择受控环境照明的颜色。例如,图像分析器304用于获得场景照明信息。元数据产生器308包括元数据内与图像或者视频相关的颜色显示。
***300可以内置于家庭娱乐***或者电视机内。它还可以包含在具有例如用于视频输出和光源控制的独立输出的机顶盒中。其它的应用包括个人计算机、计算机监控器、PDA或者计算机游戏终端。
可以理解的是,本发明还延伸到计算机程序,尤其是在载体上或者载体内的计算机程序,适于将本发明付诸实施。程序可以是源代码、目标代码、代码中间源和目标代码的形式,例如部分汇编形式,或者适用于实施根据本发明方法的任何其它形式。载体可以是任何能够携带程序的实体或者设备。例如,载体可以包括存储介质,如ROM,例如CD ROM或者半导体ROM或者磁记录介质,比如软盘或者硬盘。另外,载体可以是可传递介质,例如电信号或者光信号,其可以通过电或者光缆或者通过无线电或者其他装置传输。当程序中包含这一信号时,可以通过这种电缆或者其他设备或者装置构造该载体。可替换地,载体可以是嵌入程序的集成电路,该集成电路适于执行或者用于相关方法的执行。
应当注意的是,上述的实施例描述了本发明而不是限定发明,在不脱离附带的权利要求的范围的条件下,本领域技术人员将能够设计很多替换实施例。在权利要求中,放在括号中的任何附图标记不构成对权利要求的限制。动词“包括”和其变形的使用不排除除了权利要求中所述的部件或者步骤的其他存在。部件之前的冠词“a”或“an”不排除存在多个这种部件。本发明可以借助于包含几个独立部件的硬件和经过适当编程的计算机来实施。在列举几个设备的装置权利要求中,这些设备中的几个可以体现为一个和相同硬件。在互相不同的从属权利要求中详述某些方法的仅仅一个事实不意味着不能使用这些方法的组合实现其优点。