CN101548551B - 环境照明 - Google Patents

环境照明 Download PDF

Info

Publication number
CN101548551B
CN101548551B CN2007800452384A CN200780045238A CN101548551B CN 101548551 B CN101548551 B CN 101548551B CN 2007800452384 A CN2007800452384 A CN 2007800452384A CN 200780045238 A CN200780045238 A CN 200780045238A CN 101548551 B CN101548551 B CN 101548551B
Authority
CN
China
Prior art keywords
image
color
video
lighting
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800452384A
Other languages
English (en)
Other versions
CN101548551A (zh
Inventor
D·塞库洛夫斯基
R·A·W·克劳特
M·巴比里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101548551A publication Critical patent/CN101548551A/zh
Application granted granted Critical
Publication of CN101548551B publication Critical patent/CN101548551B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/165Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]

Landscapes

  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Processing (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于随着图像或者视频渲染提供同步受控环境照明的***,包括颜色选择器(302),用于根据与图像或者视频的至少一个图像相关的场景照明信息选择受控的环境照明的颜色,该***进一步包括下列之一:i)输入端(310),用于接收图像或者视频;图像分析器(304),用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,ii)输入端(310),用于接收场景照明信息,iii)输入端(310),包括剖析器,该输入端经过布置用于接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,该剖析器从元数据提取场景照明信息。

Description

环境照明
技术领域
本发明涉及环境照明。
背景技术
作为电视的任选功能,通过产生环境光线来完善屏幕上图像的颜色和光强度,环境光源对整体视觉效果作出了令人印象深刻的贡献。它将新的维度添加到视觉效果中,使观看者完全沉浸在所观看的内容中。它产生了环境气氛、促进了更轻松的观看,并改善了所感知到的图片细节、对比度和颜色。情境光源根据屏幕上的变化内容自动并独立地改变它的颜色。在电视的备用状态下,可以将光设置为任何颜色从而在房间中产生独特的环境气氛。
发明内容
具有改进过的环境照明将是有利的。为了更好地着眼于这种关注,在本发明的第一方面,提出一种***,用于促进随着图像或者视频渲染(rendering)的产生伴随着同时产生受控环境照明,包括颜色选择器,用于根据和图像或者视频中的至少一幅图像相关的场景照明信息选择受控环境照明的颜色,该***进一步包括下列之一:
i)输入端,用于接收图像或者视频;图像分析器,用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端,用于接收场景照明信息,
iii)输入端,包括剖析器,该输入端经过布置用于接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,该剖析器从元数据提取场景照明信息。
这使得将图像中的照明转化成观看者房间中的环境照明。在图像或者视频中以及在观看者的房间中,照明是主要的环境气氛创造者。根据和图像有关的照明信息选择环境照明的颜色能帮助更好地将图像或者视频的气氛传达到观察者的房间中。这产生了更自然的环境照明颜色和更专注的观看体验。基于场景照明的环境照明颜色具有相当令人满意的特性并提供十分专注的环境。作为色彩学科中使用的术语,色彩,包括光诱发的所有感知特性,包括亮度、饱和度和色调。该***具有另外的优点,由于场景照明具有相对稳定并且相对缓慢改变的特性,所以根据场景照明信息确定的环境照明色彩也相对稳定并且相对缓慢地改变。这适用于具有类似照明条件的视频以及系列图像。
通过根据场景照明信息选择环境照明色彩能够在观看者的房间中重新产生图像或者视频气氛。例如,可以选择场景照明颜色使其等同于由场景照明信息(scene lighting information)表示的色彩。
一个实施例,包括:
输入端,用于接收图像或者视频;
图像分析器,用于基于图像或者视频计算表示场景照明的照明参数,其中放置颜色选择器用来根据照明参数选择色彩。
借助于图像分析器,无需知道摄影或者照片拍摄的过程中的实际照明条件就可以有效地恢复场景照明信息。
在一实施例中,将图像分析器构造成根据以下至少一个计算照明参数:
灰度世界方法(gray world method);
评估每个色彩通道最大值的方法;
色域映射方法;
颜色相关(color by correlation);或者
神经网络方法。
这些计算图像的照明参数方法是已知的。灰度世界方法和评估每个色彩通道最大值的方法是计算方法上相对高效的例子,而色域映射方法、相关色彩法或者神经网络方法可能提供相当好的结果。
在一实施例中,放置颜色选择器用于根据场景照明信息选择受控环境照明的色度和/或色调。色度和/或色调对于对应图像/视频渲染产生特定气氛尤其重要。
在一实施例中,设置颜色选择器使得不依赖场景信息选择受控环境照明的亮度。
尽管可以根据场景照明选择所有的色度、色调和亮度,但是有时候不根据场景照明信息选择环境照明的亮度也是有利的。例如,可以固定照明级。
在一实施例中,设置图像分析器使其刚好在至少一个图像渲染前实时计算照明参数(illuminant parameter)。在这种情况下,可以基于光源控制环境照明而无需对所提供的图像或视频提出特殊的要求。由于该实施例依赖于刚好在渲染至少一个图像之前计算照明参数,所以照明参数没有必要通过电视广播存储或者存储在存储媒介(例如DVD、VHS带)上。
一个实施例包括元数据产生器,用于包括与视频或图像有关的元数据中选定的颜色。这使得颜色选择执行得更早。还有几个要这么做的原因。例如,可以离线执行计算和存储用于后续使用,从而比进行实时计算需要更少的处理能量。并且,允许渲染前的手动校正,并且它允许将所选择的颜色信息由内容提供者例如广播台进行分配。元数据可以是各种格式,例如MPEG 7或者EXIF。
一个实施例包括输入端,用于接收场景照明信息。由于将场景照明信息提供给了输入端,所以颜色选择器需要非常少的计算资源。
在一实施例中,场景照明信息表示至少一个图像所捕获场景的物理照明条件。这允许使用相对精确的照明信息。例如,来自存储照明需求的记录数据可以使用,或者来自视频记录或者摄影期间所使用光传感器的信息。而且,可以使用闪光灯信息(以EXIF格式存储)。
在一实施例中,场景照明信息表示在至少一个图像中捕获的人工计算机制图场景的人工计算机制图照明条件。对于获得精确的照明信息这是个尤其有效的方法。这可以用在例如计算机游戏中。在计算机制图中,照明条件完全受到所使用的计算机制图软件的控制。这是借助计算机制图制作例如动画片中的例子。另一种应用包括通过环境照明增强的计算机游戏。例如,可以使用OpenGL生成计算机制图的图像或者视频。OpenGL提供了一应用程序界面,用于详细指明人造物体(例如动画片或图像中的动画人物)的形状和外观,以及照亮人造物体的人造光源的位置和特征。光源的规格可以作为照明信息使用。
在一实施例中,输入端经过布置用于接收和视频或图像有关的元数据,场景照明信息合并到元数据中,输入端包括从元数据中提取场景照明信息的剖析器。元数据通常已经同图像和视频数据一起产生。因此从元数据中提取照明信息是容易实现的。
在一实施例中,元数据包括照明不变量颜色描述符以及颜色选择器,经过布置用于根据照明不变量颜色描述符选择颜色。由MPEG 7标准获知照明不变量颜色描述符的例子,ISO/IEC 15938-3内颜色描述符打包,它们是主导颜色、可升级颜色、颜色布局和颜色结构。由照明不变量处理的一个或多个颜色描述符号也可以包含在这种描述符内。由于颜色选择器不需要处理整个图像时,并且照明不变量颜色描述符已经是MPEG 7标准的标准化特征,这可以高效地实现。
该***包括光源控制器,用于控制环境光源从而和图像渲染同步产生选定颜色的光。***还可以包括渲染图像的显示器。***还可以包括连接到光源控制器的至少一个环境光源。
环境照明源和显示器可以包含在不同的装置中。当使用远离(例如1米外、2米外或者3米外)显示器的一个或者多个光源时,根据场景照明信息选择的经过改进的、更稳定的颜色甚至会更明显。如果光源分布在观察者周围这甚至会更真实。当多个独立设备构成控制源全部支持同样的内容渲染时,这同样适用。
一实施例包括创作工具(authoring tool),用于产生元数据,促进随着图像或者视频渲染的进行与同时产生受控环境照明,包括下列之一:
i)输入端,用于接收图像或者视频;图像分析器(304),用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端,用于接收场景照明信息,
并且,所述创作工具包括:
颜色选择器,用于根据和图像或者视频的至少一个图像有关的场景照明信息选择受控环境照明的颜色;以及
元数据产生器,用于包括和图像或者视频有关的元数据的颜色表示。
创作工具中结合颜色选择器允许一些有趣的特征,例如便捷手动校正和所选颜色的微调,以及交互识别必须通过颜色选择器选择颜色的有趣的区域。
一实施例包括促进随着图像或者视频渲染的产生同时产生受控环境照明的方法,包括根据与图像或者视频的至少一个图像有关的场景照明信息选择受控环境照明的颜色,并且该方法包括下列之一:i)接收场景照明信息,
ii)接收图像或者视频,并基于图像或者视频计算表示场景照明的照明参数,其中依据照明参数进行选择颜色的步骤,
iii)接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,并且从元数据提取场景照明信息。
附图说明
参考附图本发明的这些和其他方案将得到进一步阐明和描述,其中
图1示意性地描述了具有家庭娱乐***的房间;
图2描述了一个实施例的图;以及
图3描述了实施例的图。
实施例的具体描述
环境智能照明中的新近发展考虑到依赖光效的自动内容。一个实例是环境照明体电视。来自视频内容的自动光效产品的情况下,现有的解决方案使用视频区域的主导颜色概念。评价场景中的照明是个问题,其在计算机视觉的很多领域,比如目标识别、背景-前景区分以及图像和视频索引与恢复被提出来了。
自动光效果产生的算法使用对视频区域的主导颜色估计。例如,这可以结合Leaky TV的概念完成,其目的在于扩展视频边界的颜色、提供从电视到墙的颜色“泄漏”效应。主导颜色具有一些不期望的特性。这对于不是安装在TV后面的光单元尤其适用。在这里这些光单元被叫做“光扬声器”。主导颜色的一个问题是场景中小的全局变化会在产生的光效应中产生很大的变化。如此大的变化可能是不期望的,尤其是对于以较高能量级产生光并限定了环境整体照明主要部分的光单元。在自动光效应生成的后期阶段所产生光效应的变化可以控制和减弱。然而,优选以满意的方式直接评价来自图像或者视频的光效应。场景照明通常比主导颜色稳定得多并且变化更慢。这对单个静止图像也适用,例如当渲染在类似的照明条件下拍摄的一系列图像时。进一步地,场景照明是视频和静止摄影中的一种主要气氛产生者。因此,估计场景照明并将其传送到观看者的四周可以产生更期望的光效应特性以及更专注的环境。并且,当图像或者视频由家庭摄影或者家庭视频得到时,环境照明增强了重温记忆、重现现场瞬间及相同气氛重生的可能性。
场景照明信息,可以记录并作为媒介流的一部分给出,或者通过图像或者视频评估,其可以用于自动产生与媒介同步的光效应或者产生光脚本。目前的工作允许在线和离线对照明进行评估。评估可以基于整个视频帧(图像)或者视频帧(图像)的区域信息,并且可以将结果映射为单个光单元或者多个光单元。
由照相机记录的图像依赖于三个因素:场景的物理内容、入射到场景上的照明以及照相机的特性。颜色稳定性计算的目的是用来解释照明效果,或者通过直接将图像映射为标准照明不变量表示形式,或者通过确定可用于后续图像颜色校正的照明描述。这具有很重要的应用,例如目标识别和场景理解,以及图像复制和数码摄影。颜色稳定性计算的另一个目的是从在未知照明条件下所摄图像中找到场景的非平凡照明不变量描述。这通常分为两步。第一步是估计照明参数,然后第二步使用这些参数计算照明独立表面描述符。在这里所描述的实施例中环境照明和场景照明的重新产生是第一步骤的目的。
由K.Barnard等人在2002年第9期IEEE Trans.Im.Proc.,中发表的“A comparison of computational color constancy algorithms-Part I:Methodology and experiments with synthesized data”和“PartII:Experiments with Image Data”,下文中共同称作“Barnard”,描述和比较了大量颜色恒定算法,包括灰度世界方法、由每个通道的最大值进行照明估计、色域映射方法、用相关颜色以及神经网络方法。在这些算法中,使用照明参数计算照明独立表面描述符。例如,可以将照明不变量描述具体指定为场景的图像,如同它是在已知的、标准的、规范的光条件下拍摄的图像。通常来说,可以假设照明变化的对角线模式。在这种假设下,可以通过对每个通道独立进行缩放将在一种照明下拍摄的图像映射成在另一种照明下拍摄的图像。在适当的颜色空间中进行该比例缩放,例如由CIE(例如CIELAB)定义其中一种颜色空间。然而,这里将针对RGB颜色空间中的特殊实施例解释比例缩放。假设在未知的照明条件下对于白斑的照相机响应是(RU、GU、BU),以及在已知条件对标准照明的响应是(RC、GC、BC)。那么通过RC/RU、GC/GU和BC/BU分别对三个通道进行比例缩放,可以将对白斑的响应从未知的情况映射到规范的情况。就其他非白斑的相同比例缩放工作来说,据说对角线模式是适用的。如果对角线模式导致了大的误差,那么可以借助例如传感器锐化改善性能。
一个实施例包括家庭娱乐***,其中使用可用发光单元将视频内容播放与场景照明的重构同步。借助于实时算法,例如Barnard中描述的颜色恒定算法中的一种,如灰度世界(gray world)方法、由每个通道的最大值进行照明估计、色域映射(gamut mapping)方法、用相关颜色和神经网络方法,评价给定空间区域的场景照明。可替换地,通过内容提供者预计算给定空间区域的场景照明,并将其包含在伴随视频内容的元数据中。由家庭娱乐***处理元数据,并和视频渲染同步启动这里所述的光效应。在另一个备选实施例中,给定空间区域的场景照明源于媒介的元数据部分,例如Mpeg 7描述符。例如,元数据包括视频录制过程中关于实际照明条件的信息。
在估计完场景照明后,将估计映射到可用的光单元。该步骤基于屏幕或场景不同区域内的照明条件。可替换地,基于元数据中的信息。例如,元数据可以规定为每个光扬声器的光效应。并且,考虑到内容色彩空间内的色彩,将所估计的场景照明传输到光单元的色彩空间中。可由家庭娱乐***在线执行这一可选步骤。最后,颜色修正的光效渲染与内容同步。
这里描述的方法可用于自动或半自动产生光效的***。该方法还可以用于产生光效的离线脚本的自动或半自动产生或者为环境脚本写入器提供工具,如在amBX中。
图1表示一起居室100,包括家庭娱乐***的部件。家庭娱乐***包括显示器102和光源104。显示器102具有可选情境光源,包括一个或者多个照亮空间和显示器102后面墙壁的受控光源。情境光源是受控光源。图1中所示的家庭娱乐***还包括光扬声器104。这种光扬声器是和显示器分离的装置的受控光源。在图中,每个光源照亮房间的一个角落。
根据显示器上的渲染(rendering)控制受控光源的颜色。例如,确定渲染场景的场景照明并使用该信息控制光源。基于与渲染的不同方面相关的信息对不同的光源采取不同的控制。例如,显示器可以分区,每个区对应于一个光源。使用和每个区相关的场景照明信息控制每个相应的光源。还可能的是,所有的光源产生相同的颜色以产生均匀的环境照明。
图2表示本发明的一个实施例。一般来说,视频内容在屏幕上渲染之前需要对其进行分析。这种内容分析提取几个用于计算房间内光单元的颜色和强度的特征。然后将这些值发送给和显示器上内容同步的光单元内。将内容202发送给内容分析器204。将内容分析器204合成得到的内容特征发送给颜色/强度选择器210。选定的颜色和/或强度用于控制光单元212。颜色选择器210和同步装置206通讯从而确保光效和显示器208上渲染内容的同步。
图3表示本发明几个实施例的方案。它示出了***300,其促进了随着图像或者视频渲染的产生同步产生受控环境照明。该***包括颜色选择器302,用于选择受控环境照明的颜色。为此,它接收与图像或视频的至少一幅图像相关的场景照明信息。该信息可以来源于输入端310和/或图像分析器304。
在一实施例中,由输入端310接收图像或者视频,并将其提供给图像分析器304。图像分析器一次分析至少一个图像的至少一个区域。图像分析器304计算图像的区域的照明参数。将该照明参数发送给颜色选择器302。可以计算几个照明参数(例如,颜色坐标、亮度、图像不同区域的值)并将它们发送给颜色选择器302。
照明参数(illuminant parameter)是在计算颜色不变量算法中经常使用的概念,如上面解释的。将照明参数(采用简单的例子,照相机对于白斑的响应)发送给颜色选择器302,其选择适当的颜色控制光源以产生环境照明气氛。照明参数包括估计照明的颜色信息。借助于受控光源重新产生图像的照明。为了那个目的,通常在图像的颜色空间给出的场景照明的颜色(即照明的颜色)会被有选择地传送到光源312的颜色空间内。如果光源运行在与图像和/或显示器不同的颜色空间中,这是有用的。例如,光源312包括多个LED,能够根据它们的基色渲染不同的颜色,其中多个LED的基色和用于图像编码的基色不同。将选定的颜色发送给光源312,光源产生选定颜色的光。可选的不同颜色,例如对应屏幕不同区域内的照明条件,选定并用于控制显示器周围和/或房间中的其它地方的不同光源。
图像分析器304可以基于灰度世界假设(gray world assumption)。根据这种假设,场景平均等同于在场景照明条件下响应所选“灰度”颜色值的照相机。在对角线假设下,可以从该平均估计白色。白色在场景照明条件下被假定作为场景照明颜色。
图像分析器304可替换地基于由每个通道的最大值进行的照明估计。它用每个通道中的最大响应估计照明,例如,如果使用RGB色彩空间则评价通道R、G和B。
图像分析器304可替换地基于色域映射(gamut mapping)。特别是,图像分析器确定由图像中(区域中)出现的颜色的凸壳界定的色域。色域映射方法中,图像的色域(即图像中存在的颜色组)映射到在预定的发光体内的假想图像色域中。最佳的一个映射(或多个映射)作为照明的估计。例如,如果图像具有黄色照明,那么在图像中将不会有很多饱和蓝色。这意味着色域将对于蓝变小。由于本领域都知晓的如何借助色域映射获得照明参数,本说明书中将不会进进一步说明。
颜色恒定算法领域的其它已知方法包括用相关颜色和神经网络方法。这些和其他方法在Barnard中得到阐明。本领域技术人员将理解的是,这些和其它算法可以用于识别图像或者视频的照明参数。
在一实施例中,颜色选择器经过布置用于根据场景照明信息选择受控环境照明的色度和/或色调,以及不依赖场景照明信息选择受控环境光的亮度。例如,在更轻松的观看体验中保持亮度恒定不变,或者保持亮度高于预定的最小值之上,甚至经过渲染的图像平均亮度非常低。
***300经过布置用于刚好在与受控环境光效同步渲染显示器314上至少一个图像之前计算照明参数。
在一实施例中,输入端310经过布置用于从外部源接收场景照明信息,例如以元数据伴随比如EXIF或者MPEG7格式的图像或视频的形式。还可以在独立文件中提供元数据。接收到的信息表示至少一个图像中捕获到场景的物理照明条件。颜色选择器根据接收到的信息选择颜色,例如它选择对应于物理照明条件的颜色。在另一个实施例中,接收到的信息表示至少一个图像中捕获到的人工计算机绘图的人工计算机绘图照明条件。该实施例尤其关注具有环境照明的计算机游戏。
在一实施例中,输入端310接收照明不变量颜色描述符(例如作为MPEG7数据的一部分),并且颜色选择器经过布置用于根据照明不变量颜色描述符选择颜色。照明不变量颜色描述符的一个实例,从MPEG7标准获知,将颜色描述符打包到在ISO/IEC15938-3中,它们是主导颜色、可升级的颜色、颜色布局和颜色结构。通过照明不变量方法处理的一个或者多个颜色描述符能够包含在描述符中。本领域技术人员将认识到,通过找到照明不变量颜色的除数和在场景照明条件下的颜色,颜色选择器302能够计算场景照明信息。
在一实施例中,***包括元数据产生器308。它包括与视频或者图像相关的元数据中所选定的颜色。例如,可以包括所选定的颜色作为使用标准元数据格式例如EXIF或者MPEG7的特性。该元数据可以包含在图像文件中或者视频数据流中并存储以备后续使用或者播放。在该实施例中,该***不需要,尤其是,显示器314和/或光控制器316和/或光源312。
在一实施例中,***包括光源控制器316。光源控制器316控制环境光源312。它将从颜色选择器302接收到的选定颜色转化成控制信号发送给光源312。光源控制器将颜色转换到适于直接控制光源的色彩空间。例如,如果由颜色选择器302在CIELAB色彩空间或者显示器的色彩空间中给出选定的颜色,那么可以基于光源能够产生的原色将色彩转换到色彩空间。这种转换是本领域公知的。
光源312可以是显示器后面的光。它还可以是远离显示器的光源。采用不同的颜色或者采用相同的颜色控制多个光源。为此,***可以包括不止一个光源、光控制器和/或颜色选择器。采用单个光源控制器控制多个光源也是可能的。光源可以处在从房间的一边到另一边,例如至少远离显示器一米。
在一实施例中,***包括受控光源312。通过颜色选择器302选择光源312产生的光颜色。
显示器314用于渲染图像或视频。光源控制器316使受控光源与图像渲染同步产生具有所选定颜色的光。可以在与显示器隔离的装置(或者设备)中包含一个或者多个受控制光源312。这允许使用远离显示器并彼此远离的光源。采用这种方法,房间内较大的一部分以基于场景照明信息的颜色被照亮。
用于产生元数据的创作工具具有***300。对应于元数据的图像或者视频提供给输入端310。颜色选择器302根据图像或视频中捕获的至少一个图像的场景照明选择受控环境照明的颜色。例如,图像分析器304用于获得场景照明信息。元数据产生器308包括元数据内与图像或者视频相关的颜色显示。
***300可以内置于家庭娱乐***或者电视机内。它还可以包含在具有例如用于视频输出和光源控制的独立输出的机顶盒中。其它的应用包括个人计算机、计算机监控器、PDA或者计算机游戏终端。
可以理解的是,本发明还延伸到计算机程序,尤其是在载体上或者载体内的计算机程序,适于将本发明付诸实施。程序可以是源代码、目标代码、代码中间源和目标代码的形式,例如部分汇编形式,或者适用于实施根据本发明方法的任何其它形式。载体可以是任何能够携带程序的实体或者设备。例如,载体可以包括存储介质,如ROM,例如CD ROM或者半导体ROM或者磁记录介质,比如软盘或者硬盘。另外,载体可以是可传递介质,例如电信号或者光信号,其可以通过电或者光缆或者通过无线电或者其他装置传输。当程序中包含这一信号时,可以通过这种电缆或者其他设备或者装置构造该载体。可替换地,载体可以是嵌入程序的集成电路,该集成电路适于执行或者用于相关方法的执行。
应当注意的是,上述的实施例描述了本发明而不是限定发明,在不脱离附带的权利要求的范围的条件下,本领域技术人员将能够设计很多替换实施例。在权利要求中,放在括号中的任何附图标记不构成对权利要求的限制。动词“包括”和其变形的使用不排除除了权利要求中所述的部件或者步骤的其他存在。部件之前的冠词“a”或“an”不排除存在多个这种部件。本发明可以借助于包含几个独立部件的硬件和经过适当编程的计算机来实施。在列举几个设备的装置权利要求中,这些设备中的几个可以体现为一个和相同硬件。在互相不同的从属权利要求中详述某些方法的仅仅一个事实不意味着不能使用这些方法的组合实现其优点。

Claims (15)

1.一种用于随着图像或者视频渲染提供同步受控的环境照明的***,其包括:颜色选择器(302),用于根据与图像或者视频的至少一个图像相关的场景照明信息选择受控的环境照明的颜色,
该***进一步包括下列之一:
i)输入端(310),用于接收图像或者视频;图像分析器(304),用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端(310),用于接收场景照明信息,
iii)输入端(310),包括剖析器,该输入端经过布置用于接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,该剖析器从元数据提取场景照明信息。
2.根据权利要求1所述的***,其中图像分析器(304),构造成用于根据下述的至少一个计算所述照明参数:
灰度世界方法;
估计每种颜色通道最大值的方法;
色域映射方法;
颜色相关;或者
神经网络方法。
3.根据权利要求1所述的***,其中颜色选择器经过布置用于根据场景照明信息选择受控环境照明的色度和/或色调。
4.根据权利要求3所述的***,其中颜色选择器经过布置用于不根据场景照明信息选择受控环境照明的亮度。
5.根据权利要求1所述的***,其中图像分析器经过布置用于刚好在至少一个图像渲染前实时计算照明参数。
6.根据权利要求1所述的***,包括元数据产生器(308),用于将选定颜色包含进与视频或者图像相关的元数据中。
7.根据权利要求1所述的***,其中场景照明信息表示至少一个图像中捕获的场景的物理照明条件。
8.根据权利要求1所述的***,其中场景照明信息表示在至少一个图像中捕获的人工计算机绘图场景的人工计算机绘图照明条件。
9.根据权利要求1所述的***,其中元数据包括照明不变量颜色描述符,并且颜色选择器经过布置用于根据照明不变量颜色描述符选择颜色。
10.根据权利要求1所述的***,进一步包括光源控制器(316),用于控制环境光源(312)使其与图像渲染同步产生具有选定颜色的光。
11.根据权利要求10所述的***,进一步包括用于渲染图像的显示器(314)。
12.根据权利要求10所述的***,进一步包括连接到光源控制器(316)的至少一个环境光源(312)。
13.根据权利要求11所述的***,进一步包括连接到光源控制器(316)的至少一个环境光源(312),该环境光源和显示器包含在不同的装置中。
14.一种用于产生元数据的装置,用于随着图像或者视频渲染同时产生受控环境照明,包括下列之一:
i)输入端(310),用于接收图像或者视频;图像分析器(304),用于基于图像或者视频计算表示场景照明的照明参数,其中颜色选择器经过布置用来依据照明参数选择颜色,
ii)输入端(310),用于接收场景照明信息,
并且,所述装置包括:
-颜色选择器(302),用于根据与图像或者视频的至少一个图像相关的场景照明信息选择受控环境照明的颜色;
-元数据产生器(308),用于将颜色表示包含在与视频或者图像相关的元数据中。
15.一种随着图像或者视频渲染提供同步受控的环境照明的方法,包括根据与图像或者和视频的至少一个图像相关的场景照明信息选择受控环境照明的颜色,并且该方法包括下列之一:
i)接收场景照明信息,
ii)接收图像或者视频,并基于图像或者视频计算表示场景照明的照明参数,其中依据照明参数进行选择颜色的步骤,
iii)接收与视频或者图像有关的元数据,场景照明信息合并到元数据中,并且从元数据提取场景照明信息。
CN2007800452384A 2006-12-08 2007-12-03 环境照明 Expired - Fee Related CN101548551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06125690.5 2006-12-08
EP06125690 2006-12-08
PCT/IB2007/054884 WO2008068698A1 (en) 2006-12-08 2007-12-03 Ambient lighting

Publications (2)

Publication Number Publication Date
CN101548551A CN101548551A (zh) 2009-09-30
CN101548551B true CN101548551B (zh) 2011-08-31

Family

ID=39271467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800452384A Expired - Fee Related CN101548551B (zh) 2006-12-08 2007-12-03 环境照明

Country Status (6)

Country Link
US (1) US20100177247A1 (zh)
EP (1) EP2103145A1 (zh)
JP (1) JP2010511986A (zh)
CN (1) CN101548551B (zh)
RU (1) RU2468401C2 (zh)
WO (1) WO2008068698A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080320126A1 (en) * 2007-06-25 2008-12-25 Microsoft Corporation Environment sensing for interactive entertainment
CN101463963B (zh) * 2007-12-21 2010-09-29 富士迈半导体精密工业(上海)有限公司 照明***
JP5323413B2 (ja) * 2008-07-25 2013-10-23 シャープ株式会社 付加データ生成システム
US8933960B2 (en) * 2009-08-14 2015-01-13 Apple Inc. Image alteration techniques
US9220158B2 (en) 2009-12-17 2015-12-22 Koninklijke Philips N.V. Ambience cinema lighting system
US20120287334A1 (en) * 2010-01-27 2012-11-15 Koninklijke Philips Electronics, N.V. Method of Controlling a Video-Lighting System
MX2012009594A (es) * 2010-02-26 2012-09-28 Sharp Kk Dispositivo de reproduccion de contenido, receptor de television, metodo de reproduccion de contenido, programa de reproduccion de contenido y medio de grabacion.
US9466127B2 (en) * 2010-09-30 2016-10-11 Apple Inc. Image alteration techniques
DE112010006012B4 (de) * 2010-11-19 2018-05-17 Mitsubishi Electric Corp. Anzeigesystem
TWI436338B (zh) * 2011-01-14 2014-05-01 Univ Nat Taiwan Science Tech 用於顯示設備的背後打光補償系統及方法
CN102143634B (zh) * 2011-03-14 2013-06-12 复旦大学 基于模糊控制技术的情景照明综合控制***
US9779688B2 (en) * 2011-08-29 2017-10-03 Dolby Laboratories Licensing Corporation Anchoring viewer adaptation during color viewing tasks
CN102438357B (zh) * 2011-09-19 2014-12-17 青岛海信电器股份有限公司 调节环境照明装置的方法及***
US8878991B2 (en) 2011-12-07 2014-11-04 Comcast Cable Communications, Llc Dynamic ambient lighting
US8928811B2 (en) * 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US8576340B1 (en) 2012-10-17 2013-11-05 Sony Corporation Ambient light effects and chrominance control in video files
US8928812B2 (en) 2012-10-17 2015-01-06 Sony Corporation Ambient light effects based on video via home automation
CN103780853A (zh) * 2012-10-19 2014-05-07 冠捷投资有限公司 显示装置及其控制方法
US10076017B2 (en) * 2012-11-27 2018-09-11 Philips Lighting Holding B.V. Method for creating ambience lighting effect based on data derived from stage performance
US9554102B2 (en) * 2012-12-19 2017-01-24 Stmicroelectronics S.R.L. Processing digital images to be projected on a screen
TWM459428U (zh) * 2013-03-04 2013-08-11 Gunitech Corp 環境控制裝置及影/音播放裝置
US9380443B2 (en) 2013-03-12 2016-06-28 Comcast Cable Communications, Llc Immersive positioning and paring
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
CN103581737A (zh) * 2013-10-16 2014-02-12 四川长虹电器股份有限公司 一种基于云平台的机顶盒节目评价方法及实现***
CN103561345B (zh) * 2013-11-08 2017-02-15 冠捷显示科技(厦门)有限公司 一种基于智能电视的多节点环境光照明控制方法
TW201521517A (zh) * 2013-11-20 2015-06-01 Gunitech Corp 照明控制系統及照明控制方法
CN103795896B (zh) * 2014-02-25 2016-10-05 冠捷显示科技(厦门)有限公司 一种显示设备环境光控制***
CA2847707C (en) * 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
CN104144353B (zh) * 2014-08-06 2018-11-27 冠捷显示科技(中国)有限公司 基于智能电视的多区域环境光管理控制方法
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
US10768704B2 (en) 2015-03-17 2020-09-08 Whirlwind VR, Inc. System and method for modulating a peripheral device based on an unscripted feed using computer vision
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
DE102015122878B4 (de) * 2015-12-28 2019-02-07 Deutsche Telekom Ag Lichteffekte im Umfeld eines Bildschirms
EP3434072B1 (en) 2016-03-22 2019-10-16 Signify Holding B.V. Lighting for video games
EP3434073B1 (en) 2016-03-22 2020-08-26 Signify Holding B.V. Enriching audio with lighting
WO2017174582A1 (en) * 2016-04-08 2017-10-12 Philips Lighting Holding B.V. An ambience control system
JP6692047B2 (ja) * 2016-04-21 2020-05-13 パナソニックIpマネジメント株式会社 照明制御システム
US10772177B2 (en) * 2016-04-22 2020-09-08 Signify Holding B.V. Controlling a lighting system
GB2557884A (en) * 2016-06-24 2018-07-04 Sony Interactive Entertainment Inc Device control apparatus and method
EP3331325A1 (en) 2016-11-30 2018-06-06 Thomson Licensing Method and apparatus for creating, distributing and dynamically reproducing room illumination effects
EP3337163A1 (en) * 2016-12-13 2018-06-20 Thomson Licensing Method and apparatus for optimal home ambient lighting selection for studio graded content
WO2019076667A1 (en) * 2017-10-16 2019-04-25 Signify Holding B.V. METHOD AND CONTROL DEVICE FOR CONTROLLING A PLURALITY OF LIGHTING DEVICES
US12022589B2 (en) * 2019-04-30 2024-06-25 Signify Holding B.V. Camera-based lighting control
WO2021010938A1 (en) * 2019-07-12 2021-01-21 Hewlett-Packard Development Company, L.P. Ambient effects control based on audio and video content
US11803221B2 (en) 2020-03-23 2023-10-31 Microsoft Technology Licensing, Llc AI power regulation
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting
WO2022012959A1 (en) * 2020-07-13 2022-01-20 Signify Holding B.V. Allocating control of a lighting device in an entertainment mode
CN112954854B (zh) * 2021-03-09 2023-04-07 生迪智慧科技有限公司 环境灯控制方法、装置、设备及环境灯***
CN114158160B (zh) * 2021-11-26 2024-03-29 杭州当虹科技股份有限公司 基于视频内容分析的沉浸式氛围灯***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917541A (en) * 1995-04-26 1999-06-29 Advantest Corporation Color sense measuring device
CN1296596A (zh) * 1999-03-04 2001-05-23 Lg电子株式会社 用于自动提取图像效果颜色和恢复原始图像颜色的方法
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
WO2006003604A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Active frame system for ambient lighting using a video display as a signal s0urce

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314596A (ja) * 1993-04-30 1994-11-08 Toshiba Lighting & Technol Corp 照明制御システム
RU2143302C1 (ru) * 1995-07-17 1999-12-27 Корабельников Александр Тимофеевич Цветомузыкальная установка
WO1999004562A1 (en) * 1997-07-14 1999-01-28 LEMLEY, Michael, S. Ambient light-dependent video-signal processing
JP4399087B2 (ja) * 2000-05-31 2010-01-13 パナソニック株式会社 照明システム、映像表示デバイスおよび照明制御方法
KR101021077B1 (ko) * 2002-07-04 2011-03-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 주변조명 및 조명 유닛 제어 방법 및 시스템
DE60331916D1 (de) * 2002-07-04 2010-05-12 Koninkl Philips Electronics Nv Verfahren und system zur steuerung eines umgebungslichts und beleuchtungseinheit
US20050046739A1 (en) * 2003-08-29 2005-03-03 Voss James S. System and method using light emitting diodes with an image capture device
JP2007519995A (ja) * 2004-01-05 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ内容から未レンダリング色空間を経由したマッピング変換によって導出される環境光
US20070091111A1 (en) * 2004-01-05 2007-04-26 Koninklijke Philips Electronics N.V. Ambient light derived by subsampling video content and mapped through unrendered color space
WO2005069640A1 (en) * 2004-01-06 2005-07-28 Koninklijke Philips Electronics, N.V. Ambient light script command encoding
US7517091B2 (en) * 2005-05-12 2009-04-14 Bose Corporation Color gamut improvement in presence of ambient light
CN101427578A (zh) * 2006-04-21 2009-05-06 夏普株式会社 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制***、及视听环境控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917541A (en) * 1995-04-26 1999-06-29 Advantest Corporation Color sense measuring device
CN1296596A (zh) * 1999-03-04 2001-05-23 Lg电子株式会社 用于自动提取图像效果颜色和恢复原始图像颜色的方法
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
WO2006003604A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Active frame system for ambient lighting using a video display as a signal s0urce

Also Published As

Publication number Publication date
CN101548551A (zh) 2009-09-30
RU2468401C2 (ru) 2012-11-27
JP2010511986A (ja) 2010-04-15
US20100177247A1 (en) 2010-07-15
WO2008068698A1 (en) 2008-06-12
RU2009126156A (ru) 2011-01-20
EP2103145A1 (en) 2009-09-23

Similar Documents

Publication Publication Date Title
CN101548551B (zh) 环境照明
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6276794B2 (ja) カラーレジームを定義する装置及び方法
JP6009539B2 (ja) Hdr画像を符号化及び復号化するための装置及び方法
CN1977542B (zh) 利用感知规律提取主色以产生来自视频内容的环境光
CN103180891B (zh) 显示器管理服务器
CN103582911B (zh) 高动态范围图像信号生成和处理
US8421819B2 (en) Pillarboxing correction
CN107203974A (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和***
JPWO2007052395A1 (ja) 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
JP2006295942A (ja) ユーザーの選好性データの生成方法、および記録媒体
KR20140146628A (ko) Hdr 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들
CN102282849A (zh) 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制***
CN106165409A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN114449199B (zh) 视频处理方法、装置、电子设备和存储介质
US20230171507A1 (en) Increasing dynamic range of a virtual production display
CN104469239A (zh) 一种智能移动终端的浸入式视频呈现方法
CN104954767B (zh) 一种信息处理方法和电子设备
JP2012532355A (ja) 複数の画像のシーケンスを生成するための方法及び装置
JP2005169062A (ja) 画像データを用いてオブジェクトおよびオブジェクトタイプを変更する方法(関連出願の相互参照)本願においては、2003年12月8日付け台湾特許出願第92134510号の優先権の特典を主張する。
Laine et al. Illumination-adaptive control of color appearance: a multimedia home platform application
JP2013501261A (ja) 画像に関連付けられるべき属性値を決定するための方法及び装置
US20170150191A1 (en) System and method to identify and automatically reconfigure dynamic range in content portions of video
JPH10240282A (ja) 画像表示方法、装置及びシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120822

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120822

Address after: Holland Ian Deho Finn

Patentee after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110831

Termination date: 20141203

EXPY Termination of patent right or utility model