CN101542538B - 用来对光进行建模的方法与*** - Google Patents

用来对光进行建模的方法与*** Download PDF

Info

Publication number
CN101542538B
CN101542538B CN200680056435.1A CN200680056435A CN101542538B CN 101542538 B CN101542538 B CN 101542538B CN 200680056435 A CN200680056435 A CN 200680056435A CN 101542538 B CN101542538 B CN 101542538B
Authority
CN
China
Prior art keywords
photoreading
locus
light
predetermined physical
physical space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200680056435.1A
Other languages
English (en)
Other versions
CN101542538A (zh
Inventor
阿纳·B·贝尼特斯
张冬青
吉姆·A·范彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101542538A publication Critical patent/CN101542538A/zh
Application granted granted Critical
Publication of CN101542538B publication Critical patent/CN101542538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

提供了一种用来对时间与空间中的光建模的方法和***。本发明的方法和***收集例如电影布景上不同位置与时间上的光读数(302,304,306),以构造用于视觉效果(VFX)合成的光模型(308)。该光模型表示对于预定物理空间的跨越空间和/或时间的光分布。然后利用该光模型,可以预测或者内插在未为其获得特定光读数的中间或者其他位置和/或时间上的照明(314)。可以使用光模型来绘制场景中的对象(例如自然或者CG元素),就好像其在该空间中一样。

Description

用来对光进行建模的方法与***
技术领域
一般地,本发明涉及计算机图形处理与显示***,更具体地,涉及用来在时间与空间中对光进行建模的方法与***。
背景技术
对于电影(motion picture)的制作,经常希望结合数字绘制的图像与例如可由传统胶片相机或者更现代的数字相机捕获的实际场景的图像。例如,可能希望在所拍摄的场景内以数字方式创建利用传统特效工具来制作会更费钱甚或不可能的视觉效果(VFX)。但是,人们还希望视觉效果看起来完全真实,以保持现实的幻觉。现有技术中已知有用来绘制数字对象以***到摄影图像中的方法,包括有时被称为“基于图像的照明”的方法。简单地说,基于图像的照明指以下活动:收集关于在所拍照或者所捕获的场景中的特定点处的照明的现实世界信息,然后利用该信息来绘制数字对象。由此,所绘制的对象被以与仿佛其为位于该场景中的真实对象相同的方式照射,并且可以将所绘制的对象***到场景的照片图像(或者视频帧序列)中,而不会显得与周围环境不合适。
当前存在几种用来捕获空间中点的全局照明的方法。当前的技术方案包括:拍摄球形镜球(spherical mirror ball)的几幅高动态范围的画面,或者利用专用相机拍摄高动态范围的全景画面等等。最简单的方法为使用常规相机来拍摄位于场景中的镜射球(mirrored ball)的照片。镜射球实际反射了其周围的整个世界,而不仅仅是朝向相机的半球。从该球外圆周反射的光线从环境的后半部分扫向相机。利用常规相机来获得全方向图像的另一种方法为拍摄朝向不同方向的许多画面的拼图,并且利用现有技术公知的图像拼接程序来组合它们。一种在每次拍摄时都覆盖特别大的区域的好方法是使用鱼眼镜头,其使用户能够以少至两个的图像覆盖全部视野。最后一种技术为使用特殊的扫描全景相机,例如可从德国的SpheronVR AG购得的PanoCamTM相机,其利用在旋转相机头上的垂直行的图像传感器来扫描通过360度的视野。但是,为了进行光测量,需要正确检定和校准专门相机与球形镜球。另外,这些***用来仅仅捕获空间中的一个点以及时间上的一个时刻的照明是足够的。但是VFX应用一般要求有空间中整个区域的照明信息,例如电影布景,并且有时在照明环境变化时要求有对于一段时间的照明信息。
其他方法使用相机阵列来捕获光信息。因为在相机阵列中将相机均匀地放置在平坦平面上,所以相机阵列的视野限于特定角度以及特定空间位置。在VFX应用中,一般需要大得多的视野与(几乎在每个位置处的)光信息,因此当前的相机阵列技术方案对于VFX应用有限制。
另外,现有的***不收集来自多个位置和/或多个时间上的照明信息。现有***没有***地构造允许其预测或者内插其他位置和/或各个时间上的照明的照明模型。因此,现有用于VFX合成(compositing)的***的功能限于其中捕获简单全局照明以及对其建模就足够了的情况。
发明内容
提供了一种用来对电影布景上的在布景的不同位置上以及不同时间上的照明建模的方法与***。本发明的方法与***按照需要收集不同位置与时间上的照明读数,以构造用于视觉效果(VFX)合成的光模型。然后利用该光模型,可以预测或者内插在未为其获得特定照明读数的其他位置和/或时间上的照明。
本发明的方法与***收集某个预定物理空间中多个位置和/或多个时间上的光信息(例如多个位置上的光读数,从其可以获得光信息的多个点处的画面或者图像等等),并且为该预定物理空间构造表示跨越空间和/或时间的光分布的光模型。该光分布模型可以表征或者近似时间与空间中的辐射亮度(radiance)函数,其中该辐射亮度为在给定位置与方向上的光强度。可以在计算场景中特定点的辐射亮度值时构造光分布模型。光分布模型可以包括如何内插在未捕获光信息的位置与时间处的光。然后可以使用光模型来绘制对象(例如自然或者CG元素),就仿佛其在该空间中一样。对于绘制处理,在空间的(多个)预定位置与时间的(多个)时刻处进行光内插/预测。然后可以将所绘制的对象合成到某场景中,例如从其收集光信息的场景或者背景板中。
根据本发明的一个方面,提供了一种用来对预定物理空间中的光建模的方法。该方法包括:获取在第一空间位置处的至少一个第一光读数以及在第二空间位置处的至少一个第二光读数;以及根据所述至少一个第一光读数以及至少一个第二光读数,构造所述预定物理空间中的光分布模型。所述方法还包括:根据所述光分布模型,预测一空间位置处的光强度。
在另一个方面,所述方法还包括:获取至少一个第一时刻以及至少一个第二时刻处的所述至少一个第一光读数;以及根据所述光分布模型,预测不同于所述至少一个第一时刻以及至少一个第二时刻的另一时刻处的所述第一空间位置处的光强度。
根据本发明的另一个方面,一种用来创建场景的新图像的方法包括:获取预定时间处的场景的图像;确定该场景的三维坐标;根据所述预定时间与三维坐标,预测在该场景的选定空间位置处的光信息;以及利用所预测的光信息,绘制该场景选定空间位置处的对象。
在另一个方面,提供了一种用来对预定物理空间中的光建模的***。该***包括:至少两个传感器,其被配置来获取在第一空间位置处的至少一个第一光读数以及在第二空间位置处的至少一个第二光读数;以及后处理设备,其被配置来创建至少一个光模型;该后处理设备包括:光模型构造器,其被配置来从所述至少一个第一光读数以及至少一个第二光读数,确定所述预定物理空间的至少一个第三空间位置的辐射亮度,以创建所述预定物理空间中的光分布模型。
在另一个方面,提供了一种可由机器读取的程序存储设备,其以有形方式包含可由该机器执行的指令程序,以执行用来对预定物理空间中的光建模的方法步骤,该方法包括:获取在第一空间位置处的至少一个第一光读数以及在第二空间位置处的至少一个第二光读数;以及根据所述至少一个第一光读数以及至少一个第二光读数,构造所述预定物理空间中的光分布模型,其中所述构造光分布模型包括:从所述至少一个第一光读数以及至少一个第二光读数,确定所述预定物理空间的至少一个第三空间位置的辐射亮度;以及根据所述光分布模型,预测第四空间位置处的光强度。
附图说明
从以下结合附图的对优选实施例的详细描述,将描述或者可以看出本发明的这些与其他方面、特征、以及优点。
在附图中,类似的附图标记表示类似的元件:
图1为根据本发明一个方面的用来对时间与空间中光建模以及使用光模型进行视觉效果(VFX)合成的***的示范性图示;
图2为根据本发明一个方面的一个可能的布景中用来对光建模以及使用光模型进行视觉效果(VFX)合成的示范性***设置;
图3为根据本发明一个方面的用来对时间与空间中光建模以及使用光模型预测光的示范性方法的流程图;
图4显示根据本发明一个方面的用来将一个图像的像素强度转换为光与方向强度的技术;
图5显示根据本发明一个方面的用来匹配像素以及使用至少两个图像之间的三角测量来识别三维(3D)空间中的场景点的技术;
图6显示根据本发明一个方面的用来内插场景中新位置处的光的强度和方向的技术;以及
图7为根据本发明一个方面的用于VFX合成的示范性方法的流程图。
应该理解,附图完全是用来说明本发明的思路,而不一定是显示本发明唯一可能配置。
具体实施方式
应该理解附图中所示的元件可以各种形式的硬件、软件、或者其组合来实现。优选地,这些元素以硬件和软件的组合来在一个或者多个适当编程的通用设备(其可以包括处理器、存储器、以及输入/输出接口)上实现。
本说明书显示了本发明的原理。由此应该理解本领域技术人员能够设想各种结构,其虽然未在此处明确描述或者显示,但是实现了本发明的原理,并且包含在其精神与范围之内。
此处描述的所有例子与条件性语言都是用于教学目的,以帮助用户理解本发明的原理以及发明人贡献来改进现有技术的思路,并且应该被理解为不限于此类具体描述的例子与条件。
另外,此处描述本发明的原理、方面、以及实施例、及其特定例子的所有语句都意在包含其结构性与功能性等价物两者。另外,此类等价物还要包括当前已知的等价物以及将来开发的等价物两者,即不论结构如何被开发来执行相同功能的任何元件。
由此,例如本领域技术人员应该理解此处所呈现的方框图表示实现本发明原理的说明性电路的概念性视图。类似地,应该理解任何流程图、流程表、状态转换图、伪代码等等表示基本可以在计算机可读介质中表示、并且由此由计算机或者处理器执行的各种处理,而不管是否明确显示了此类计算机或者处理器。
可以通过使用专用硬件以及能够与适当软件结合来执行软件的硬件来提供在附图中显示的各种元素的功能。当由处理器提供时,这些功能可以由单个专用处理器、单个共享处理器、或者多个独立处理器(某些可以共享)提供。另外,明确使用术语“处理器”或者“控制器”不应该被理解为专指能够执行软件的硬件,而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用来存储软件的只读存储器(ROM)、随机访问存储器(RAM)、以及非易失存储器。
也可以包括常规和/或定制的其他硬件。类似地,图中所示的开关仅是概念性的。其功能可以通过操作程序逻辑、通过专用逻辑、通过程序控制与专用逻辑的交互、甚或手动地来执行,具体技术可以由实现者根据对情况的具体理解来选择。
在其权利要求书中,被表示为用来执行指定功能的部件的所有元件意在包括执行该功能的任何方式,包括例如a)执行该功能的电路元件的组合;或者b)任何形式的软件,因此包括固件、微代码等等,其与适当电路组合,用来执行该软件以执行该功能。此类权利要求所限定的本发明在于:由各个所述部件提供的功能以权利要求所限定的方式组合在一起。由此应该认为可以提供这些功能的任何手段都等价于此处所示的手段。
本发明处理对例如在电影布景中跨越空间与时间的照明建模的问题。对于在电影中合成具备光照真实感(photorealistic)的VFX(视觉效果),照明非常重要。合成(compositing)是一种广泛用于电影制作的标准处理,用来组合前景和/或背景板与计算机生成(CG)元素以获得特定视觉效果。CG元素如果用与背景和前景板相同的照明绘制与合成则看起来更具光照真实感。本发明提供一种用来对跨越空间和时间的照明建模的方法与***。本发明的方法与***按照需要收集不同位置与时间上的照明读数,以构造表示某个预定物理空间和时间(例如电影的场景或者布景)中的照明的模型。然后利用该光模型,可以预测或者内插在未为其获得特定光读数的其他位置和/或时间上的照明。本发明的技术使后期制作处理能够使用所提取的光模型来改进对于复杂场景将VFX合成到电影中,其中照明在空间和/或时间上变化。另外,通过采集在时间上的不同时刻处的光信息,可以在其他时间上内插照明,当试图表征变化的户外照明(例如在日落期间)时,这非常有用。
现在参照附图,图1显示根据本发明实施例的示范性***组件。可以配备扫描设备103来将胶片拷贝(film print)104(例如相机原始底片)扫描为数字格式,例如Cineon格式或者SMPTE DPX文件。扫描设备103可以包括例如telecine或者从胶片生成视频输出(例如对于视频输出的Arri LocProTM)的任何设备。可替换地,可以直接使用来自后期制作处理或者数字相机106的文件(例如已经处于计算机可读形式的文件)。计算机可读文件的可能来源包括但不限于AVIDTM编辑器、DPX文件、D5带等等。
所扫描的胶片拷贝输入到后处理设备102,例如计算机。该计算机在各种已知计算机平台的中的任何一种上实现,其具有诸如以下硬件:一个或多个中央处理单元(CPU)、诸如随机访问存储器(RAM)和/或只读存储器(ROM)等存储器110、以及诸如键盘、光标控制设备(例如鼠标或操作杆)与显示设备等(多个)输入/输出(I/O)用户接口112。该计算机平台还包括操作***与微指令代码。此处描述的各种处理与功能可以为微指令代码的一部分,或者为软件应用程序的一部分(或者其组合),其通过操作***执行。另外,可以通过各种接口与总线结构,例如并行口、串行口、或者通用串行总线(USB),将各种其他外设连接到该计算机平台。其他外设可以包括附加的存储设备124与印片机128。印片机128可以用来印制胶片136的更新版本,其中作为以下描述的技术结果可能利用3D建模对象更改或者替换了场景。
可替换地,可以直接将已经处于计算机可读形式的文件/胶片拷贝106(例如数字影院,其例如可能存储在外部硬驱动器124中)输入到计算机102中。请注意,此处所用的术语“胶片”可以指胶片拷贝或者数字捕获。应该理解,不论胶片是被扫描的还是已经处于数字格式,胶片的数字文件都包括关于帧的位置的指示或者信息,例如帧号、从胶片开始的时间等等。数字电影的每个帧将包括一个图像,例如I1、I2、...In
软件程序包括包括存储在存储器110中的光合成模块114,用来在考虑到预测照明的情况下绘制对象以及将对象合成到图像中。光合成模块114包括光模型构造器116,用来生成表示预定空间位置、例如场景或者布景的辐射亮度信息的至少一个光模型。该生成的至少一个光模型被存储在光模型库117中,已备以后当绘制场景时使用。3D几何参数检测器118被配备来利用2D图像或者部分2D图像生成场景捕获的3D几何参数。3D几何参数检测器118还可以通过利用图像编辑软件勾勒包含对象的图像区域来手动地、或者通过利用自动检测算法孤立包含对象的图像区域来识别对象。光合成模块114还包括光预测器120,用来预测要放置到场景中的对象的光环境或者辐射亮度。CG元素绘制器122被配备来利用光预测器120生成的照明信息在场景中绘制对象。绘制器在现有技术中是已知的,并且包括但不限于LightWave 3D、Entropy与Blender。
图2显示示范性***设置200,用来收集光读数并且对用于VFX合成的电影布景上的光建模,其中使用照明信息进行真实感合成。对于该应用,光传感器网络、例如p1、p2、p3...pn,分布在布景202周围,其也收集位置信息。布景202为用于展开电影的一个或者多个场景的预定物理空间。附加的传感器可以附接到(多个)相机204,以跟踪其位置、走向、以及运动。照明信息可以在实际拍摄之前、之中、或者之后捕获。替代光/位置传感器网络地、或者在其之外,可以编程一个或者多个配备有光传感器的自主机器人,来收集必要的光与位置信息,以更好地覆盖包括闭塞区域(occluded area)的目标空间。根据所检测的光变化,自主机器人可以决定获得更多或者更少的光读数。来自光传感器、例如p1、p2、p3...pn和/或(多个)相机204的信息、例如相机参数,可以通过用户接口112手动地输入到***100,或者可以通过硬连线或者无线连接自动地传送到***100,如图1所示。
图3显示本发明的光提取与预测技术的流程图。该***利用光传感器按照需要收集不同位置与时间处的照明读数,以构造表示某个空间或者时间处的照明的模型。然后利用所构造的照明模型,可以预测或者内插光传感器对其没有直接获得特定光读数的其他位置和/或时间处的照明。
在步骤302、304、以及306,捕获预定物理空间、例如布景202中的光的颜色强度与方向、以及传感器p1、p2、p3...pn的空间位置。可以各种方式捕获光强度与方向。一种示范性方法为使用相机传感器来拍摄一个或者多个画面。该画面编码来自不同方向的光强度,如参照图4所述。假定相机的聚焦中心402与聚焦平面404是已知的(可以通过校准获得),通过使光线408从聚焦中心402通过聚焦平面404(其也是图像平面)射向特定点406,可以计算场景点406的光方向与强度。聚焦平面中点410的像素值与场景点406的光强度成比例,并且光方向由光线408指定。光线408确定对应于从场景点406到聚焦中心402的光方向的方向或者角度。
在步骤308,从不同位置收集的光信息用来重构辐射亮度。辐射亮度为5维函数,其编码光在空间中的分布或者自由空间中每个点处的光方向与强度。在形式上,将辐射亮度定义为每单位立体角在垂直于穿行方向的每个单位区域在指定方向上某个点处穿行的能量(每单位时间的能量量值)。因此,辐射亮度为位置与方向的函数。假定某坐标***中的点P=(x,y,z)以及球坐标为θ与φ的方向,该坐标***的z轴沿表面法线,可以将辐射亮度表示如下:
L(P,θ,φ) (1)
在布景上跨越时间不同点处获得的测量结果使得***能够创建用于跨越时间的该5D函数的模型。可替换地,在步骤301,用户可以输入布景上实际光源的强度与位置、和/或另外输入元数据到***,例如相机参数、3d几何参数等等。在步骤312,因为可以假定照明没有随时间显著变化,所以对于可以用来构造对于当前时间的光模型的各个采样时间,确定光模型。
如果可以完全重构跨越时间的辐射亮度,则可以简单地通过评估在指定空间位置处的辐射亮度函数L(P,θ,φ),获得每个空间位置处的光信息。因为在本发明的***中,相机传感器被松散地分布跨越不同的位置,所以可能不可能一般地重构完全辐射亮度。但是,在给定某些照明条件下,可以通过增加传感器的数目以及优化传感器位置,重构辐射亮度到特定的所希望的分辨率。例如,在均匀照明环境(如户外场景)中,需要较少的传感器与读数。
对于相机传感器***的情况,可以通过找到传感器所捕获的至少两个图像的像素的对应关系,部分地重构辐射亮度。该技术在图5中显示。如果两个相机传感器502、504的视野重叠,则可以找到所捕获的图像中对应于3D空间中的单个场景点506的两个像素,例如图像510中的像素508与图像514中的像素512。如果识别出两个对应像素508与512,则可以通过交叉从聚焦中心502、504穿行到图像像素508、512到3D点506的两条光线516、518,计算场景点506的3D位置。这是称为三角测量的方法。找到像素点的对应关系可以通过各种方法实现。最直接的方法为匹配像素的颜色值。另外,可以融入空间连续性限制,以使像素匹配更可靠。例如,可以假定对应于同一场景点的像素之间的差异几乎在各处都平滑变化,并且仅小部分图像包含在深度上不连续的边沿。因此,匹配点对的差异与其最近相邻点对的差异应该类似。
为了可靠的三角测量,还必须知道相机传感器参数。可以预先已知或者通过校准计算相机传感器参数。如果使相机传感器的聚焦中心平行于地面,则相机传感器参数计算要简单得多。如果两个相机传感器具有相同的缩放因子与其他内在参数,则两个相机传感器具有相同的设置,并且因此具有相同的投影几何参数。结果,只要已知两个相机传感器的位置,就可以通过三角测量来找到场景点。一旦找到了场景点位置,如果场景表面假定为Lambertian表面,则可以在该特定场景点处完全恢复光方向与强度。这在图5中显示。Lambertian表面为其方向性反射率不依赖于照射方向的表面。这意味着离开该表面的辐射亮度与角度无关。如果场景表面不是Lambertian表面,则所恢复的光方向与强度将为近似值。
根据所需要的辐射亮度分辨率,选择相机传感器的数目,并且相机传感器的数目依赖于光条件。越多的相机传感器会导致更高的辐射亮度空间分辨率;而更少的相机传感器会导致闭塞某些场景区域。在捕获处理中,可以动态地添加相机传感器。从而可以根据照明的复杂度覆盖重要的场景区域。
在步骤314,***100利用所重构的光模型来预测在中间位置处的光信息,在该中间位置处,可能需要知道照明信息以用于VFX合成。如果对于给定时间辐射亮度被完全重构或者近似,则可以通过在指定的位置处评估5D辐射亮度函数,容易地获得照明信息。但是在大多数情况下,辐射亮度未被完全重构,则将通过内插导出指定位置处的光信息。图6显示利用线性内插的特定预测方案。假定通过三角测量已知光源606的位置和光强度,则可以计算在新位置、例如场景点608处的光的强度作为在具有光传感器(例如光传感器602与光传感器604)的位置处的光读数的组合。例如,如果有两个光传感器,则新位置608的光强度为Inew=(I1+I2)/2,其中I1与I2分别为在传感器位置602与604处的光读数,并且Inew为在场景点608处的内插光读数。
图7显示本发明的利用从***100获得的光模型进行VFX合成的流程图。合成处理组合背景和/或前景板与CG元素,以实现特定视觉效果。背景和前景板可能已经由不同来源捕获。在步骤702,在时间I处由***102捕获图像,例如背景板。捕获该图像的相机的位置将被记录到或者手动输入到后处理设备102。在一种实施例中,后处理设备102获得计算机可读格式的数字主图像数据。通过利用数字相机捕获图像的时间序列,可以获得数字视频图像。可替换地,可以通过常规胶片型相机来获得图像序列。在该情况下,通过扫描设备103扫描胶片,并且该处理行进到步骤202。图2所示的传感器网络的传感器、例如相机的位置也被记录和/或输入到***。
接着,在步骤704,3D几何参数提取器118将生成真实场景的3D几何参数。3D几何参数提取器118可以例如通过使用用来获取图像的相机的位置,分割来自所捕获的图像的对象,并且确定场景中(多个)对象的3D坐标,例如位置p。上述的相机传感器网络可以收集对于重构场景与布景的3D几何参数有用的信息。因此,3D几何参数提取器118可以与光预测器120交互和合作,以在步骤706预测要***的元素/对象的照明信息,例如辐射亮度。
***操作人员确定在何处以及何时绘制CG元素/分割对象以及将其合成到场景中。一旦确定了用来***CG元素/分割对象的位置和时间,光预测器就采用先前由***100如上所述构造的至少一个光分布模型。例如对于时间I(由图像的捕获时间确定)与其中要绘制CG元素的位置的光模型与场景的3D几何参数,被送往CG元素绘制器122,以在步骤708绘制CG元素。然后,可以例如通过合成器(未显示),将所绘制的元素***到图像中。在该程序之后,替代纯CG元素地,可以在步骤710从其他图像提取对象以绘制与合成到图像中。
然后,可以在与包含(多个)图像的文件分离的数字文件130中保存所绘制的CG元素。CG元素数字文件130可以存储在存储设备124中以备以后检索,例如在胶片的编辑阶段期间,其中例如通过合成器,可以将CG元素***到先前没有该对象的图像中。另外,在整个电影已经被编辑包含上述技术所创建的CG元素的情况下,可以创建对于数字影院的完整数字文件129,并且将其存储在存储设备124中。
已经描述了用来跨越时间和空间对光建模的方法与***。本发明的方法与***收集例如电影场景或者布景上不同位置与时间上的照明读数,以构造用于视觉效果(VFX)合成的光模型。然后,利用该光模型,可以预测或者内插在未为其获得特定光读数的其他位置和/或时间上的照明。用于CG元素或者对象的照明越匹配场景或者布景的背景与前景板,VFX看起来就越有光照真实感。因为本发明的方法与***可以更精确地跨越整个布景与时间地对照明建模和提取,所以可以比现有***获得更有光照真实感的结果。
虽然此处详细显示和描述了融入本发明原理的实施例,但是本领域技术人员可以容易地设想融入这些原理的许多其他变化的实施例。已经描述了用来对时间与空间中光建模的方法与***的优选实施例,应该注意本领域技术人员在本发明教导下可以进行各种修改与变化。因此应该理解,可以对本发明所公开的特定实施例进行变化,其在权利要求书所概括的本发明的精神与范围之内。

Claims (20)

1.一种用来对预定物理空间中的光建模的方法,该方法包括:
利用所述预定物理空间的第一空间位置处的第一光传感器获取所述第一空间位置处的至少一个第一光读数,利用所述预定物理空间的第二空间位置处的第二光传感器获取所述第二空间位置处的至少一个第二光读数,并且利用至少一个相机传感器捕获所述预定物理空间的两个画面(302,304,306);以及
根据所述两个画面、所述至少一个第一光读数以及至少一个第二光读数,构造所述预定物理空间中的光分布模型(308),所述构造光分布模型的步骤包括:使用所述两个画面中第一画面内的第一像素点和所述两个画面中第二画面内的第二像素点的三角测量,来确定所述预定物理空间的至少一个第三空间位置的辐射亮度,其中所述第一像素点和第二像素点对应于同一个所述至少一个第三空间位置;以及通过内插所述至少一个第一光读数以及至少一个第二光读数,来预测所述预定物理空间的第四空间位置处的光强度(314)。
2.如权利要求1所述的方法,还包括:获取至少一个第一时刻以及至少一个第二时刻处的所述至少一个第一光读数。
3.如权利要求2所述的方法,还包括:根据所述光分布模型,预测不同于所述至少一个第一时刻以及至少一个第二时刻的另一时刻处的所述第一空间位置处的光强度。
4.如权利要求1所述的方法,其中所述至少一个第一光读数以及至少一个第二光读数至少包括所述第一空间位置与第二空间位置处的光强度与光方向。
5.如权利要求4所述的方法,其中利用至少一个相机传感器捕获所述预定物理空间的两个画面还包括:
确定所述相机的聚焦中心(402)与聚焦平面(404);
使光线(408)从该聚焦中心(402)穿行到所述预定物理空间中的至少一个空间位置(406);以及
确定所述聚焦平面(404)中该光线(408)穿过的点(410)。
6.如权利要求5所述的方法,其中所述聚焦平面(404)中的点(410)的像素值与所述预定物理空间中的所述至少一个空间位置(406)的颜色强度成比例;并且其中所述光线(408)从聚焦中心(402)到该预定物理空间中的所述至少一个空间位置(406)的角度确定了来自所述至少一个空间位置(406)的光的方向。
7.一种用来创建场景的新图像的方法,该方法包括:
获取预定时间处的场景的图像(702);
确定该场景的三维坐标(704);
根据所述预定时间与三维坐标,预测在该场景的选定空间位置处的光信息(706);以及
利用所预测的光信息,绘制该场景选定空间位置处的对象(708),
其中,所述获取预定时间处的场景的图像还包括:利用至少一个相机传感器捕获所述预定物理空间的两个画面;
所述预测光信息还包括:利用所述预定物理空间的第一空间位置处的第一光传感器获取所述第一空间位置处的至少一个第一光读数,利用所述预定物理空间的第二空间位置处的第二光传感器获取所述第二空间位置处的至少一个第二光读数(302,304,306);以及根据所述两个画面、所述至少一个第一光读数以及至少一个第二光读数,构造所述预定物理空间中的光分布模型(308),以及
所述构造光分布模型的步骤包括:使用所述两个画面中第一画面内的第一像素点和所述两个画面中第二画面内的第二像素点的三角测量,来确定所述预定物理空间的至少一个第三空间位置的辐射亮度,其中,所述第一像素点和第二像素点对应于同一个所述至少一个第三空间位置;以及通过内插所述至少一个第一光读数以及至少一个第二光读数,来预测所述预定物理空间的第四空间位置处的光强度(314)。
8.如权利要求7所述的方法,还包括:将所绘制的对象合成到场景中。
9.如权利要求8所述的方法,其中所述对象为以下中的一个:计算机图形元素以及分割的对象。
10.如权利要求7所述的方法,其中所述至少一个第一光读数以及至少一个第二光读数包括所述第一空间位置与第二空间位置处的光强度与光方向。
11.如权利要求7所述的方法,还包括:获取至少一个第一时刻以及至少一个第二时刻处的所述至少一个第一光读数。
12.如权利要求11所述的方法,还包括:根据所述光分布模型,预测不同于所述至少一个第一时刻以及至少一个第二时刻的另一时刻处的所述第一空间位置处的光强度。
13.一种用来对预定物理空间中的光建模的***(100),该***包括:
至少两个光传感器(p1,p2,p3,p4,pn),其分别被配置在所述预定物理空间的第一空间位置和第二空间位置处,用于获取所述第一空间位置处的至少一个第一光读数以及所述第二空间位置处的至少一个第二光读数;
至少一个相机传感器,其被配置来捕获所述预定物理空间的两个画面;以及
后处理设备(102),其被配置来根据所述两个画面、所述至少一个第一光读数以及至少一个第二光读数创建所述预定物理空间中的至少一个光分布模型;该后处理设备包括:
光模型构造器(116),其被配置来使用所述两个画面中第一画面内的第一像素点和所述两个画面中第二画面内的第二像素点的三角测量,确定所述预定物理空间的至少一个第三空间位置的辐射亮度,其中所述第一像素点和第二像素点对应于同一个所述至少一个第三空间位置,以及
光预测器(120),其被配置来通过内插所述至少一个第一光读数以及至少一个第二光读数,来预测所述预定物理空间的第四空间位置处的光强度。
14.如权利要求13所述的***(100),其中所述至少两个传感器(p1,p2,p3,p4,pn)被进一步配置来获取至少一个第一时刻以及至少一个第二时刻处的所述至少一个第一光读数。
15.如权利要求14所述的***(100),其中所述光预测器(120)被进一步配置来根据所述光分布模型,预测不同于所述至少一个第一时刻以及至少一个第二时刻的另一中间时刻处的所述第一空间位置处的光强度。
16.如权利要求13所述的***(100),其中所述至少一个第一光读数以及至少一个第二光读数包括所述第一空间位置与第二空间位置处的光强度与光方向。
17.如权利要求13所述的***(100),其中所述后处理设备(102)被进一步配置来获取场景在预定时间处的图像,该后处理设备还包括:几何参数提取器(118),其被配置来确定该场景的三维坐标,其中所述光预测器根据所述预定时间与三维坐标,预测在该场景的选定空间位置处的光信息。
18.如权利要求17所述的***(100),其中所述后处理设备(102)还包括:绘制器(122),其被配置来利用所预测的光信息,绘制该场景选定空间位置处的对象。
19.如权利要求18所述的***(100),还包括合成器(114),其被配置来将所绘制的对象合成到图像中。
20.如权利要求18所述的***(100),其中所述对象为以下中的一个:计算机图形元素以及分割的对象。
CN200680056435.1A 2006-11-20 2006-11-20 用来对光进行建模的方法与*** Active CN101542538B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/044988 WO2008063168A1 (en) 2006-11-20 2006-11-20 Method and system for modeling light

Publications (2)

Publication Number Publication Date
CN101542538A CN101542538A (zh) 2009-09-23
CN101542538B true CN101542538B (zh) 2014-11-05

Family

ID=38776202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680056435.1A Active CN101542538B (zh) 2006-11-20 2006-11-20 用来对光进行建模的方法与***

Country Status (6)

Country Link
US (1) US8466917B2 (zh)
EP (1) EP2089853B1 (zh)
JP (1) JP5026526B2 (zh)
CN (1) CN101542538B (zh)
CA (1) CA2669001C (zh)
WO (1) WO2008063168A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0616685D0 (en) * 2006-08-23 2006-10-04 Warwick Warp Ltd Retrospective shading approximation from 2D and 3D imagery
US8811763B2 (en) * 2007-12-06 2014-08-19 The United States Of America As Represented By The Secretary Of The Army Method and system for producing image frames using quantum properties
JP5446003B2 (ja) * 2009-09-14 2014-03-19 国立大学法人 東京大学 仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム
US9542975B2 (en) * 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
US9898862B2 (en) 2011-03-16 2018-02-20 Oldcastle Buildingenvelope, Inc. System and method for modeling buildings and building products
JP2013127774A (ja) * 2011-11-16 2013-06-27 Canon Inc 画像処理装置、画像処理方法及びプログラム
KR101608269B1 (ko) 2014-05-31 2016-04-01 버츄얼빌더스 주식회사 조명 에너지 분석 시스템 및 그 방법
US20170132804A1 (en) * 2014-06-12 2017-05-11 Duke University System and method for improved computational imaging
WO2016154320A1 (en) 2015-03-24 2016-09-29 Carrier Corporation System and method for determining rf sensor performance relative to a floor plan
CN107667552B (zh) 2015-03-24 2021-11-09 开利公司 分布式装置的基于楼层平面图的学习和注册方法
US10928785B2 (en) 2015-03-24 2021-02-23 Carrier Corporation Floor plan coverage based auto pairing and parameter setting
WO2016154303A1 (en) 2015-03-24 2016-09-29 Carrier Corporation Integrated system for sales, installation, and maintenance of building systems
US10230326B2 (en) 2015-03-24 2019-03-12 Carrier Corporation System and method for energy harvesting system planning and performance
US11036897B2 (en) 2015-03-24 2021-06-15 Carrier Corporation Floor plan based planning of building systems
EP3275204B1 (en) 2015-03-24 2020-07-22 Carrier Corporation System and method for capturing and analyzing multidimensional building information
US10459593B2 (en) 2015-03-24 2019-10-29 Carrier Corporation Systems and methods for providing a graphical user interface indicating intruder threat levels for a building
US9619931B1 (en) * 2015-07-22 2017-04-11 Electronic Arts Inc. Dynamic control of a light box system
GB2543778B (en) * 2015-10-27 2018-08-08 Imagination Tech Ltd Systems and methods for processing images of objects
GB2543779B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
GB2543775B (en) * 2015-10-27 2018-05-09 Imagination Tech Ltd System and methods for processing images of objects
GB2543777B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
WO2018200685A2 (en) 2017-04-27 2018-11-01 Ecosense Lighting Inc. Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations
US9930320B2 (en) * 2016-05-04 2018-03-27 Apple Inc. Resolving three dimensional spatial information using time-shared structured lighting that embeds digital communication
EP3336801A1 (en) 2016-12-19 2018-06-20 Thomson Licensing Method and apparatus for constructing lighting environment representations of 3d scenes
US11283980B2 (en) * 2017-11-09 2022-03-22 Satellite Lab, LLC System and method for recording, as a single cinematic sequence of frames, images of a scene illuminated with two different lighting schemes by timing alternate actuation of the lighting schemes within pairs of adjacent frames to minimize visual motion artifacts between images captured therein
WO2021185615A1 (en) * 2020-03-17 2021-09-23 Interdigital Ce Patent Holdings Method and apparatus for adapting a scene rendering
US11423608B2 (en) * 2020-10-09 2022-08-23 Canon Medical Systems Corporation Irradiance volume based image rendering apparatus and method
CN112446944B (zh) * 2020-11-10 2024-03-19 杭州易现先进科技有限公司 一种在ar场景中模拟真实环境光的方法和***
US11258950B1 (en) 2021-03-03 2022-02-22 Satellite Lab, LLC Apparatus and method for recording a scene for a plurality of lighting setups using only a portion of each cinematic frame
US11985747B2 (en) 2021-12-08 2024-05-14 Carlo Van de Roer Apparatus and method for filming a scene using lighting setups actuated repeatedly during each entire frame without visible flicker on set while acquiring images synchronously with the lighting setups only during a portion of each frame

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2814593Y (zh) * 2005-04-08 2006-09-06 上海微妙网络信息***有限公司 互动展示***连线控制装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
GB2358919B (en) * 2000-01-26 2004-09-22 Andrew Steven Russell Monitoring device and method
JP2002117413A (ja) 2000-10-10 2002-04-19 Univ Tokyo 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
JP2003202296A (ja) * 2002-01-07 2003-07-18 Canon Inc 画像入力装置、三次元測定装置および三次元画像処理システム
JP2006507585A (ja) 2002-11-15 2006-03-02 ワーナー・ブロス・エンターテイメント・インコーポレーテッド デジタルモデリング用のリバースレンダリング法
JP4258706B2 (ja) * 2003-02-26 2009-04-30 独立行政法人情報通信研究機構 マルチスペクトル映像編集装置及びマルチスペクトル映像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2814593Y (zh) * 2005-04-08 2006-09-06 上海微妙网络信息***有限公司 互动展示***连线控制装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Francisco et al.Integrating synthetic objects into real scenes.《Computers & Graphics》.2003,第27卷第5-17页. *
Francisco et al.Integrating synthetic objects into real scenes.《Computers &amp *
Graphics》.2003,第27卷第5-17页. *

Also Published As

Publication number Publication date
CN101542538A (zh) 2009-09-23
US8466917B2 (en) 2013-06-18
CA2669001A1 (en) 2008-05-29
CA2669001C (en) 2015-10-20
WO2008063168A1 (en) 2008-05-29
JP5026526B2 (ja) 2012-09-12
WO2008063168A9 (en) 2009-09-03
EP2089853B1 (en) 2017-08-23
EP2089853A1 (en) 2009-08-19
US20100049488A1 (en) 2010-02-25
JP2010510572A (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
CN101542538B (zh) 用来对光进行建模的方法与***
US20230410424A1 (en) System and method for virtual modeling of indoor scenes from imagery
Petrov et al. Optical 3D digitizers: Bringing life to the virtual world
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN101785025B (zh) 用于从二维图像进行三维对象重构的***和方法
EP3242275B1 (en) Using photo collections for three dimensional modeling
JP2016537901A (ja) ライトフィールド処理方法
US20070065002A1 (en) Adaptive 3D image modelling system and apparatus and method therefor
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20090296984A1 (en) System and Method for Three-Dimensional Object Reconstruction from Two-Dimensional Images
US20030202120A1 (en) Virtual lighting system
CN110998669A (zh) 图像处理装置和方法
Zhu et al. Video-based outdoor human reconstruction
Frahm et al. Markerless augmented reality with light source estimation for direct illumination
KR100834157B1 (ko) 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
EP1745442A1 (en) Adaptive 3d image modelling system and apparatus and method thereof
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
Theobalt et al. A flexible and versatile studio for synchronized multi-view video recording
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
WO2020153264A1 (ja) 校正方法および校正装置
JP2005031044A (ja) 三次元誤差測定装置
Ren et al. Mushroom: Multi-sensor hybrid room dataset for joint 3d reconstruction and novel view synthesis
US9892666B1 (en) Three-dimensional model generation
JP2004013869A (ja) 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant