CN108509887A - 一种获取环境光照信息方法、装置和电子设备 - Google Patents

一种获取环境光照信息方法、装置和电子设备 Download PDF

Info

Publication number
CN108509887A
CN108509887A CN201810254240.2A CN201810254240A CN108509887A CN 108509887 A CN108509887 A CN 108509887A CN 201810254240 A CN201810254240 A CN 201810254240A CN 108509887 A CN108509887 A CN 108509887A
Authority
CN
China
Prior art keywords
light source
basic function
image
function coefficient
ambient lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810254240.2A
Other languages
English (en)
Inventor
郁树达
陈浩
李晓鸣
简培云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Technology Co Ltd filed Critical Shenzhen Super Technology Co Ltd
Priority to CN201810254240.2A priority Critical patent/CN108509887A/zh
Publication of CN108509887A publication Critical patent/CN108509887A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例涉及显示技术领域，具体公开了一种获取环境光照信息方法、装置和电子设备，其中，所述方法包括：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；根据所述参考物体的彩色图像，通过采样生成观测点矩阵；根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；根据所述光源基函数系数获取环境光照信息。通过所述方法能够精确和高效计算周围环境的光照信息，为真实感渲染中的虚拟光照信息提供先验条件，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。

Description

一种获取环境光照信息方法、装置和电子设备
技术领域
本发明实施例涉及显示技术领域，尤其涉及一种获取环境光照信息方法、装置和电子设备。
背景技术
近年来，由于计算机的快速发展，在已知场景光照、物体反射属性及表面纹理等条件下，利用计算机图形学技术可以绘制出真实感图像。但是，在某些时候场景光照或物体反射等属性是未知的，需要通过合适的技术对其进行测量或估计。该技术作为一个连接传统的真实感绘制技术以及基于图像建模绘制技术的桥梁，在虚拟现实(VR)、增强现实(AR)、混合现实(MR)等众多领域有着广泛的应用。而在绘制虚拟物体时，真实环境中的光照信息是光照一致性的重要先决条件，只有成功计算出真实环境的光照信息才能够产生高度真实感的渲染效果。因此，获取光照信息技术成为了当前VR/AR/MR显示领域的一个研究热点，并广泛应用于广告、游戏、影视、科技等诸多领域。
在通常情况下，获取环境光照信息的一个简单而有效的方法，就是将真实图像作为输入，将场景中的光照信息作为输出。在一般场景中，假设物体几何模型、表面反射属性和图像均为已知，求解环境光照信息，并对真实图像进行重新绘制，从而为虚拟现实和增强现实提供统一的光照效果等。对于现有的逆向求解环境光照信息的方法，主要有以下几种方法：1、基于参考物体表面图像的方法。在该方法中可以使用镜面反射作为线索，此时得到的环境光照信息最为精确，但需要对场景进行多次曝光；还可以使用漫反射作为线索，此时只需对场景进行一次曝光，速度较快。2、基于参考物体阴影分析方法。该方法需要使用图像处理方法分析阴影，是非实时的，且易受到环境影响。3、借助辅助拍摄设备的方法。该方法需要辅助拍摄设备，增加了硬件成本及***结构的复杂性。4、无需借助辅助物图像分析方法。该方法算法复杂，难以实现实时。
在实现本发明过程中，发明人发现相关技术存在以下问题：当针对实时性要求较高的应用领域(如游戏、影视等领域)时，利用现有的方法都难以精确和高效获取环境光照信息。
发明内容
本发明实施例提供一种获取环境光照信息方法、装置和电子设备，能够解决现有技术中利用现有的方法难以精确和高效获取环境光照信息的问题。
第一方面，本发明实施例提供一种获取环境光照信息方法，包括：
从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；
根据所述参考物体的彩色图像，通过采样生成观测点矩阵；
根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；
根据所述光源基函数系数获取环境光照信息。
可选地，所述根据所述参考物体的彩色图像，通过采样生成观测点矩阵；包括：
将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；
在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
可选地，根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数，包括：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息。
可选地，根据所述光源基函数系数获取环境光照信息，包括：
根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息。
可选地，所述根据所述参考物体的彩色图像，通过采样生成观测点矩阵；包括：
将所述彩色图像转为灰度图像；
在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
可选地，根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数，包括：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息。
可选地，根据所述光源基函数系数获取环境光照信息，包括：
根据所述光源基函数系数确定环境光照的光源位置；
计算光源位置在所述灰度图像中对应的采样点；
获取光源位置对应的采样点的参考物体RGB图像；
根据所述RGB图像获取光源的强度及颜色信息。
可选地，计算光源位置在所述灰度图像中对应的采样点，包括：
根据正向光源，计算光源位置在所述灰度图像中对应的采样点；或者，
根据背向光源，计算光源位置在所述灰度图像中对应的采样点。
可选地，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
可选地，所述方法还包括：
计算光源在虚拟物体坐标系下的光源位置。
可选地，所述方法还包括：
利用所述光照信息对虚拟物体进行渲染。
第二方面，本发明实施例提供一种获取环境光照信息装置，包括：
抠图单元，用于从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；
生成单元，用于根据所述参考物体的彩色图图像，通过采样生成观测点矩阵；
计算单元，用于由根据光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；
获取单元，用于根据所述光源基函数系数获取环境光照信息。
可选地，所述生成单元用于：
将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；
在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
可选地，所述计算单元用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息。
可选地，所述获取单元用于：
根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息。
可选地，所述生成单元用于：
将所述彩色图像转为灰度图像；
在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
可选地，所述计算单元用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息。
可选地，所述获取单元用于：
根据所述光源基函数系数确定环境光照的光源位置；
计算光源位置在所述灰度图像中对应的采样点；
获取光源位置对应的采样点的参考物体RGB图像；
根据所述RGB图像获取光源的强度及颜色信息。
可选地，所述获取单元用于：
根据正向光源，计算光源位置在所述灰度图像中对应的采样点；或者，
根据背向光源，计算光源位置在所述灰度图像中对应的采样点。
可选地，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
可选地，所述装置还包括：
光源位置修正单元，用于计算光源在虚拟物体坐标系下的光源位置。
可选地，所述装置还包括：
渲染单元，用于利用所述光照信息对虚拟物体进行渲染。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的获取环境光照信息方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的获取环境光照信息方法。
第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上所述的获取环境光照信息方法。
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例提供的获取环境光照信息方法、装置和电子设备，从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；根据所述参考物体的彩色图像，通过采样生成观测点矩阵；根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；根据所述光源基函数系数获取环境光照信息。从而为真实感渲染中的虚拟光照信息提供先验条件，根据新的光照信息对真实图像进行重新绘制，为虚拟环境和现实环境提供统一光照效果，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种获取环境光照信息方法的流程示意图；
图2是本发明实施例提供的一种获取环境光照信息方法的流程示意图；
图3是本发明实施例提供的求解光源基函数系数的示意图；
图4是本发明实施例提供的一种获取环境光照信息方法的流程示意图；
图5是本发明实施例提供的求解光源基函数系数的示意图；
图6是本发明实施例提供的正面光源类型的示意图；
图7(a)是本发明实施例提供的背面光源类型的示意图，其中，光源所在方向的向量与摄像头CCD所在平面α夹角小于45°；
图7(b)是本发明实施例提供的背面光源类型的示意图，其中，光源所在方向的向量与摄像头CCD所在平面α夹角大于45°；
图8是本发明实施例提供的坐标变换示意图；
图9是本发明实施例提供的一种获取环境光照信息装置的结构示意图；
图10是本发明实施例提供的一种获取环境光照信息装置的结构示意图；
图11是本发明实施例提供的一种获取环境光照信息装置的结构示意图；
图12是本发明实施例提供的一种电子设备的结构示意图；
图13是本发明实施例提供的256个采样点的分布的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
目前，VR/AR/MR等显示技术已然成为显示领域的一个研究热点，并广泛应用于广告、游戏、影视、科技等诸多领域。其中，以AR为例进行进一步说明。AR这类技术的目标是把虚拟世界套在现实世界并进行互动。AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过计算机等科学技术，模拟仿真后再叠加、渲染，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。然而，在真实的环境和虚拟的物体实时地叠加时，真实环境中的光照信息是光照一致性的重要先决条件，只有成功计算出真实环境的光照信息才能够产生高度真实感的渲染效果。
为了精确、高效的求解环境光照信息(包括光源位置、光源强度以及光源颜色信息)，并能够为真实感渲染中的虚拟光照信息提供先验条件，使得虚拟物体自然地与真实图像结合，本发明实施例提供了一种获取环境光照信息方法、装置和电子设备。
其中，本发明的思路是：
首先，通过带有摄像头的设备对真实的参考物体进行拍摄获取其图像，并从所述图像中抠取所述参考物体的彩色图像。其中，所述真实的参考物体可以是任何合适的材质的物体。例如，可以使用漫反射材质的参考物体。所述真实的参考物体的形状可为多种。例如，球体、锥体、立方体等，还可为不规则结构。若确定了所述参考物体的形状和材质也即知道了物体几何模型与表面反射属性。并且，所述真实的参考物体的数量是不受限制的，可以是1个、2个或者更多个。需要注意的是，若所述参考物体为球体时，由于球体自身的性质，无论摄像头的视角对着球体的任意面，得到的图像是相同的，因此，摄像头的视角和球体的位置可以不做固定；而若参考物为球体以外的物体时，如锥体，则摄像头的视角和参考物体的位置需要固定不动。
其次，根据所述参考物体的彩色图像，通过采样的方式可以得到观测点，从而形成观测点矩阵。
再次，根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，便可求解得到光源基函数系数。
最后，根据所述光源基函数系数，获取环境光照信息。
所述获取环境光照信息方法可以应用于***示设备或者具有获取环境光照信息能力的终端，能够精确和高效计算周围环境的光照信息，为真实感渲染中的虚拟光照信息提供先验条件，根据环境的光照信息对真实图像进行重新绘制，为虚拟环境和现实环境提供统一光照效果，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。
下面结合附图，对本发明实施例作进一步阐述。
实施例1:
本发明实施例为本发明提供的一种获取环境光照信息方法的实施例。请参阅图1，为本发明实施例提供的一种获取环境光照信息方法的流程示意图，该方法包括：
101：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
在本发明实施例中，所述“彩色图像”是指图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的色彩可称为真彩色。例如，图像深度为24，用R:G:B＝8:8:8 来表示色彩，则R、G、B各占用8位来表示各自基色分量的强度，每个基色分量的强度等级为2^8＝256种。图像可容纳2^24＝16M种色彩(24位色)。24位色被称为真彩色，它可以达到人眼分辨的极限，发色数是1677万多色，也就是2的24次方。但32位色就并非是2 的32次方的发色数，它其实也是1677万多色，不过它增加了256阶颜色的灰度，为了方便称呼，就规定它为32位色。少量显卡能达到 36位色，它是24位发色数再加512阶颜色灰度。但其实自然界的色彩是不能用任何数字归纳的，这些只是相对于人眼的识别能力，这样得到的色彩可以相对人眼基本反映原图的真实色彩，故称真彩色。
其中，在本发明实施例中，为了得到所述参考物体的彩色图像，可以先通过含有摄像头的设备拍真实参考物体的图像，该图像可以是一个独立的照片，也可以是视频中的其中一帧。在一些实施例中，含有摄像头的设备可以是移动手机、相机或者其它具有拍摄功能的设备。然后再从所述图像中通过抠取，获得所述参考物体的彩色图像。
102：根据所述参考物体的彩色图像，通过采样生成观测点矩阵。
其中，在本发明实施例中，根据所述参考物体的彩色图像，可通过采样的方法得到观测点，该采样方法可以是随机采样，也可以是子采样。得到所述观测点后，从而可形成观测点矩阵。在一些实施例中，通过采样，可以得到观测点B1，观测点B2，....，观测点Bn，则可以组成观测点矩阵[B1B2...Bn]。需要说明的是B1，B2，....，Bn以及[B1 B2 ... Bn]只是观测点及观测点矩阵的表达方式，并非观测点及观测点矩阵本身，也不限于通过此方式表达观测点及观测点矩阵。
103：根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
在本发明实施例中，建立由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，其中，关于所述线性方程组可表示为如下所示：
G*X＝b
其中，G表示传递矩阵；b表示观测点矩阵；X表示光源基函数系数。
在本发明实施例中，传递矩阵的建立通过计算机图形学与计算机视觉的方法，首先在虚拟空间中建立起参考物体的3D模型，参考物体的3D模型可以是预先已知的，另外也可以通过摄像头捕捉真实世界的参考物体，从而由图像恢复参考物体的3D模型。其次，设置虚拟光源在不同位置处并照射参考物体，并将虚拟相机捕捉到的2D画面渲染成图像，从而得到一组不同光源方向照射参考物体的图像数据库。假设该数据库包含2^8＝256幅图像(即不同位置的虚拟光源数量为256个)，将数据库中包含的每幅图像中，符合Goldenspiral contributed分布规则所在位置的灰度值进行采样，令采样点的数量为 2^7＝128个，这里要说明的是，采样位置可以有多种方式规则，可以遵循任意一种2D/3D分布规则，如上述Golden spiral contributed。从而得到不同光源位置照射参考物体图像对应的采样点灰度值，并组成一个稀疏矩阵G[128x256]，该矩阵即为传递矩阵。
所述观测点矩阵由采样的观测点组成。上述步骤102已说明所述观测点矩阵在此不做重复描述。
所述光源基函数系数可以表示为不同光源位置下的权重系数，在一些实施例中，所述光源基函数系数中的索引表示光源的位置信息 (x,y,z)，所述权重系数的值可以表示光源的强度信息，光源的颜色信息等。
在本发明实施例中，基于所述线性方程组可以求解得到光源基函数系数X。具体地，所述观测点矩阵b可由上述步骤102得到，在此不做重复描述。所述传递矩阵G可通过合适的方法获得，例如，通过渲染方法获得，即将光源在不同位置处的成像渲染出来，以此得到所述传递矩阵G。最后，再基于所述线性方程组G*X＝b便可以求解得到光源基函数系数X。
104：根据所述光源基函数系数获取环境光照信息。
在本发明实施例中，可以根据所述光源基函数系数获取环境光照信息。所述环境光照信息可以包括光源位置、光源强度及光源颜色信息等。
通过上述技术方案可知，本发明实施例的有益效果在于：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；根据所述参考物体的彩色图像，通过采样生成观测点矩阵；根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；根据所述光源基函数系数获取环境光照信息。从而为真实感渲染中的虚拟光照信息提供先验条件，根据新的光照信息对真实图像进行重新绘制，为虚拟环境和现实环境提供统一光照效果，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。
实施例2:
本发明实施例为本发明提供的一种获取环境光照信息方法的实施例。请参阅图2，为本发明实施例提供的一种获取环境光照信息方法的流程示意图，该方法包括：
201：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
在本发明实施例中，所述步骤201与上述发明实施中的步骤101 类似，可参考上述实施例的具体描述，在此不做重复描述。
202：将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像。
请参考图3，在本发明实施例中，可以通过分离彩色图像道通的方法，将所述彩色图像进行RGB通道分离，以此获得每个通道的灰度图像。在一些实施例中，所述“灰度图像”又可以称之为灰度数字图像，是指每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，尽管理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。
203：在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
其中，在本发明实施例中，在不同观测点对所述每个通道的灰度图像进行采样，例如，可以对R通道的灰度图像进行采样，也可以对G通道的灰度图像进行采样，还可以对B通道的灰度图像进行采样。得到所述观测点后，从而可形成观测点矩阵。形成观测点矩阵方法与上述发明实施例中的方法类似，在此不做重复描述。
204：根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
请参考图3，在本发明实施例中，对于所述每个通道，建立由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组。其中，关于所述线性方程组可表示为如下所示：
G*X＝b
其中，G表示传递矩阵；b表示观测点矩阵；X表示光源基函数系数。
在本发明实施例中，传递矩阵的建立通过计算机图形学与计算机视觉的方法，首先在虚拟空间中建立起参考物体的3D模型，参考物体的3D模型可以是预先已知的，另外也可以通过摄像头捕捉真实世界的参考物体，从而由图像恢复参考物体的3D模型。其次，设置虚拟光源在不同位置处并照射参考物体，并将虚拟相机捕捉到的2D画面渲染成图像，从而得到一组不同光源方向照射参考物体的图像数据库。假设该数据库包含2^8＝256幅图像(即不同位置的虚拟光源数量为256个)，将数据库中包含的每幅图像中，符合Goldenspiral contributed分布规则所在位置的灰度值进行采样，令采样点的数量为 2^7＝128个，这里要说明的是，采样位置可以有多种方式规则，可以遵循任意一种2D/3D分布规则，如上述Golden spiral contributed。从而得到不同光源位置照射参考物体图像对应的采样点灰度值，并组成一个稀疏矩阵G[128x256]，该矩阵即为传递矩阵。
所述观测点矩阵由采样的观测点组成。上述步骤203已说明所述观测点矩阵在此不做重复描述。
所述光源基函数系数可以包含RGB三个通道对应的不同光源位置下的权重系数，具体地，所述光源基函数系数中索引表示光源的位置信息(x,y,z)，所述权重系数的值可以表示光源的强度信息，光源的颜色信息等。
在本发明实施例中，基于所述线性方程组可以求解得到每个通道的光源基函数系数X。
首先，所述观测点矩阵b可由上述步骤203得到，在此不做重复描述。所述传递矩阵G可通过常用的方法获得，例如，通过渲染方法获得，即将光源在不同位置处的成像渲染出来，以此得到所述传递矩阵G。具体地，可以根据Golden Spiral distributed数学模型，将光源在不同位置处照射漫反射材质表面球体的图像渲染出来，保存成一组图像数据库。
Golden spiral distributed的分布遵循特定的转向角度θ1＝2π/φ2，其中称为黄金比例：
其中，256个采样点的分布如图13所示。
然后，再基于所述线性方程组G*X＝b求解得到的每个通道的光源基函数系数X。其中，可以对所述线性方程组G*X＝b进行最优化参数估计。例如，通过进行迭代，使得误差小于某个设定的值后，得到优化后的每个通道的光源基函数系数X。在一些实施例中，可以采用regularization(正则化)对加权残差与解的模进行最小化约束，通过迭代的方式使得所述加权残差项小于默认值，从而获得最优化的所述光源基函数系数X，其公式可表示为如下所示：
其中，G表示所述传递矩阵；X表示待求解；b表示所述观测点矩阵；λ∈(0,∞)表示正则化系数，可以为默认值。
最后，得到每个通道的最优化的光源基函数系数X。
205：根据所述光源基函数系数获取环境光照信息。
请参考图3，在本发明实施例中，可以根据所述每个通道的光源基函数系数获取每个通道的环境光照信息，再将3个通道的光照信息进行合并得到环境光照信息。所述环境光照信息可以包括光源位置、光源强度及光源颜色信息等。
本发明实施例提供的一种光照重建方法，所述方法还可以包括：
206：计算光源在虚拟物体坐标系下的光源位置。
在发明实施例中，还可以计算光源在虚拟物体坐标系下的光源位置，便于使得最终显示的虚拟物体图像的光影信息与真实环境相符。
207：利用所述光照信息对虚拟物体进行渲染。
在发明实施例中，可以利用所述光照信息对虚拟物体进行渲染，便于将虚拟物体图像与真实环境的图像更好的融合在一起。
通过上述技术方案可知，本发明实施例的有益效果在于：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵；根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数，其中包括对光源基函数系数进行最优化参数估计；根据所述光源基函数系数获取环境光照信息。从而为真实感渲染中的虚拟光照信息提供先验条件，根据新的光照信息对真实图像进行重新绘制，为虚拟环境和现实环境提供统一光照效果，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。
实施例3:
本发明实施例为本发明提供的一种获取环境光照信息方法的实施例。请参阅图4，为本发明实施例提供的一种获取环境光照信息方法的流程示意图，该方法包括：
401：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
在本发明实施例中，所述步骤401与上述发明实施中的步骤101 类似，可参考上述实施例的具体描述，在此不做重复描述。
402：将所述彩色图像转为灰度图像。
在本发明实施例中，可以将彩色图像RGB转换为灰度图像I。在一些实施例中，可以通过任何合适的方法将彩色图像RGB转换为灰度图像I。例如，可基于如下表达式将彩色图像RGB转换为灰度图像I：
I＝0.2989*R+0.5870*G+0.1140*B
需要说明的是，将彩色图像RGB转换为灰度图像I不限于如上表达式，此表达式只是转换方法中的一种。在一些实施例中，还可以根据需要调整其表达关系。例如，在实际用于时，希望避免低速的浮点运算，所以需要采用整数算法。而注意到上述表达式中的系数都是4 位精度的，因此，可以将所述系数缩放10000倍来实现整数运算算法，其表达式如下所示：
I＝(2989*R+5870*G+1140*B)/10000
403：在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
其中，在本发明实施例中，根据所述灰度图像，可通过采样的方法得到观测点，该采样方法可以是随机采样，也可以是子采样。得到所述观测点后，从而可形成观测点矩阵。
404：根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
请参考图5，在本发明实施例中，对于所述灰度图像，建立由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组。其中，关于所述线性方程组可表示为如下所示：
G*X＝b
其中，G表示传递矩阵；b表示观测点矩阵；X表示光源基函数系数。
在本发明实施例中，所述传递矩阵的建立通过计算机图形学与计算机视觉的方法，首先在虚拟空间中建立起参考物体的3D模型，参考物体的3D模型可以是预先已知的，另外也可以通过摄像头捕捉真实世界的参考物体，从而由图像恢复参考物体的3D模型。其次，设置虚拟光源在不同位置处并照射参考物体，并将虚拟相机捕捉到的 2D画面渲染成图像，从而得到一组不同光源方向照射参考物体的图像数据库。假设该数据库包含2^8＝256幅图像(即不同位置的虚拟光源数量为256个)，将数据库中包含的每幅图像中，符合Goldenspiral contributed分布规则所在位置的灰度值进行采样，令采样点的数量为 2^7＝128个，这里要说明的是，采样位置可以有多种方式规则，可以遵循任意一种2D/3D分布规则，如上述Golden spiral contributed。从而得到不同光源位置照射参考物体图像对应的采样点灰度值，并组成一个稀疏矩阵G[128x256]，该矩阵即为传递矩阵。
所述观测点矩阵由采样的观测点组成。上述步骤403已说明所述观测点矩阵在此不做重复描述。
所述光源基函数系数可以表示为不同光源位置下的权重系数。
在本发明实施例中，基于所述线性方程组可以求解得到所述光源基函数系数X。
首先，所述观测点矩阵b可由上述步骤203得到，在此不做重复描述。所述传递矩阵G可通过常用的方法获得，例如，通过渲染方法获得，即将光源在不同位置处的成像渲染出来，以此得到所述传递矩阵G。具体地，可以根据Golden Spiral distributed数学模型，将光源在不同位置处照射漫反射材质表面球体的图像渲染出来，保存成一组图像数据库。
Golden spiral distributed的分布遵循特定的转向角度θ1＝2π/φ2，其中称为黄金比例：
其中，256个采样点的分布如图13所示。
然后，再基于所述线性方程组G*X＝b求解得到的所述光源基函数系数X。其中，可以对所述线性方程组G*X＝b进行最优化参数估计。例如，通过进行迭代，使得误差小于某个设定的值后，得到优化后的每个通道的光源基函数系数X。在一些实施例中，可以采用regularization(正则化)对加权残差与解的模进行最小化约束，通过迭代的方式使得所述加权残差项小于默认值，从而获得最优化的所述光源基函数系数X，其公式可表示为如下所示：
其中，G表示所述传递矩阵；X表示待求解；b表示所述观测点矩阵；λ∈(0,∞)表示正则化系数，可以为默认值。
最后，得到最优化的光源基函数系数X。
405：根据所述光源基函数系数获取环境光照信息。
在本发明实施例中，根据所述光源基函数系数获取环境光照信息可以包括：
406：根据所述光源基函数系数确定环境光照的光源位置。
在本发明实施例中，可以根据所述优化的光源基函数系数所述环境光照的光源位置。
407：计算光源位置在所述灰度图像中对应的采样点。
在本发明实施例中，根据所述光源位置可以获得在所述灰度图像中对应的采样点。在一些实施例中，随着所示光源位置的变化，采样的方式也随之变化，光源以不同方向可以区别为正向光源与背向光源。其中，具体地获得采样点的方法可如下：
在摄像头坐标系下，假设光源到物体(如球体)的中心确定一个向量l1(i,j,k)，摄像头CCD所在平面为α。如图6所示，对于正向光源类型，光源与球心连线和球体表面的交点P′在球体的正面位置，其对应在漫反射球图像中的采样点位置P可以表示为：
P(ri+r,rj+r)
其中r为球体的半径大小，(i,j)为光源所在的位置。
若光源位于球体背面时，在本发明实施例中，又可以分为两种情况：
第一种、如图7(a)所示，在这种情况下，光源所在方向的向量l1(i,j,k)与摄像头CCD所在平面α的夹角小于45°。在一些实施例中，将向量l1(i,j,k)的Z方向上的值做取负处理，可以得到向量l2(i,j,-k)，其与球体表面交点P′对应的图像采样位置为P(ri+r,rj+r)。
第二种、如图7(b)所示，在这种情况下，光源所在方向的向量l1(i,j,k)与摄像头CCD所在平面的α的夹角大于45°。在一些实施例中，对应图像采样位置的计算方法可以如下步骤：
首先，将向量l1(i,j,k)的Z方向上的值做取负处理，可以得到向量l2(i,j,-k)，其次计算旋转轴lr，其中，lr的计算公式可以表示为：
lr＝l1×l2
然后，再将所示向量l1(i,j,k)绕着所述旋转轴lr以正方向旋转90°，得到向量l3(i′,j′,k′)，所述向量l3(i′,j′,k′)对应的图像采样位置为 P(ri′+r,rj′+r)。
408：获取光源位置对应的采样点的参考物体RGB图像。
在本发明实施例中，可以得到光源位置对应的采样点的参考物体 RGB图像。
409：根据所述RGB图像获取光源的强度及颜色信息。
在本发明实施例中，可以通过对球体(如漫反射球)进行采样可以得到对应光源的强度和颜色信息。还可以在对摄像头捕捉到的2D 图像的相对位置进行采样后，得到该光源位置处的光源的强度和颜色信息，即该点的灰度值。
在本发明实施例中，可以根据所述光源位置，将其转换为摄像头坐标系下位置表示。
如图8所示，考虑到球体(如漫反射球)所放的位置通常偏离于显示屏幕的中心，而摄像头坐标系与光源坐标系之间存在刚体变换关系。可以根据两个坐标系之间的旋转和位移关系，对计算得到的光源位置进行修正，并根据事先标定好的虚拟物体显示位置与漫反射球的相互位置关系(如有Marker，虚拟物体渲染在Marker坐标系下， Marker可以是人脸、手、平面方形、立体图形等2D或3D物体)，计算出虚拟物体坐标系下的光源位置，使得最终显示的虚拟物体图像的光影信息与真实环境相符，从而使得虚拟物体图像与真实环境的图像更好的融合在一起。
假设在有Marker的情况下，该转换具体可以分为如下三步：
第一步，利用图像处理的方法对Marker进行检测与识别，计算 Marker相对于摄像头(如单目摄像头、双目摄像头、深度摄像头)的坐标位置。
第二步，计算摄像头的位置。将特征点在图像坐标系(2D坐标系) 下表示的坐标转换为在世界坐标系(3D坐标系)下表示，该转换可以通过如下表达式得到：
x＝K[R|T]X
其中，K表示摄像头内参矩阵，使用棋盘格对摄像头进行标定得到所述摄像头内参矩阵K；[R|T]表示外参矩阵，通过3D空间点与2D 平面点的关系计算得到外参矩阵[R|T]，例如，可以利用OpenCV中的SolvePnP求解出来；X表示特征点在图像坐标系(2D坐标系)下的表示；x表示特征点在世界坐标系(3D坐标系)下的表示。
第三步，确定世界坐标系Z轴的方向。在一些实施例中，可以通过带有IMU(惯性测量单元)的方法来得到摄像头坐标系与地球重力方向之间的关系，进而估计摄像头的位姿。在一些实施例中，也可以通过捕获视频帧的方法，从而用Simultaneous Localization andMapping(SLAM)算法提取与匹配特征点，更新摄像头的位姿。
在一些实施例中，计算光源坐标系与摄像头坐标系的转换关系可以分为以下两步：
第一步，计算球体(如漫反射球)在摄像头坐标系下的空间位置。其中，可以通过漫反射球在图像中的几何大小与实际的物理大小之间的相似关系求得所述空间位置。
第二步，计算球体(如漫反射球)在Marker坐标系下的位置。其中，可以得到在Marker坐标系下表示的通过漫反射球求出的光源位置，从而完成光源坐标系到Marker坐标系的转换。
本发明实施例提供的一种光照重建方法，所述方法还可以包括：
410：计算光源在虚拟物体坐标系下的光源位置。
在发明实施例中，还可以计算光源在虚拟物体坐标系下的光源位置，便于使得最终显示的虚拟物体图像的光影信息与真实环境相符。
411：利用所述光照信息对虚拟物体进行渲染。
在发明实施例中，可以利用所述光照信息对虚拟物体进行渲染，便于将虚拟物体图像与真实环境的图像更好的融合在一起。
通过上述技术方案可知，本发明实施例的有益效果在于：从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；将所述彩色图像转为灰度图像；在不同观测点对所述灰度图像进行采样，生成观测点矩阵；根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；根据所述光源基函数系数获取环境光照信息；其中，包括根据所述光源基函数系数确定环境光照的光源位置；计算光源位置在所述灰度图像中对应的采样点；计算光源位置在所述灰度图像中对应的采样点；根据所述RGB图像获取光源的强度及颜色信息。从而为真实感渲染中的虚拟光照信息提供先验条件，根据新的光照信息对真实图像进行重新绘制，为虚拟环境和现实环境提供统一光照效果，使得虚拟物体自然地与真实图像结合，提高显示效果，提升用户体验。
实施例4:
本发明实施例为本发明提供的一种获取环境光照信息装置的实施例。请参阅图9，为本发明实施例提供的一种获取环境光照信息装置的结构示意图，该装置90包括：
抠图单元901，用于从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
生成单元902，用于根据所述参考物体的彩色图图像，通过采样生成观测点矩阵。
计算单元903，用于根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
获取单元904，用于根据所述光源基函数系数获取环境光照信息。
在本发明实施例中，首先，所述抠图单元901从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；然后，所述生成单元902 根据所述参考物体的彩色图图像，通过采样生成观测点矩阵；所述计算单元903根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；最后，所述获取单元904根据所述光源基函数系数获取环境光照信息。
需要说明的是，所述获取环境光照信息装置与本发明实施例所提供的获取环境光照信息方法基于相同的发明构思，可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在获取环境光照信息装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法，此处不再详细描述。
实施例5:
本发明实施例为本发明提供的一种获取环境光照信息装置的实施例。请参阅图10，为本发明实施例提供的一种获取环境光照信息装置的结构示意图，该装置100包括：
抠图单元1001，用于从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
生成单元1002，用于根据所述参考物体的彩色图图像，通过采样生成观测点矩阵。
在本发明实施例中，所述生成单元1002还用于：
将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；
在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
计算单元1003，用于根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
在本发明实施例中，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
在本发明实施例中，所述计算单元1003还用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息。在一些实施例中，所述光源基函数系数中索引表示光源的位置信息，所述权重系数的值可以表示光源的强度信息，光源的颜色信息等。
获取单元1004，用于根据所述光源基函数系数获取环境光照信息。
在本发明实施例中，所述获取单元1004还用于：
根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息。
在本发明实施例中，所述装置100还可包括：
光源位置修正单元1005，用于计算光源在虚拟物体坐标系下的光源位置。
渲染单元1006，用于利用所述光照信息对虚拟物体进行渲染。
在本发明实施例中，首先，所述抠图单元1001从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；然后，所述生成单元 1002根据所述参考物体的彩色图图像，通过采样生成观测点矩阵；其中，所述生成单元1002还可将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像，并在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵；所述计算单元1003根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；其中，所述计算单元1003还可对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB 三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息；最后，所述获取单元1004根据所述光源基函数系数获取环境光照信息；其中，所述获取单元1004还可根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息；所述光源位置修正单元1005计算光源在虚拟物体坐标系下的光源位置；所述渲染单元1006利用所述光照信息对虚拟物体进行渲染。
需要说明的是，所述获取环境光照信息装置与本发明实施例所提供的获取环境光照信息方法基于相同的发明构思，可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在获取环境光照信息装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法，此处不再详细描述。
实施例6:
本发明实施例为本发明提供的一种获取环境光照信息装置的实施例。请参阅图11，为本发明实施例提供的一种获取环境光照信息装置的结构示意图，该装置110包括：
抠图单元1101，用于从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像。
生成单元1102，用于根据所述参考物体的彩色图图像，通过采样生成观测点矩阵。
在本发明实施例中，所述生成单元1102还用于：
将所述彩色图像转为灰度图像；
在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
计算单元1103，用于根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数。
在本发明实施例中，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
在本发明实施例中，所述计算单元1103还用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息。
获取单元1104，用于根据所述光源基函数系数获取环境光照信息。
在本发明实施例中，所述获取单元1104还用于：
根据所述光源基函数系数确定环境光照的光源位置；
计算光源位置在所述灰度图像中对应的采样点；
获取光源位置对应的采样点的参考物体RGB图像；
根据所述RGB图像获取光源的强度及颜色信息。
在本发明实施例中，所述装置110还可包括：
光源位置修正单元1105，用于计算光源在虚拟物体坐标系下的光源位置。
渲染单元1106，用于利用所述光照信息对虚拟物体进行渲染。
在本发明实施例中，首先，所述抠图单元1101从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；然后，所述生成单元 1102根据所述参考物体的彩色图图像，通过采样生成观测点矩阵；其中，所述生成单元1102还可将所述彩色图像转为灰度图像，在不同观测点对所述灰度图像进行采样，生成观测点矩阵；所述计算单元 1003根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；其中，所述计算单元1103还可对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息；最后，所述获取单元1104根据所述光源基函数系数获取环境光照信息；其中，所述获取单元1104还可根据所述光源基函数系数确定环境光照的光源位置，计算光源位置在所述灰度图像中对应的采样点，获取光源位置对应的采样点的参考物体 RGB图像，根据所述RGB图像获取光源的强度及颜色信息；所述光源位置修正单元1105计算光源在虚拟物体坐标系下的光源位置；所述渲染单元1106利用所述光照信息对虚拟物体进行渲染。
需要说明的是，所述获取环境光照信息装置与本发明实施例所提供的获取环境光照信息方法基于相同的发明构思，可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在获取环境光照信息装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法，此处不再详细描述。
实施例7:
本发明实施例为本发明提供的一种电子设备的实施例。请参阅图 12，为本发明实施例提供的一种电子设备的结构示意图，该电子设备 120可以是任意类型的显示设备或者具有获取环境光照信息能力的终端，该电子设备120包括：
一个或多个处理器1201以及存储器1202，图12中以一个处理器1201为例。
处理器1201和存储器1202可以通过总线或者其他方式连接，图 12中以通过总线连接为例。
存储器1202作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的获取环境光照信息方法对应的程序指令/模块(例如，附图 11所示的抠图单元1101、生成单元1102、计算单元1103、获取单元 1104、光源位置修正单元1105以及渲染单元1106)。处理器1201通过运行存储在存储器1202中的非暂态软件程序、指令以及模块，从而执行获取环境光照信息装置的各种功能应用以及数据处理，即实现上述任一方法实施例的获取环境光照信息方法。
存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据获取环境光照信息装置的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至获取环境光照信息装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器1202中，当被所述一个或者多个处理器1201执行时，执行上述任意方法实施例中的获取环境光照信息方法，例如，执行以上描述的图2中的方法步骤201至步骤207，和/或图4中的方法步骤401至步骤411，实现图10中的单元1001-1006的功能，和/或图11中的单元1101-1106的功能。
所述电子设备可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法。
实施例8:
本发明实施例为本发明提供的一种计算机可读存储介质的实施例。
所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图12中的一个处理器1201，可使得上述一个或多个处理器执行上述任意方法实施例中的获取环境光照信息方法，例如，执行以上描述的图2中的方法步骤201至步骤207，和/或图4中的方法步骤401至步骤411，实现图10中的单元1001-1006的功能，和/或图11中的单元1101-1106的功能。
所述计算机可读存储介质可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法。
实施例9:
本发明实施例为本发明提供的一种计算机程序产品的实施例。
所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上所述的获取环境光照信息方法。例如，执行以上描述的图2中的方法步骤201至步骤207，和/或图4中的方法步骤401至步骤411，实现图10中的单元1001-1006的功能，和/ 或图11中的单元1101-1106的功能。
所述产品可执行本发明实施例所提供的获取环境光照信息方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的获取环境光照信息方法。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体 (Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (24)

1.一种获取环境光照信息方法，其特征在于，包括：
从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；
根据所述参考物体的彩色图像，通过采样生成观测点矩阵；
根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；
根据所述光源基函数系数获取环境光照信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述参考物体的彩色图像，通过采样生成观测点矩阵；包括：
将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；
在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
3.根据权利要求2所述的方法，其特征在于，根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数，包括：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息。
4.根据权利要求3所述的方法，其特征在于，根据所述光源基函数系数获取环境光照信息，包括：
根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述参考物体的彩色图像，通过采样生成观测点矩阵；包括：
将所述彩色图像转为灰度图像；
在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
6.根据权利要求5所述的方法，其特征在于，根据由光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数，包括：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息。
7.根据权利要求6所述的方法，其特征在于，根据所述光源基函数系数获取环境光照信息，包括：
根据所述光源基函数系数确定环境光照的光源位置；
计算光源位置在所述灰度图像中对应的采样点；
获取光源位置对应的采样点的参考物体RGB图像；
根据所述RGB图像获取光源的强度及颜色信息。
8.根据权利要求7所述的方法，其特征在于，计算光源位置在所述灰度图像中对应的采样点，包括：
根据正向光源，计算光源位置在所述灰度图像中对应的采样点；或者，
根据背向光源，计算光源位置在所述灰度图像中对应的采样点。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
计算光源在虚拟物体坐标系下的光源位置。
11.根据权利要求10所述的方法，所述方法还包括：
利用所述光照信息对虚拟物体进行渲染。
12.一种获取环境光照信息装置，其特征在于，包括：
抠图单元，用于从真实拍摄包含参考物体的图像中抠取参考物体的彩色图像；
生成单元，用于根据所述参考物体的彩色图图像，通过采样生成观测点矩阵；
计算单元，用于由根据光源基函数系数、传递矩阵及观测点矩阵组成的线性方程组，求解光源基函数系数；
获取单元，用于根据所述光源基函数系数获取环境光照信息。
13.根据权利要求12所述的装置，其特征在于，所述生成单元用于：
将所述彩色图像进行RGB通道分离，并获取每个通道的灰度图像；
在不同观测点对所述每个通道的灰度图像进行采样，生成观测点矩阵。
14.根据权利要求13所述的装置，其特征在于，所述计算单元用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含RGB三个通道对应的光源位置下的权重系数，所述权重系数表示相应通道光源的强度信息。
15.根据权利要求14所述的装置，其特征在于，所述获取单元用于：
根据所述光源基函数系数获取环境光照的光源位置、光源强度及颜色信息。
16.根据权利要求12所述的装置，其特征在于，所述生成单元用于：
将所述彩色图像转为灰度图像；
在不同观测点对所述灰度图像进行采样，生成观测点矩阵。
17.根据权利要求16所述的装置，其特征在于，所述计算单元用于：
对所述线性方程组进行最优化参数估计，计算光源基函数系数，所述光源基函数系数包含光源位置信息。
18.根据权利要求17所述的装置，其特征在于，所述获取单元用于：
根据所述光源基函数系数确定环境光照的光源位置；
计算光源位置在所述灰度图像中对应的采样点；
获取光源位置对应的采样点的参考物体RGB图像；
根据所述RGB图像获取光源的强度及颜色信息。
19.根据权利要求18所述的装置，其特征在于，所述获取单元用于：
根据正向光源，计算光源位置在所述灰度图像中对应的采样点；或者，
根据背向光源，计算光源位置在所述灰度图像中对应的采样点。
20.根据权利要求12-19任一项所述的装置，其特征在于，所述传递矩阵由虚拟光源在不同位置处照射参考物体的图像而渲染得到的一组图像数据库。
21.根据权利要求12-19任一项所述的装置，其特征在于，所述装置还包括：
光源位置修正单元，用于计算光源在虚拟物体坐标系下的光源位置。
22.根据权利要求20所述的装置，所述装置还包括：
渲染单元，用于利用所述光照信息对虚拟物体进行渲染。
23.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-11任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-11任一项所述的方法。
CN201810254240.2A 2018-03-26 2018-03-26 一种获取环境光照信息方法、装置和电子设备 Withdrawn CN108509887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254240.2A CN108509887A (zh) 2018-03-26 2018-03-26 一种获取环境光照信息方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254240.2A CN108509887A (zh) 2018-03-26 2018-03-26 一种获取环境光照信息方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN108509887A true CN108509887A (zh) 2018-09-07

Family

ID=63378623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254240.2A Withdrawn CN108509887A (zh) 2018-03-26 2018-03-26 一种获取环境光照信息方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108509887A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275809A (zh) * 2020-01-14 2020-06-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及***
CN111292406A (zh) * 2020-03-12 2020-06-16 北京字节跳动网络技术有限公司 模型渲染方法、装置、电子设备及介质
CN111476834A (zh) * 2019-01-24 2020-07-31 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN111798384A (zh) * 2020-06-10 2020-10-20 武汉大学 一种逆向渲染的人脸图像光照信息编辑方法
WO2020221731A1 (en) 2019-04-30 2020-11-05 Signify Holding B.V. Luminance distribution determination
CN112040596A (zh) * 2020-08-18 2020-12-04 张雪媛 虚拟空间灯光控制方法、计算机可读存储介质和***
CN112422945A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及***
WO2022048372A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 图像处理方法、移动终端及存储介质
CN117152401A (zh) * 2023-09-05 2023-12-01 南通海沐海洋工程装备有限公司 一种机器学习任务用水下视觉图像数据集的获取方法
CN117354438A (zh) * 2023-10-31 2024-01-05 神力视界(深圳)文化科技有限公司 光强处理方法、装置、电子设备和计算机存储介质
US12033358B2 (en) 2019-04-30 2024-07-09 Signify Holding B.V. Luminance distribution determination

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916968A (zh) * 2006-09-01 2007-02-21 上海大学 三维虚拟现实用矩阵实现模拟环境光照射的设置方法
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN101354784A (zh) * 2008-08-21 2009-01-28 上海交通大学 基于图像的真实光源获取及重光照的方法
CN102096941A (zh) * 2011-01-30 2011-06-15 北京航空航天大学 虚实融合环境下的光照一致性方法
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916968A (zh) * 2006-09-01 2007-02-21 上海大学 三维虚拟现实用矩阵实现模拟环境光照射的设置方法
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN101354784A (zh) * 2008-08-21 2009-01-28 上海交通大学 基于图像的真实光源获取及重光照的方法
CN102096941A (zh) * 2011-01-30 2011-06-15 北京航空航天大学 虚实融合环境下的光照一致性方法
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476834A (zh) * 2019-01-24 2020-07-31 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN111476834B (zh) * 2019-01-24 2023-08-11 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
WO2020221731A1 (en) 2019-04-30 2020-11-05 Signify Holding B.V. Luminance distribution determination
US12033358B2 (en) 2019-04-30 2024-07-09 Signify Holding B.V. Luminance distribution determination
CN111275809B (zh) * 2020-01-14 2023-09-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及***
CN111275809A (zh) * 2020-01-14 2020-06-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及***
CN111292406A (zh) * 2020-03-12 2020-06-16 北京字节跳动网络技术有限公司 模型渲染方法、装置、电子设备及介质
CN111798384A (zh) * 2020-06-10 2020-10-20 武汉大学 一种逆向渲染的人脸图像光照信息编辑方法
CN112040596A (zh) * 2020-08-18 2020-12-04 张雪媛 虚拟空间灯光控制方法、计算机可读存储介质和***
CN112422945A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
WO2022048372A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 图像处理方法、移动终端及存储介质
WO2022048373A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 图像处理方法、移动终端及存储介质
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及***
CN113096228B (zh) * 2021-06-09 2021-08-31 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及***
CN117152401A (zh) * 2023-09-05 2023-12-01 南通海沐海洋工程装备有限公司 一种机器学习任务用水下视觉图像数据集的获取方法
CN117152401B (zh) * 2023-09-05 2024-03-15 南通海沐海洋工程装备有限公司 一种机器学习任务用水下视觉图像数据集的获取方法
CN117354438A (zh) * 2023-10-31 2024-01-05 神力视界(深圳)文化科技有限公司 光强处理方法、装置、电子设备和计算机存储介质

Similar Documents

Publication Publication Date Title
CN108509887A (zh) 一种获取环境光照信息方法、装置和电子设备
Georgoulis et al. Reflectance and natural illumination from single-material specular objects using deep learning
Aittala Inverse lighting and photorealistic rendering for augmented reality
CN104952063B (zh) 用于在真实环境的视图中表示虚拟对象的方法和***
Zhang et al. Image engineering
Wang et al. Learning indoor inverse rendering with 3d spatially-varying lighting
Kholgade et al. 3d object manipulation in a single photograph using stock 3d models
Rematas et al. Deep reflectance maps
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
Zhao et al. Theoretical analysis of illumination in PCA-based vision systems
CN102096941B (zh) 虚实融合环境下的光照一致性方法
Li et al. Physically-based editing of indoor scene lighting from a single image
CN107644453B (zh) 一种基于物理着色的渲染方法及***
Knorr et al. Real-time illumination estimation from faces for coherent rendering
CN107330964B (zh) 一种复杂三维物体的显示方法及***
CN110070621A (zh) 电子装置、显示增强现实场景的方法及电脑可读取媒体
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及***
CN106255990A (zh) 用于相机阵列的图像重对焦
CN113345063B (zh) 基于深度学习的pbr三维重建方法、***与计算机存储介质
Wei et al. Object-based illumination estimation with rendering-aware neural networks
Grosch et al. Consistent interactive augmentation of live camera images with correct near-field illumination
Takai et al. Difference sphere: an approach to near light source estimation
Schwandt et al. A single camera image based approach for glossy reflections in mixed reality applications
WO2021151380A1 (en) Method for rendering virtual object based on illumination estimation, method for training neural network, and related products
Dai et al. Interactive mixed reality rendering on holographic pyramid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180907

WW01 Invention patent application withdrawn after publication