CN114638950A - 一种绘制虚拟物体阴影的方法及设备 - Google Patents

Abstract

本申请涉及AR技术领域，提供一种绘制虚拟物体阴影的方法及设备，采用HDR全景图生成模型，得到真实场景的LDR图像对应的HDR全景图像，将KL散度作为损失函数，用HDR全景图像微调光照球谐特征模型，优化光照球谐特征模型原始的球面高斯强度分布，并节约了光照球谐特征模型的训练过程，省时省力；通过将优化的球面高斯强度分布中亮度值最大的点，确定为光源位置，并根据光源位置为叠加在LDR图像中显示的虚拟物体绘制阴影。由于HDR全景图像完整地记录了环境光照信息，包含环境光照的真实球面高斯强度分布，提高了光源位置确定的准确性，提升了虚拟物体阴影的绘制效果，进而提高了虚拟物体与真实场景的光照一致性，提升了用户的AR体验。

Description

一种绘制虚拟物体阴影的方法及设备

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种绘制虚拟物体阴影的方法及设备。

背景技术

AR技术是在虚拟现实(Virtual Reality，VR)基础上发展起来的新技术，是通过计算机***提供的信息增加用户对真实世界感知的技术，并将计算机***生成的虚拟物体、虚拟场景、***提示信息或关于真实物体的非几何信息等叠加到真实世界中，从而实现对真实世界的″增强″，已广泛应用在各行各业。

在AR体验中，用户对光照有微妙的感觉，通常将光照一致性作为虚实融合的重要指标，光照一致性是指让虚拟物体具有与真实物体相同的光照效果。光照一致性的目标是使虚拟物体的光照情况与真实场景中的光照情况一致，即虚拟物体与真实物体有着一致的明暗、阴影效果，以增强虚拟物体的真实感。

目前，相关技术为AR场景中的虚拟物体绘制阴影时，大多是采用深度神经网络，对摄像头采集的原始图像进行学习，输出环境贴图，并根据环境贴图确定光源位置，进而根据光源位置为虚拟物体绘制阴影效果。然而，由于AR设备的摄像头采集的原始图像一般为低动态范围(Low Dynamic Range，LDR)图像，包含的光照信息较少，导致光源位置估计的不够准确，进而降低了虚拟物体与真实场景的光照一致性，影响用户AR体验。

发明内容

本申请实施例提供了一种绘制虚拟物体阴影的方法及设备，用于提高虚拟物体与真实场景的光照一致性。

第一方面，本申请实施例提供一种绘制虚拟物体阴影的方法，应用于AR设备，包括：

获取所述AR设备的摄像头采集的任一真实场景的低动态范围LDR图像；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为叠加显示的虚拟物体绘制阴影。

第二方面，本申请实施例提供一种AR设备，包括处理器、存储器、摄像头和显示屏，所述显示屏、所述摄像头、所述存储器和所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的任一真实场景的低动态范围LDR图像，并由所述显示屏进行显示；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为所述显示屏中叠加显示的虚拟物体绘制阴影。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行一种绘制虚拟物体阴影的方法。

本申请的上述实施例中针对任一真实场景，获取AR设备的摄像头采集的LDR图像，通过HDR全景图生成模型，获得HDR全景图像，其中，HDR全景图像包含环境光照的真实球面高斯强度分布，这样，将HDR全景图像输入至光照球谐特征生成模型后，可以利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，并根据真实球面高斯强度分布和目标球面高斯强度分布，确定光源在虚拟场景中的位置，进一步地，根据光源的位置，为叠加显示在LDR图像中的虚拟物体绘制阴影。由于利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，无需对光照球谐特征生成模型进行训练，省时省力；并且，由于HDR全景图像包含环境光照的真实球面高斯强度分布，使得优化后的目标球面高斯强度分布能够真实的反映光源在虚拟空间中的位置，从而根据光源在虚拟场景中的位置为虚拟物体绘制阴影时，使得虚拟物体与真实场景具有一致的光照效果，提高了虚实融合的真实性，进而提升AR体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的HDR全景图生成模型的训练方法流程图；

图2示例性示出了本申请实施例提供的绘制虚拟物体阴影的方法流程图；

图3示例性示出了本申请实施例提供的确定目标球面高斯强度分布流程图；

图4示例性示出了本申请实施例提供的光照球谐特征生成模型的微调方法流程图；

图5示例性示出了本申请实施例提供的确定目标球面高斯强度分布中光源位置的方法流程图；

图6示例性示出了本申请实施例提供的AR设备的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

为清楚描述本申请的实施例，下面对本申请的名词给出解释说明。

低动态范围(Low Dynamic Range，LDR)图像：将红(R)、绿(G)、蓝(B)三个色彩通道分别用8位整数描述的图像。LDR图像的存储格式包括JPG和PNG等。

高动态范围(Height Dynamic Range，HDR)图像：将红(R)、绿(G)、蓝(B)三个色彩通道分别用32位浮点数描述的图像。相比于LDR图像，HDR图像可以提供更多的动态范围和图像细节，HDR图像的存储格式包括HDR、TIF、EXR和RAW等。

HDR全景图像：是指符合人的双眼正常有效视角或双眼余光视角以上，乃至360度范围的HDR图像。

在AR场景中，为了将模拟仿真的虚拟物体与真实场景自然的融合在一起，虚拟物体应与真实场景具有一致的光照效果，这就要求虚拟物体表面亮度应该与环境光的亮度一致，虚拟物体的阴影应该与光源的位置一致。例如，在较暗环境下，虚拟物体表面亮度应该偏暗一些；在较亮环境下，虚拟物体表面亮度应该偏亮一些；光源位于虚拟物体的左前方时，阴影位于虚拟物体的右后方，光源与虚拟物体的距离较近时，阴影面积较大。

目前，大多数深度神经网络基于摄像头采集的原始图像估计光源位置，然而由于深度神经网络的训练过程比较费时费力，且摄像头采集的原始图像一般为LDR图像，光源信息较少，导致光源位置估计的不够准确，进而降低了虚拟物体与真实场景的光照一致性，影响用户AR体验。

鉴于此，本申请实施例提供了一种绘制虚拟物体阴影的方法及设备，将摄像头采集的LDR图像，输入至HDR全景图生成模型，获得对应的HDR全景图像，并将HDR全景图像输入至光照球谐特征模型，由HDR全景图像对光照球谐特征模型进行监督，采用KL散度(Kullback-Leibler Divergence，KL-Divergence)损失函数，对光照球谐特征模型进行微调(Fine-tuning)，从而优化光照球谐特征模型原始的球面高斯强度分布，将优化后的球面高斯强度分布中的最亮值，确定为光源位置，并根据光源位置为虚拟物体绘制阴影。由于HDR全景图像完整地记录了环境光照信息，可以表征环境光照信息真实的球面高斯强度分布，提高了光源位置确定的准确性，提升了虚拟物体阴影的绘制效果，进而提高了虚拟物体与真实场景的光照一致性，并且，通过HDR全景图像对光照球谐特征模型进行监督，省去了光照球谐特征模型繁琐的训练过程，通过微调便可得到较佳的球面高斯强度分布，降低了光源位置的方向误差，使得虚拟物体的阴影更加的柔和，提高了虚拟物体的真实性，进而提升了用户的AR体验。

在本申请的实施例中，利用深度学习原理，设计了一个HDR全景图生成模型和一个光照球谐特征生成模型，其中，HDR全景图生成模型用于根据真实场景中的LDR图像生成HDR全景图像，光照球谐特征生成模型用于根据HDR全景图像估计虚拟场景中光源的位置。

其中，HDR全景图生成模型的训练过程参见图1，主要包括以下几步：

S101：获取各个真实场景中多张LDR图像以及每张LDR图像对应的真实HDR全景图像，得到训练样本集。

在一种可选的实施方式中，可采用色彩迁移算法获取每张LDR图像对应的真实HDR图像，并通过迁移学习得到真实HDR全景图像。

S102：基于得到的训练样本集，对初始的HDR全景图生成模型进行多轮迭代训练，直至满足预设条件，得到最终HDR全景图生成模型。

其中，HDR全景图生成模型由多个深度卷积神经网络(Convolutional NeuralNetworks，CNN)组成。每一轮迭代训练过程如下：

S1021：根据初始的HDR全景图生成模型，确定各张LDR图像对应预测HDR全景图像。

S1022：根据各张预测HDR全景图像和相应的真实HDR全景图像，确定预测损失值。

S1023：根据预测损失值调整初始的HDR全景图生成模型的参数。

需要说明的是，HDR全景图生成模型的训练过程不作为本申请的重点内容，对此不再进行详细的展开描述。

得到训练好的HDR全景图生成模型后，针对任一张输入的LDR图像，均可以得到输HDR全景图像。

下面基于训练好的HDR全景图生成模型，描述本申请实施例提供的绘制虚拟物体阴影的方法流程，具体参见图2，该流程由AR设备执行，主要包括以下几步：

S201：获取AR设备的摄像头采集的任一真实场景的LDR图像。

在本申请的实施例中，AR设备自带有摄像头，可以此采集当前视场角(FieldofView，FOV)下任一真实场景的LDR图像。

S202：将该LDR图像输入至HDR全景图生成模型，获得对应的HDR全景图像，HDR全景图像包含环境光照的真实球面高斯强度分布。

由于HDR全景图记录了完整的环境光照信息，包含了环境光照的真实球面高斯强度分布，因此，可以用HDR全景图监督光照球谐特征生成模型，获得光源在虚拟场景中的球面高斯强度分布。

S203：将HDR全景图像输入至光照球谐特征生成模型，利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布。

在S203中，将HDR全景图像输入至光照球谐特征生成模型，作为光照球谐特征生成模型的监督器，采用Fine-tuning方法，利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，省去了光照球谐特征生成模型的训练过程，节约了人力物力，并且，由于HDR全景图像包含环境光照的真实球面高斯强度分布，使得优化后的目标球面高斯强度分布能够真实的反映光源在虚拟空间中的位置，提高了光源估计的准确性。

具体优化过程参见图3：

S2031：确定真实球面高斯强度分布和原始球面高斯强度分布的KL散度损失值。

其中，KL散度又称为相对熵，是两个分布P和Q差别的非对称性的度量。KL散度用来度量使用基于Q的分布来编码服从P的分布所需的额外平均比特数，一般的，P表示数据的真实分布，Q表示估计的模型分布。由于KL散度能够有效的表达两个分布的接近程度，可以衡量原始球面高斯强度分布相对于真实球面高斯强度分布损失了多少信息量，因此，可以作为光照球谐特征生成模型的损失函数。

在本申请的实施例中，在获得真实球面高斯强度分布之后，使用不同于真实球面高斯强度分布的原始球面高斯强度分布，一定会损失编码效率，并且在传输时增加的额外平均信息量至少等于两个分布之间的KL散度。因此，可以基于KL散度计算光照球谐特征生成模型的损失值，从而对光照球谐特征生成模型进行微调。

S2032：确定KL散度损失值是否大于等于预设散度阈值，若是，执行S2033，否则，执行S2035。

当KL散度损失值大于等于预设散度阈值时，表明真实球面高斯强度分布与原始球面高斯强度分布之间的差异较大，需要对光照球谐特征生成模型进行调整，以使两个分布尽可能的接近，保证光照一致性。当KL散度损失值小于预设散度阈值时，表明真实球面高斯强度分布与原始球面高斯强度分布之间的差异较小，无需对光照球谐特征生成模型进行调整。

可选的，本申请实施例中的预设散度阈值设置为0.3。

S2033：对光照球谐特征生成模型的参数进行微调，获得微调后的光照球谐特征生成模型的球面高斯强度分布。

在S2033中，对光照球谐特征生成模型的参数进行微调的过程，可看做预测虚拟场景中球面高斯强度分布的过程的。通过KL散度损失值微调光照球谐特征生成模型的球谐函数，有效保证了微调后的球面高斯强度分布与真实球面高斯强度分布的光照一致性。

S2034：计算微调后的球面高斯强度分布与真实球面高斯强度分布的KL散度损失值后，返回S2032。

在本申请的实施例中，对光照球谐特征生成模型的参数进行微调后，需要重新计算微调后的球面高斯强度分布与真实球面高斯强度分布的KL散度损失值，并将新的KL散度损失值与预设散度阈值进行比较，直至KL散度损失值小于预设散度阈值。

S2035：将光照球谐特征生成模型当前的球面高斯强度分布，作为目标球面高斯强度分布。

在S2035中，当KL散度损失值小于预设散度阈值时，表明当前的球面高斯强度分布与真实球面高斯强度分布差异较小，可以将当前的球面高斯强度分布作为目标球面高斯强度分布以确定光源在虚拟场景中的位置。

在一种可选的实施方式中，光照球谐特征生成模型可以采用Darknet121网络。

S204：根据真实球面高斯强度分布和目标球面高斯强度分布，确定光源在虚拟场景中的位置。

在本申请的实施例中，真实球面高斯强度分布反映了真实场景的中的光源位置，可利用真实场景的中的光源位置，确定目标球面高斯强度分布中的光源位置，从而获得光源在虚拟场景中的位置。具体实施过程参见图4：

S2041：确定真实球面高斯强度分布中最大亮度的第一位置，以及，确定目标球面高斯强度分布中最大亮度的第二位置。

一个分布中亮度值最大的位置，最有可能是光源位置。假设真实球面高斯强度分布中最大亮度的第一位置记为p1，目标球面高斯强度分布中最大亮度的第二位置记为p2。

S2042：确定第一位置和第二位置之间的位置偏差是否在预设取值区间内，若在，执行S2043，否则，执行S2044。

计算p1和p2之间的位置偏差，并确定该位置偏差是否在预设取值区间内，若在，表明估计的第二位置准确，可以用p2求光源的三维坐标，否则，表明第二位置不准确，需要重新确定目标球面高斯强度分布。

可选的，预设取值区间为[16°，52°]。

S2043：根据第二位置，确定光源在虚拟场景中的三维坐标。

其中，三维坐标的计算过程参见图5：

S2043_1：初始化目标球面高斯强度分布中各个点的初始位置。

以128核的球面高斯强度分布(即该分布包含128个点)为例，对目标球面高斯强度分布进行初始化，确定各个点的初始位置，初始化公式如下：

α＝sin^-1u 公式5

β＝θ 公式6

其中，Δ表示黄金分割比例，i表示目标球面高斯强度分布中的第i个点，

表示目标球面高斯强度分布中的黄金分割点，θ表示目标球面高斯强度分布中的黄金分割角，u表示将单位球等分为128份，(α，β)表示各个点的初始位置，α表示目标球面高斯强度分布中每个点的俯仰角，β表示目标球面高斯强度分布中每个点的偏航角。

S2043_2：根据目标球面高斯强度分布中最大亮度的第二位置，确定各个点中中心点的目标位置。

在S2043_2中，根据亮度函数，可以得到目标球面高斯强度分布每个点的亮度，公式如下：

I＝Intensity[0]*0.11+Intensity[1]*0.59+Intensity[2]*0.3 公式7

其中，Intensity[0]、Intensity[1]和Intensity[2]分别表示目标球面高斯强度分布每个点对应的R、G、B分量的值，I表示亮度值。

根据目标球面高斯强度分布中各个点的亮度值I，可以得到亮度最大的点(即第二位置)，该点可表示虚拟场景中的光源，并根据该点作为中心点，确定该点的目标位置，目标位置的公式如下：

α′＝Evevation(I)，β′＝Azimuth(I) 公式8

其中，α′表示中心点的目标俯仰角，β′表示中心点的目标偏航角，Evevation()为俯仰角函数，Azimuth()为偏航角函数。

S2043_3：确定中心点的目标位置对应的三维坐标，并将三维坐标作为光源在虚拟场景中的位置。

在S2043_3中，利用极坐标与三维坐标之间的转换关系，将中心点的目标位置转换为三维坐标，转换公式如下：

X＝cosβ′ 公式9

Y＝sinα′ 公式10

z＝cosβ′ 公式11

获得目标位置对应的三维坐标后，将三维坐标作为虚拟场景中光源的位置。

S2044：反向微调光照球谐特征生成模型的参数，重新确定目标球面高斯强度分布，执行S2041。

在S2044中，当第一位置和第二位置之间的位置偏差不在预设取值区间内时，表明估计的光源位置不准确，需要反向微调光照球谐特征生成模型的参数，重新确定目标球面高斯强度分布，直至新的目标球面高斯强度分布中的第二位置和第一位置之间的位置偏差在预设取值区间内。

S205：将虚拟物体叠加显示在LDR图像中，并根据光源在虚拟场景中的位置，为叠加显示的虚拟物体绘制阴影。

在一种可选的实施方式中，用户可以通过触控AR设备的显示屏选择虚拟物体，以及确定虚拟物体的放置位置。在用户选择好虚拟物体后，将虚拟物体在LDR图像的目标位置上进行叠加显示。显示过程中，为提高虚实融合的真实性，可根据确定的光源位置，为虚拟物体绘制阴影。

具体实施时，将光源的三维坐标赋值给Unity引擎中Light函数中Direction变量，由Unity引擎根据Direction的值对虚拟物体进行渲染，使得虚拟物体的阴影与真实场景中的光照具有一致性。

经实验数据测得，采用本申请实施例提供的HDR全景图生成模型和光照球谐特征生成模型估计的虚拟场景中光源的位置误差在47.6°左右满足人眼的视觉范围内的角度差异，视觉上表现为虚拟物体与真实场景具有一致的光照效果。

本申请实施例提供的一种绘制虚拟物体阴影的方法中，通过HDR全景图生成模型，获得真实场景中的LDR图像对应的HDR全景图像，由于HDR全景图像包含了环境光照的真实球面高斯强度分布，可作为光照球谐特征生成模型的监督器，采用Fine-tunging方法，对光照球谐特征生成模型的球面高斯强度分布进行优化，优化过程中，利用KL散度作为损失函数，对光照球谐特征生成模型进行微调，得到目标球面高斯强度分布。由于利用HDR全景图像对光照球谐特征生成模型进行监督，省去了模型训练过程，节约了人力物力；并且，由于HDR全景图像包含了环境光照的真实球面高斯强度分布，使得优化后的目标球面高斯强度分布能够真实的反映光源在虚拟空间中的位置，并将目标球面高斯强度分布中最大亮度的位置作为光源位置，从而根据光源在虚拟场景中的位置为虚拟物体绘制阴影时，使得虚拟物体与真实场景具有一致的光照效果，提高了虚实融合的真实性，进而提升AR体验。

基于相同的技术构思，本申请实施例提供一种AR设备，该AR设备可实现上述实施例中的一种绘制虚拟物体阴影的方法步骤，且能达到相同的技术效果。

参见图6，该AR设备包含处理器601、存储器602、摄像头603和显示屏604，其中，所述显示屏604、所述摄像头603、所述存储器602与所述处理器601通过总线605连接；

所述存储器602存储有计算机程序，所述处理器601根据所述存储器602存储的计算机程序，执行以下操作：

获取所述摄像头603采集的任一真实场景的LDR图像，并由所述显示屏604进行显示；

将所述LDR图像输入至HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为所述显示屏604中叠加显示的虚拟物体绘制阴影。

可选的，所述处理器601利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，具体操作为：

确定所述真实球面高斯强度分布和所述原始球面高斯强度分布的KL散度损失值；

若所述KL散度损失值大于等于预设散度阈值，则对所述光照球谐特征生成模型的参数进行微调，直至微调后的光照球谐特征生成模型的球面高斯强度分布与所述真实球面高斯强度分布的KL散度损失值小于所述预设散度阈值，获得所述光照球谐特征生成模型对应的目标球面高斯强度分布。

可选的，所述处理器601根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置，具体操作为：

确定所述真实球面高斯强度分布中最大亮度的第一位置，以及，确定所述目标球面高斯强度分布中最大亮度的第二位置；

确定所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内；

若在，则根据所述第二位置，确定所述光源在虚拟场景中的三维坐标。

可选的，所述处理器601根据所述第二位置，确定光源在虚拟场景中的三维坐标，具体操作为：

初始化所述目标球面高斯强度分布中各个点的初始位置；

根据所述目标球面高斯强度分布中最大亮度的第二位置，确定所述各个点中中心点的目标位置；

确定所述中心点的目标位置对应的三维坐标，并将所述三维坐标作为所述光源在虚拟场景中的位置。

可选的，当所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内时，所述处理器601还执行以下操作：

反向微调所述光照球谐特征生成模型的参数，直至所述第一位置和所述第二位置之间的位置偏差在预设取值区间内。

本申请实施例图6中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

需要说明的是，图6仅是一种示例，给出了AR设备执行本申请实施例提供的绘制虚拟物体阴影的方法步骤所必要的硬件，未示出的，该AR设备还包含人机交互设备的常用硬件，如扬声器、麦克风、左右眼镜片、显示屏等。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种绘制虚拟物体阴影的方法，其特征在于，应用于AR设备，包括：

获取所述AR设备的摄像头采集的任一真实场景的低动态范围LDR图像；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为叠加显示的虚拟物体绘制阴影。

2.如权利要求1所述的方法，其特征在于，所述利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，包括：

确定所述真实球面高斯强度分布和所述原始球面高斯强度分布的KL散度损失值；

若所述KL散度损失值大于等于预设散度阈值，则对所述光照球谐特征生成模型的参数进行微调，直至微调后的光照球谐特征生成模型的球面高斯强度分布与所述真实球面高斯强度分布的KL散度损失值小于所述预设散度阈值，获得所述光照球谐特征生成模型对应的目标球面高斯强度分布。

3.如权利要求1所述的方法，其特征在于，所述根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置，包括：

确定所述真实球面高斯强度分布中最大亮度的第一位置，以及，确定所述目标球面高斯强度分布中最大亮度的第二位置；

确定所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内；

若在，则根据所述第二位置，确定所述光源在虚拟场景中的三维坐标。

4.如权利要求3所述的方法，其特征在于，所述根据所述第二位置，确定光源在虚拟场景中的三维坐标，包括：

初始化所述目标球面高斯强度分布中各个点的初始位置；

根据所述目标球面高斯强度分布中最大亮度的第二位置，确定所述各个点中中心点的目标位置；

确定所述中心点的目标位置对应的三维坐标，并将所述三维坐标作为所述光源在虚拟场景中的位置。

5.如权利要求3所述的方法，其特征在于，当所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内时，所述方法还包括：

反向微调所述光照球谐特征生成模型的参数，直至所述第一位置和所述第二位置之间的位置偏差在预设取值区间内。

6.一种AR设备，其特征在于，包括处理器、存储器、摄像头和显示屏，所述显示屏、所述摄像头、所述存储器和所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的任一真实场景的低动态范围LDR图像，并由所述显示屏进行显示；

将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；

将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；

根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；

将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为所述显示屏中叠加显示的虚拟物体绘制阴影。

7.如权利要求6所述的AR设备，其特征在于，所述处理器利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，具体操作为：

确定所述真实球面高斯强度分布和所述原始球面高斯强度分布的KL散度损失值；

若所述KL散度损失值大于等于预设散度阈值，则对所述光照球谐特征生成模型的参数进行微调，直至微调后的光照球谐特征生成模型的球面高斯强度分布与所述真实球面高斯强度分布的KL散度损失值小于所述预设散度阈值，获得所述光照球谐特征生成模型对应的目标球面高斯强度分布。

8.如权利要求6所述的AR设备，其特征在于，所述处理器根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置，具体操作为：

确定所述真实球面高斯强度分布中最大亮度的第一位置，以及，确定所述目标球面高斯强度分布中最大亮度的第二位置；

确定所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内；

若在，则根据所述第二位置，确定所述光源在虚拟场景中的三维坐标。

9.如权利要求8所述的AR设备，其特征在于，所述处理器根据所述第二位置，确定光源在虚拟场景中的三维坐标，具体操作为：

初始化所述目标球面高斯强度分布中各个点的初始位置；

根据所述目标球面高斯强度分布中最大亮度的第二位置，确定所述各个点中中心点的目标位置；

确定所述中心点的目标位置对应的三维坐标，并将所述三维坐标作为所述光源在虚拟场景中的位置。

10.如权利要求8所述的AR设备，其特征在于，当所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内时，所述处理器还执行以下操作：

反向微调所述光照球谐特征生成模型的参数，直至所述第一位置和所述第二位置之间的位置偏差在预设取值区间内。

Images