CN109427089B - 基于环境光照条件的混合现实对象呈现 - Google Patents

Abstract

本公开的实施例涉及基于环境光照条件的混合现实对象呈现。根据本公开的实施例，可穿戴计算设备在呈现对象的过程中通过获取真实世界的光照条件，提高了所呈现的对象的真实感。具体而言，可穿戴计算设备被配置为获取其所处环境的图像。该图像基于该图像被拍摄时的相机参数而被加以调整。调整后的图像继而被用来确定环境光照信息。以此方式，可穿戴计算设备可以获得更加真实和准确的环境光照信息，以向用户呈现具有增强真实感的对象。用户因此能够具有更佳的交互体验。

Description

基于环境光照条件的混合现实对象呈现

背景技术

可穿戴计算设备是可直接穿在用户身上或佩戴到用户的衣物或配件的一种便携式设备。可穿戴计算设备具有多种实现形式，例如眼镜和头盔之类的头戴式设备，手表和手环之类的手戴式设备，鞋和袜之类的腿戴式设备，以及智能服装、书包、拐杖、配饰等其他形式。

可穿戴计算设备可以通过硬件和软件支持以及数据交互、云端交互来提供多种功能，正在越来越多地影响着人们的工作、生活、学习等。以头戴式设备为例，其通过将虚拟和现实结合起来，能够为用户提供更佳的互动性。具体而言，用户可以容易地在现实场景中辨别出虚拟对象并向该对象发送指令，从而使得该对象根据该指令完成相应操作。利用此类头戴式设备，用户可以通过手势在游戏中进行操作、模拟实景会议、进行3D建模等，从而有效提高了用户交互体验。

发明内容

在呈现虚拟对象时，真实世界的光照条件对于所呈现对象的真实感和用户体验而言是重要的。本公开的实施例提供了一种混合现实对象呈现方法和设备。根据本公开的实施例，可穿戴计算设备在呈现对象的过程中考虑了真实世界的光照条件，从而提高了所呈现的对象的真实感。具体而言，可穿戴计算设备被配置为获取其所处环境的图像。该图像基于该图像被拍摄时的相机参数而被加以调整。调整后的图像继而被用来确定环境光照信息。以此方式，可穿戴计算设备可以获得更加真实和准确的环境光照信息，以向用户呈现具有增强真实感的对象。用户因此能够具有更佳的交互体验。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了其中可以实施本公开的一个或多个实施例的可穿戴计算设备100的框图；

图2示出了根据本公开的实施例的用于获取环境光照信息的方法200的流程图；

图3示出了根据本公开的实施例的拍摄方向300的示意图；

图4示出了根据本公开的实施例的环境光照信息的生成过程400的示意图；

图5示出了根据本公开的实施例的环境光照信息的立方图500的示意图；

图6示出了根据本公开的实施例的用于更新环境光照信息的方法600的流程图；以及

图7A和图7B分别示出了根据现有技术所呈现的对象和根据本公开的实施例所呈现的对象的示意图。

在所有附图中，相同或相似参考数字表示相同或相似元素。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

本公开使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。

本公开提出了混合现实对象呈现方法和设备，其基于可穿戴计算设备所处的环境的图像来确定环境光照信息，从而基于该环境光照信息向用户呈现该对象。这里所称的环境光照信息至少包括与可穿戴计算设备所处的环境中的多个方向的光强度有关的信息。通过这种方式，本公开的实施例的方法和设备可以将环境光照因素应用于对象的呈现过程，从而能够更加真实和准确地为用户呈现对象，有效提高了用户体验。

图1示出了其中可以实施本公开的实施例的可穿戴计算设备100的框图。应当理解，图1所示出的可穿戴计算设备100仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。

可穿戴计算设备100可以用于实施本公开的实施例的对象呈现过程，并且可以实现为用户101可以佩戴的智能眼镜、智能头盔、智能耳机等多种形式。

可以通过相机104获取可穿戴计算设备100当前所处环境103的图像105，基于相机104拍摄该图像105时所使用的相机参数来调整图像105，并基于调整后的图像来确定环境光照信息。以此方式确定的环境光照信息至少指示该环境中的多个方向的光强度，从而可穿戴计算设备100可以利用该环境光照信息来向用户101呈现对象106。

可穿戴计算设备100还可以根据相机104的视角范围的不同而调整图像105的拍摄方向。另外，可穿戴计算设备100可以利用所确定的环境光照信息来更新已有的环境光照信息(在下文中也称为“原始环境光照信息”)。

可穿戴计算设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储设备120、一个或多个输入设备130以及一个或多个输出设备140。处理单元110可以是实际或虚拟处理器并且能够根据存储设备120中所存储的程序来执行各种处理。在多处理器***中，多个处理单元并行执行计算机可执行指令，以提高可穿戴计算设备100的并行处理能力。

可穿戴计算设备100通常包括多个计算机存储介质。这样的介质可以是可穿戴计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储设备120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备120也可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据并且可以在可穿戴计算设备100内被访问。

可穿戴计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储设备120可以包括一个或多个程序产品122，其具有一个或多个程序模块集合，这些程序模块被配置为执行本文所描述的各种实施例的功能。

输入设备130可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备140可以是一个或多个输出设备，例如显示器、扬声器、打印机等。

如图1所示，相机104获取可穿戴计算设备100所处的环境103的图像105，并将其提供给可穿戴计算设备100的输入设备130。可穿戴计算设备100根据所接收的图像105来获取环境光照信息，从而基于该环境光照信息来呈现对象106，使得用户101能够看到具有环境光照效果的对象106。应当理解，可以根据相机104所拍摄的一个或多个图像105来确定环境光照信息。虽然图1中示出了多个图像105，但这仅仅是示例性的，无意限制本公开的范围。

以下更详细地描述了关于考虑环境光照情况的对象呈现方法和设备的若干示例实施例。图2示出了根据本公开的实施例的用于获取环境光照信息的方法200的流程图。在一些实施例中，方法200可以由参考图1所描述的处理单元110执行。

在框210中，获取可穿戴计算设备100所处的环境103的至少一个图像105。环境光照信息至少指示与可穿戴计算设备100所处的环境103的多个方向的光强度。根据本公开的实施例，用户101、可穿戴计算设备100和对象106均处于同一环境103中，因此可穿戴计算设备100所处的环境103也即用户101和/或对象106所处的环境。

这种图像105可以通过多种方式来获取。在一些实施例中，可穿戴计算设备100接收与可穿戴计算设备100可操作地通信的相机104所捕获的环境103的图像。相机104可以是普通相机，例如通常的数码摄像机、智能电话、平板电脑所带的非全景相机。应当理解，上述相机104的示例仅仅是为了讨论的目的，其并非是限制性的，无意以任何方式限制本公开的范围。本领域技术人员可以采用任何其他可用设备来获取捕获环境103的图像。

根据本公开的实施例，相机104与可穿戴计算设备100可操作地通信。在一个实施例中，相机104与可穿戴计算设备100相分离地布置。相机104可以被布置在可穿戴计算设备100的相对固定位置，例如可穿戴计算设备100正前方预定距离的位置。相机104可以经由通信网络(例如WIFI、蓝牙等)与可穿戴计算设备100连接，并将所获取的图像以视频流的形式传送给可穿戴计算设备100。

可替代地，在另一实施例中，相机104可以集成在可穿戴计算设备100上，从而可以根据佩戴可穿戴计算设备100的用户101的运动而改变位置。以此方式，能够保证相机104所捕获的场景与用户101所在位置保持一致，由此可以获取与环境103更加匹配的光照效果。

在一些实施例中，当拍摄图像105时，可以预先确定相机104的拍摄方向，从而以更全面的方式覆盖可穿戴计算设备100所处的环境103。在一个实施例中，可以基于指示相机104的视角范围的参数，确定覆盖环境103所需的多个拍摄方向，并使相机104按照所确定的多个拍摄方向来拍摄多个图像。不同型号的相机可以具有不同的视角范围的参数。该视角范围可以是固定的或可变的。由于视角范围的不同，用以覆盖环境103的图像的数目和拍摄方向也有所不同。例如，在相机104的最大水平视角(FOV)是67度的情况下，可以确定34个拍摄方向，用于拍摄能够覆盖环境103的34个图像。

图3示出了根据本公开的实施例的拍摄方向300的示意图。在图3的示例中，假设具有相机104的可穿戴计算设备100处于位置301，则在以位置301为坐标原点的球坐标系中示出了34个点，每个点对应一个拍摄方向。具体而言，在与90度和-90度分别相对应的310和370处，各示出了1个点；在与60度和-60度分别相对应的320和360处，各示出了4个点；并且，在与30度、0度和-30度分别相对应的330、340和350处，各示出了8个点。在一个实施例中，位于坐标原点301处的佩戴有可穿戴设备100的用户101可以朝向这34个点进行拍摄，由此获得能够覆盖环境103的34个图像。

应当理解，图3所示的拍摄方向仅仅是示例性的而不是限制性的。相机的视角范围与所确定的拍摄方向之间的关系可以根据已知的多种方式或算法来确定，在此不再赘述。

在一些实施例中，可穿戴计算设备100可以向用户101提示所确定的拍摄方向，例如在这些方向上显示预定形状、色彩、闪烁方式等的参考对象(比如白色的气球)。这样，当用户101按照提示(例如语音提示、视觉提示等)而观看该参考对象时，可穿戴计算设备100的相机104可以自动按照该拍摄方向进行拍摄。以这种方式，可以按照所述多个拍摄方向来拍摄覆盖环境103的多个图像105。

在一些实施例中，相机104可以利用多于一个摄像头(例如前摄像头和后摄像头)来分别拍摄图像，从而可以更加快速和高效地获取环境103的图像。应当理解，虽然上述实施例描述了在框210中获取多个图像105的例子，但这仅仅是示例性的，而并非是对本公开的范围的限制。在根据本公开的其他实施例中，也可以仅根据在框210中获取的单个图像105来确定环境光照信息。该单个图像105可以是按照所确定的拍摄方向来获取的，也可是由相机104在预定时间点按照当前方向获取的环境103的图像。与获取多个图像105的方式相比，获取单个图像105的方式相对更加快速和灵活。

在从相机104接收到环境103的图像105后，可穿戴计算设备100可以将该图像存储于临时图像缓存中，以便对该图像进行调整。

返回图2，在框220中，基于相机104在拍摄图像105时所使用的相机参数，来调整图像105的像素值。相机参数可以包括相机104拍摄图像105所使用的一个或多个参数，例如曝光时间、感光度、曝光量、光圈大小快门速度和/或其他相关参数。在一些实施例中，可以根据多种方式来基于相机参数调整图像105的像素值。例如，可以利用以下公式来对图像105“规格化(regularize)”：

其中，Gamma表示伽马校正参数，OriginalColor(r,g,b,a)表示未调整的图像的像素值，Color(r,g,b,a)表示经调整的图像的像素值，r、g、b和a分别表示图像的一个像素的红色值、绿色值、蓝色值和alpha值，该alpha值指示该像素的透明度并例如在0～255之间。另外，在公式(1)中，ExposureTime表示相机的曝光时间，并且ISO表示相机的感光度。

根据公式(1)，可以将图像105调整为“规格化”的图像。在基于多个图像105来确定环境光照信息的情况下，通过对这些图像105进行上述调整，可以将各个图像的亮度分别调整到统一的基准水平，从而可以基于这些图像来更加准确地确定环境光照信息。

应当理解，公式(1)仅仅是用于对图像进行图像的一个示例，无意对本公开的实施例进行任何限制。本领域技术人员应当理解，除了采用公式(1)，还可以采用其他任何适当的方式来对图像进行调整。

在框230中，基于经调整的图像105来确定环境光照信息。该环境光照信息至少指示环境103中的多个方向的光强度。在一些实施例中，可以基于经调整的图像105来生成环境103的全景图像，这例如可以根据已有的全景图像拼接(panorama stitching)方法来实现，在此不再赘述。在图像105的数目较少(例如仅有1个图像105)的实施例中，可以基于该图像直接来确定环境光照信息，而不必进行全景图像的生成。在替代性实施例中，可以基于该图像来生成全景图像，其中该全景图能够反映一部分环境光照条件，因此也可以称为“部分全景图像”。然后，可以将图像105或者所生成的全景图像转换为一个立体图，例如立方图、镜面球等，并将其全部或部分作为环境光照信息。这种转换过程可以通过预先定义的重新映射操作来完成，图4示出了相关过程400的示意图，将在下文对其进行详细描述。以立方图为例，其采用一个六面的立方体表示四周的光照环境，有利于可穿戴计算设备100的图形处理器(GPU)对于对象106进行更为高效的呈现。图5示出了根据本公开实施例的一个示例立方图500。

以下结合图4所示的实施例，更加详细地讨论环境光照信息的生成过程400。在图4所示的示例中，假设相机104所拍摄的图像105都具有可用于计算相机位置的定位信息，并且基于图像105可以生成全景图像410。全景图像410上一个点411可以被首次转换为球体420的一个点421。然后，该点421可以被二次转换为立方体430上的一个点431。此后，该点431可以被三次转换为具有6个面的立方图440上的一个点441。通过上述三次转换，全景图像410上的每个点都可以被转换为立方图440上的点，从而可以得到与全景图像410相对应的立方图440。该立方图440例如可以实现为图5所示的立方图500。

应当理解，用于在不同坐标系下进行变换的诸多技术是已知的。因此，图4的实施例所示的各种转换(例如，首次转换、二次转换和/或三次转换)可以通过目前已知或者将来开发的任何方法实现方式来实施，其不会对本公开的实施例进行限制，因此在此不再赘述。

根据本公开的实施例，环境光照信息可以实现为图像、视频或其他任何适当格式的文件。应当理解，在此以立方图形式来描述的环境光照信息仅仅是示例性的，无意限制本公开的范围。

附加地，在本公开的一些实施例中，可以基于所确定的环境光照信息向佩戴可穿戴计算设备100的用户101呈现对象106。例如，可穿戴计算设备100可以将立方图作为初始光照图，并对初始光照图进行降采样。例如，可以以预定义的分辨率缩减因子迭代地对初始光照图中的像素进行平均，从而生成具有不同分辨率的降采样光照图集合。

具体而言，对于初始光照立方图，可以快速生成完整的降采样光照图集合，例如Mip-map chain。该降采样光照图集合由不同分辨率的光照立方图组成，是对光照立方图在不同分辨率下的近似表示。根据本公开的降采样方案可以通过多种方式来实现。在一些实施例中，可以通过对上一层光照图的相应位置的预定数目(例如4个)的像素直接求和平均来实现。

然后，可穿戴计算设备100可以基于降采样光照图集合来确定对象106的外观，并呈现给所述用户101。在本公开的实施例中，对象106的外观可以由多个点组成。可穿戴计算设备100可以利用降采样光照图集合来确定对象106上的多个点的漫反射(diffusereflectance)强度和高光反射(specular reflectance)强度。然后，可以基于这些点的漫反射强度和高光反射强度来确定对象106的外观。

以这种方式，可以向用户101更加真实地提供对象106在当前环境下的外观。与根据预先定义的光照条件来呈现对象的传统方案相比，根据本公开的实施例的可穿戴计算设备100可以获得更加真实和准确的环境光照信息，从而提高所呈现对象的真实感。由此，可以避免传统方案中用户无法感受到现实世界中的真实光照条件的缺陷，并相应提高用户的交互体验。

可选地，在本公开的一些实施例中，还可以利用所确定的环境光照信息来更新已有的环境光照信息。这种已有的环境光照信息例如可以是可穿戴计算设备100本身预设的与环境光照有关的信息。备选地或附加地，已有环境光照信息也可以是可穿戴计算设备100在先前的某个时间点所确定的历史环境光照信息，等等。为讨论方便起见，在此为了讨论方便而将这种信息统称为“原始环境光照信息”。

环境光照信息的更新过程可以是由可穿戴计算设备100按照预设时间定期或非定期地自动执行的，和/或可以由用户101在需要的时候发起。在一个实施例中，当用户101觉得周围环境光线发生了明显变化时，他/她可以触发相机104对例如光线变化强烈的区域进行拍照。通过这种方式，可以使可穿戴计算设备100所使用的环境光照信息更加符合当前环境的实际光照情况，有利于改善所呈现的对象真实感。

具体而言，在一些实施例中，可穿戴计算设备100可以确定是否存在这种原始环境光照信息。如果存在，则可以利用在框230中所确定的环境光照信息来更新原始环境光照信息。在对原始环境光照信息的更新过程中，可以在满足预定条件下对该原始环境光照信息进行修改，也可以在不满足预定条件下而对原始环境光照信息不做任何修改。

例如，在一个实施例中，可以将原始环境光照信息划分为多个部分(为了便于讨论，以下称为“多个原始部分”)，并且可以将在框230中所确定的环境光照信息划分为多个部分(为了便于讨论，以下称为“多个确定部分”)。然后，可以通过比较多个原始部分与相应的多个确定部分，来确定是否利用确定的所述环境光照信息来修改所述原始环境光照信息。图6示出了一个根据这种实施例的用于更新环境光照信息的方法600的流程图。

在框610中，将原始环境光照信息划分为N个原始部分，记为P₁,P₂,...P_N，其中N是大于或等于1的整数。在框620中，将确定的环境光照信息划分为N个确定部分，Q₁,Q₂,...Q_N。如果N个原始部分中有一个原始部分P_K与对应的确定部分Q_K(其中1≤K≤N，且K为整数)之间的差异大于阈值差异，则可以利用确定的环境光照信息来修改原始环境光照信息。

在框630，判断P_K与Q_K之间的差异是否大于阈值差异。该阈值差异例如可以根据经验值、先前计算过的差异值等通过多种方式而预先确定。通过该阈值差异，可以判断P_K与Q_K是否存在相对较大的变化。如果P_K与Q_K之间的差异大于阈值差异，则可以认为原始环境光照信息与当前确定的环境光照信息具有较大差别。此时，在框660，利用确定的环境光照信息来修改原始环境光照信息。

相反，如果在框630判断P_K与Q_K之间的差异小于或等于阈值差异，则在框640使得K＝K+1。在框650，判断是否已到达最后一个确定部分或原始部分，也即，判断在框640所计算出的K是否大于N。如果K>N，则表明所有原始部分及其对应的确定部分已判断完毕，并且原始环境光照信息与当前所确定的环境光照信息的差异较小，因此无需对原始环境光照信息进行修改。

通过上述方式，可以动态地或实时地对可穿戴计算设备100的环境光照信息进行更新，从而可以使可穿戴计算设备100所使用的环境光照信息更加符合当前环境的实际光照情况，提高对象呈现的真实感。

根据本公开的实施例，可穿戴计算设备100获取所处的环境的一个或多个图像，基于调整后的图像来确定环境光照信息，从而可以利用该环境光照信息向用户呈现对象。因此，可穿戴计算设备100在呈现对象106的过程中考虑了真实世界的光照条件，从而有效提高了所呈现的对象的真实感，增强了用户体验。图7A和图7B分别示出了根据现有技术所呈现的对象和根据本公开的实施例所呈现的对象。可以看到，相对于如图7A所示的现有技术所呈现的对象，图7B中根据本公开的实施例所呈现的对象更具有环境光照的效果，使用户更具有真实感。这将显著提升用户体验以及用户交互的准确性。

本文中所描述的方法和功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如但不限于，可以使用的硬件逻辑组件的示意性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

以下列出了本公开的一些示例实现方式。

本公开的实施例包括一种计算机实现的方法。该方法包括：获取可穿戴计算设备所处的环境的至少一个图像，该至少一个图像由与可穿戴计算设备可操作地通信的相机拍摄；基于相机在拍摄至少一个图像时所使用的相机参数，来调整至少一个图像的像素值；以及基于经调整的至少一个图像来确定至少指示环境中的多个方向的光强度的环境光照信息。

在一些实施例中，获取可穿戴计算设备所处的环境的至少一个图像包括：基于指示相机的视角范围的参数，确定覆盖环境所需的多个拍摄方向；以及使相机按照多个拍摄方向来拍摄多个图像。

在一些实施例中，相机参数可以包括以下至少一项：曝光时间、感光度、曝光量、光圈大小和快门速度。

在一些实施例中，确定可穿戴计算设备的环境光照信息包括：基于经调整的至少一个图像，生成环境的全景图像；以及将全景图像映射到指示环境光照信息的立体图。

在一些实施例中，该方法还包括：确定是否存在可穿戴计算设备所处的环境的原始环境光照信息；以及响应于确定存在原始环境光照信息，利用确定的环境光照信息来更新原始环境光照信息。

在一些实施例中，利用确定的环境光照信息来更新原始环境光照信息包括：将原始环境光照信息划分为第一多个部分；将确定的环境光照信息划分为第二多个部分；以及响应于第一多个部分中的一个部分与第二多个部分中的对应部分之间的差异大于阈值差异，利用确定的环境光照信息来修改原始环境光照信息。

在一些实施例中，该方法还包括：基于环境光照信息向可穿戴计算设备的用户呈现对象。

在一些实施例中，基于环境光照信息向可穿戴计算设备的用户呈现对象包括：基于环境光照信息来生成与对象相关联的初始光照图；对初始光照图进行降采样，以生成具有不同分辨率的降采样光照图集合；以及基于降采样光照图集合来呈现对象。

本公开的实施例包括一种可穿戴计算设备，包括：处理单元；存储器，耦合至处理单元并且存储有指令，该指令在由处理单元执行时执行以下动作：获取可穿戴计算设备所处的环境的至少一个图像，该至少一个图像由与可穿戴计算设备可操作地通信的相机拍摄；基于相机在拍摄至少一个图像时所使用的相机参数，来调整至少一个图像的像素值；以及基于经调整的至少一个图像来确定至少指示环境中的多个方向的光强度的环境光照信息。

在一些实施例中，获取可穿戴计算设备所处的环境的至少一个图像包括：基于指示相机的视角范围的参数，确定覆盖环境所需的多个拍摄方向；以及使相机按照多个拍摄方向来拍摄多个图像。

在一些实施例中，相机参数可以包括以下至少一项：曝光时间、感光度、曝光量、光圈大小和快门速度。

在一些实施例中，确定可穿戴计算设备的环境光照信息包括：基于经调整的至少一个图像，生成环境的全景图像；以及将全景图像映射到指示环境光照信息的立体图。

在一些实施例中，该方法还包括：确定是否存在可穿戴计算设备所处的环境的原始环境光照信息；以及响应于确定存在原始环境光照信息，利用确定的环境光照信息来更新原始环境光照信息。

在一些实施例中，利用确定的环境光照信息来更新原始环境光照信息包括：将原始环境光照信息划分为第一多个部分；将确定的环境光照信息划分为第二多个部分；以及响应于第一多个部分中的一个部分与第二多个部分中的对应部分之间的差异大于阈值差异，利用确定的环境光照信息来修改原始环境光照信息。

在一些实施例中，该方法还包括：基于环境光照信息向可穿戴计算设备的用户呈现对象。

在一些实施例中，基于环境光照信息向可穿戴计算设备的用户呈现对象包括：基于环境光照信息来生成与对象相关联的初始光照图；对初始光照图进行降采样，以生成具有不同分辨率的降采样光照图集合；以及基于降采样光照图集合来呈现对象。

本公开的实施例还提供了一种计算机程序产品，所述计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在可穿戴计算设备中运行时使得所述设备：获取可穿戴计算设备所处的环境的至少一个图像，该至少一个图像由与可穿戴计算设备可操作地通信的相机拍摄；基于相机在拍摄至少一个图像时所使用的相机参数，来调整至少一个图像的像素值；以及基于经调整的至少一个图像来确定至少指示环境中的多个方向的光强度的环境光照信息。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：基于指示相机的视角范围的参数，确定覆盖环境所需的多个拍摄方向；以及使相机按照多个拍摄方向来拍摄多个图像。

在一些实施例中，相机参数包括以下至少一项：曝光时间、感光度、曝光量、光圈大小和快门速度。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：基于经调整的至少一个图像，生成环境的全景图像；以及将全景图像映射到指示环境光照信息的立体图。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：确定是否存在可穿戴计算设备所处的环境的原始环境光照信息；以及响应于确定存在原始环境光照信息，利用确定的环境光照信息来更新原始环境光照信息。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：将原始环境光照信息划分为第一多个部分；将确定的环境光照信息划分为第二多个部分；以及响应于第一多个部分中的一个部分与第二多个部分中的对应部分之间的差异大于阈值差异，利用确定的环境光照信息来修改原始环境光照信息。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：基于环境光照信息向可穿戴计算设备的用户呈现对象。

在一些实施例中，所述机器可执行指令在设备中运行时还使得所述设备：基于环境光照信息来生成与对象相关联的初始光照图；对初始光照图进行降采样，以生成具有不同分辨率的降采样光照图集合；以及基于降采样光照图集合来呈现对象。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (19)

1.一种可穿戴计算设备，包括：

处理单元；

存储器，耦合至所述处理单元并且存储有指令，所述指令在由所述处理单元执行时执行以下动作：

拍摄所述可穿戴计算设备所处的环境的图像，所述图像由与所述可穿戴计算设备可操作地通信的相机拍摄；

基于所述相机在拍摄所述图像时所使用的相机参数，调整所拍摄图像的像素颜色值和像素透明度，从而得到经调整的拍摄图像，经调整的所述拍摄图像提供用于识别环境光方向的基线，所述相机参数包括曝光时间、感光度和伽马校正参数中的一项或多项；

基于经调整的所述拍摄图像来确定至少指示所述环境中的多个方向的光强度的环境光照信息；以及

基于所述环境光照信息调整随后拍摄的图像中物体的高光反射和漫反射。

2.根据权利要求1所述的设备，其中所述相机设置在所述可穿戴设备上，并且其中拍摄所述可穿戴计算设备所处的环境的图像包括：

基于指示所述相机的视角范围的参数，确定覆盖所述环境所需的多个拍摄方向；以及

使所述相机按照所述多个拍摄方向来拍摄多个图像。

3.根据权利要求1所述的设备，其中基于所述相机参数调整所拍摄图像的像素颜色值包括：将所述像素颜色值以所述伽马校正参数为幂并且除以所述感光度与曝光时间的乘积。

4.根据权利要求1所述的设备，其中确定所述可穿戴计算设备的环境光照信息包括：

基于经调整的所述至少一个图像，生成所述环境的全景图像；以及

将所述全景图像映射到指示所述环境光照信息的立体图。

5.根据权利要求1所述的设备，还包括：

确定是否存在所述可穿戴计算设备所处的环境的原始环境光照信息；以及

响应于确定存在所述原始环境光照信息，利用确定的所述环境光照信息来更新所述原始环境光照信息。

6.根据权利要求5所述的设备，其中利用确定的所述环境光照信息来更新所述原始环境光照信息包括：

将所述原始环境光照信息划分为第一多个部分；

将确定的所述环境光照信息划分为第二多个部分；以及

响应于所述第一多个部分中的一个部分与所述第二多个部分中的对应部分之间的差异大于阈值差异，利用确定的所述环境光照信息来修改所述原始环境光照信息。

7.根据权利要求1所述的设备，还包括：

基于所述环境光照信息向所述可穿戴计算设备的用户呈现对象。

8.根据权利要求7所述的设备，其中基于所述环境光照信息向所述可穿戴计算设备的用户呈现对象包括：

基于所述环境光照信息来生成与所述对象相关联的初始光照图；

对所述初始光照图进行降采样，以生成具有不同分辨率的降采样光照图集合；以及

基于所述降采样光照图集合来呈现所述对象。

9.一种由可穿戴计算设备实现的方法，包括：

拍摄所述可穿戴计算设备所处的环境的图像，所述图像由与所述可穿戴计算设备可操作地通信的相机拍摄；

基于所述相机在拍摄所述图像时所使用的相机参数，调整所拍摄图像的像素颜色值和像素透明度，从而得到经调整的拍摄图像，经调整的所述拍摄图像提供用于识别环境光方向的基线，所述相机参数包括曝光时间、感光度和伽马校正参数中的一项或多项；

基于经调整的所述拍摄图像来确定至少指示所述环境中的多个方向的光强度的环境光照信息；以及

基于所述环境光照信息调整随后拍摄的图像中物体的高光反射和漫反射。

10.根据权利要求9所述的方法，其中所述相机设置在所述可穿戴设备上，并且其中拍摄所述可穿戴计算设备所处的环境的图像包括：

基于指示所述相机的视角范围的参数，确定覆盖所述环境所需的多个拍摄方向；以及

使所述相机按照所述多个拍摄方向来拍摄多个图像。

11.根据权利要求9所述的方法，其中确定所述可穿戴计算设备的环境光照信息包括：

基于经调整的所述至少一个图像，生成所述环境的全景图像；以及

将所述全景图像映射到指示所述环境光照信息的立体图。

12.根据权利要求9所述的方法，还包括：

确定是否存在所述可穿戴计算设备所处的环境的原始环境光照信息；以及

响应于确定存在所述原始环境光照信息，利用确定的所述环境光照信息来更新所述原始环境光照信息。

13.根据权利要求12所述的方法，其中利用确定的所述环境光照信息来更新所述原始环境光照信息包括：

将所述原始环境光照信息划分为第一多个部分；

将确定的所述环境光照信息划分为第二多个部分；以及

响应于所述第一多个部分中的一个部分与所述第二多个部分中的对应部分之间的差异大于阈值差异，利用确定的所述环境光照信息来修改所述原始环境光照信息。

14.根据权利要求9所述的方法，还包括：

基于所述环境光照信息向所述可穿戴计算设备的用户呈现对象。

15.根据权利要求9所述的方法，其中基于所述环境光照信息向所述可穿戴计算设备的用户呈现对象包括：

基于所述环境光照信息来生成与所述对象相关联的初始光照图；

对所述初始光照图进行降采样，以生成具有不同分辨率的降采样光照图集合；以及

基于所述降采样光照图集合来呈现所述对象。

16.一种非瞬态计算机存储介质，存储有计算机程序产品并且包括机器可执行指令，所述机器可执行指令在可穿戴计算设备中运行时使得所述可穿戴计算设备：

拍摄所述可穿戴计算设备所处的环境的图像，所述图像由与所述可穿戴计算设备可操作地通信的相机拍摄；

基于所述相机在拍摄所述图像时所使用的相机参数，调整所拍摄图像的像素颜色值和像素透明度，从而得到经调整的拍摄图像，经调整的所述拍摄图像提供用于识别环境光方向的基线，所述相机参数包括曝光时间、感光度和伽马校正参数中的一项或多项；

基于经调整的所述拍摄图像来确定至少指示所述环境中的多个方向的光强度的环境光照信息；以及

基于所述环境光照信息调整随后拍摄的图像中物体的高光反射和漫反射。

17.根据权利要求16所述的计算机程序产品，其中所述机器可执行指令在可穿戴计算设备中运行时还使得所述可穿戴计算设备：

基于指示所述相机的视角范围的参数，确定覆盖所述环境所需的多个拍摄方向；以及

使所述相机按照所述多个拍摄方向来拍摄多个图像。

18.根据权利要求16所述的计算机程序产品，其中所述机器可执行指令在可穿戴计算设备中运行时还使得所述可穿戴计算设备：

基于经调整的所述至少一个图像，生成所述环境的全景图像；以及

将所述全景图像映射到指示所述环境光照信息的立体图。

19.根据权利要求16所述的计算机程序产品，其中所述机器可执行指令在可穿戴计算设备中运行时还使得所述可穿戴计算设备：

确定是否存在所述可穿戴计算设备所处的环境的原始环境光照信息；以及

响应于确定存在所述原始环境光照信息，利用确定的所述环境光照信息来更新所述原始环境光照信息。

Images