CN116762055A - 同步虚拟现实通知 - Google Patents

Abstract

在同步在VR环境中创建的通知以在另一时间在物理环境中呈现通知的方法中，可以跨所有相关环境映射通知，并且通知可以与条件相关联，该条件当被触发时使得通知被呈现给用户。计算机实现的方法可以包括在第一时间在第一环境中的计算设备处接收自然语言请求；将所述自然语言请求解析为包括提示成分和内容成分的语义成分；基于所述提示成分和所述内容成分确定一个或多个条件；将语义成分映射到多个环境；以及如果该一个或多个条件在晚于第一时间的第二时间被满足，则由计算设备执行通知，该通知表示多个环境中的第二环境中的提示成分和内容成分。

Description

同步虚拟现实通知

技术领域

本发明一般涉及虚拟现实领域，尤其涉及跨虚拟现实环境和物理环境同步通知。

背景技术

虚拟现实(VR)环境中的交互可以使用头戴式显示器和其他接口设备来实现，并且可以用于扩展的应用阵列中。配备有可穿戴VR设备的用户可以视觉上沉浸在VR世界或完全虚拟的VR环境中或者虚拟和物理的组合中。VR设备和环境被应用于工作、购物、游戏、虚拟旅行和其他形式的娱乐等。当使用VR设备访问特定VR环境时，用户部分地或完全地与物理世界断开连接。而且，在大多数情况下，用户与用户在其它时间可能访问的其它VR环境完全断开连接。当用户在VR环境中导航时，各种VR特征可以是可用的或不可用的。例如，用户可以在一个VR环境中执行任务，而在另一个VR环境中不能执行该任务。这是希望在一个环境中执行任务并将这些任务转换成另一环境中的动作或事件的用户所面临的缺点。当前，另一缺点是用户可能具有各种方式来创建特定于用户的当前环境(例如，虚拟或物理)的通知(例如，提示)，但是用户不能创建或修改在用户可在另一时间接入或访问的其它环境中有效的通知。不连贯的VR环境向希望将多个VR环境与在一个VR环境中创建的任务和事件同步的用户提出了挑战。

发明内容

本发明的实施例公开了用于跨虚拟现实环境和物理环境同步通知的计算机实现的方法、计算机程序产品和***。用于在虚拟现实环境和物理环境之间同步通知的计算机实现的方法可以包括一个或多个处理器被配置用于：在第一时间在多个环境中的第一环境内操作的计算设备处接收自然语言请求，其中多个环境各自包括一个或多个参数并且多个环境可由与计算设备相关联的用户访问；将所述自然语言请求解析为包括提示成分和内容成分的语义成分；基于所述提示成分和所述内容成分确定一个或多个条件；将语义成分映射到多个环境；以及如果该一个或多个条件在晚于第一时间的第二时间被满足，则由计算设备执行通知，该通知表示在多个环境中的第二环境内的提示成分和内容成分。

作为解决方案，同步多个VR环境使得在满足某些条件时在一个环境中创建的提示或通知在另一VR环境中被触发，这为现有技术中面临的挑战提供了优点。这些优点允许用户沉浸在VR场景的整个范围内，其中他们可以在一个VR环境中创建事件或通知、行进到另一个VR环境，并且也使事件或通知在那里应用。由于事件或通知在所有可应用的VR环境中同步，因此与事件或通知相关联的条件可以在适当的VR环境中被触发，其中在该VR环境中，用户必须采取相关联的动作或接收在事件或通知被创建时确定的相关联的信息集。

作为进一步的优点，计算机实现的方法还可以包括使用语义分析将自然语言请求转变为文本数据。计算机实现的方法还可以优选地包括将自然语言请求中的提示成分识别为指示计算设备生成通知的设备命令。作为另一个优点，计算机实现的方法还可以包括将自然语言请求中的内容成分标识为指示用户执行任务的用户命令。优选地，一个或多个条件可以包括以下各项中的一个或多个：对应于位置的地理条件、对应于用户事件的活动条件、以及基于内容成分确定的用户条件。作为优点，第一环境可以是虚拟现实环境，第二环境可以是物理环境，反之亦然。优选地，通知可以是表示内容成分的听觉提示和视觉提示中的一个或多个，并且经由可通信地与计算设备耦合的VR护目镜呈现给用户。

附图说明

图1描绘了根据本发明的实施例的功能框图，其示出了用于跨虚拟现实环境和物理环境同步通知的分布式数据处理环境；

图2描绘了根据本发明的实施例的用于跨虚拟现实环境和物理环境同步通知的***的流程图；

图3描绘了根据本发明的实施例的用于跨虚拟现实环境和物理环境同步通知的方法的流程图；以及

图4描绘了根据本发明实施例的图1的分布式数据处理环境的计算设备的框图。

具体实施方式

本文描述的实施例提供了计算机实现的方法、计算机***和计算机程序产品，通过它们，用户可以在物理世界中或在多个VR环境(例如，工作、购物、游戏或其他形式的人类活动)中创建提示或通知。本发明的实施例认识到，在一个环境中输入的提示在呈现于另一环境(无论是物理环境还是虚拟环境)中时可能是最有用的。提示可以在包括物理世界和VR世界的两个或更多个环境之间同步。可以基于在提示被创建时或稍后时间指定的条件来呈现提示。取决于作为提示属性的一部分而指定的条件，可以在用户或其他用户在任何环境中的活动期间向他们通知提示。

当使用VR设备来访问特定VR环境时，用户部分或完全地与物理世界断开连接，并且在大多数情况下，与用户在不同时间可能使用的其他VR环境完全断开连接。用户可以采用各种方法来创建特定于用户的当前环境(例如，物理环境或虚拟环境)的通知(例如，提示)，但是用户可能不能够创建或修改在用户在不同时间访问的环境中有效的通知。例如，在第一时间，用户可能正在使用VR环境中的VR设备，其中用户创建在满足一个或多个条件时(例如，在特定时间、在特定位置、在观察特定项目时)被提醒以执行任务的通知，但是用户可能不能在另一环境中创建该通知，因为用户不在该环境中或者不能访问该环境。因此，在通知被创建时建立的一个或多个条件被满足时，VR环境中的用户创建通知可以呈现给其他环境中的用户。

在实施例中，计算机实现的方法可以包括一个或多个处理器，其被配置为经由与用户相关联的用户设备的用户接口接收用户输入，其中，可以处理用户输入以在用户设备所存在的物理或虚拟环境中的任何一个中创建或修改通知(例如，提示)。然后，通知(例如，提示)可以在所有环境之间同步，并且根据在通知被创建时或之后指定或确定的条件被应用。

同步多个VR环境使得在满足某些条件时在一个环境中创建的提示或通知在另一VR环境中被触发，这为现有技术中面临的挑战提供了优点。这些优点允许用户沉浸在VR场景的整个范围内，其中用户可以在一个VR环境中创建事件或通知，行进到另一个VR环境，并且也让事件或通知在那里应用。由于事件或通知在所有可应用的VR环境中同步，因此与事件或通知相关联的条件可以在适当的VR环境中被触发，在该VR环境中，用户被推荐采取相关联的动作或接收在事件或通知被创建时确定的相关联的信息集。

在一个实施例中，计算机实现的方法可以包括一个或多个处理器，其被配置为检测与在VR环境内交互的用户相关联的用户设备。当在VR环境内交互时，可以生成用户界面，并且将该用户界面配置为接收用户输入，以基于VR环境内的一个或多个选择的条件来创建一个或多个通知(例如，提示)。一个或多个处理器可以被配置为根据通知被创建时或者在用户正在访问不同的VR环境时或者在物理环境中的稍后时间指定或确定的条件来应用通知。

在一个实施例中，计算机实现的方法可以包括一个或多个处理器，该一个或多个处理器被配置为接收用户输入以基于物理环境内的一个或多个选择的条件来创建一个或多个通知(例如，提示)，其中当在一个或多个特定VR环境内检测到用户并且该一个或多个选择的条件在该一个或多个特定VR环境中被满足时，可以呈现通知以被用户检测到。

在一个实施例中，用户输入可以对应于创建通知以供用户接收或其他用户接收的指令。换言之，一个或多个处理器可以被配置为从第一用户接收用户输入以创建一个或多个通知，当在特定VR环境或特定物理环境中检测到第二用户时，如果一个或多个条件被满足，则该一个或多个通知被呈现给第二用户。创建通知的用户输入可以通过文本输入、图形用户界面(GUI)、语音到文本、文本到语音或本领域技术人员已知的任何其他用户数据输入方法来完成。

在一个实施例中，一个或多个处理器可以被配置为在创建通知和相关联指定条件以触发通知时考虑多个因素。例如，当将通知和相关联的条件映射或同步到一个或多个环境时，可以考虑环境位置(例如，VR或物理的)、地理围栏区域、时间、情境情况等。其它VR环境参数和物理环境参数可被考虑或嵌入在一个或多个环境内以用于确定是否向预期用户呈现通知。在一个实施例中，可以连续地考虑通知参数(例如，用户位置、用户行为和/或定时信息)并将其与通知参数进行比较，以确定是否满足向预期用户呈现通知的条件。在一个实施例中，通知参数还可以包括在确定何时在环境(例如VR环境和/或物理环境)中向预期用户呈现通知时其他用户(例如，除了负责创建通知的用户之外的用户)的位置和/或行为。

通过在创建通知时考虑多个因素并将其与指定的条件相关联以触发该通知，本文描述的实施例允许将许多定制应用于每个通知。此外，有利的是，跨每个适用的VR环境同步通知，使得用户可以在他们的整个域中自由地导航，并且一旦条件被满足就仍被呈现适当的通知。

在一个实施例中，一个或多个处理器可以被配置为接收来自用户的输入，以通过接收与用于呈现通知的条件相对应的参数输入来创建通知。例如，用于呈现通知的条件可以包括确定用户是否在与商店类型或特定地理位置相对应的环境内，并然后向用户呈现通知。用于呈现通知的条件的另一示例可以包括确定是否已经经过了一定量的时间，然后向用户呈现通知。可以建立多个条件来触发向用户呈现通知。

在一个实施例中，通知可以是用户可感知的任何形式。例如，通知可以包括听觉提示、视觉提示、触觉提示、消息提示或其任意组合。该通知可以包括与要由与用户相关联的一个或多个用户设备执行的多个动作相对应的规范。此外，通知可以包括与要由不与用户相关联的一个或多个用户设备(例如，与第一用户设备相关联的第二用户设备)执行的多个动作相对应的规范。

在一个实施例中，第一用户可以在第一用户设备上设置具有条件的通知，当该条件被满足时，可以包括第二用户设备向第二用户呈现通知。例如，由第一用户设置的通知可以触发要由第二用户设备呈现给第二用户以进行电话呼叫或传送文本消息的通知。通知还可以包括关于哪个环境呈现通知的参数或指令。例如，如果用户或其他用户处于通过检测预期用户的地理位置而确定的特定环境中，则用户可以提供条件以仅向用户或另一用户呈现通知。通知参数还可以包括关于以下各项的信息：基于那些用户的许可哪些特定用户应当接收通知、在哪个环境中接收通知、以及应当在哪个定时参数中呈现通知。

在一个实施例中，计算机实现的方法可以包括一个或多个处理器，该一个或多个处理器被配置为接收用户输入以在不处于物理环境内时基于一个或多个选择的条件创建一个或多个通知(例如，提示)，其中通知也可以在用户未被检测到时或在特定VR环境内被检测到并且一个或多个选择的条件即使不在特定VR环境中或在特定VR环境内也被满足时被呈现。多个环境可以各自包括一个或多个参数，并且多个环境可以由与计算设备相关联的用户访问。

在一个实施例中，计算机实现的方法可以包括一个或多个处理器，其被配置为基于由用户指定的或由一个或多个处理器确定的一个或多个条件来在一个或多个环境(例如，VR环境、物理环境)内同步(例如，映射)一个或多个通知。

一旦一个或多个通知被同步或成功地映射到一个或多个环境，一个或多个处理器就可以被配置为确定是否在该一个或多个环境中检测到用户，并且如果与该一个或多个通知相关联的一个或多个条件被满足，则将该一个或多个通知呈现给预期用户。

在一个实施例中，与一个或多个用户设备(例如，智能电话、VR护目镜等)相关联的用户可以正在商店浏览产品，同时佩戴一个或多个用户设备(例如，与智能电话耦合的VR护目镜)。当用户在商店中导航内容时，***可以被配置成检测用户购买第一产品并且查看第二产品。一个或多个处理器可以被配置为分析用户的购物行为(例如，购买第一产品并且查看第二产品)并且基于一个或多个条件创建通知以向用户发送关于第二产品的提示，该一个或多个条件可以由用户设置或者由一个或多个处理器基于与当前用户环境和/或稍后用户环境相对应的一个或多个环境参数来确定。

在另一个实施例中，计算机实现的方法可以包括一个或多个处理器，其被配置用于在计算设备(例如，用户设备)上执行指令，以通过分析物理环境和VR环境中的上下文参数和状况来维持物理环境和虚拟环境之间的映射。例如，当用户正在导航配备有VR用户设备的VR环境时，VR用户设备可以被配置为分析存在于VR环境中的VR内容以识别用户的虚拟地理位置(例如，虚拟坐标)。此外，当用户正在导航配备有VR用户设备的VR环境时，VR设备可以被配置为识别用户的虚拟环境位置，诸如购物中心、火车站或用户可访问的其他兴趣点。此外，当用户正在导航配备有VR用户设备的VR环境时，VR设备可以被配置为识别或检测物理或VR环境中存在的其他用户的存在。

在VR设备被配置为检测VR环境中存在的其他用户的呈现的示例中，一个或多个处理器可以被配置为处理其他用户的呈现以确定是否存在触发提示的条件。例如，当用户处于第一环境中时，可能已经创建了“提醒我对Trayvon说生日快乐”。然后，一旦VR设备使用VR设备的传感器检测到Trayvon在另一环境中的呈现，则一个或多个处理器可以被配置为向用户呈现通知，该通知转发消息“对Trayvon说生日快乐”。该通知可以呈现为从连接到VR设备的扬声器播放的音频消息、呈现为被显示以便用户可以视觉地查看它的文本消息、或者呈现为指示提示的查看或接收的唯一触觉通知。

在一个实施例中，一个或多个处理器可以被配置为使用对存在于VR环境中的VR内容进行上下文分析来识别虚拟地理围栏区域。在执行VR内容的上下文分析时，一个或多个处理器可以被配置为处理与时间、天气、用户活动、用户响应和诸如地理位置、定时等的环境参数(例如，VR环境参数和/或物理环境参数)相对应的数据。在执行上下文分析以生成通知时，可以从物理和VR环境组合多个因素(例如，时间、天气、用户活动、用户响应和/或环境参数)。例如，VR用户设备可以被激活并且由用户使用以参与具有一个或多个游览路径的游览，其中VR用户设备被配置成执行与用于特定路径的游览向导操作者相对应的指令。在第一路径上的游览期间，VR用户设备可以基于位置数据来确定其处于第一位置(例如，国家公园中的路径上的第一照片停留)。此外，VR用户设备可被配置为基于天气数据来确定天气条件(例如，能见度、降雨量和/或温度)。此外，VR用户设备可以被配置为确定时间数据(例如，一天中的时间)并且使用时间数据来确定一天中的什么时间适于参与游览。此外，VR用户设备可以确定所选择的一天中的时间不适于参与游览，并且提供第一通知以被用户检测到，以从第一游览路径绕道至第二游览路径。可以向VR用户设备的用户提供多个通知以被检测到。例如，除了第一通知之外，VR用户设备可以被配置为提供第二通知以提供可能与用户相关的信息。第二通知可以包括告诉用户“享受观看！”。此外，通知可以包括供用户接收和做出决定的备选消息(例如，绕道至不同路径或在当前路径上继续)。

本发明的实施例的实现可以采取各种形式，并且随后参考附图讨论示例性实现细节。

图1描绘了根据本发明的一个实施例的功能框图，其示出了用于跨虚拟现实环境和物理环境同步通知的分布式数据处理环境，通常指定为100。这里使用的术语“分布式”描述了包括多个物理上不同的设备的计算机***，这些设备作为单个计算机***一起操作。

图1仅提供了本发明的一个实施例的图示，并且不暗示对其中可以实现不同实施例的环境的任何限制。如图1所示，用于跨虚拟现实环境和物理环境同步通知的分布式数据处理环境100包括被配置成促进数据库124、服务器125、用户设备130和虚拟现实头戴式装置132之间的通信的网络110。

网络110作为计算网络来操作，该计算网络可以是例如局域网(LAN)、广域网(WAN)或两者的组合，并且可以包括有线、无线或光纤连接。通常，网络110可以是将支持数据库124、服务器125、用户设备130和虚拟现实头戴式装置132之间的通信的连接和协议的任何组合。还应当理解，在一些实施例中，网络110是可选的，并且用于跨虚拟现实环境和物理环境同步通知的分布式数据处理环境100可以作为独立***操作，其中在其他实施例中，网络110可以被配置为使得用户设备130和/或虚拟现实头戴式装置132能够使用网络110共享联合数据库。

用户设备130可以是被配置用于陪伴用户的电子设备。用户设备130可以是个人电子设备，诸如移动通信设备、智能电话、平板电脑、个人数字助理、智能可穿戴设备、个人膝上型计算机、桌上型计算机或被配置用于用户交互并收集用户信息以生成用户简档的任何其他电子设备。在所描绘的实施例中，用户设备130包括用户接口122和(一个或多个)传感器(未示出)。用户设备130可以包括如图4中进一步详细描述的组件。

用户接口122用作用户设备130上的本地用户接口，用户设备130的一个或多个用户通过该本地用户接口与用户设备130交互。在一些实施例中，用户接口122是用户设备130或虚拟现实头戴式装置132上的程序(例如，被配置为执行本文描述的本发明的步骤的软件)的本地应用接口。在一些实施例中，用户接口122是图形用户接口(GUI)、web用户接口(WUI)和/或语音用户接口(VUI)，它们可以显示(即，视觉地)、呈现(即，可听地)和/或使得用户能够经由网络110输入或接收用于程序或来自程序的信息(即，图形、文本和/或声音)。在一个实施例中，用户接口122使用户能够传送和接收数据(即，分别经由网络110向程序发送和从程序接收)。在一个实施例中，用户界面122使得用户能够选择加入程序、输入用户相关数据、以及接收提示以完成任务或活动。

虚拟现实头戴式装置132可以是被配置为提供对VR环境的访问的组件的电子设备。电子设备可以包括无线传感器、软件、致动器和计算机设备。虚拟现实头戴式装置132可以经由网络110从远程控制***或经由本地网络从本地控制***或两者的组合来控制。此外，虚拟现实头戴式装置132可以被配置成经由由虚拟现实头戴式装置132或用户设备130安装并执行的软件应用来控制。虚拟现实头戴式装置132在连接到网络时可传达与设备本身或经由网络110连接的其他设备相对应的使用数据和其他类型的数据，其中数据可以提供在所设计的应用的范围内有用的洞察。虚拟现实头戴式装置132可以配置有处理器、存储器和***设备(未示出)以接收和处理数据。虚拟现实头戴式装置132可以包括如图4中进一步详细描述的组件。

在一些实施例中，用户可以戴上特殊手套，和/或利用手持控制器结合虚拟现实头戴式装置132来执行VR环境中的操作。可选地，一个或多个可穿戴传感器可用于用户在虚拟环境中操作时获得关于用户的各种数据。该数据可以包括但不限于位置数据、生物测定数据和/或周围环境数据。

数据库124可以作为与服务器125、用户设备130、虚拟现实头戴式装置132相关联的数据以及在网络110内传输的其他数据的储存库。数据库是有组织的数据集合。数据库124可以用能够存储数据和配置文件的任何类型的存储设备来实现，所述数据和配置文件可以被服务器125、用户设备130和/或虚拟现实头戴式装置132访问和利用，诸如数据库服务器、硬盘驱动器或闪存。在一个实施例中，数据库124可以由服务器125、用户设备130和/或虚拟现实头戴式装置132访问以存储与用户设备130或虚拟现实头戴式装置132相关联的数据。在另一实施例中，数据库124可以由用户设备130或虚拟现实头戴式装置132访问以访问如本文所描述的数据。在一个实施例中，数据库124可以独立于网络110而驻留。在另一个实施例中，数据库124可以驻留在分布式数据处理环境100中的其他地方，只要数据库124可以访问网络110。

在所描述的实施例中，服务器125可以包含被配置为执行这里描述的本发明的步骤的程序(即，软件)。在一些实施例中，服务器125可以是(一个或多个)独立计算设备，(一个或多个)管理服务器，(一个或多个)web服务器，(一个或多个)移动计算设备，或能够接收、传送和处理数据的(一个或多个)任何其他电子设备或(一个或多个)计算***。在一些实施例中，服务器125可以是膝上型计算机、平板计算机、上网本计算机、个人计算机(PC)、桌上型计算机、智能电话或能够经由网络110与用户设备130和虚拟现实头戴式装置132通信的任何可编程电子设备。在其他实施例中，服务器125表示利用多个计算机作为服务器***的服务器计算***，诸如云计算环境。在其他实施例中，服务器125表示利用集群计算机和组件(例如，数据库服务器计算机、应用服务器计算机等)的计算***，当在分布式数据处理环境100内被访问时，集群计算机和组件充当单个无缝资源池。服务器125可以包括如图4中进一步详细描述的组件。

图2描绘了根据本发明的实施例的用于跨虚拟现实环境和物理环境同步通知的***200的流程图。

在实施例中，***200可以包括被配置为经由与用户相关联的用户设备(例如，智能电话230A)的用户接口接收用户输入202的一个或多个处理器，其中，用户输入202可以被处理以在其中存在用户设备(例如，智能电话230a)的虚拟环境(例如，虚拟厨房240)或物理环境(例如，杂货店250)中的任何一个中创建或修改通知203(例如，提示)。然后，可以在所有环境(例如，虚拟厨房240和杂货店250)之间同步通知203，并且根据在用户输入202被用于创建通知203时或之后指定或确定的条件应用通知203。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为检测与在VR环境内交互的用户相关联的一个或多个用户设备(例如，智能电话230a和VR眼镜230b)。当在VR环境内交互时，可以生成用户界面或者使其可用，并且用户界面可以被配置为接收用户输入202以基于VR环境内的一个或多个选择的条件创建一个或多个通知203。一个或多个处理器可以被配置为根据在接收和处理用户输入202以创建通知203时或者在用户正在访问不同的VR环境的稍后时间或者在物理环境中指定或确定的条件来应用通知203。一旦应用了通知203，一个或多个处理器可以被配置为根据与通知203相关联的条件来呈现要由用户感知的通知203。

VR眼镜230B可以是提供虚拟现实能力的电子计算设备。其可以包括虚拟现实头戴式装置、移动计算设备(例如，智能电话、平板计算机或其他合适的计算设备)、膝上型计算机、桌上型计算机和/或可穿戴计算设备。在实施例中，用户使用VR眼镜230b来导航虚拟环境(世界)以执行与对应于物理世界中的类似任务的任务相关联的虚拟动作。在执行任务期间，各种生物测定和/或环境数据被获取。该数据驱动虚拟环境中的产品评估，并且使得能够估计产品在类似物理环境中的性能。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为接收用户输入202以基于物理环境内的一个或多个选择的条件来创建一个或多个通知203，其中当在一个或多个特定环境内检测到用户以及当一个或多个选择的条件在一个或多个特定环境中被满足时，可以呈现通知203以被用户检测到。

在一个实施例中，用户输入202可以对应于创建通知203以供用户接收或供其他用户接收的指令。换言之，一个或多个处理器可以被配置为从第一用户接收用户输入202以创建一个或多个通知203，当在特定VR环境或特定物理环境中检测到第二用户时，如果一个或多个条件被满足，则该一个或多个通知203被呈现给第二用户。接收用户输入202以创建通知203可以包括经由文本输入、图形用户界面(GUI)、语音到文本、文本到语音或本领域技术人员已知的任何其他用户数据输入方法的输入。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为在创建通知203以及将其与指定的条件关联以触发通知203时考虑多个因素。例如，当将通知203和相关联的条件映射或同步到一个或多个环境(例如，VR环境和/或物理环境)时，可以考虑环境位置、地理围栏区域、时间、上下文情况等。其它VR环境参数和物理环境参数可被考虑或嵌入在一个或多个环境内以用于确定是否向预期用户呈现通知。在实施例中，可以连续地考虑通知参数(例如，用户位置、用户行为和/或定时信息)并将其与通知参数进行比较，以确定是否满足向预期用户呈现通知203的条件。在一个实施例中，通知参数还可以包括在确定何时在环境(例如VR环境和/或物理环境)中向预期用户呈现通知时其他用户(例如，除了负责创建通知的用户之外的用户)的位置和/或行为。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为从用户接收用户输入202，以通过接收与用于呈现通知203的条件相对应的参数输入来创建通知203。例如，用于呈现通知203的条件可以包括确定用户是否在与商店类型或特定地理位置相对应的环境内，并且然后向用户呈现通知203。用于呈现通知203的条件的另一示例可以包括确定是否已经经过了一定量的时间，然后向用户呈现通知203。可以建立多个条件来触发向用户呈现通知203。

在一个实施例中，***200可以包括一个或多个处理器，其被配置用于使用信息提取技术和语义分析将用户输入202从语音转变为文本，以处理用户输入202。用户输入202可以包括执行任务的指令，其中任务可以是购买特定物品201。在一个实施例中，物品201可以是多个蒜头的蒜头串，其中物品201可以在用户浏览虚拟厨房240时经由VR眼镜230b来识别。例如，如果用户输入202包括文本“不要忘记购买大蒜”，则一个或多个处理器可以被配置为将待执行的动作识别为“购买”、将被购买或采购的对象识别为“大蒜”并且将购买大蒜的位置识别为“杂货店”。通过执行信息提取和语义分析来确定的动作、对象和位置可以存储在通知数据库224中以供进一步处理和传输。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为如果用于呈现通知203的条件设置被满足，则将对应于通知203的数据传送到智能电话230a以呈现给智能电话230a的用户。此外，一个或多个处理器可以被配置为将位置数据和其他参数与对应于通知203的数据进行比较，以确定是否以及何时应当向用户呈现通知203。例如，如果与通知203相关联的条件对应于用户在与杂货店250相对应的物理环境的邻近范围内，则一个或多个处理器可以被配置为一旦智能电话230a已经确定用户在与杂货店250相对应的物理环境的邻近范围内，就向用户呈现通知203。

在一个实施例中，通知203可以是用户可感知的任何形式。例如，通知203可以包括听觉提示、视觉提示、触觉提示、消息提示或其任意组合。通知203可以包括与要由与用户相关联的用户设备(例如，智能电话230a、VR眼镜230b)中的一个或多个执行的多个动作相对应的规范。此外，通知203可以包括与要由不与用户相关联的一个或多个用户设备(例如，与第一用户设备相关联的第二用户设备、不与第一用户相关联的第二用户设备)执行的多个动作相对应的规范。

在一个实施例中，第一用户可以经由第一用户设备(例如，智能电话230a、VR眼镜230b)提供用户输入202以创建具有条件的通知203，当该条件被满足时，可以包括被配置用于向与第二用户设备(未示出)相关联的第二用户呈现通知203的一个或多个处理器。例如，由第一用户进行的用于创建通知203的用户输入202可以触发将要由第二用户设备(未示出)呈现给第二用户以进行电话呼叫或发送文本消息的消息203。通知还可以被创建为包括关于哪个环境用来呈现通知的参数或指令。例如，如果用户或其他用户处于通过检测预期用户的地理位置而确定的特定环境中，则用户可以提供条件以仅向用户或另一用户呈现通知。通知参数还可以包括关于基于那些用户的许可哪些特定用户应当接收通知、在哪个环境中接收通知、以及应当何时呈现通知的定时参数的信息。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为接收用户输入202，以当不在物理环境内时，基于一个或多个选择的条件创建一个或多个通知203，其中即使当在特定VR环境内未检测到用户时，并且即使当不在特定VR环境中也满足一个或多个选择的条件时，也可以向用户呈现通知203。

在一个实施例中，***200可以包括一个或多个处理器，其被配置为基于由用户指定的或由一个或多个处理器确定的一个或多个条件，将一个或多个通知203与一个或多个环境(例如VR环境和/或物理环境)同步(例如映射)。

一旦一个或多个通知203被同步或成功地映射到一个或多个环境，一个或多个处理器可以被配置为确定是否在一个或多个环境中检测到用户，并且如果与一个或多个通知203相关联的一个或多个条件被满足，则将一个或多个通知203呈现给预期用户。

在一个实施例中，与一个或多个用户设备(例如，智能电话230a、VR眼镜230b)相关联的用户可以正在商店浏览产品，同时穿戴与智能电话230a耦合的VR眼镜230b。当用户正在商店中导航内容时，***200可以被配置为通过一个或多个用户设备检测到购买第一产品并看第二产品的用户。一个或多个处理器可以被配置为分析用户的购物行为(例如，购买第一产品并查看第二产品)并创建通知203以基于一个或多个条件来向用户发送关于第二产品的提示，该一个或多个条件可以由用户设置或由一个或多个处理器基于与当前用户环境和/或稍后用户环境相对应的一个或多个环境参数来确定。

在另一实施例中，***200可以包括一个或多个处理器，其被配置用于在计算设备(例如，智能电话230a、VR眼镜230b)上执行指令，以通过分析物理环境和VR环境中的情境参数和情况来维持物理环境和虚拟环境之间的映射。例如，当用户正在导航配备有VR用户设备(例如，VR眼镜230b)的VR环境(例如，虚拟厨房240)时，VR用户设备可以被配置为分析存在于VR环境中的VR内容以识别用户的虚拟地理位置(例如，虚拟坐标)。此外，当用户正在导航配备有VR用户设备(例如，VR眼镜230b)的VR环境(例如，虚拟厨房240)时，VR设备(例如，VR眼镜230b)可以被配置为识别用户的虚拟上下文位置，诸如购物中心、火车站或用户可访问的其他兴趣点。此外，当用户正在导航配备有VR用户设备的VR环境时，VR设备可以被配置为识别或检测物理或VR环境中存在的其他用户的呈现。

图3描绘了根据本发明的实施例的用于跨虚拟现实环境和物理环境来同步通知的计算机实现的方法300的流程图。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器被配置用于在第一时间在多个环境中的第一环境内操作的计算设备处接收302自然语言请求，其中多个环境中的至少一个环境是VR环境。例如，自然语言请求可以对应于文本数据、音频输入或旨在作为到计算设备的用户输入的其他用户数据的形式的用户输入。音频输入可以包括可以经由一个或多个处理器被转变成音频数据的语音话语。可以分析音频数据的表型(phenome)，并将其转变为文本以便进一步处理。在一些实施例中，自然语言处理可以在图1的用户设备(例如，用户设备130)和服务器125上机载地执行。在其它实施例中，自然语言处理的全部或一些可以在远程计算机上执行。

在一个实施例中，可以使用诸如机器学习***的自然语言处理(NLP)***来分析音频数据。机器学习***可以用于进一步对输入数据进行分类和归类，该输入数据包括从传感器获取的生物测定数据、图像数据、场景分类算法、对象识别和/或对象分类、人识别、自然语言处理(NLP)、情感分析和/或其他分类过程。机器学习***可以包括一个或多个神经网络、卷积神经网络(CNN)和/或其他深度学习技术。机器学习***可以包括回归算法、分类算法、聚类技术、异常检测技术、贝叶斯滤波和/或其他合适的技术，以分析由一个或多个处理器获得的信息，从而帮助对信息进行分类。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器，其被配置用于将自然语言请求解析304成包括提示成分和内容成分的语义成分。例如，将自然语言请求解析304为语义成分可以包括使用语义分析将自然语言请求转变为文本数据。此外，解析304自然语言请求可以包括将对应于动作的文本标识为提示成分，并将对应于对象和/或位置的文本标识为内容成分。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器，其被配置用于将自然语言请求中的提示成分识别为指示计算设备生成通知的设备命令或动作。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器，其被配置用于将自然语言请求中的内容成分识别为指示用户执行任务的用户命令。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器，其被配置用于基于提示成分和内容成分来确定306一个或多个条件。在一个实施例中，一个或多个条件可以包括对应于位置的地理条件、对应于用户事件的活动条件、以及基于内容成分确定的用户条件中的一个或多个。用户事件可以包括与在特定时间和/或位置执行的自然人为动作相对应的用户活动。例如，用户事件可以包括用户走进杂货店、驾驶经过零售店或慢跑经过服装店。用户事件可以由一个或多个处理器通过处理由与关联于用户的计算设备通信的传感器收集的数据来确定。

在一个实施例中，计算机实现的方法300可以包括被配置用于将语义成分映射308到多个环境的一个或多个处理器。

在一个实施例中，计算机实现的方法300可以包括一个或多个处理器，其被配置用于由计算设备执行310通知，如果一个或多个条件在晚于第一时间的第二时间被满足，则该通知表示多个环境中的第二环境中的提示成分和内容成分。

在一个实施例中，第一环境可以包括虚拟现实环境，并且第二环境可以包括物理环境。

在一个实施例中，通知可以是表示内容成分的听觉提示和视觉提示中的一个或多个。

图4描绘了根据本发明的实施例的图1的分布式数据处理环境100的计算设备400的框图，诸如服务器125、用户设备130和/或虚拟现实头戴式装置132。应当理解，图4仅提供了一种实施方式的说明，而不暗示对其中可实现不同实施例的环境的任何限制。可以对所描述的环境进行许多修改。

计算设备400包括通信结构402，其提供高速缓存416、存储器406、永久性存储装置408、通信单元410和输入/输出(I/O)接口412之间的通信。通信结构402可以用被设计成在处理器(诸如微处理器、通信和网络处理器等)、***存储器、***设备和***内的任何其它硬件组件之间传递数据和/或控制信息的任何架构来实施。例如，通信结构402可以用一个或多个总线或纵横开关来实现。

存储器406和永久性存储装置408是计算机可读存储介质。在该实施例中，存储器406包括随机存取存储器(RAM)。通常，存储器406可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存416是通过保存最近访问的数据和来自存储器406的接近被访问数据的数据来增强计算机处理器404的性能的快速存储器。

软件和数据414可以存储在永久性存储装置408和存储器406中，以便由相应计算机处理器404中的一个或多个经由高速缓存416来运行和/或访问。在一个实施例中，永久性存储装置408包括磁硬盘驱动器。作为磁硬盘驱动器的替代或补充，永久性存储装置408可以包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存或能够存储程序指令或数字信息的任何其它计算机可读存储介质。

永久性存储装置408所使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久性存储装置408。其它示例包括光盘和磁盘、拇指驱动器和智能卡，它们被***到驱动器中以便传送到也作为持久性存储装置408的一部分的另一计算机可读存储介质上。

在这些示例中，通信单元410提供与其他数据处理***或设备的通信。在这些示例中，通信单元410包括一个或多个网络接口卡。通信单元410可以通过使用物理和无线通信链路中的一种或两种来提供通信。软件和数据414可以通过通信单元410下载到永久性存储装置408。

(一个或多个)I/O接口412允许与可以连接到数据库124、服务器125、用户设备130和/或虚拟现实头戴式装置132的其他设备输入和输出数据。例如，I/O接口412可以提供到诸如键盘、小键盘、触摸屏和/或一些其它合适的输入设备的外部设备418的连接。外部设备418还可以包括便携式计算机可读存储介质，例如拇指驱动器、便携式光盘或磁盘、以及存储卡。用于实施本发明的实施例的软件和数据414可以存储在这样的便携式计算机可读存储介质上，并且可以经由(一个或多个)I/O接口412加载到永久性存储装置408上。I/O接口412也连接到显示器420。

显示器420提供向用户显示数据的机制，并且可以是例如计算机监视器。

这里描述的程序是基于在本发明的特定实施例中实施它们的应用来标识的。然而，应当理解，这里的任何特定程序术语仅是为了方便而使用，因此本发明不应当限于仅在由这样的术语标识和/或暗示的任何特定应用中使用。

本发明可以是***、计算机实现的方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的(一个或多个)计算机可读存储介质，所述计算机可读程序指令用于使处理器执行本发明的各方面。

计算机可读存储介质可以是能够保持和存储由指令执行设备使用的指令的任何有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。

这里描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如Smalltalk、C++等)以及常规的过程式编程语言(例如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。

这里参考根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。

计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的***来实现。

已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说是显而易见的。选择本文所使用的术语是为了最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或为了使本领域的其他普通技术人员能够理解本文所公开的实施例。

Claims (20)

1.一种用于跨虚拟现实环境和物理环境同步通知的计算机实现的方法，所述计算机实现的方法包括：

由一个或多个处理器在第一时间在多个环境中的第一环境内操作的计算设备处接收自然语言请求，其中所述多个环境各自包括一个或多个参数，并且所述多个环境可由与所述计算设备相关联的用户访问；

由所述一个或多个处理器将所述自然语言请求解析成包括提示成分和内容成分的语义成分；

由所述一个或多个处理器基于所述提示成分和所述内容成分确定一个或多个条件；

由所述一个或多个处理器将所述语义成分映射到所述多个环境；以及

如果所述一个或多个条件在晚于所述第一时间的第二时间被满足，则由所述一个或多个处理器通过所述计算设备执行通知，所述通知表示所述多个环境中的第二环境中的所述提示成分和所述内容成分。

2.根据前述权利要求所述的计算机实现的方法，还包括：

由所述一个或多个处理器使用语义分析将所述自然语言请求转变为文本数据。

3.根据前述权利要求中任一项所述的计算机实现的方法，还包括：

由所述一个或多个处理器将所述自然语言请求中的所述提醒成分识别为指示所述计算设备生成所述通知的设备命令。

4.根据前述权利要求中任一项所述的计算机实现的方法，还包括：

由所述一个或多个处理器将所述自然语言请求中的所述内容成分识别为指示用户执行任务的用户命令。

5.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述一个或多个条件包括以下各项中的一个或多个：与位置相对应的地理条件、与用户事件相对应的活动条件、以及基于所述内容成分确定的用户条件。

6.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述第一环境是虚拟现实环境，并且所述第二环境是物理环境。

7.根据前述权利要求中任一项所述的计算机实现的方法，其中所述通知是表示所述内容成分的听觉提示和视觉提示中的一个或多个，并且经由与所述计算设备可通信地耦合的VR护目镜被呈现给所述用户。

8.一种用于跨虚拟现实环境和物理环境同步通知的计算机程序产品，所述计算机程序产品包括：

一个或多个计算机可读存储介质和共同存储在所述一个或多个计算机可读存储介质上的程序指令，所存储的程序指令包括：

用于在第一时间在多个环境中的第一环境内操作的计算设备处接收自然语言请求的程序指令，其中所述多个环境各自包括一个或多个参数，并且所述多个环境可由与所述计算设备相关联的用户访问；

用于将所述自然语言请求解析为包括提示成分和内容成分的语义成分的程序指令；

用于基于所述提示成分和所述内容成分确定一个或多个条件的程序指令；

用于将所述语义成分映射到所述多个环境的程序指令；以及

用于如果所述一个或多个条件在晚于所述第一时间的第二时间被满足，则由所述计算设备执行通知的程序指令，所述通知表示所述多个环境中的第二环境中的所述提示成分和所述内容成分。

9.根据前述权利要求所述的计算机程序产品，还包括：

用于使用语义分析将所述自然语言请求转变为文本数据的程序指令。

10.根据前两项权利要求中任一项所述的计算机程序产品，还包括：

用于将所述自然语言请求中的所述提示成分标识为指示所述计算设备生成所述通知的设备命令的程序指令。

11.根据前三项权利要求中的任一项所述的计算机程序产品，还包括：

用于将所述自然语言请求中的所述内容成分识别为指示用户执行任务的用户命令的程序指令。

12.根据前四项权利要求中的任一项所述的计算机程序产品，其中所述一个或多个条件包括以下各项中的一个或多个：对应于位置的地理条件、对应于用户事件的活动条件、以及基于所述内容成分确定的用户条件。

13.根据前五项权利要求中任一项所述的计算机程序产品，其中所述第一环境是虚拟现实环境，并且所述第二环境是物理环境。

14.根据前六项权利要求中任一项所述的计算机程序产品，其中所述通知是表示所述内容成分的听觉提示和视觉提示中的一个或多个，并且经由与所述计算设备可通信地耦合的VR护目镜被呈现给所述用户。

15.一种用于跨虚拟现实环境和物理环境同步通知的计算机***，所述计算机***包括：

一个或多个计算机处理器；

一个或多个计算机可读存储介质；

共同存储在所述一个或多个计算机可读存储介质上以供所述一个或多个计算机处理器中的至少一个计算机处理器执行的程序指令，所存储的程序指令包括：

用于在第一时间在多个环境中的第一环境内操作的计算设备处接收自然语言请求的程序指令，其中所述多个环境各自包括一个或多个参数，并且所述多个环境可由与所述计算设备相关联的用户访问；

用于将所述自然语言请求解析为包括提示成分和内容成分的语义成分的程序指令；

用于基于所述提示成分和所述内容成分确定一个或多个条件的程序指令；

用于将所述语义成分映射到所述多个环境的程序指令；以及

用于如果所述一个或多个条件在晚于所述第一时间的第二时间被满足，则由所述计算设备执行通知的程序指令，所述通知表示所述多个环境中的第二环境中的所述提示成分和所述内容成分。

16.根据前述权利要求所述的计算机***，还包括：

用于使用语义分析将所述自然语言请求转换为文本数据的程序指令。

17.根据前两项权利要求中任一项所述的计算机***，还包括：

用于将所述自然语言请求中的所述提醒成分识别为指示所述计算设备生成所述通知的设备命令的程序指令；以及

用于将所述自然语言请求中的所述内容成分识别为指示用户执行任务的用户命令的程序指令。

18.根据前三项权利要求中的任一项所述的计算机***，其中所述一个或多个条件包括以下各项中的一个或多个：对应于位置的地理条件、对应于用户事件的活动条件、以及基于所述内容成分确定的用户条件。

19.根据前四项权利要求中任一项所述的计算机***，其中所述第一环境是虚拟现实环境，并且所述第二环境是物理环境。

20.根据前五项权利要求中的任一项所述的计算机***，其中所述通知是表示所述内容成分的听觉提示和视觉提示中的一个或多个，并且经由与所述计算设备可通信地耦合的VR护目镜被呈现给所述用户。