CN116520975A - 使用虚拟对象的引导指令或支持的***和方法 - Google Patents

Abstract

本公开涉及使用虚拟对象的引导指令或支持的***和方法。本文公开了一种用于使用虚拟对象来提供引导指令或支持的方法。该方法包括：在与一个或多个输入设备和第二计算设备通信的第一计算设备处，使用该一个或多个输入设备来捕获一个或多个图像，使用该一个或多个图像来确定对象的标识，以及将该对象的该标识发送到该第二计算设备。该方法还包括：从该第二计算设备接收在该第二计算设备处接收到的第一输入的指示，以及呈现该对象的第一视图，该第一视图包括对应于在该第二计算设备处接收到的该第一输入的第一注释。

Description

使用虚拟对象的引导指令或支持的***和方法

技术领域

本公开整体涉及用于使用产品的虚拟表示来提供引导指令或客户支持的***和方法，并且具体地涉及用于呈现包括注释的产品的视图的***和方法。

背景技术

客户支持表示协助客户正确使用产品的多种客户服务，并且包括在计划、安装、训练、故障诊断、维护、升级和产品处置方面的协助。期望为用户提供改善的客户支持体验。

发明内容

本公开整体涉及向第一用户呈现包含注释的产品(在本文中也更一般地称为对象)的视图。在一些示例中，可根据(例如，响应于)第二用户(例如，客户支持人员)的用户输入来呈现注释。在一些示例中，注释可呈现在产品上(例如，覆盖在物理产品上或呈现在物理对象附近和/或物理产品的虚拟表示上)。例如，在一些示例中，在与一个或多个输入设备和第二计算设备通信的第一计算设备处，可使用该一个或多个输入设备来捕获一个或多个图像。在一些示例中，可使用该一个或多个图像来确定产品的标识。在一些示例中，可将产品的标识发送到第二计算设备。在一些示例中，可从第二计算设备接收在第二计算设备处接收到的第一输入的指示。在一些示例中，可呈现包括第一注释的产品的第一视图，该第一注释对应于在第二计算设备处接收到的第一输入。

例如，在一些示例中，在与一个或多个输入设备和第二计算设备通信的第一计算设备处，从第二计算设备接收产品的标识。在一些示例中，呈现包括产品的虚拟表示的产品的第一视图，并且使用该一个或多个输入设备检测第一输入的指示，其中该第一输入包括与产品的虚拟表示的交互。在一些示例中，随后将第一输入的指示或对应于第一输入的第一注释发送到第二计算设备。

本公开还涉及第一用户(例如，客户支持人员)的用户输入，该第一用户提供用户输入以使得能够呈现用于第二用户的产品的注释。在一些示例中，在与一个或多个输入设备和第二计算设备(客户/客户端/用户设备)通信的第一计算设备(客户服务代表设备)处，可从第二计算设备接收产品的标识。可使用第一计算设备将包括产品的虚拟表示的产品的第一视图呈现给第一用户。在一些示例中，可使用与第一计算设备通信的该一个或多个输入设备来检测第一输入的指示。第一输入可包括与产品的虚拟表示的交互(例如，手势)。在一些示例中，可将第一输入的指示或对应于第一输入的第一注释发送到第二计算设备(例如，用于向第二计算设备的第二用户显示该注释)。

附图说明

图1示出了根据本公开的示例的计算***的示例性框图。

图2A示出了根据本公开的示例的第一用户(例如，产品的用户)的环境。

图2B示出了根据本公开的示例的第二用户(例如，客户服务代表)的环境。

图3A至图3D示出了根据本公开的示例的第一用户的环境或第二用户的环境的附加视图。

图4A至图4F示出了根据本公开的示例的第一用户的环境或第二用户的环境的附加视图。

图5示出了根据本公开的示例的用于呈现包括注释的产品的第一视图的示例性过程。

图6示出了根据本公开的示例的用于发送指示或对应于第一输入的注释的示例性过程。

具体实施方式

在以下对示例的描述中将参考形成以下描述的一部分的附图并且在附图中以举例的方式示出了可被实施的具体示例。应当理解，在不脱离所公开的示例的范围的情况下，可使用其他示例并且可进行结构性变更。

本公开整体涉及向第一用户呈现包含注释的产品(在本文中也称为对象)的视图。在一些示例中，可根据(例如，响应于)第二用户(例如，客户支持人员)的用户输入来呈现注释。在一些示例中，注释可呈现在产品上(例如，覆盖在物理产品上或呈现在物理对象附近和/或物理产品的虚拟表示上)。例如，在一些示例中，在与一个或多个输入设备和第二计算设备(客户服务代表设备)通信的第一计算设备(客户/客户端/用户设备)处，可使用该一个或多个输入设备来捕获一个或多个图像。在一些示例中，可使用该一个或多个图像来确定产品的标识。在一些示例中，可将产品的标识发送到第二计算设备。在一些示例中，可从第二计算设备接收在第二计算设备处接收到的第一输入的指示。在一些示例中，可呈现包括第一注释的产品的第一视图，该第一注释对应于在第二计算设备处接收到的第一输入。

本公开还涉及第一用户(例如，客户支持人员)的用户输入，该第一用户提供用户输入以使得能够呈现用于第二用户的产品的注释。在一些示例中，在与一个或多个输入设备和第二计算设备(客户/客户端/用户设备)通信的第一计算设备(客户服务代表设备)处，可从第二计算设备接收产品的标识。可使用第一计算设备将包括产品的虚拟表示的产品的第一视图呈现给第一用户。在一些示例中，可使用与第一计算设备通信的该一个或多个输入设备来检测第一输入的指示。第一输入可包括与产品的虚拟表示的交互(例如，手势)。在一些示例中，可将第一输入的指示或对应于第一输入的第一注释发送到第二计算设备(例如，用于向第二计算设备的第二用户显示该注释)。

应当理解，尽管主要描述了示例性注释，但这些注释可以附加地或另选地是动画。另外，应当理解，尽管本文所述的示例主要集中于客户服务代表和产品的上下文中的注释，但本文所述的***和方法可用于客户服务和产品的上下文之外的注释或动画(例如，通常用于对象的注释)。另外，应当理解，本文所述的注释技术可用于引导指令，而无需来自客户服务代表的输入。

图1示出了根据本公开的示例的计算***100(另选地称为计算设备或***)的示例性框图。在一些示例中，如图1所示，计算***100包括处理器102、存储器104、显示器106、扬声器108、麦克风110、取向传感器112、位置传感器114、图像传感器116、身体跟踪传感器118和通信电路120，它们任选地通过计算***100的通信总线122进行通信。在一些示例中，计算***100可包括多于一个处理器、多于一个存储器、多于一个显示器、多于一个扬声器、多于一个麦克风、多于一个取向传感器、多于一个位置传感器、多于一个图像传感器和/或多于一个身体跟踪传感器，任选地通过多于一条通信总线进行通信。尽管图1示出了一个示例性计算***，但应当理解，在一些示例中，计算***100的多个实例(或针对计算***100的变型)可由多个用户使用，并且该计算***的这些不同实例可进行通信(例如，经由通信电路120进行通信)。

处理器102可被配置为执行本文所述的过程(例如，过程500和过程600)。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器104是非暂态计算机可读存储介质(例如，闪存存储器、随机存取存储器或其他易失性或非易失性存储器或存储装置)，该非暂态计算机可读存储介质存储被配置为由处理器102执行以执行本文所述的过程的计算机可读指令(例如，程序)。在一些示例中，存储器104可包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行***、装置和设备使用或与其结合的任何介质(例如，不包括信号)。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁性、光学和/或半导体存储器，诸如磁盘、基于CD、DVD或蓝光技术的光盘，以及持久性固态存储器诸如闪存驱动器、固态驱动器等。

计算***100还包括显示器106(在本文中通常称为显示生成部件)。在一些示例中，显示器106包括单个显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些示例中，显示器106包括多个显示器。在一些示例中，显示器106可包括具有触摸感测能力(例如，触摸屏)或投影仪(全息投影仪、视网膜投影仪等)的显示器。在一些示例中，计算***100包括麦克风110或其他合适的音频传感器。计算***100使用麦克风110来检测来自用户和/或用户的真实世界环境的声音。在一些示例中，麦克风110包括麦克风阵列(多个麦克风)，这些麦克风任选地联合操作，以便识别环境声级。

计算***100包括用于检测计算***100的取向和/或移动的取向传感器112以及被配置为检测计算***100和/或显示器106的位置的位置传感器114。例如，计算***100使用取向传感器112来跟踪一个或多个固定对象在真实世界环境中的位置和取向的变化。取向传感器112任选地包括一个或多个陀螺仪、一个或多个惯性测量单元和/或一个或多个加速度计。例如，位置传感器114任选地包括全球定位***，以确定计算***在物理世界中的绝对位置。在一些示例中，计算***100可使用取向传感器112、图像传感器116或两者来确定其取向和位置。例如，计算***100可执行同时定位与地图构建(SLAM)技术、视觉里程计(VO)技术、视觉惯性里程计(VIO)技术等。

计算***100任选地包括图像传感器116，该图像传感器任选地包括一个或多个可见光图像传感器(诸如电荷耦合器件(CCD)传感器)以及/或者可操作以获得真实世界环境中的物理对象的图像的互补金属氧化物半导体(CMOS)传感器。在一些示例中，图像传感器116还包括一个或多个红外传感器，诸如无源红外传感器或有源红外传感器，这些传感器被配置为检测真实世界环境中的红外光。例如，有源红外传感器包括被配置为将红外光发射到真实世界环境中的发射器。图像传感器116还任选地包括一个或多个相机，该一个或多个相机被配置为捕获物理对象在真实世界环境中的移动。图像传感器116还任选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与计算***100的距离。在一些示例中，来自一个或多个深度传感器的信息允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些示例中，一个或多个深度传感器允许计算***确定真实世界环境中的对象的纹理和/或形貌。在一些示例中，计算***100组合使用CCD传感器、红外传感器和深度传感器来检测计算***100周围的物理环境。在一些示例中，图像传感器116包括多个图像传感器，该多个图像传感器联合工作并且被配置为捕获真实世界环境中的物理对象的不同信息。在一些示例中，计算***100使用图像传感器116来检测产品的一个或多个对象在真实世界环境中的位置和取向。例如，计算***100使用图像传感器116来跟踪一个或多个固定对象在真实世界环境中的位置和取向。

计算***100任选地包括身体跟踪传感器118。在一些示例中，身体跟踪传感器118任选地包括手部跟踪传感器和/或眼睛跟踪传感器。身体跟踪传感器118被配置为跟踪用户的手部或眼睛的一个或多个部分的位置/地点，以及/或者用户的手部或眼睛的一个或多个部分相对于真实世界环境或扩展现实环境的运动。在一些示例中，身体跟踪传感器118可使用从真实世界捕获二维信息和三维信息(包括关于(例如，人类用户的)一只或多只手或者一个或多个眼睛的信息)的图像传感器116(例如，一个或多个红外相机、三维相机、深度相机等)。在一些示例中，可以用足够的分辨率来分辨手部，以区分手指及其相应的位置。在一些示例中，一个或多个图像传感器116相对于用户定位以限定图像传感器的视场和交互空间，在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如，以与用户的闲置手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入(例如，手势输入)的手指和/或手部可能是有利的，因为这不需要用户触摸、握持或穿戴任何控制器、传感器或用于跟踪的其他有源电路或无源电路。在一些示例中，用户的手能够与三维环境中的虚拟对象交互(例如，抓取、移动、触摸、指向虚拟对象等)，任选地就好像这些虚拟对象是物理环境中的真实物理对象一样。

通信电路120任选地包括用于与电子设备、网络(例如，因特网)、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN)等通信的电路。通信电路120任选地包括用于使用近场通信(NFC)和/或近程通信(例如，)进行通信的电路。

应当理解，计算***100不限于图1的部件和配置，而是可包括处于多种配置的更少的部件、其他部件或附加部件。在一些示例中，计算***100可包括或者可被实现为头戴式***，该头戴式***可使得人能够通过显示(诸如使用基于投影的***来显示)扩展现实(XR)环境来感测XR环境和/或与XR环境交互。

如本文所述，计算***100使得能够呈现用于物理对象的注释。在一些示例中，该物理对象可包括用户正在为其寻求客户服务辅助产品的任何物理对象或电子设备。例如，该物理对象可以是消费电子产品，诸如移动电话、平板电脑、膝上型电脑或计算机。附加地或另选地，计算***100使得能够向一个或多个用户呈现产品的虚拟表示(例如，虚拟对象)。除其他应用外，这些注释还可为客户支持提供引导体验。在一些示例中，产品的虚拟表示被显示给客户服务代表，使得该客户服务代表能够查看其三维环境中的虚拟对象并且与该虚拟对象交互(例如，类似于就好像该虚拟对象是客户服务代表的物理环境中的真实物理对象一样)。附加地或另选地，计算***100使得能够将产品的虚拟表示(例如，虚拟对象)呈现给用户(例如，产品所有者)，从而可将注释(例如，对应于来自客户服务代表的输入的注释)呈现给用户。在一些示例中，产品的虚拟表示与用户的物理产品以并排呈现的形式一起呈现，以实现对物理产品、虚拟表示或两者的注释。在其他示例中，可不将产品的虚拟表示呈现给用户，并且注释可呈现在物理产品上。在一些示例中，向客户服务代表呈现产品的第二虚拟表示的视图。产品的第一虚拟表示可表示用户的产品的状态，并且产品的第二虚拟表示可被提供给客户服务代表以提供针对用户侧注释的输入。

图2A至图2B示出了根据本公开的示例的第一用户(例如，产品的所有者)和第二用户(例如，客户服务代表)的示例性环境。在一些示例中，使用计算***(例如，对应于计算***100的计算***)将环境200呈现给第一用户，以使得能够呈现XR环境(例如，包括物理对象和/或虚拟对象)。可以各种方式呈现环境200。例如，可使用从相机捕获的图像在手持式设备(例如，电话、平板电脑等)上显示环境200，其中虚拟内容任选地被覆盖。另选地，可通过具有不透明显示器的头戴式显示器使用透传视频来查看环境200，其中虚拟内容任选地与该透传视频叠加合成。另选地，可通过透明或半透明显示器来查看环境200，其中物理对象由用户通过显示器直接查看并且虚拟内容覆盖在其上。在一些示例中，使用不同的计算***将环境200呈现给第一用户，以使得能够呈现XR环境。例如，图2A示出了根据本公开的示例的产品的用户的环境200。如图2A所示，用户的环境包括物理对象，诸如花的图片、沙发、桌子以及包括计算机202和监视器204的计算***。

在一些示例中，第一用户联络客户服务代表以获得与计算机202(例如，称为产品或对象)相关的客户支持。应当理解，这仅仅是示例，并且第一用户可联络客户服务代表以获得与一个或多个电子设备(诸如移动设备、平板电脑、膝上型电脑、台式计算机、显示器/监视器、游戏***、流媒体设备等)相关的客户支持。在这些示例中，除了计算机202之外或代替该计算机，第一用户的环境将包括这样的电子设备。在一些示例中，任选地在用户发起客户服务会话时，计算***100捕获(例如，使用计算***100的传感器诸如图像传感器116来捕获)产品以用于在客户服务会话中使用。在一些示例中，计算***100标识产品和/或产品的状态，并且将产品的该标识和/或产品的该状态发送给客户服务代表。应当理解，这仅仅是示例，但在一些示例中，如果用户正在联络关于替代电子设备/产品的客户服务代表，则计算***100可捕获并标识所述电子设备/产品。例如，如图2A所示，计算***100使用一个或多个输入设备(诸如图像传感器116)来捕获计算机202的一个或多个图像。计算***100随后使用该一个或多个图像来确定产品的标识。例如，计算***100(例如，处理器102和/或存储器104中的程序或指令)可从图像确定产品是计算机202。该标识可以各种方式发生。在一些示例中，用户可标识产品(例如，通过使用手势选择产品来输入关于产品的信息等)。在一些示例中，计算***可在没有用户输入的情况下标识产品。例如，该标识可包括执行计算机视觉技术，该计算机视觉技术基于来自图像传感器116的图像来标识产品的类型(例如，显示器、台式计算机、膝上型电脑、平板电脑、电话等)或产品的特定型号(例如，由公司Y制造的台式计算机型号X)。在一些示例中，计算***100还可基于与计算***(例如，计算***100)相关联的用户账户来标识产品，该用户账户也与对应于所标识的产品的类型或型号的另一产品(例如，计算机202)相关联。在一些示例中，计算***可从产品的目录(例如来自一个或多个特定供应商)标识产品。计算***100随后将产品(例如，计算机202)的标识发送(例如，使用通信电路120来发送)到第二计算***，该第二计算***可以是与客户服务代表的计算***100类似的计算***。在一些示例中，在第二计算***处接收到的产品的标识使得第二计算***能够在客户服务代表的物理环境(或XR环境)内向客户服务代表呈现产品(例如，计算机202)的虚拟表示。

例如，图2B示出了根据本公开的示例的客户服务代表环境205。如图2B所示，客户服务代表的环境205包括物理对象，诸如灯、电视和桌子，尽管在一些示例中，该环境可以是没有物理对象的XR环境。在一些示例中，在客户服务代表的环境205内(例如，在桌子上)将计算机202的虚拟表示206呈现给客户服务代表。以这种方式，向客户服务代表呈现用户的产品的视图，同时维护用户的隐私(例如，没有将用户的环境的内容物的图像发送给客户服务代表)并且使得客户服务代表能够与虚拟表示206交互(例如，如参考图3A至图4F所述)。如本文所述，在一些示例中，产品的状态也可从用户的第一计算***发送并且由客户服务代表的第二计算***接收。这样，产品的虚拟表示可以与物理产品的状态一致的方式(例如，设备的物理配置的真实视图，壳体、外壳或其他部件的移除的表示等)呈现。

图3A至图3D示出了根据本公开的示例的产品的用户的环境或客户服务代表的环境的附加视图。图3A至图3D对应于客户服务会话中的第一示例***互。例如，如图3A所示，客户服务代表与虚拟表示206交互，以提供用于产品的盖子的移除的指令。在一些示例中，该交互可以是使用客户服务代表的计算***的身体跟踪传感器118检测到的客户服务代表的手部的手势。在一些示例中，该手势可以是轻击手势(例如，轻击虚拟表示206的外壳的顶部)、旋转手势(例如，手部在外壳的与虚拟表示206的手柄相对应的位置处的旋转)或任何其他适当的手势。应当理解，这些手势是代表性手势，但也可使用其他手势或其他非手势输入。

根据第二计算***检测到客户服务代表的手势，第二计算***可发送手势的指示、与检测到的手势相关联的注释、与检测到的手势相关联的动画、手势所针对的产品的部件或虚拟表示等。随后，并且如图3B所示，用与客户服务代表的动作相对应的注释来更新用户的环境200。以这种方式，用户可看到指令的视觉表示(例如，客户服务代表正在指示用户采取的步骤)。如图3B所示，在一些示例中，注释可直接呈现在物理产品上，诸如呈现在计算机202上(例如，计算机202上的逆时针弯曲箭头203)。在一些示例中，注释可以是对物理产品或物理产品上的注释/可视化，或者可以是产品上或对应于产品的2D、2.5D或3D动画。在一些示例中，注释可基于客户服务代表的输入并且可对应于检测到的手势。例如，如果客户服务代表在外壳的位置处执行手势(例如，轻击或旋转)，则对应的注释可以是显示在外壳的位置处的弯曲箭头，该弯曲箭头对应于在产品的虚拟表示上的客户服务代表的相应手势输入。如图所示，逆时针弯曲箭头203注释可以标识用户输入的位置和方向。在一些示例中，可呈现示出在旋转之后外壳的抬离(例如，物理产品的虚拟外壳的抬离)的动画，其中具有或没有模拟并且/或者包括用于执行该抬离的工具的虚拟手部。在一些示例中，该虚拟手部或该工具(或其他输入设备)的呈现可对应于客户服务代表是使用手部还是工具(或其他输入设备)来提供输入的。在一些示例中，该动画可包括客户服务代表与虚拟表示的交互的记录或表示。例如，第二计算***可记录使用身体跟踪传感器118确定的客户服务代表的身体姿势，并且将所记录的这些姿势发送到用户的第一计算***。第一计算***随后可通过例如呈现与计算机202交互的客户服务代表的手部或工具的虚拟表示来重放这些姿势。在一些示例中，这些注释和/或动画可被保存以用于将来参考并且/或者重放或重新发送(例如，如果用户需要附加注释来完成给定步骤)。这些注释和/或动画可被保存在可由单个用户或由多个用户和/或用户账户访问的档案中。在一些示例中，可创建完整的引导指令，其允许用户逐步完成包括动画的引导指令，而无需客户服务代表交互式地引导用户。在一些示例中，这些引导指令可用于训练或其他教育相关目的。

附加地或另选地，用户的环境200可包括产品的虚拟表示208。在一些示例中，如图3B所示，注释或动画可附加地或另选地呈现在产品的虚拟表示208上(逆时针弯曲箭头207)。在一些示例中，呈现虚拟产品的注释或动画可使得用户能够在用户与物理产品的物理交互不妨碍该注释或动画或者该注释或动画不妨碍用户的物理交互的情况下查看该注释或动画。在一些示例中，物理产品上(或对应于该物理产品)的注释或动画和虚拟表示208上(或对应于该虚拟表示)的注释或动画可以是相同的。例如，图3B示出了物理产品和虚拟表示两者上的逆时针弯曲箭头207注释(或动画)。然而，应当理解，注释或动画的呈现在物理产品和虚拟表示之间可以是不同的，并且可包括执行任务的虚拟手部和/或工具。例如，在一些示例中，注释可呈现在物理产品上或对应于物理产品，而动画可呈现在虚拟表示上或对应于虚拟表示。在另选的示例中，注释可呈现在虚拟表示上或对应于虚拟表示，而动画可呈现在物理产品上或对应于物理产品。

在一些示例中，注释或动画的呈现可在用户与物理产品的交互期间改变。例如，在图2A至图2B的示例中，对注释和/或动画的呈现包括弯曲箭头，并且随后注释和/或动画具有引导用户抬起盖子的向上箭头(或盖子向上抬起的动画)。在一些示例中，在呈现弯曲箭头注释的同时，计算***可检测用户与物理产品交互并且旋转盖子顶部上的手柄。在一些示例中，在检测到物理产品的手柄的旋转之后，计算***可呈现后续的动画或经修改的动画，其中箭头指向上方以将盖子抬离，或者呈现虚拟盖子向上抬起的动画。然而，该示例并非旨在进行限制，并且本领域技术人员将理解可呈现各种动画/注释。

在一些示例中，并且如图3C所示，用户可按照客户服务代表的指示移除计算机202的盖子210。例如，盖子210可被用户放置在桌子上。另外，图3C中的物理产品的视图呈现了没有盖子的计算机202(例如，示出了计算机202的内部内容物，如图4A所示)。在此用户动作之后，在一些示例中，注释或动画可被移除。另选地，注释或动画可保持直到采取进一步动作。例如，并且在一些示例中，注释或动画可保持直到用户完成任务。在另选的示例中，注释或动画可保持直到用户提供用于去除注释或动画的输入(例如，手势、按钮、口头命令等)。在另选的示例中，注释或动画可保持直到客户服务代表接收到任务已完成的反馈。此外，计算***100可更新用户的产品的状态，并且将该更新发送到客户代表的计算***。该更新可响应于用户动作或计算***100接收到的某个其他触发而发生。如图3D所示，客户服务代表的计算***可更新环境205，以反映用户动作并且以示出没有盖子的虚拟表示206以及放置在桌子上的盖子的虚拟表示212。

在一些示例中，将产品的多个虚拟表示呈现给客户服务代表。在一些示例中，产品的第一表示可表示用户的物理产品的状态，并且产品的第二虚拟表示可被提供给客户服务代表以提供针对用户侧注释或动画的输入。在一些示例中，呈现给客户服务代表的两个虚拟表示中的一个虚拟表示可显示在画中画窗口216中。在一些示例中，第一虚拟表示或第二虚拟表示(任选地在画中画窗口中)可根据情况从视图中隐藏或显露。例如，可在必要时显示第一虚拟表示和第二虚拟表示两者(例如，以在用户产品的状态与用于来自客户服务代表的输入的产品的表示不同步时，向客户服务代表展示用户设备的状态)，而当用户产品的状态与用于来自客户服务代表的输入的虚拟表示同步时，可仅呈现一个虚拟表示。在一些示例中，产品的两个虚拟表示对于客户服务代表是可见的。

尽管图3A至图3D示出了针对用户的注释(或动画)，但应当理解，在一些示例中，注释或动画也可在客户服务代表侧处与虚拟表示(或多个虚拟表示)一起呈现。在一些示例中，呈现给用户的注释或动画也呈现在客户服务侧上的用户的产品的状态的虚拟表示上。附加地或另选地，相同或不同的注释(或动画)可呈现在对客户服务代表可见的产品的虚拟表示上。在一些示例中，当呈现在客户服务侧上时，注释或动画可在计算***接收到用户完成与注释/动画相对应的任务的指示时被清除。例如，图3B中示出的弯曲箭头可呈现在呈现在客户服务侧上的一个或两个虚拟表示上，并且可在用户移除盖子时被清除。另选地，当客户服务代表提供用于移除注释的输入时并且/或者响应于另一触发，注释或动画可被清除。例如，用户可单独地指示盖子已被移除或向客户服务代表请求附加引导(例如，后续的注释或动画)。

图4A至图4F示出了根据本公开的示例的产品的用户的环境200或客户服务代表的环境205的附加视图。如本文所述，在一些示例中，客户服务代表可使用产品的虚拟表示来提供进一步的输入，以向用户提供(例如，使用后续的注释或动画来提供)进一步的引导或指令。例如，图4A示出了在移除盖子210之后处于更新状态的计算机202的视图。如图4A所示，处于该更新状态时，呈现计算机202的多个内部部件，包括板302和板304。应当理解，板302和304是示例性部件，但也可呈现其他部件。如上所述，在一些示例中，计算***100(例如，使用处理器102和/或由处理器102执行的存储器104中的程序或指令)可确定用户的产品和对应状态(例如，更新状态)。可将更新状态发送给客户服务代表。因此，如图4B所示，可更新客户服务代表对产品的虚拟表示的视图，以反映用户的产品的状态的更新。例如，图4B示出了具有对应的板306和板308的虚拟表示的内部视图的产品的虚拟表示206。

客户代表可提供进一步的用户输入(例如，在用于移除盖子的用户输入之后的第二输入)以继续向用户提供引导支持。例如，如图4B所示，客户服务代表与板308交互以将其从产品中移除。在一些示例中，该交互可以是使用客户服务代表的计算机设备的身体跟踪传感器118检测到的客户服务代表的手部的手势。在一些示例中，手势可以是轻击手势(例如，轻击板308的虚拟表示)或拉动手势(例如，手部在外壳的与板308的虚拟表示的位置处的抓取以及将手部从虚拟表示206拉开)。应理解，如上所述，这些手势是代表性手势，但也可使用其他手势或其他非手势输入。

来自客户服务代表的输入可使得向用户呈现注释或动画。例如，轻击可引起板304的注释，该注释指示板308的虚拟表示的选择。该注释可包括突出显示或勾勒板304，或者以其他方式改变板的外观以指示选择。在一些示例中，拉动手势可使得显示引导用户移除板304的注释或动画。例如，如图4C所示，将第二注释呈现给用户的环境200，以指示用户移除与客户服务代表在板308的虚拟表示上的动作相对应的板304。在一些示例中，可从板304呈现虚拟箭头403，该箭头示出移除板304的拉动方向。在一些示例中，可示出来自物理板的位置的虚拟板的动画，并且该动画可包括执行拉动的虚拟手部和/或用于移除板的虚拟工具。如本文所述，在一些示例中，注释或动画可与物理产品一起呈现(例如，在该产品上、从该产品发出或在该产品附近)并且/或者可与同时呈现在环境200中的虚拟表示一起呈现。在一些示例中，在虚拟产品上呈现注释或动画可使得能够在用户与产品的物理交互不妨碍该注释或动画或者该注释或动画不妨碍用户的物理交互的情况下查看该注释或动画。在一些示例中，物理产品上(或对应于该物理产品)的注释或动画和虚拟表示上(或对应于该虚拟表示)的注释或动画可以是相同的。在一些示例中，物理产品上(或对应于该物理产品)的注释或动画和虚拟表示上(或对应于该虚拟表示)的注释或动画可以是不同的。

在一些示例中，用户可继续板304的移除。例如，并且如图4D所示，用户开始移除板304。在一些示例中，并且如图4D所示，当用户移除板304时，停止呈现注释或动画。然而，并且如上所述，在一些示例中，注释或动画可保持直到稍后触发。例如，并且如上所述，注释或动画可保持直到用户提供用于去除注释或动画的输入(例如，手势、按钮、口头命令等)。在另选的示例中，注释或动画可保持直到客户服务代表接收到任务已完成的反馈。另外，在一些示例中，客户服务代表可使用呈现给客户服务代表的用户界面控件来发起移动到程序中的下一步骤。

在一些示例中，并且如图4E所示，用户移除板304并且将板304放置在计算机202旁边的桌子上。计算***100可确定板304从计算机202移除(例如，使用图像传感器116)以及/或者被放置在用户的环境内。计算机202的更新状态可发送到客户服务代表的计算***以相应地更新在环境205中呈现的虚拟表示。例如，并且如图4F所示，客户服务代表的环境被更新，其示出了板308被移除并被放置在桌子上的虚拟表示206旁边的虚拟表示206。

虽然本文所述的示例主要包括与客户服务代表交互的用户(例如，客户)，但是应当理解，在任何两个或更多个用户之间可发生相同或类似的交互。例如，当被用户授权时，第一用户的计算***可标识第一用户的环境中的物理对象以及其状态，将该对象的标识和状态发送给第二用户(例如，第一用户的朋友或家庭成员)的计算***，并且响应于来自第二用户与物理对象的虚拟表示的交互从该第二用户的计算***接收注释、动画、姿势或它们的组合。在一些示例中，第一用户的计算***还可将对象的标识和状态发送到其他用户的一个或多个计算***，并且响应于来自其他用户与物理对象的对应虚拟表示的交互从该一个或多个计算***接收注释、动画、姿势或它们的组合。应当注意，计算***仅标识用户的环境内的物理对象，而不标识或使得计算机服务代表能够看到用户的环境。以这种方式，可维护用户的隐私。

在一些示例中，第二用户(例如，客户服务代表)可将他们与对象的虚拟表示的交互记录为例如要执行的指令集。该指令集可包括要呈现给用户的与物理对象或虚拟表示相关联的有序的一系列姿势、注释、动画或它们的组合。这有利地允许向用户给出适当的指令，而无需客户服务代表必须去重复这些交互。在一些示例中，可在不与客户服务代表通信的情况下向用户呈现所记录的指令集。在这些示例中，可向用户呈现对应于其对象的标识和其状态的指令集。例如，计算***可呈现第一手势、动画或注释，并且向用户提供以期望的速率或时间向前移进通过指令的能力(例如，使用在XR环境中呈现的用户界面控件来前进或后退通过指令)。附加地或另选地，用户的计算***可响应于检测到对应任务的完成而自动地向前移进通过指令，如上文所述。在一些示例中，计算***可包括不需要与客户服务代表进行任何交互的内置的引导体验。换句话讲，这些内置的引导体验不需要特定的客户服务代表去预先记录任何行为。具体地，这些内置的引导体验表示用于普通学习和/或修复体验的初查或教程。

在一些示例中，诸如当与移动设备、平板电脑、膝上型电脑或台式电脑(以及其他产品/对象)一起工作时，可能需要附加工具来完成诊断或修复。在一些示例中，除了标识产品之外，用户的计算***还可标识这些工具，并将关于工具的工具的信息(例如，标识、状态等)发送给客户服务代表(而不将用户的物理环境的图像发送给客户服务代表)。如本文所述，针对产品、针对工具和/或针对两者的注释和/或动画可呈现给用户。例如，客户服务代表可能够使动画帮助用户标识环境中的工具和/或示出了如何使用该工具来执行给定步骤的动画。另选地，客户服务代表可将指令保存到计算***100，使得用户可在稍后的时间访问指令并修理产品(例如，当计算***检测到修理所需的产品和工具时)。在示例中，计算***可包括充满指令的档案，使得用户可访问和使用指令而不必联系客户服务代表来进行帮助。另选地，用户可出于教育目的而查看档案。在实例中，引导指令可包括用户可逐步完成的逐步程序。在示例中，用户可基于会员基础或产品购买来访问某些档案。

如上所述，在一些示例中，可使用物理产品的一个或多个虚拟表示来共享注释或动画。图5示出了根据本公开的示例的用于呈现产品的第一视图的示例性过程。过程500任选地在与一个或多个输入设备和第二计算设备(例如，客户服务代表的电子设备或对应于计算***100的***)通信的第一计算设备(例如，用户的电子设备或对应于计算***100的计算***)处执行。在一些示例中，过程500中的一些操作任选地被组合以及/或者任选地被省略以及/或者任选地被改变。在一些示例中，过程500由处理器102和存储器104执行。例如，在502处，使用一个或多个输入设备(例如，图像传感器116)来捕获一个或多个图像。在504处，使用一个或多个图像(例如，使用产品的目录和/或共享用户账户)来确定产品的标识。在506处，将产品的标识发送到第二计算设备(例如，而不发送用户的环境的一个或多个图像)。在508处，从第二计算设备接收第一输入(例如，来自客户服务代表的用户输入)的指示。在一些示例中，该指示可以是手势本身、由第二计算设备基于输入而确定的注释或由第二计算设备基于输入而确定的动画、输入的位置，或它们的组合。在510处，(例如，向用户)呈现该产品的第一视图，其包括对应于在第二计算设备处接收到的输入的第一注释。在一些示例中，该注释还可包括客户服务代表的表示(例如，他们的手部)、供客户服务代表使用的设备等。

附加地或另选地，在一些示例中，该过程还包括使用一个或多个图像来确定产品的第一状态并且将产品的第一状态发送到第二计算设备。呈现产品的第一视图可包括处于第一状态的产品的表示。在一些示例中，可从产品接收该产品的第一状态。例如，该产品可确定其当前状态并将该状态传送到第一计算设备。

附加地或另选地，在一些示例中，该过程还包括：在呈现包括第一注释的产品的第一视图时使用一个或多个输入设备来检测对应于该第一注释的产品的修改、确定产品的第二状态，以及将产品的第二状态发送到第二计算设备。

附加地或另选地，在一些示例中，该过程还包括：根据检测到产品的修改，呈现产品的第二视图，该第二视图包括处于产品的第二状态的产品的表示；以及停止第一注释的呈现。

附加地或另选地，在一些示例中，该过程还包括：从第二计算设备接收在该第二计算设备处接收到的第二输入的指示，以及呈现产品的第三视图，该第三视图包括对应于在该第二计算设备处接收到的第二输入的第二注释。

附加地或另选地，在一些示例中，第一输入包括对应于在第二计算设备处的产品的虚拟表示的位于相应位置处的旋转输入，并且第一注释包括具有曲线形状的虚拟箭头，该曲线形状表示对应于产品的第一视图的位于相应位置处的旋转。

附加地或另选地，在一些示例中，呈现第一视图包括使用一个或多个图像来显示产品。附加地或另选地，在一些示例中，通过透明或半透明显示器呈现第一视图。

附加地或另选地，在一些示例中，第一注释包括该产品上或对应于在该产品的第一视图中呈现的产品上的动画。附加地或另选地，在一些示例中，该方法还包括与产品的第一视图一起同时呈现产品的虚拟表示。附加地或另选地，在一些示例中，呈现包括第一注释的产品的第一视图包括在产品上呈现第一注释，并且该过程还可包括在产品的虚拟表示上呈现相同的第一注释。附加地或另选地，在一些示例中，呈现包括第一注释的产品的第一视图包括在产品上呈现第一注释，并且该过程还可包括在产品的虚拟表示上呈现与该第一注释不同的第二注释。在一些示例中，产品的第一视图可包括第一动画，并且产品的第二视图可包括第一动画。在一些示例中，产品的第一视图可包括第一动画，并且产品的第二视图可包括第二动画。

附加地或另选地，在一些示例中，确定产品的标识可包括基于由产品和第一计算设备共享的用户账户和/或产品的目录来确定标识。

附加地或另选地，在一些示例中，第一输入包括对应于在第二计算设备处的产品的虚拟表示的位于相应位置处的手势输入，并且第一注释对应于手势输入和对应于产品的第一视图的相应位置。

附加地或另选地，在一些示例中，将对象的标识发送到第二计算设备而不发送一个或多个图像。

本公开的一些示例可涉及包括一个或多个处理器的电子设备；存储器；和一个或多个程序。该一个或多个程序可存储在存储器中并且可被配置为由该一个或多个处理器执行。该一个或多个程序可包括用于执行任何上述过程的指令。本公开的一些示例可涉及存储一个或多个程序的非暂态计算机可读存储介质。该一个或多个程序可包括指令，这些指令当由电子设备的一个或多个处理器执行时使电子设备执行任何上述过程。

如上所述，在一些示例中，可使用物理产品的虚拟表示来共享注释。图6示出了根据本公开的示例的用于发送指示或对应于第一输入的注释的示例性过程。过程600任选地在与一个或多个输入设备和第二计算设备(例如，用户的电子设备或对应于计算***100的计算***)通信的第一计算设备(例如，客户服务代表的电子设备或对应于计算***100的计算***)处执行。在一些示例中，过程600中的一些操作任选地被组合以及/或者任选地被省略以及/或者任选地被改变。在一些示例中，过程600由处理器102和存储器104执行。例如，在602处，从第二计算设备接收产品的标识。在604处，呈现包括产品的虚拟表示的产品的第一视图。在606处，使用一个或多个输入设备来检测第一输入的指示，其中该第一输入包括与产品的虚拟表示的(客户服务代表的)交互。在608处，将第一输入的指示或对应于第一输入的第一注释发送到第二计算设备。

附加地或另选地，在一些示例中，呈现第一视图还包括呈现对应于第一输入的第一注释。

附加地或另选地，在一些示例中，该过程还包括从第二计算设备接收产品的第一状态。呈现产品的第一视图可包括处于第一状态的该产品的虚拟表示。

附加地或另选地，在一些示例中，该过程还包括：从第二计算设备接收产品的第二状态，该第二状态对应于由第二计算设备检测到的对应于第一注释的产品的修改；呈现产品的第二视图，该第二视图包括处于产品的第二状态的产品的虚拟表示；以及停止第一注释的呈现。附加地或另选地，在一些示例中，该过程还包括：使用一个或多个输入设备来检测第二输入的指示，以及将第二输入的指示或对应于第二输入的第二注释发送到第二计算设备。附加地或另选地，在一些示例中，呈现第二视图还包括呈现对应于第二输入的第二注释。

附加地或另选地，在一些示例中，第一输入包括对应于产品的虚拟表示的位于相应位置处的旋转输入，并且第一注释包括具有曲线形状的虚拟箭头，该曲线形状表示对应于在第二计算设备处呈现的产品的视图的位于相应位置处的旋转。附加地或另选地，在一些示例中，第一注释包括在产品的虚拟表示上或对应于产品的虚拟表示的动画。

附加地或另选地，在一些示例中，该过程还包括与产品的第一视图一起同时呈现包括产品的第二虚拟表示的产品的第二视图。

附加地或另选地，在一些示例中，用户输入被检测为与产品的虚拟表示交互，并且产品的第二虚拟表示表示了由第二计算设备检测到的产品的状态。

附加地或另选地，在一些示例中，产品的第一视图包括第一注释，并且产品的第二视图包括第一注释。在一些示例中，产品的第一视图可包括第一注释，并且产品的第二视图包括第二注释。在一些示例中，产品的第一视图可包括第一动画，并且产品的第二视图包括第一动画。在一些示例中，产品的第一视图包括第一动画，并且产品的第二视图包括第二动画。

附加地或另选地，在一些示例中，确定产品的标识包括基于由产品和第二计算设备共享的用户账户和/或产品的目录来确定标识。

附加地或另选地，在一些示例中，第一输入包括对应于产品的虚拟表示的位于相应位置处的手势输入，并且第一注释对应于手势输入和对应于在第二计算设备处呈现的产品的第一视图的相应位置。

本公开的一些示例可涉及包括一个或多个处理器的电子设备；存储器；和一个或多个程序。该一个或多个程序可存储在存储器中并且可被配置为由该一个或多个处理器执行。该一个或多个程序可包括用于执行任何上述过程的指令。本公开的一些示例可涉及存储一个或多个程序的非暂态计算机可读存储介质。该一个或多个程序可包括指令，这些指令当由电子设备的一个或多个处理器执行时使电子设备执行任何上述过程。

尽管参照附图对本公开的示例进行了全面的描述，但应注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由所附权利要求所限定的本公开的示例的范围内。

Claims (15)

1.一种方法，包括：

在与一个或多个输入设备和第二计算设备通信的第一计算设备处：

从所述第二计算设备接收对象的标识；

呈现包括所述对象的第一虚拟表示的所述对象的第一视图；

使用所述一个或多个输入设备来检测第一输入的指示，所述第一输入包括与所述对象的所述第一虚拟表示的交互；以及

将所述第一输入的指示或对应于所述第一输入的第一注释发送到所述第二计算设备。

2.根据权利要求1所述的方法，其中呈现所述第一视图还包括呈现对应于所述第一输入的所述第一注释。

3.根据权利要求1至2中任一项所述的方法，还包括：

从所述第二计算设备接收所述对象的第一状态；

其中呈现所述对象的所述第一视图包括处于所述第一状态的所述对象的所述第一虚拟表示。

4.根据权利要求1至3中任一项所述的方法，还包括：

从所述第二计算设备接收所述对象的第二状态，所述第二状态对应于由所述第二计算设备检测到的对应于所述第一注释的所述对象的修改；以及

呈现所述对象的第二视图，所述第二视图包括处于所述第二状态的所述对象的所述第一虚拟表示；以及停止所述第一注释的呈现。

5.根据权利要求1至4中任一项所述的方法，还包括：

使用所述一个或多个输入设备来检测第二输入的指示；以及

将所述第二输入的所述指示或对应于所述第二输入的第二注释发送到所述第二计算设备。

6.根据权利要求5所述的方法，其中呈现所述第二视图还包括呈现对应于所述第二输入的所述第二注释。

7.根据权利要求1至6中任一项所述的方法，其中所述第一输入包括对应于所述对象的所述第一虚拟表示的位于相应位置处的旋转输入，并且所述第一注释包括具有曲线形状的虚拟箭头，所述曲线形状表示对应于在所述第二计算设备处呈现的所述对象的视图的所述相应位置处的所述旋转输入。

8.根据权利要求1至7中任一项所述的方法，其中所述第一注释包括在所述对象的所述第一虚拟表示上或对应于所述对象的所述第一虚拟表示的动画。

9.根据权利要求1至8中任一项所述的方法，还包括：

与所述对象的所述第一视图一起同时呈现包括所述对象的第二虚拟表示的所述对象的第二视图。

10.根据权利要求9所述的方法，其中所述第一输入被检测为与所述对象的所述第一虚拟表示交互，并且其中所述对象的所述第二虚拟表示表示了由所述第二计算设备检测到的所述对象的状态。

11.根据权利要求1至10中任一项所述的方法，其中：

所述对象的所述第一视图包括所述第一注释，并且所述对象的所述第二视图包括所述第一注释；

所述对象的所述第一视图包括所述第一注释，并且所述对象的所述第二视图包括第二注释；

所述对象的所述第一视图包括第一动画，并且所述对象的所述第二视图包括所述第一动画；或

所述对象的所述第一视图包括第一动画，并且所述对象的所述第二视图包括第二动画。

12.根据权利要求1至11中任一项所述的方法，其中确定所述对象的所述标识包括基于以下项中的一项或多项来确定所述标识：

由所述对象和所述第二计算设备共享的用户账户；或

对象的目录。

13.根据权利要求1至12中任一项所述的方法，其中所述第一输入包括对应于所述对象的所述第一虚拟表示的位于相应位置处的手势输入，并且所述第一注释对应于所述手势输入和对应于在所述第二计算设备处呈现的所述对象的第一视图的所述相应位置。

14.一种电子设备，包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至13中任一项所述的方法的指令。

15.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由电子设备的一个或多个处理器执行时，使所述电子设备执行根据权利要求1至13中任一项所述的方法。