CN112184356A - 指导式零售体验 - Google Patents

指导式零售体验 Download PDF

Info

Publication number
CN112184356A
CN112184356A CN202010622744.2A CN202010622744A CN112184356A CN 112184356 A CN112184356 A CN 112184356A CN 202010622744 A CN202010622744 A CN 202010622744A CN 112184356 A CN112184356 A CN 112184356A
Authority
CN
China
Prior art keywords
computer
product
environment
virtual object
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010622744.2A
Other languages
English (en)
Inventor
A·B·奥泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112184356A publication Critical patent/CN112184356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及指导式零售体验。本公开涉及用于在计算机生成的现实环境中实现零售体验的技术。在一些实施方案中，该技术包括：生成计算机生成的现实环境，包括在该计算机生成的现实环境中呈现表示产品的虚拟对象；在该计算机生成的现实环境中呈现表示该产品的该虚拟对象时，提供与该产品的远程用户的通信会话；以及在提供该通信会话时，使用从该通信会话接收的信息来调整在该计算机生成的现实环境中表示该产品的该虚拟对象的该呈现。

Description

指导式零售体验
技术领域
本公开整体涉及计算机生成的现实(CGR)环境，并且更具体地涉及在CGR环境中电子产品的表示。
背景技术
常规的电子消费者体验允许用户用电子设备诸如膝上型计算机或台式计算机、平板计算机或智能电话在线浏览和购买产品。用户可通过网站或应用程序访问产品信息、选择产品并购买产品而无需与另一个人交互。
发明内容
本文描述的是用于在CGR环境中实现零售体验的技术。在线购物可能缺乏关于产品的即时反馈、问题解答、建议、演示，以及面对面购物体验的人情关系。当前在线消费者应用程序要求用户浏览菜单或执行搜索功能以定位感兴趣的产品。另外，用户无法完全地与产品的在线表示进行交互，并且因此在远程环境中时不能真实地体验产品的完整演示。本文所描述的技术提供了与可指导用户在CGR环境中进行购物体验的远程销售员的实时通信(经由虚拟通信会话)。这允许用户留在远程环境中，同时具有与可提供相关产品、基于交互给出建议并促成在CGR环境中完整地演示各种产品和服务的销售员的互动式购物体验。销售员可使产品或产品集合显示在CGR环境中，并且无论有或没有来自销售员的输入，用户都可与产品交互以执行对产品的演示。即使没有来自用户的输入，销售员也可操纵产品以展现特征并演示产品的能力。本文所公开的技术为用户提供了在远程环境诸如该用户的房屋中但具有面对面购物体验的益处和能力的零售体验。
在一些实施方案中，用于在CGR环境中实现零售体验的技术包括在第一电子设备处：生成CGR环境，包括在CGR环境中呈现表示产品的虚拟对象；在CGR环境中呈现表示产品的虚拟对象时，提供与远程用户的通信会话；以及在提供通信会话时，使用从通信会话接收的信息来调整在CGR环境中表示产品的虚拟对象的呈现。
在一些实施方案中，响应于接收到对发起通信会话的请求而提供通信会话。
在一些实施方案中，呈现表示产品的虚拟对象包括将虚拟对象叠加在CGR环境中的物理设备的物理显示器上。
在一些实施方案中，该技术还包括：在提供通信会话时，检测输入；以及响应于检测到输入，基于所检测到的输入来修改在CGR环境中表示产品的虚拟对象。
在一些实施方案中，输入对应于姿势。
在一些实施方案中，基于所检测到的输入来修改在CGR环境中表示产品的虚拟对象包括基于姿势的量值和方向中的至少一者来修改一个或多个虚拟对象的外观。
在一些实施方案中，使用从通信会话接收的信息来调整在CGR环境中表示产品的虚拟对象的呈现包括呈现不同的虚拟对象。
在一些实施方案中，使用从通信会话接收的信息来调整在CGR环境中表示产品的虚拟对象的呈现包括停止呈现虚拟对象。
在一些实施方案中，产品是物理产品，其被配置为响应于检测到针对物理产品的第一组输入而执行一组操作；并且表示产品的虚拟对象是物理产品的虚拟表示，其被配置为响应于检测到针对物理产品的虚拟表示的第一组输入而执行一组操作。
在一些实施方案中，生成CGR环境包括在CGR环境中呈现销售员的虚拟表示。
在一些实施方案中，CGR环境是增强现实环境。在一些实施方案中，该技术还包括：检测第二输入；以及响应于检测到第二输入，将CGR环境转变为虚拟现实环境，同时继续提供通信会话。
在一些实施方案中，响应于检测到针对与使用电子设备呈现的应用程序相关联的对象的输入而生成CGR环境。
在一些实施方案中，该技术还包括生成将由与远程用户相关联的第二电子设备接收的数据流，并且该数据流包括CGR环境的至少一部分的表示。
在一些实施方案中，***、电子设备或计算机可读存储介质(暂态或非暂态)提供了所描述的技术。
附图说明
在下面的描述中，参考了形成该描述的一部分并且例示若干个实施方案的附图。应当理解，其他实施方案也可被利用，并且在不脱离本公开的范围的情况下可进行结构改变和操作改变。在不同附图中使用相同的参考符号表示相似或相同项目。
图1A至图1B描绘了在各种计算机生成的现实技术中使用的示例性***。
图2A至图2H示出了显示在CGR环境中实现的零售体验的设备。
图3描绘了用于在CGR环境中实现零售体验的示例性技术的流程图。
具体实施方式
描述了用于与各种计算机生成的现实技术相关地使用此类***的电子***和技术的各种示例。
物理环境(或真实环境)是指人们在没有电子***帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子***感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR***可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，MR环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，***可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
MR的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子***可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该***可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该***感知叠加在物理环境之上的虚拟对象。另选地，***可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用***经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着***使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，***可以具有投影***，该投影***将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该***感知叠加在物理环境之上的虚拟对象。
AR环境也指其中物理环境的表示被计算机生成的感官信息转换的模拟环境。例如，在提供透传视频中，***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子***使人能够感测和/或与各种CGR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式***可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式***可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式***可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B描绘了在各种计算机生成的现实技术中使用的示例性***100。
在一些示例中，如图1A所示，***100包括设备100a。设备100a包括各种部件，诸如一个或多个处理器102、一个或多个RF电路104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件任选地通过设备100a的一个或多个通信总线150进行通信。
在一些示例中，***100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且***100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些示例中，***100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括一个或多个处理器102、一个或多个RF电路104和一个或多个存储器106。这些部件可选地通过设备100b的一个或多个通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如一个或多个处理器102、一个或多个RF电路104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件可选地通过设备100c的一个或多个通信总线150进行通信。
在一些示例中，***100为移动设备。在一些示例中，***100为头戴式显示器(HMD)设备。在一些示例中，设备100为可穿戴HUD设备。
***100包括一个或多个处理器102和一个或多个存储器106。一个或多个处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
***100包括一个或多个RF电路104。一个或多个RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。一个或多个RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002563599950000071
)进行通信的电路。
***100包括一个或多个显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些示例中，***100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，一个或多个显示器120和一个或多个触敏表面122形成一个或多个触敏显示器。
***100包括一个或多个图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与***100的距离。在一些示例中，***100组合使用CCD传感器、事件相机和深度传感器来检测***100周围的物理环境。在一些示例中，一个或多个图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，***100使用一个或多个图像传感器108来接收用户输入，诸如手势。在一些示例中，***100使用图像传感器108来检测***100和/或显示器120在真实环境中的位置和取向。例如，***100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些示例中，***100包括麦克风112。***100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
***100包括用于检测***100和/或一个或多个显示器120的取向和/或移动的一个或多个取向传感器110。例如，***100使用取向传感器110来跟踪***100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。一个或多个取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
现在参考图2A至图2H，描述了用于在CGR环境中实现零售体验的示例性技术。
图2A示出了具有显示器202的设备200。设备200类似于设备100a，并且显示器202类似于显示器120。在图2A所示的实施方案中，设备200表示头戴式设备，但是在一些实施方案中，设备200可为智能电话、平板电脑、台式计算机、膝上型计算机或具有显示器的其他电子***或设备(例如，图1A至图1B中的设备100a)。在一些实施方案中，设备200与鼠标、键盘、相机、控制器或接收输入的其他***设备通信。
在图2A中，显示器202示出了CGR环境204的表示，其包括物理对象诸如膝上型电脑206和电视机208。在一些实施方案中，显示器202是透明的，并且物理对象通过显示器202被观看。在一些实施方案中，显示器202是不透明的，并且物理对象被渲染在显示器202上。例如，物理环境在显示器202上被显示为物理环境的表示，其包括物理膝上型电脑和电视机。
在图2B中，显示器202在CGR环境204中显示提示210。提示210是向用户提供用于在CGR环境204中发起零售体验的选项的虚拟对象。例如，用户可通过向一个方向或另一个方向挥动他们的手来做姿势以接受或拒绝用于联系零售商的选项。在一些实施方案中，提示210的显示由用户发起。例如，用户可使用膝上型电脑206查看网站并从该网站选择一个链接以发起零售体验，这会发起提示210的显示。在一些实施方案中，提示210由设备200自动地显示。例如，设备200在CGR环境204中检测膝上型电脑206，确定出售膝上型电脑206的零售商，并且发起提示210以联系出售膝上型电脑206的零售商。在一些实施方案中，提示210由虚拟助理或与设备200通信的其他人工智能显示。例如，用户可告诉虚拟助手该用户有兴趣购买类似于膝上型电脑206的计算机。响应于来自用户的语音输入，虚拟助手可发起与零售商的联系，包括例如显示提示210作为用于确认用户的用于联系零售商的指令的方式。
响应于检测到用于联系零售商的用户输入(例如，用于确认用于联系零售商的指令的姿势)，设备200发起与零售商的通信会话以在CGR环境204中实现用户与零售商之间的零售体验。在一些实施方案中，通信会话被实现为使得在CGR环境204中显示与零售商(例如，销售员)相关联的联系人的表示，并且用户能够通过与销售员交谈并操纵在CGR环境204中的虚拟对象来与零售商交互。图2C至图2H中示出了这种实施方案的示例，其中设备200在CGR环境204中显示化身215。在例示的实施方案中，化身215是与使用设备200进行联系的零售商相关联的销售员的虚拟表示。
在一些实施方案中，通信会话包括双向音频馈送，使得用户和销售员可彼此交谈。例如，设备200可包括用于从用户接收音频输入的麦克风(例如，麦克风112)和用于从销售员传达音频的一个或多个扬声器(例如，扬声器118)。在一些实施方案中，通信会话包括有限双向共享视频馈送，其中用户能够查看整个CGR环境204，但是销售员仅能够查看CGR环境204的有限部分。例如，在此类实施方案中，设备200将包括虚拟对象但不包括在CGR环境204中的物理对象的视觉表示的数据流传输到零售商(在一些实施方案中，数据流还包括音频馈送)。因此，接收数据流的销售员无法查看CGR环境204的物理对象而只能查看在CGR环境204中显示的虚拟对象并与之交互。这样限制共享视频馈送准许设备200促成有效零售体验，同时还保留用户的隐私。零售体验是有效的，因为用户和销售员都能够查看在CGR环境204中显示为虚拟对象的产品并与之交互。由于销售员无法查看可能是私人环境诸如例如用户的家的物理环境，因此就保留了用户的隐私。
销售员能够与用户通信并操纵在CGR环境204中显示的虚拟对象。因此，由销售员提供的输入可影响用户和销售员两者所体验的CGR环境204的变化。例如，销售员可操纵虚拟对象的位置，并且用户可经由设备200看到对在CGR环境204中的虚拟对象的操纵。相反地，由用户提供的输入可影响用户和销售员两者所体验的内容的变化(例如，当用户操纵虚拟对象时，销售员可看到正***纵的虚拟对象)。在一些实施方案中，化身215表示销售员在CGR环境204中的计算机生成的位置，并且由销售员对虚拟对象所做出的变化在CGR环境204中被示出为由化身215执行。在一些实施方案中，销售员使用类似于设备200的设备参与通信会话。尽管在一些实施方案中，销售员能够使用能够实现通信会话的上述方面的其他设备来参与通信会话。
图2C至图2G示出了显示在CGR环境204中实现的零售体验的设备200的各种示例性实施方案。
在图2C中，设备200在CGR环境204中显示化身215以及膝上型电脑206和电视机208。在此实施方案中，使用设备200传达的数据流不包括膝上型电脑206或电视机208(或在物理环境中的其他物理对象)的视觉表示。因此，销售员无法查看CGR环境204的这些和任何其他物理对象，而用户能够查看显示器202的内容，包括化身215、膝上型电脑206、电视机208和在物理环境中的其他物理对象。
在一些实施方案中，设备200能够将物理对象的细节传达给销售员而不传达物理对象的视觉表示。例如，设备200可传达信息诸如膝上型电脑206的品牌和型号。在一些实施方案中，设备200能够辨识膝上型电脑206并检索(例如，从数据库或通过访问来自信息网络的信息)膝上型电脑的细节以传达给销售员。在一些实施方案中，在与销售员通信时，用户提供膝上型电脑206的细节。
在图2D中，设备200在膝上型电脑206的显示屏206-1上显示第一软件211。在一些实施方案中，第一软件211的显示由用户发起。在一些实施方案中，第一软件211的显示由销售员发起以例如提供能够使用膝上型电脑206操作的软件的演示。例如，销售员可控制零售体验的各方面以发起在CGR环境204中显示为虚拟对象的不同产品的显示。尽管膝上型电脑206在物理环境中未操作第一软件211，但是设备200将第一软件211显示为出现在显示屏206-1上的虚拟对象，以在CGR环境204中提供在膝上型电脑206上操作的第一软件211的外观。在一些实施方案中，第一软件211表示完全交互式软件，其响应于使用膝上型电脑206提供的输入。例如，用户可与在CGR环境204中的膝上型电脑206交互(例如，通过在键盘206-2上键入)。设备200(例如，通过识别用户正接触的键盘按键)检测用户在键盘206-2上的输入，并且使用所检测到的输入与第一软件211交互。这样，用户可与在CGR环境204中的物理膝上型电脑206交互，以完整地演示在膝上型电脑206上操作的第一软件211的能力。
在图2E中，设备200将第二软件212显示为出现在CGR环境204中的显示屏206-1上的虚拟对象。设备200能够以类似于上文关于第一软件211所述的方式提供第二软件212的完整演示。在一些实施方案中，设备200响应于接收到来自销售员的输入而用第二软件212替换第一软件211(例如，以与上文所讨论的方式类似的方式)。在一些实施方案中，设备200响应于检测到来自用户的输入而用第二软件212替换第一软件211。例如，在一些实施方案中，设备200可检测来自用户的姿势(有或没有从用户提供的音频或其他输入)，该姿势对应于用于在CGR环境204中显示不同虚拟对象的命令。在一些实施方案中，姿势具有方向和/或量值分量，其可由设备200检测以影响从用户提供的输入。使用软件应用程序(例如，第一软件211、第二软件212)作为一个示例，设备200可响应于检测到用户的手的划扫姿势而在显示在CGR环境204中的不同软件应用程序之间循环。如果设备200检测到用户在第一方向上做短划扫姿势，则设备200从软件应用程序的虚拟布置中的第一软件应用程序转变到在该布置中的下一软件应用程序(例如，从应用程序A转变到应用程序B)。如果设备200检测到用户在第一方向上做大幅划扫姿势，则设备200转变到在软件应用程序的虚拟布置中具有较大位移的不同软件应用程序(例如，从应用程序A转变到应用程序E)。当设备200检测到在相反方向上的姿势时，设备200以类似的方式但在相反方向上转变应用程序(例如，取决于姿势的所检测到的量值，从应用程序B转变到应用程序A，或从应用程序E转变到应用程序A)。
图2F和图2G示出了其中销售员介绍产品220的显示并且用户与CGR环境204中的产品交互作为在零售体验期间对产品的演示的一部分的实施方案。在一些实施方案中，用户可引入在CGR环境204中产品220的显示。
在图2F中，设备200显示化身215对产品220做姿势，该产品被显示为出现在电视机208上的虚拟对象。在一些实施方案中，电视机208的外观被修改，使得它看起来像是容纳产品220的产品展示柜。应当理解，产品220可显示在CGR环境204的其他位置。例如，产品可显示在其他物理对象诸如桌子218(例如，相邻膝上型电脑206)上。
产品220是在CGR环境204中显示的虚拟对象。用户可与产品220交互以体验在CGR环境204中对产品的演示。例如，在图2G所示的实施方案中，用户从电视机208上显示的产品220检索智能电话220-1，并且设备200示出了用户的手222握住所检索的智能电话220-1。智能电话220-1是虚拟智能电话，其是物理智能电话的全功能的虚拟表示。在具有显示虚拟应用程序图标226的虚拟显示器224的CGR环境204中示出了智能电话220-1。在CGR环境204中，设备200显示智能电话220-1，其表现得像是虚拟对象是在其上对虚拟对象建模的真实物理对象一样。因此，当设备200检测到智能电话220-1上的输入时，设备200显示智能电话220-1以与物理智能电话在物理环境中将响应于相同输入相同的方式作出响应。以此方式，设备200使用户能够通过与CGR环境204中的智能电话220-1交互来体验对智能电话的完整且准确的演示。应当理解，用户可以类似的方式与CGR环境204中表示的其他产品交互。例如，设备200可使用户能够与膝上型电脑、监视器、平板电脑或可在CGR环境204中表示的任何其他设备的虚拟表示交互。
在一些实施方案中，设备200使用户能够以其他方式修改虚拟对象。例如，设备200可在CGR环境204中显示注释、突出显示或其他视觉修改，使得用户可进一步与销售员交互。这可通过允许用户指示在CGR环境204中的特定特征或感兴趣的区域来增强零售体验。
在一些实施方案中，设备200可改变显示给用户的CGR体验。例如，在一些实施方案诸如图2G所示的实施方案中，CGR环境204是包括物理对象(例如，膝上型电脑206、电视机208、桌子218)和虚拟对象(例如，产品220、智能电话220-1、化身215)两者的AR环境。响应于输入(例如，由销售员或用户提供的输入)，设备200可将CGR环境204从图2G所示的AR环境转变为VR环境，如图2H所示。在图2H中，CGR环境204现为包括具有化身215、虚拟桌子228和虚拟产品230的虚拟环境的VR环境。在CGR环境204的VR环境中，设备200不再显示物理对象，诸如膝上型电脑206、电视机208和桌子218。在图2H所示的实施方案中，VR环境是显示虚拟产品230的虚拟零售商店。然而，应当理解，可在VR环境中显示其他虚拟环境，包括真实位置(例如，中国长城)或虚构虚拟位置(例如，计算机生成的音乐会)的表示。
在一些实施方案中，设备200允许用户在不涉及销售员(例如，化身215)的情况下发起零售体验。例如，设备200可响应于用户对显示各个设备的请求而显示一个或多个虚拟对象，诸如图2F所示的虚拟对象(例如，产品220)。例如，用户可与网站或应用程序交互以发起零售体验并选择一种或多种产品以在CGR环境204中查看。产品可显示为在CGR环境204中的虚拟对象，并且用户可以与上文所讨论的方式类似的方式与虚拟产品交互。
在一些实施方案中，销售员(例如，化身215)是虚拟销售员，诸如虚拟助手或用于在CGR环境204中与用户交互的人工智能的形式。在此类实施方案中，设备200可与虚拟销售员(或提供虚拟销售员的网络)通信，以提供关于用户和/或与设备200通信的其他设备的信息。例如，在此类实施方案中，设备200可访问通知设备200用户对特定主题诸如例如音乐感兴趣的数据。此信息可供设备200用来影响用户在CGR环境204中的零售体验。例如，设备200可显示或建议具有用户可能感兴趣的音乐应用程序的产品。又如，CGR环境204可显示为VR环境，在该VR环境中，用户能够体验使用虚拟产品(例如，扬声器、音频/视频软件等)来模拟作为唱片骑师在大量虚拟用户(例如，VR环境中的计算机生成的人员，或者在一些实施方案中，是与用户一起体验VR环境的真实人员)面前表演。
应当理解，可实现上述技术，以便在CGR环境204中提供其他体验。例如，代替实现购买产品的零售体验，设备200可在CGR环境204中实现允许用户对CGR环境204中的设备进行故障排除的体验。例如，用户可实现设备200发起与零售商的联系以对膝上型电脑206进行故障排除。又如，设备200可实现教室环境，在该教室环境中，用户与另一个用户(例如，老师)交互以在CGR环境204中查看和体验产品，以便学习如何使用在CGR环境204中显示为虚拟对象的产品并对其进行故障排除。
现在转到图3，描绘了用于在CGR环境中实现零售体验的示例性技术300的流程图。技术300可使用用户设备(例如，100a或200)来执行。尽管在图3中以特定次序描绘了技术300的框，但是可以其他次序执行这些框。此外，技术300的一个或多个框可为任选的和/或可执行附加框。
在框302处，设备(例如，100a、200)生成计算机生成的现实环境(例如，CGR环境204)(例如，混合现实环境；例如，增强现实环境)，包括在CGR环境中呈现表示产品(例如，软件产品；智能电话产品)的虚拟对象(例如，第一软件211；智能电话220-1)(例如，在产品展厅中由零售提供商出售的产品的表示；例如，物理对象；例如，虚拟对象)。在一些实施方案中，呈现虚拟对象涉及在屏幕诸如图1A和图1B中的显示器120或图2A至图2H中的显示器202上显示虚拟对象。
在一些实施方案中，该产品是物理产品(例如，智能电话/平板电脑)，其被配置为响应于检测到针对该物理产品的第一组输入而执行一组操作(例如，物理智能电话/平板电脑被配置为响应于检测到位于物理智能电话/平板电脑上的物理电源按钮上的输入而在物理屏幕上打开并显示带有应用程序的主页)。在一些实施方案中，表示产品的虚拟对象(例如，智能电话220-1)是物理产品(例如，虚拟智能电话或虚拟平板电脑)的虚拟表示，其被配置为响应于检测到针对物理产品的虚拟表示的第一组输入而执行一组操作(例如，虚拟智能电话/平板电脑被配置为响应于在呈现为出现在虚拟智能电话/平板电脑上的电源按钮上的输入而在虚拟屏幕(例如，224)上打开并显示带有应用程序(例如，226)的主页)。
在一些实施方案中，生成计算机生成的现实环境(例如，CGR环境204)包括在计算机生成的现实环境中呈现远程用户(例如，销售员)的虚拟表示(例如，销售员215)(例如，虚拟化身)。在一些实施方案中，在计算机生成的现实环境中将远程用户的虚拟表示呈现为在计算机生成的现实环境中存在的单独实体(例如，另一个用户)，并且远程用户的虚拟表示能够指导用户在计算机生成的现实环境中进行购物体验。
在一些实施方案中，计算机生成的现实环境(例如，CGR环境204)是响应于检测到针对与使用电子设备呈现的应用程序(例如，购物应用程序、新闻应用程序、web浏览器应用程序等)相关联的对象(例如，链接、示能表示等)的输入而生成的。
在框304处，在计算机生成的现实环境(例如，其中销售员的表示任选地呈现在计算机生成的现实环境中的通信会话)中呈现表示产品的虚拟对象(例如，211、220-1)时，设备(例如，100a、200)提供与远程用户(例如，产品的销售员)(例如，第二用户；例如，零售提供商的代表；例如，自动化或虚拟助手)的通信会话(例如，虚拟通信会话)。在一些实施方案中，通信会话与虚拟零售体验相关联。在一些实施方案中，通信会话包括在电子设备与销售员之间的双向音频馈送。在一些实施方案中，通信会话包括有限双向共享视频馈送，其中电子设备的用户能够查看整个计算机生成的现实环境，包括使用与销售员相关联的第二电子设备提供的视觉输入，并且销售员能够查看计算机生成的现实环境的有限内容。
在一些实施方案中，响应于接收到对发起通信会话的请求(例如，与提示210交互以发起通信会话)(例如，由用户发起的；例如，由销售员(例如，零售提供商的代表)发起的)来提供通信会话。
在一些实施方案中，呈现(例如，显示)表示产品的虚拟对象(例如，第一软件211)包括将虚拟对象(例如，被配置为与物理对象一起操作的软件应用程序的一个或多个虚拟表示)叠加在计算机生成的现实环境中的物理设备的物理显示器(例如，显示器206-1)(或其表示)(例如，膝上型电脑206)上。在一些实施方案中，虚拟对象被配置为响应于从通信会话接收的信息(例如，由第二电子设备发起的修改请求)而被修改。在一些实施方案中，来自通信会话的信息包括对应于从呈现第一虚拟对象切换到呈现第二虚拟对象(例如，从图2D中的第一软件211切换到图2E中的第二软件212)的请求的修改请求。例如，如果物理设备是膝上型电脑(例如，206)并且虚拟对象中的一个虚拟对象是被配置为在膝上型电脑上操作的第一软件应用程序(例如，211)(例如，软件应用程序被渲染(例如，叠加)为呈现在计算机生成的现实环境中的膝上型电脑的显示屏上)，则响应于接收到修改请求，电子设备从在膝上型电脑的显示屏上呈现第一软件应用程序切换到在膝上型电脑的显示屏上呈现不同软件应用程序(例如，第二软件212)。
在框306处，在提供通信会话时，设备(例如，100a、200)使用从通信会话接收(例如，通过第二(例如，远程)电子设备)的信息来调整在计算机生成的现实环境中表示产品的虚拟对象(例如，211、220-1)的呈现。例如，在一些实施方案中，从通信会话接收的信息是由与销售员相关联的第二电子设备发起的修改请求。在一些实施方案中，修改请求对应于第一电子设备(例如，设备200)修改计算机生成的现实环境的至少一个特性(例如，修改或呈现在计算机生成的现实环境中的一个或多个虚拟对象)的请求。在一些实施方案中，响应于接收到修改请求，设备基于由第二电子设备发起的修改请求来修改计算机生成的现实环境的外观。在一些实施方案中，基于修改请求来修改计算机生成的现实环境的外观包括呈现对对象的修改(例如，改变虚拟对象的取向/姿势、向环境添加虚拟对象、从环境移除虚拟对象)。在一些实施方案中，基于修改请求来修改计算机生成的现实环境的外观包括在计算机生成的现实环境中呈现与对象(例如，物理对象)相关联的虚拟对象。
在一些实施方案中，使用从通信会话接收的信息来调整在计算机生成的现实环境中表示产品的虚拟对象的呈现包括呈现不同的虚拟对象(例如，第二软件212)(例如，产品库中的不同产品的虚拟表示；例如，与对象关联的突出显示或注释)。
在一些实施方案中，使用从通信会话接收的信息来调整在计算机生成的现实环境中表示产品的虚拟对象的呈现包括停止呈现虚拟对象(例如，第一软件211不再在图2E中显示)(例如，停止呈现对象(例如，当对象是虚拟对象时)；例如，停止呈现产品库中的不同产品的虚拟表示)。
在一些实施方案中，在提供通信会话时，设备检测输入(例如，由用户提供的输入)，并且响应于检测到输入，基于所检测到的输入来修改在计算机生成的现实环境中表示产品的虚拟对象(例如，基于所检测到的输入来修改对象(例如，虚拟对象)的外观)。在一些实施方案中，输入对应于姿势(例如，手势)。
在一些实施方案中，基于所检测到的输入来修改在计算机生成的现实环境中表示产品的虚拟对象包括基于姿势的量值和方向中的至少一者来修改一个或多个虚拟对象的外观(例如，当姿势为小量值时，在项(例如，所呈现的应用程序)的单个迭代之间切换，或者当姿势大时，在成组的项之间跳过；例如，当姿势在第一方向上时，按项(例如，应用程序)的次序向前移动，或者当姿势在第二(相反)方向上时，按次序向后移动)。
在一些实施方案中，计算机生成的现实环境是增强现实环境(例如，具有虚拟和物理对象的环境)，并且该技术还包括检测第二输入(例如，来自用户的输入；例如，来自销售员的输入)，并且响应于检测到第二输入，将计算机生成的现实环境转变为虚拟环境(例如，没有物理对象的完全虚拟环境)，同时继续提供通信会话(例如，如图2H所示)。
在一些实施方案中，生成计算机生成的现实环境还包括生成将由与销售员相关联的第二电子设备接收的数据流(例如，该电子设备生成(例如，经由通信网络)传输到与销售员相关联的电子设备的数据流)。在一些实施方案中，数据流包括计算机生成的现实环境的至少一部分的表示(例如，211、212、220)。在一些实施方案中，数据流包括表示产品的虚拟对象。在一些实施方案中，数据流只包括表示产品的虚拟对象而不包括计算机生成的现实环境的表示(例如，206、208、218)，使得销售员能够查看产品的表示但不能查看计算机生成的现实环境的其他部分。
用于执行上述技术300的特征的可执行指令任选地被包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。
出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。
上述技术的各方面设想了采集和使用个人信息以在计算机生成的现实环境中实现零售体验的可能性。此类信息应在用户知情同意的情况下收集。
处理此类个人信息的实体将遵守既定的隐私做法和/或隐私政策(例如，由第三方认证的政策)，这些政策(1)通常被认为符合或超过行业或政府要求，(2)用户可访问，(3)根据需要进行更新，并且(4)符合适用法律。处理此类个人信息的实体将把这些信息用于合理且合法的用途，而不在那些合法用途之外进行共享或销售。
然而，用户可选择性地限制个人信息的访问/使用。例如，用户可选择参与或不参与他们的个人信息的收集。此外，尽管上述技术的各方面设想了个人信息的使用，但是这些技术的各方面可在不需要或不使用个人信息的情况下实现。例如，如果采集了位置信息、用户名和/或地址，它们可被一般化和/或屏蔽，使得它们不唯一地识别个体。

Claims (25)

1.一种电子设备，包括：
显示器；
一个或多个处理器；和
存储器，所述存储器存储被配置为由一个或多个程序执行的所述一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
生成计算机生成的环境，包括在所述计算机生成的环境中呈现表示产品的虚拟对象；
在所述计算机生成的环境中呈现表示所述产品的所述虚拟对象时，提供与远程用户的通信会话；以及
在提供所述通信会话时，使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现。
2.根据权利要求1所述的电子设备，其中响应于接收到对发起所述通信会话的请求而提供所述通信会话。
3.根据权利要求1所述的电子设备，其中呈现表示所述产品的所述虚拟对象包括将所述虚拟对象叠加在所述计算机生成的环境中的物理设备的物理显示器上。
4.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在提供所述通信会话时，检测输入；以及
响应于检测到所述输入，基于所检测到的输入来修改在所述计算机生成的环境中表示所述产品的所述虚拟对象。
5.根据权利要求4所述的电子设备，其中：
所述输入对应于姿势，并且
基于所检测到的输入来修改在所述计算机生成的环境中表示所述产品的所述虚拟对象包括基于所述姿势的量值和方向中的至少一者来修改一个或多个虚拟对象的外观。
6.根据权利要求1所述的电子设备，其中使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现包括呈现不同的虚拟对象。
7.根据权利要求1所述的电子设备，其中使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现包括停止呈现虚拟对象。
8.根据权利要求1所述的电子设备，其中：
所述产品是物理产品，其被配置为响应于检测到针对所述物理产品的第一组输入而执行一组操作；并且
表示所述产品的所述虚拟对象是所述物理产品的虚拟表示，所述虚拟对象被配置为响应于检测到针对所述物理产品的所述虚拟表示的所述第一组输入而执行所述一组操作。
9.根据权利要求1所述的电子设备，其中生成所述计算机生成的环境包括在所述计算机生成的环境中呈现所述远程用户的虚拟表示。
10.根据权利要求1所述的电子设备，其中所述计算机生成的环境是增强现实环境，所述一个或多个程序还包括用于以下操作的指令：
检测第二输入；以及
响应于检测到所述第二输入，将所述计算机生成的环境转变为虚拟现实环境，同时继续提供所述通信会话。
11.根据权利要求1所述的电子设备，其中响应于检测到针对与使用所述电子设备呈现的应用程序相关联的对象的输入而生成所述计算机生成的环境。
12.根据权利要求1所述的电子设备，其中所述电子设备是第一电子设备，并且生成所述计算机生成的环境还包括：
生成将由与所述远程用户相关联的第二电子设备接收的数据流，其中所述数据流包括所述计算机生成的环境的至少一部分的表示。
13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由具有显示器的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
生成计算机生成的环境，包括在所述计算机生成的环境中呈现表示产品的虚拟对象；
在所述计算机生成的环境中呈现表示所述产品的所述虚拟对象时，提供与远程用户的通信会话；以及
在提供所述通信会话时，使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现。
14.根据权利要求13所述的非暂态计算机可读存储介质，其中呈现表示所述产品的所述虚拟对象包括将所述虚拟对象叠加在所述计算机生成的环境中的物理设备的物理显示器上。
15.根据权利要求13所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在提供所述通信会话时，检测输入；以及
响应于检测到所述输入，基于所检测到的输入来修改在所述计算机生成的环境中表示所述产品的所述虚拟对象。
16.根据权利要求15所述的非暂态计算机可读存储介质，其中：
所述输入对应于姿势，并且
基于所检测到的输入来修改在所述计算机生成的环境中表示所述产品的所述虚拟对象包括基于所述姿势的量值和方向中的至少一者来修改一个或多个虚拟对象的外观。
17.根据权利要求13所述的非暂态计算机可读存储介质，其中使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现包括呈现不同的虚拟对象或者停止呈现虚拟对象。
18.根据权利要求13所述的非暂态计算机可读存储介质，其中：
所述产品是物理产品，其被配置为响应于检测到针对所述物理产品的第一组输入而执行一组操作；并且
表示所述产品的所述虚拟对象是所述物理产品的虚拟表示，所述虚拟对象被配置为响应于检测到针对所述物理产品的所述虚拟表示的所述第一组输入而执行所述一组操作。
19.根据权利要求13所述的非暂态计算机可读存储介质，其中所述计算机生成的环境是增强现实环境，所述一个或多个程序还包括用于以下操作的指令：
检测第二输入；以及
响应于检测到所述第二输入，将所述计算机生成的环境转变为虚拟现实环境，同时继续提供所述通信会话。
20.一种方法，包括：
在电子设备处：
生成计算机生成的环境，包括在所述计算机生成的环境中呈现表示产品的虚拟对象；
在所述计算机生成的环境中呈现表示所述产品的所述虚拟对象时，提供与远程用户的通信会话；以及
在提供所述通信会话时，使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现。
21.根据权利要求20所述的方法，其中呈现表示所述产品的所述虚拟对象包括将所述虚拟对象叠加在所述计算机生成的环境中的物理设备的物理显示器上。
22.根据权利要求20所述的方法，还包括：
在提供所述通信会话时，检测输入；以及
响应于检测到所述输入，基于所检测到的输入来修改在所述计算机生成的环境中表示所述产品的所述虚拟对象。
23.根据权利要求20所述的方法，其中使用从所述通信会话接收的信息来调整在所述计算机生成的环境中表示所述产品的所述虚拟对象的所述呈现包括呈现不同的虚拟对象或者停止呈现虚拟对象。
24.根据权利要求20所述的方法，其中：
所述产品是物理产品，其被配置为响应于检测到针对所述物理产品的第一组输入而执行一组操作；并且
表示所述产品的所述虚拟对象是所述物理产品的虚拟表示，所述虚拟对象被配置为响应于检测到针对所述物理产品的所述虚拟表示的所述第一组输入而执行所述一组操作。
25.根据权利要求20所述的方法，其中所述计算机生成的环境是增强现实环境，所述方法还包括：
检测第二输入；以及
响应于检测到所述第二输入，将所述计算机生成的环境转变为虚拟现实环境，同时继续提供所述通信会话。
CN202010622744.2A 2019-07-03 2020-06-30 指导式零售体验 Pending CN112184356A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962870442P 2019-07-03 2019-07-03
US62/870,442 2019-07-03
US16/905,032 US11775130B2 (en) 2019-07-03 2020-06-18 Guided retail experience
US16/905,032 2020-06-18

Publications (1)

Publication Number Publication Date
CN112184356A true CN112184356A (zh) 2021-01-05

Family

ID=71452068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622744.2A Pending CN112184356A (zh) 2019-07-03 2020-06-30 指导式零售体验

Country Status (3)

Country Link
US (1) US11775130B2 (zh)
EP (1) EP3761249A1 (zh)
CN (1) CN112184356A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11446567B2 (en) 2019-06-11 2022-09-20 Universal City Studios Llc Digital character interacting with customer in physical realm
US11816800B2 (en) 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
US11412382B2 (en) * 2019-11-07 2022-08-09 Humans, Inc Mobile application camera activation and de-activation based on physical object location
US11544775B2 (en) * 2020-08-27 2023-01-03 Inter Face Ip Limited System and method for virtual demonstration of product
WO2023028568A1 (en) * 2021-08-27 2023-03-02 Chinook Labs Llc Method of customizing and demonstrating products in a virtual environment
US11995739B2 (en) * 2022-02-09 2024-05-28 At&T Intellectual Property I, L.P. System for contextual diminished reality for meta verse immersions

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality
US20100030578A1 (en) * 2008-03-21 2010-02-04 Siddique M A Sami System and method for collaborative shopping, business and entertainment
US20140236776A1 (en) * 2013-02-19 2014-08-21 Covidien Lp System and Method for Virtual Product Demonstrations
US20140333664A1 (en) * 2013-05-10 2014-11-13 Verizon and Redbox Digital Entertainment Services, LLC. Vending kiosk user interface systems and methods
CN105190485A (zh) * 2013-04-29 2015-12-23 微软技术许可有限责任公司 混合现实交互
WO2016040376A1 (en) * 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
GB201617446D0 (en) * 2016-10-14 2016-11-30 Vr-Chitect Limited Virtual reality system and method
US20170031503A1 (en) * 2014-09-26 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
US20170132841A1 (en) * 2015-09-22 2017-05-11 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
CN107077695A (zh) * 2014-10-13 2017-08-18 金伯利-克拉克环球有限公司 向在线购物环境提供3‑d购物体验的***和方法
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和***
US20180124351A1 (en) * 2016-10-27 2018-05-03 Wal-Mart Stores, Inc. Systems and methods for conserving computing resources during an online or virtual shopping session
US10134084B1 (en) * 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示
WO2019067476A2 (en) * 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
US20190107990A1 (en) * 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
CN109643527A (zh) * 2016-04-01 2019-04-16 易客斯特解决方案公司 用于零售环境仿真的虚拟现实平台
US20190114689A1 (en) * 2017-10-13 2019-04-18 Midea Group Co., Ltd. Method and system for providing personalized on-location information exchange
US20190146219A1 (en) * 2017-08-25 2019-05-16 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
CN109891369A (zh) * 2016-12-05 2019-06-14 谷歌有限责任公司 虚拟会议中的信息隐私
US20200184217A1 (en) * 2018-12-07 2020-06-11 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005119550A2 (en) 2004-05-28 2005-12-15 Iteam, Inc. Virtual consultation system and method
US7457730B2 (en) 2005-12-15 2008-11-25 Degnan Donald A Method and system for virtual decoration
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
US8199966B2 (en) 2008-05-14 2012-06-12 International Business Machines Corporation System and method for providing contemporaneous product information with animated virtual representations
US20090287534A1 (en) 2008-05-14 2009-11-19 Shang Qing Guo System and method for providing contemporaneous product information and sales support for retail customers
US10737185B2 (en) * 2009-03-18 2020-08-11 Microsoft Technology Licensing, Llc Virtual environment controls based on voice chat audio inputs
US9747622B1 (en) 2009-03-24 2017-08-29 Overstock.Com, Inc. Point-and-shoot product lister
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
WO2012106815A1 (en) 2011-02-11 2012-08-16 4D Retail Technology Corp. System and method for virtual shopping display
US9213420B2 (en) 2012-03-20 2015-12-15 A9.Com, Inc. Structured lighting based content interactions
JP2015531907A (ja) * 2012-07-19 2015-11-05 ヴァッツ ゴウラヴＶＡＴＳ， Ｇａｕｒａｖ 現実的かつ拡張デジタルオブジェクトの表示と相互作用体験を提供するためのユーザ制御３ｄシミュレーション
US20140172570A1 (en) 2012-12-14 2014-06-19 Blaise Aguera y Arcas Mobile and augmented-reality advertisements using device imaging
US9679332B2 (en) 2013-02-28 2017-06-13 Lg Electronics Inc. Apparatus and method for processing a multimedia commerce service
US20150262236A1 (en) 2014-03-13 2015-09-17 Ebay Inc. Follow-up messages after in-store shopping
US9639957B2 (en) 2014-06-12 2017-05-02 A9.Com, Inc. Recommendations utilizing visual image analysis
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US10134082B2 (en) 2014-10-13 2018-11-20 Paypal, Inc. Virtual display device for an interactive merchant sales environment
US10026629B2 (en) 2014-10-17 2018-07-17 Tokyo Electron Limited Substrate liquid processing apparatus, substrate liquid processing method, and computer-readable storage medium storing substrate liquid processing program
US10354256B1 (en) 2014-12-23 2019-07-16 Amazon Technologies, Inc. Avatar based customer service interface with human support agent
US11257143B2 (en) * 2014-12-30 2022-02-22 Hand Held Products, Inc. Method and device for simulating a virtual out-of-box experience of a packaged product
US9965793B1 (en) 2015-05-08 2018-05-08 Amazon Technologies, Inc. Item selection based on dimensional criteria
US10176471B2 (en) 2015-06-09 2019-01-08 GeoPRI, LLC Systems and methods for providing product information via an interactive display device
US9886086B2 (en) * 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
GB201517101D0 (en) * 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
WO2017069324A1 (ko) 2015-10-22 2017-04-27 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US20180061128A1 (en) * 2016-08-23 2018-03-01 Adobe Systems Incorporated Digital Content Rendering Coordination in Augmented Reality
US10831334B2 (en) * 2016-08-26 2020-11-10 tagSpace Pty Ltd Teleportation links for mixed reality environments
US10332317B2 (en) * 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10379881B2 (en) * 2016-11-16 2019-08-13 Citrix Systems, Inc. Delivering an immersive remote desktop
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US11417091B2 (en) 2017-05-30 2022-08-16 Ptc Inc. Use of coordinated local user devices during a shared augmented reality session
US10432613B2 (en) 2017-08-23 2019-10-01 Dell Products L. P. HTTPS enabled client tool
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US10789622B2 (en) 2018-05-07 2020-09-29 Adobe Inc. Generating and providing augmented reality representations of recommended products based on style compatibility in relation to real-world surroundings
US10573019B1 (en) 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques
CN115016638A (zh) 2018-10-15 2022-09-06 美的集团股份有限公司 提供虚拟指导的方法、计算机***及计算机可读存储介质
US11080941B2 (en) 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
US11301908B2 (en) 2019-05-03 2022-04-12 Genesys Telecommunications Laboratories, Inc. System and method for providing contextual summaries in interaction transfer
US11816800B2 (en) 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
US20210110646A1 (en) * 2019-10-11 2021-04-15 Citrix Systems, Inc. Systems and methods of geolocating augmented reality consoles

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality
US20100030578A1 (en) * 2008-03-21 2010-02-04 Siddique M A Sami System and method for collaborative shopping, business and entertainment
US20140236776A1 (en) * 2013-02-19 2014-08-21 Covidien Lp System and Method for Virtual Product Demonstrations
CN105190485A (zh) * 2013-04-29 2015-12-23 微软技术许可有限责任公司 混合现实交互
US20140333664A1 (en) * 2013-05-10 2014-11-13 Verizon and Redbox Digital Entertainment Services, LLC. Vending kiosk user interface systems and methods
WO2016040376A1 (en) * 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
US20170031503A1 (en) * 2014-09-26 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
CN107077695A (zh) * 2014-10-13 2017-08-18 金伯利-克拉克环球有限公司 向在线购物环境提供3‑d购物体验的***和方法
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和***
US20170132841A1 (en) * 2015-09-22 2017-05-11 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
CN109643527A (zh) * 2016-04-01 2019-04-16 易客斯特解决方案公司 用于零售环境仿真的虚拟现实平台
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示
GB201617446D0 (en) * 2016-10-14 2016-11-30 Vr-Chitect Limited Virtual reality system and method
US20180124351A1 (en) * 2016-10-27 2018-05-03 Wal-Mart Stores, Inc. Systems and methods for conserving computing resources during an online or virtual shopping session
CN109891369A (zh) * 2016-12-05 2019-06-14 谷歌有限责任公司 虚拟会议中的信息隐私
US20190146219A1 (en) * 2017-08-25 2019-05-16 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US20190107990A1 (en) * 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
WO2019067476A2 (en) * 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
US20190114689A1 (en) * 2017-10-13 2019-04-18 Midea Group Co., Ltd. Method and system for providing personalized on-location information exchange
US20190156404A1 (en) * 2017-11-17 2019-05-23 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US10134084B1 (en) * 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US20200184217A1 (en) * 2018-12-07 2020-06-11 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曲德祥;孙梅玉;张洪军;: "试论虚拟现实技术", 工会论坛(山东省工会管理干部学院学报), no. 02 *
罗玉华;左军;李岩;: "虚拟现实技术及其应用", 科技信息, no. 01 *

Also Published As

Publication number Publication date
US20210004137A1 (en) 2021-01-07
US11775130B2 (en) 2023-10-03
EP3761249A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
Piumsomboon et al. On the shoulder of the giant: A multi-scale mixed reality collaboration with 360 video sharing and tangible interaction
JP6938772B2 (ja) 視線ベースのユーザ対話
US11775130B2 (en) Guided retail experience
Carmigniani et al. Augmented reality technologies, systems and applications
Carmigniani et al. Augmented reality: an overview
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
Čopič Pucihar et al. Evaluating dual-view perceptual issues in handheld augmented reality: device vs. user perspective rendering
CN110968187B (zh) 由***设备启用的远程触摸检测
CN105190477A (zh) 用于在增强现实环境中的用户交互的头戴式显示装置
US11270116B2 (en) Method, device, and system for generating affordances linked to a representation of an item
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
CN113785260A (zh) 控制计算机生成现实环境中的虚拟对象的表示
US20210005022A1 (en) Guided consumer experience
Cho et al. X‐person asymmetric interaction in virtual and augmented realities
CN115700433A (zh) 用于交互式三维预览的***和方法
Ohl Tele-immersion concepts
EP3190503B1 (en) An apparatus and associated methods
Shumaker et al. Virtual, Augmented and Mixed Reality
Shumaker Virtual, Augmented and Mixed Reality: Designing and Developing Augmented and Virtual Environments: 5th International Conference, VAMR 2013, Held as Part of HCI International 2013, Las Vegas, NV, USA, July 21-26, 2013, Proceedings, Part I
Begole Responsive media: media experiences in the age of thinking machines
Hopf et al. Novel autostereoscopic single-user displays with user interaction
KR102684612B1 (ko) 가상 객체들 제어
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
CN116828245A (zh) 视频切换方法、装置、设备、介质和程序
CN118284880A (zh) 用于三维显示的用户界面模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination