CN115867912A - 用于扩展现实的虚拟私用空间 - Google Patents

用于扩展现实的虚拟私用空间 Download PDF

Info

Publication number
CN115867912A
CN115867912A CN202180046178.8A CN202180046178A CN115867912A CN 115867912 A CN115867912 A CN 115867912A CN 202180046178 A CN202180046178 A CN 202180046178A CN 115867912 A CN115867912 A CN 115867912A
Authority
CN
China
Prior art keywords
virtual
private space
virtual private
augmented reality
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180046178.8A
Other languages
English (en)
Inventor
S·贝斯
R·塔尔兹
A·A·肯达黛
G·赖特迈尔
M·塔瓦科利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115867912A publication Critical patent/CN115867912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149Restricted operating environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了用于生成用于扩展现实(XR)体验的虚拟私用空间的***、方法和非暂时性介质。示例方法可以包括:发起用于呈现虚拟内容的虚拟会话;以及针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的至少一部分的虚拟私用空间的一部分。该方法可以包括:输出定义虚拟私用空间的边界的边界信息;以及针对虚拟私用空间来生成虚拟内容的至少该一部分。虚拟内容的至少该部分可被虚拟会话的一个或多个被授权用户在虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。

Description

用于扩展现实的虚拟私用空间
技术领域
概括而言,本公开内容涉及生成用于扩展现实和其它应用的虚拟私用空间中的虚拟内容。
背景技术
扩展现实技术可以用于向用户呈现虚拟内容,和/或可以将来自物理世界的真实环境与虚拟环境相结合,以向用户提供扩展现实体验。术语扩展现实可以包含虚拟现实、增强现实、混合现实等。这些形式的扩展现实中的每一种都允许用户体验沉浸式虚拟环境或内容或与沉浸式虚拟环境或内容进行交互。例如,扩展现实体验可以允许用户与利用虚拟内容加强或增强的真实或物理环境进行交互。
可以实现扩展现实技术,以加强各种各样的情境(诸如娱乐、医疗、零售、教育、社交媒体等)下的用户体验。
发明内容
公开了用于生成虚拟私用空间中的虚拟内容以用于扩展现实体验的***、装置、方法和计算机可读介质。根据至少一个示例,提供了一种用于针对一个或多个虚拟私用空间来生成虚拟内容的方法。所述方法包括:由设备发起用于呈现虚拟内容的虚拟会话;针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;输出定义所述虚拟私用空间的边界的边界信息;以及针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
在另一示例中,提供了一种用于针对一个或多个虚拟私用空间来生成虚拟内容的装置,其包括:存储器,其被配置为存储虚拟内容;以及一个或多个处理器(例如,在电路中实现),其耦合到所述存储器。处理器被配置为并且可以进行以下操作:发起用于呈现虚拟内容的虚拟会话;针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;输出定义所述虚拟私用空间的边界的边界信息;以及针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
在另一示例中,提供了一种具有存储在其上的指令的非暂时性计算机可读介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:发起用于呈现虚拟内容的虚拟会话;针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;输出定义所述虚拟私用空间的边界的边界信息;以及针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
在另一示例中,提供了一种用于针对一个或多个虚拟私用空间生成虚拟内容的装置。所述装置包括:用于发起用于呈现虚拟内容的虚拟会话的单元;用于针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分的单元;用于输出定义所述虚拟私用空间的边界的边界信息的单元;以及用于针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分的单元,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
在另一示例中,提供了一种用于生成虚拟内容的方法。所述方法包括:由一个或多个处理器针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的虚拟私用空间的一部分;由所述一个或多个处理器生成定义所述虚拟私用空间的边界的边界信息,所述边界信息与标识针对所述虚拟私用空间的所述边界的边界虚拟内容相关联;由所述一个或多个处理器针对所述虚拟私用空间来生成所述虚拟内容;由第一扩展现实查看设备显示所述虚拟会话的所述虚拟内容,所述第一扩展现实查看设备被布置为接收和显示所述虚拟内容;以及由第二扩展现实查看设备显示所述虚拟内容,所述第二扩展现实查看设备被布置为接收所述边界信息和显示所述边界虚拟内容。在一些情况下,所述第二扩展现实查看设备不显示所述虚拟私用空间中的所述虚拟内容。
在另一方面中,提供了一种扩展现实***。所述扩展现实***包括:一个或多个处理器,其被配置为:针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的虚拟私用空间的一部分;生成定义所述虚拟私用空间的边界的边界信息,所述边界信息与标识针对所述虚拟私用空间的所述边界的边界虚拟内容相关联;以及针对所述虚拟私用空间来生成所述虚拟内容。所述扩展现实***还包括第一扩展现实查看设备,所述第一扩展现实查看设备被授权显示和/或查看所述虚拟会话的所述虚拟内容,所述第一扩展现实查看设备被布置为接收和显示所述虚拟内容。所述扩展现实***还包括第二扩展现实查看设备,所述第二扩展现实查看设备未被授权显示和/或查看所述虚拟内容,所述第二扩展现实查看设备被布置为接收所述边界信息和显示所述边界虚拟内容,并且不显示所述虚拟私用空间中的所述虚拟内容。在一些示例中,所述一个或多个处理器是所述第一扩展现实查看设备的部分。
在另一示例中,提供了一种扩展现实***的非暂时性计算机可读介质,其具有存储在其上的指令,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:通过一个或多个处理器针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的虚拟私用空间的一部分;生成定义所述虚拟私用空间的边界的边界信息,所述边界信息与标识针对所述虚拟私用空间的所述边界的边界虚拟内容相关联;以及针对所述虚拟私用空间来生成所述虚拟内容。提供了一种第一扩展现实查看设备的非暂时性计算机可读介质,其具有存储在其上的指令,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:显示所述虚拟会话的所述虚拟内容,所述第一扩展现实查看设备被布置为接收和显示所述虚拟内容。提供了一种第二扩展现实查看设备的非暂时性计算机可读介质,其具有存储在其上的指令,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作:显示所述虚拟内容,所述第二扩展现实查看设备被布置为接收所述边界信息和显示所述边界虚拟内容。在一些情况下,所述第二扩展现实查看设备不显示所述虚拟私用空间中的所述虚拟内容。
在另一示例中,提供了一种扩展现实***。所述扩展现实***包括:用于通过一个或多个处理器针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的虚拟私用空间的一部分的单元;用于生成定义所述虚拟私用空间的边界的边界信息的单元,所述边界信息与标识针对所述虚拟私用空间的所述边界的边界虚拟内容相关联;用于针对所述虚拟私用空间来生成所述虚拟内容的单元;用于显示所述虚拟会话的所述虚拟内容的第一单元,所述用于显示的第一单元被布置为接收和显示所述虚拟内容;以及用于显示所述虚拟内容的第二单元,所述用于显示的第二单元被布置为接收所述边界信息和显示所述边界虚拟内容。在一些情况下,所述用于显示的第二单元不显示所述虚拟私用空间中的所述虚拟内容。
在一些方面中,基于与所述边界信息相关联的边界虚拟内容,所述虚拟内容的至少所述一部分不可被所述一个或多个未被授权用户查看。
在一些方面中,基于与所述边界信息相关联的边界虚拟内容,在所述边界虚拟内容内定义的真实世界体积不可被所述一个或多个未被授权用户查看。
在一些方面中,上述方法、装置和计算机可读介质中的一者或多者还包括:输出标识针对所述虚拟私用空间的边界的边界虚拟内容,所述边界虚拟内容可被所述虚拟会话的所述一个或多个未被授权用户查看。
在一些方面中,所述边界信息包括以下各项中的至少一项:所述物理空间中的世界坐标、以及所述物理区域的至少一个图像中的一个或多个特征点,所述一个或多个特征点可用于生成标识针对所述虚拟私用空间的所述边界的边界虚拟内容。
在一些方面中,上述方法、装置和计算机可读介质中的一者或多者还包括:接收关于未被授权用户已经进入所述虚拟私用空间的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间的所述指示,遮挡所述未被授权用户的至少一部分以免可被所述一个或多个被授权用户在所述虚拟私用空间中查看。
在一些方面中,上述方法、装置和计算机可读介质中的一者或多者还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,移动所述虚拟私用空间中的一个或多个虚拟对象以避开所述未被授权用户的至少一部分。
在一些方面中,上述方法、装置和计算机可读介质中的一者或多者还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,输出指示所述虚拟私用空间的存在的通知。
在一些方面中,输出所述通知包括以下各项中的至少一项:向所述未被授权用户的设备发送所述通知,以及输出指示所述虚拟私用空间的所述存在的音频通知。在一些情况下,所述通知包括所述未被授权用户的轮廓。
在一些方面中,上述方法、装置和计算机可读介质中的一者或多者还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,向所述一个或多个被授权用户的一个或多个设备输出通知,所述通知指示所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内。在一些情况下,所述通知包括所述未被授权用户的轮廓。
在一些方面中,所述设备或所述装置中的一个或多个装置是扩展现实设备,并且上述方法、装置和计算机可读介质中的一者或多者还包括:由所述扩展现实设备显示所述虚拟内容的至少所述一部分
在一些方面中,所述设备或所述装置中的一个或多个装置是第一扩展现实设备,并且上述方法、装置和计算机可读介质中的一者或多者还包括:向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
在一些方面中,所述设备或所述装置中的一个或多个装置是第一扩展现实设备,并且上述方法、装置和计算机可读介质中的一者或多者还包括:由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;以及向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
在一些方面中,所述设备或所述装置中的一个或多个装置是第一扩展现实设备,并且上述方法、装置和计算机可读介质中的一者或多者还包括:由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;向第二扩展现实设备输出所述虚拟内容的至少所述一部分;由所述第二扩展现实设备接收所述边界信息;以及由所述第二扩展现实设备根据所接收的边界信息来生成所述虚拟边界内容。
在一些方面中,所述设备是服务器设备,并且上述方法、装置和计算机可读介质中的一者或多者还包括:由所述服务器设备向扩展现实设备输出所述虚拟内容的至少所述一部分。
在一些方面中,所述装置包括相机、移动设备(例如,移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、扩展现实设备(例如,虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算或其它设备。在一些方面中,所述装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面中,所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中,上文描述的装置可以包括一个或多个传感器。
该发明内容既不旨在标识所要求保护的主题的关键或必要特征,也不旨在孤立地用于确定所要求保护的主题的范围。通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求,应当理解本主题。
在参考以下说明书、权利要求和附图之后,前述内容以及其它特征和实施例将变得更加显而易见。
附图说明
下文参考以下附图详细描述了本申请的说明性实施例:
图1是示出根据本公开内容的一些示例的示例扩展现实***的框图;
图2是示出根据本公开内容的一些示例的手的示例标志(landmark)点的示意图,示例标志点可以用于跟踪手的位置以及手与虚拟环境的交互;
图3是示出根据本公开内容的一些示例的由用户佩戴的扩展现实***的示例的示意图;
图4是示出根据本公开内容的一些示例的其中虚拟内容被显示在虚拟私用空间中的增强现实虚拟会话的示例的示意图;
图5是示出根据本公开内容的一些示例的在图4中所示的虚拟私用空间的另一视野的示意图;
图6是示出根据本公开内容的一些示例的来自图4的桌子和边界虚拟内容的侧面视图的示例的示意图;
图7A、图7B和图7C是示出根据本公开内容的一些示例的人物理地进入虚拟私用空间的示例的示意图;
图8是示出根据本公开内容的一些示例的用于针对一个或多个虚拟私用空间来生成虚拟内容的过程的示例的流程图;以及
图9示出了根据本公开内容的一些示例的示例计算***。
具体实施方式
下文提供了本公开内容的某些方面和实施例。如对于本领域技术人员将显而易见的,这些方面和实施例中的一些可以独立地应用,并且它们中的一些可以相结合地应用。在以下描述中,出于解释的目的,阐述了具体细节以便提供对本申请的实施例的透彻理解。然而,将显而易见的是,可以在没有这些具体细节的情况下实施各个实施例。附图和描述并不旨在是限制性的。
随后描述仅提供了示例实施例,并且不旨在限制本公开内容的范围、适用性或配置。确切而言,对这些示例性实施例的随后描述将向本领域技术人员提供用于实现示例性实施例的可行描述。应当理解,在不脱离如在所附的权利要求书中阐述的本申请的精神和范围的情况下,可以对元素的功能和布置进行各种改变。
扩展现实(XR)***可以促进与不同类型的XR环境的交互,包括虚拟现实(VR)环境、增强现实(AR)环境、混合现实(MR)环境和/或其它XR环境。用户可以使用XR设备来与XR环境进行交互。XR设备的示例包括头戴式显示器(HMD)、智能眼镜等。例如,AR***可以使得虚拟内容叠加到真实世界环境的图像上,这些图像可以由用户通过AR设备(例如,HMD、AR眼镜或其它AR设备)来查看。真实世界环境可以包括物理对象、人或其它真实世界对象。XR设备可以跟踪用户的部分(例如,用户的手和/或指尖)以允许用户与虚拟内容项进行交互。
可以利用在XR环境中存在的虚拟内容来补充真实世界对象。例如,在AR会话期间显示的包括AR环境的一个或多个图像中,虚拟咖啡杯可以虚拟地锚定到真实世界桌子(例如,放置在其之上)。人们还可以直接影响环境内的虚拟内容和/或其它真实世界对象。例如,在被一个或多个虚拟内容项占据的空间中的人可以以各种方式与一个或多个虚拟内容项和/或与一个或多个真实世界对象进行交互。在一个示例中,人可以通过移动和/或阻挡(或遮挡)正被显示的虚拟内容而中断AR会话。在另一示例中,人可以移动虚拟地支撑虚拟内容项的真实世界对象(例如,通过移动托住虚拟咖啡杯的物理桌子)。
在一些情况下,人可能不知道正在AR会话期间在给定环境中渲染虚拟内容项。例如,人可能未在使用(例如,佩戴)允许该人看到AR会话的虚拟内容的AR设备。在另一示例中,人可以具有AR设备,但是可能未被授权查看AR会话的虚拟内容。如果空间中的人未在使用AR设备或未被授权查看某些虚拟内容,则该人将无法查看虚拟内容,并且可能以对针对正在佩戴AR设备并且被授权查看AR会话的虚拟内容并与其进行交互的用户的用户体验产生不利影响的方式无意地干扰虚拟内容。
在一些情况下,这种干扰可能是有问题的。例如,对于参与虚拟会话(例如,AR会话或其它XR会话)的用户来说,虚拟环境中的意外变化可能令人沮丧。如上所述,AR内容可以被锚定到可观察到的并且可以由未在使用AR设备的用户操纵的一个或多个真实世界对象。在一个说明性示例中,可以在包含盘子、杯子、餐具和其它物品的餐厅桌子上发起多玩家AR游戏会话。当用于用于锚定者的真实世界对象被移动和/或这些对象以其它方式阻挠沉浸时(例如,如果服务员以遮挡/中断虚拟内容和/或影响锚定的方式重新斟满杯子),对于观察AR会话的AR内容的用户来说可能感到沮丧。
还可能期望维护虚拟会话的隐私,使得其它人无法查看向参与虚拟会话的一个或多个用户显示的虚拟内容。然而,未被授权查看虚拟会话的虚拟内容的用户可能未意识到虚拟会话正在发生或会话的范围,即使他们也在使用AR设备并且可能无意地查看虚拟内容。
本公开内容描述了用于生成虚拟私用空间的***、装置、方法和计算机可读介质。本文描述的技术提供了用于XR设备或***(例如,HMD、AR眼镜等)的用户定义用于虚拟会话(例如,AR会话)的虚拟私用空间的能力,其中,被呈现在虚拟私用空间中的虚拟内容可以仅由被授权查看(使用XR设备,诸如AR眼镜)虚拟私用空间的虚拟内容的“被授权”用户看到并且与其进行交互。未被授权用户无法查看在虚拟私用空间中显示的虚拟内容。如本文所使用的,未被授权用户是未被授权查看被呈现在虚拟私用空间中的虚拟会话的虚拟内容的设备的用户。如本文所描述的,可以使用任何合适的授权技术来对用户进行授权和未授权。虚拟私用空间可以是大空间(例如,建筑区)或小空间(例如,显示在真实世界桌子上的游戏板)。较大空间可以大于由单个用户设备感测的区域。在一些情况下,可能需要基于来自通信网络的输入来重新绘制与大空间相对应的地图。
虚拟私用空间创建了“安全区”,在该安全区中,被授权AR用户可以进行活动(例如,虚拟游戏、虚拟体育活动、虚拟演示等)并且不会被虚拟活动正在其中进行的物理环境中的其它人或对象无意地打扰。出于说明性目的,本文使用AR会话和AR设备来描述各示例。普通技术人员将理解,这些技术可以被应用于其它XR环境,诸如VR和/或MR环境。
可以向被授权用户的不同AR设备提供定义要包括在虚拟私用空间中的虚拟内容的数据,使得AR设备可以显示要包括在该虚拟私用空间中的虚拟内容。在一些示例中,可以通过生成和显示边界虚拟内容来实现虚拟私用空间,该边界虚拟内容将虚拟私用空间划界和/或阻挡可能与虚拟私用空间的被授权用户处于相同的真实世界环境中的未被授权用户的视野。例如,AR设备和/或服务器可以向未被授权用户的一个或多个AR设备并且在一些情况下向虚拟会话的被授权用户的一个或多个其它AR设备提供边界信息(例如,世界坐标、图像中的特征点和/或其它边界信息)。边界信息可以由一个或多个AR设备用于生成和显示标识针对虚拟私用空间的边界的边界虚拟内容。在另一示例中,AR设备和/或服务器可以生成标识针对虚拟私用空间的边界的边界虚拟内容,并且可以向未被授权用户的一个或多个AR设备并且在一些情况下向虚拟会话的被授权用户的一个或多个其它AR设备提供边界虚拟内容。在一些情况下,未被授权用户和/或被授权用户的一个或多个AR设备可以确定边界信息(例如,世界坐标、图像中的特征点和/或其它信息),并且可以使用该信息来生成边界虚拟内容。在一些情况下,一个或多个被授权用户的AR设备和/或服务器可以与未被授权用户的AR设备共享真实世界地图,因此未被授权用户的AR设备可以显示虚拟私用空间的边界或其它视觉指示。在一些情况下,可以基于虚拟会话中的虚拟内容的范围、基于用户输入来生成定义虚拟私用空间的虚拟内容和/或根据从用户的AR设备提供的应用状态来推断该虚拟内容。
边界虚拟内容允许未被授权查看虚拟私用空间内的虚拟内容的用户(未被授权用户)观察到虚拟私用空间的存在。例如,未被授权用户的AR设备可以显示描绘虚拟空间的虚拟屏障。边界虚拟内容的显示防止未被授权用户查看虚拟私用空间中的虚拟内容,而同时限制虚拟会话的意外中断。在一个说明性示例中,通过观察(例如,使用AR设备)虚拟私用空间的边界虚拟信息,餐厅服务人员可以避免干扰包含在虚拟私用空间内的真实世界对象。
本文关于各个图提供了关于对虚拟私用空间的生成的进一步细节。图1是示出根据本公开内容的一些方面的示例扩展现实***100的图。扩展现实***100可以运行(或执行)XR应用并且实现XR操作。在一些示例中,作为XR体验的一部分,扩展现实***100可以执行跟踪和定位、对物理世界(例如,场景)的地图绘制、以及在显示器109(例如,屏幕、可见平面/区域和/或其它显示器)上对虚拟内容的定位和渲染。例如,扩展现实***100可以生成物理世界中的场景的地图(例如,三维(3D)地图),跟踪扩展现实***100相对于该场景(例如,相对于该场景的3D地图)的位姿(例如,地点(location)和位置(position)),将虚拟内容定位和/或锚定在该场景的地图上的特定位置,并且在显示器109上渲染虚拟内容,使得虚拟内容在场景中看起来处于与场景的地图上的虚拟内容被定位和/或锚定的特定地点相对应的地点。显示器109可以包括眼镜、屏幕、镜头、投射器和/或允许用户看到真实世界环境并且还允许在其上显示XR内容的其它显示机构。
在该说明性示例中,扩展现实***100包括一个或多个图像传感器102、加速计104、陀螺仪106、存储装置107、计算组件110、XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126。应当注意,在图1中所示的组件102-126是出于说明和解释目的而提供的非限制性示例,并且其它示例可以包括与在图1中所示的组件相比更多、更少或不同的组件。例如,在一些情况下,扩展现实***100可以包括一个或多个其它传感器(例如,一个或多个惯性测量单元(IMU)、雷达、光检测和测距(LIDAR)传感器、音频传感器等)、一个或多个显示设备、一个或多个其它处理引擎、一个或多个其它硬件组件和/或在图1中未示出的一个或多个其它软件和/或硬件组件。下文参考图9进一步描述了可以由扩展现实***100实现的示例架构和示例硬件组件。
此外,出于简单和解释的目的,一个或多个图像传感器102在本文中将被称为图像传感器102(例如,以单数形式)。然而,本领域普通技术人员将认识到,扩展现实***100可以包括单个图像传感器或多个图像传感器。此外,以单数或复数形式对扩展现实***100的任何组件(例如,102-126)的引用不应当被解释为将由扩展现实***100实现的此类组件的数量限制为一个或多于一个。例如,以单数形式对加速计104的引用不应当被解释为将由扩展现实***100实现的加速计的数量限制为一个。本领域普通技术人员将认识到,对于在图1中所示的组件102-126中的任何一者,扩展现实***100可以仅包括一个此类组件或多于一个的此类组件。
扩展现实***100包括输入设备108或与输入设备108进行通信(有线或无线地)。输入设备108可以包括任何合适的输入设备,诸如触摸屏、笔或其它指针设备、键盘、鼠标、按钮或按键、用于接收语音命令的麦克风、用于接收手势命令的手势输入设备、其任何组合、和/或其它输入设备。在一些情况下,图像传感器102可以捕获可以被处理以用于解释手势命令的图像。
扩展现实***100可以是单个计算设备或多个计算设备的一部分或由其实现。在一些示例中,扩展现实***100可以是电子设备(或多个电子设备)的一部分,诸如扩展现实头戴式显示器(HMD)设备、扩展现实眼镜(例如,增强现实或AR眼镜)、相机***(例如,数字相机、IP相机、视频相机、安全相机等)、电话***(例如,智能电话、蜂窝电话、会议***等)、台式计算机、膝上型计算机或笔记本计算机、平板计算机、机顶盒、智能电视机、显示设备、游戏主控台、视频流式设备、IoT(物联网)设备和/或任何其它合适的电子设备。
在一些实现中,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置107、计算组件110、XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126可以是相同的计算设备的一部分。例如,在一些情况下,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置107、计算组件110、XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126可以集成到HMD、扩展现实眼镜、智能电话、膝上型计算机、平板计算机、游戏***、和/或任何其它计算设备。然而,在一些实现中,一个或多个图像传感器102、加速计104、陀螺仪106、存储装置107、计算组件110、XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126可以是两个或更多个单独计算设备的一部分。例如,在一些情况下,组件102-126中的一些组件可以是一个计算设备的一部分或由其实现,而剩余组件可以是一个或多个其它计算设备的一部分或由其实现。
存储装置107可以是用于存储数据的任何存储设备。此外,存储装置107可以存储来自扩展现实***100的任何组件的数据。例如,存储装置107可以存储来自图像传感器102的数据(例如,图像或视频数据)、来自加速计104的数据(例如,测量结果)、来自陀螺仪106的数据(例如,测量结果)、来自计算组件110的数据(例如,处理参数、偏好、虚拟内容、渲染内容、场景地图、跟踪和定位数据、对象检测数据、隐私数据、XR应用数据、面部识别数据、遮挡数据等)、来自XR引擎120的数据、来自虚拟私用空间管理引擎122的数据、来自图像处理引擎124的数据、和/或来自渲染引擎126的数据(例如,输出帧)。在一些示例中,存储装置107可以包括用于存储用于由计算组件110处理的帧的缓冲器。
一个或多个计算组件110可以包括中央处理单元(CPU)112、图形处理单元(GPU)114、数字信号处理器(DSP)116和/或图像信号处理器(ISP)118。计算组件110可以执行各种操作,诸如图像增强、计算机视觉、图形渲染、扩展现实(例如,跟踪、定位、位姿估计、地图绘制、内容锚定、内容渲染等)、图像/视频处理、传感器处理、识别(例如,文本识别、面部识别、对象识别、特征识别、跟踪或模式识别、场景识别、遮挡检测等)、机器学习、滤波、以及本文描述的各种操作中的任何一种。在该示例中,计算组件110实现XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126。在其它示例中,计算组件110还可以实现一个或多个其它处理引擎。
图像传感器102可以包括任何图像和/或视频传感器或捕获设备。在一些示例中,图像传感器102可以是多相机组装件(诸如双相机组装件)的一部分。图像传感器102可以捕获图像和/或视频内容(例如,原始图像和/或视频数据),图像和/或视频内容然后可以由计算组件110、XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和/或渲染引擎126进行处理,如本文所描述的。
在一些示例中,图像传感器102可以捕获图像数据,并且可以基于图像数据来生成帧,和/或可以将图像数据或帧提供给XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和/或渲染引擎126以进行处理。帧可以包括视频序列中的视频帧或静态图像。帧可以包括表示场景的像素阵列。例如,帧可以是:每像素具有红色、绿色和蓝色分量的红-绿-蓝(RGB)帧;每像素具有亮度分量和两个色度(色彩)分量(色度红和色度蓝)的亮度、色度红、色度蓝(YCbCr)帧;或任何其它合适类型的彩色或单色图片。
在一些情况下,图像传感器102(和/或扩展现实***100的其它相机)可以被配置为还捕获深度信息。例如,在一些实现中,图像传感器102(和/或其它相机)可以包括RGB深度(RGB-D)相机。在一些情况下,扩展现实***100可以包括一个或多个深度传感器(未示出),其是与图像传感器102(和/或其它相机)分开的并且可以捕获深度信息。例如,这样的深度传感器可以独立于图像传感器102来获得深度信息。在一些示例中,深度传感器可以物理地安装在与图像传感器102相同的一般位置,但是可以以与图像传感器102不同的频率或帧速率进行操作。在一些示例中,深度传感器可以采用光源的形式,该光源可以将结构化或纹理化的光图案(其可以包括一个或多个窄带光)投射到场景中的一个或多个对象上。然后,可以通过利用由对象的表面形状引起的所投射的图案的几何变形来获得深度信息。在一个示例中,可以从立体传感器获得深度信息,诸如红外结构化光投射器和配准到相机(例如,RGB相机)的红外相机的组合。
扩展现实***100还包括一个或多个传感器。一个或多个传感器可以包括一个或多个加速计(例如,加速计104)、一个或多个陀螺仪(例如,陀螺仪106)和/或其它传感器。一个或多个传感器可以向计算组件110提供速度、朝向和/或其它位置相关信息。例如,加速计104可以检测扩展现实***100的加速度,并且可以基于检测到的加速度来生成加速度测量结果。在一些情况下,加速计104可以提供一个或多个平移矢量(例如,上/下、左/右、前/后),这些平移矢量可以用于确定扩展现实***100的位置或位姿。陀螺仪106可以检测和测量扩展现实***100的朝向和角速度。例如,陀螺仪106可以用于测量扩展现实***100的俯仰、滚转、偏航。在一些情况下,陀螺仪106可以提供一个或多个旋转矢量(例如,俯仰、偏航、滚转)。在一些示例中,图像传感器102和/或XR引擎120可以使用由加速计104获得的测量结果(例如,一个或多个平移矢量)和/或由陀螺仪106获得的测量结果(例如,一个或多个旋转矢量),以计算扩展现实***100的位姿。如前所述,在其它示例中,扩展现实***100还可以包括其它传感器,诸如惯性测量单元(IMU)、磁力计、注视和/或眼睛跟踪传感器、机器视觉传感器、智能场景传感器、语音识别传感器、碰撞传感器、冲击传感器、位置传感器、倾斜传感器等。
在一些情况下,一个或多个传感器可以包括至少一个IMU。IMU是一种如下的电子设备:其使用一个或多个加速计、一个或多个陀螺仪和/或一个或多个磁力计的组合来测量扩展现实***100的特定力、角速度和/或朝向。在一些示例中,一个或多个传感器可以输出测量到的与由图像传感器102(和/或扩展现实***100的其它相机)捕获的图像的捕获相关联的信息和/或使用扩展现实***100的一个或多个深度传感器获得的深度信息。
扩展现实引擎120可以使用一个或多个传感器(例如,加速计104、陀螺仪106、一个或多个IMU和/或其它传感器)的输出来确定扩展现实***100的位姿(也被称为头部位姿)和/或图像传感器102(或扩展现实***100的其它相机)的位姿。在一些情况下,扩展现实***100的位姿和图像传感器102(或其它相机)的位姿可以是相同的。图像传感器102的位姿是指图像传感器102相对于参考系(例如,相对于对象202)的位置和朝向。在一些实现中,可以针对6自由度(6DOF)来确定相机位姿,6自由度是指三个平移分量(例如,其可以由相对于参考系(诸如图像平面)的X(水平)、Y(垂直)和Z(深度)坐标来给出)和三个角分量(例如,相对于相同的参考系的滚转、俯仰和偏航)。
在一些情况下,设备***(未示出)可以使用来自一个或多个传感器的测量结果和来自图像传感器102的图像数据来跟踪扩展现实***100的位姿(例如,6DOF位姿)。例如,设备***可以将来自图像数据的视觉数据(例如,使用视觉跟踪解决方案)与来自测量结果的惯性数据进行融合以确定扩展现实***100相对于物理世界(例如,场景)和物理世界的地图的位置和运动。如下所述,在一些示例中,当跟踪扩展现实***100的位姿时,设备***可以生成场景(例如,真实世界)的三维(3D)地图和/或生成针对场景的3D地图的更新。3D地图更新可以包括(例如但不限于)与场景和/或场景的3D地图相关联的新的或经更新的特征和/或特征点或标志点、标识或更新扩展现实***100在场景和场景的3D地图内的位置的定位更新等。3D地图可以提供真实/物理世界中的场景的数字表示。在一些示例中,3D地图可以将基于地点的对象和/或内容锚定到真实世界坐标和/或对象。扩展现实***100可以使用经地图绘制的场景(例如,物理世界中的由3D地图表示和/或与3D地图相关联的场景)来合并物理和虚拟世界和/或将虚拟内容或对象与物理环境合并。
在一些方面中,计算组件110可以基于由图像传感器102(和/或扩展现实***100的其它相机)捕获的图像,使用视觉跟踪解决方案来确定和/或跟踪图像传感器102和/或作为整体的扩展现实***100的位姿。例如,在一些示例中,计算组件110可以使用基于计算机视觉的跟踪、基于模型的跟踪和/或同时定位和地图绘制(SLAM)技术来执行跟踪。例如,计算组件110可以执行SLAM或者可以与SLAM引擎(未示出)进行通信(有线或无线)。SLAM是指如下的一类技术:创建环境的地图(例如,由扩展现实***100建模的环境的地图),而同时跟踪相机(例如,图像传感器102)和/或扩展现实***100相对于该地图的位姿。该地图可以被称为SLAM地图,并且可以是三维(3D)的。SLAM技术可以使用由图像传感器102(和/或扩展现实***100的其它相机)捕获的彩色或灰度图像数据来执行,并且可以用于生成图像传感器102和/或扩展现实***100的6DOF位姿测量结果的估计。被配置为执行6DOF跟踪的此类SLAM技术可以被称为6DOF SLAM。在一些情况下,一个或多个传感器(例如,加速计104、陀螺仪106、一个或多个IMU和/或其它传感器)的输出可以用于估计、校正和/或以其它方式调整所估计的位姿。
在一些情况下,6DOF SLAM(例如,6DOF跟踪)可以将从来自图像传感器102(和/或其它相机)的某些输入图像观察到的特征关联到SLAM地图。例如,6DOF SLAM可以使用来自输入图像的特征点关联来确定图像传感器102和/或扩展现实***100针对输入图像的位姿(位置和朝向)。还可以执行6DOF地图绘制以更新SLAM地图。在一些情况下,使用6DOF SLAM维护的SLAM地图可以包含从两个或更多个图像进行三角测量的3D特征点。例如,可以从输入图像或视频流中选择关键帧以表示观察到的场景。对于每个关键帧,可以确定与图像相关联的相应6DOF相机位姿。图像传感器102和/或扩展现实***100的位姿可以通过以下操作来确定:将来自3D SLAM地图的特征投影到图像或视频帧中,并且根据经验证的2D-3D对应关系来更新相机位姿。
在一个说明性示例中,计算组件110可以从每个输入图像或从每个关键帧中提取特征点。如本文使用的特征点(也被称为配准点)是图像的独特或可识别部分,诸如手的一部分、桌子的边缘等。从捕获的图像中提取的特征可以表示沿着三维空间的不同特征点(例如,在X、Y和Z轴上的坐标),并且每个特征点可以具有相关联的特征地点。关键帧中的特征点与先前捕获的输入图像或关键帧的特征点匹配(与其相同或相对应)或未能匹配。特征检测可以用于检测特征点。特征检测可以包括用于检查图像的一个或多个像素以确定在特定像素处是否存在特征的图像处理操作。特征检测可以用于处理整个捕获的图像或图像的某些部分。对于每个图像或关键帧,一旦已经检测到特征,就可以提取在该特征周围的局部图像块。可以使用任何合适的技术来提取特征,诸如尺度不变特征变换(SIFT)(其定位特征并且生成其描述)、加速鲁棒特征(SURF)、梯度位置朝向直方图(GLOH)、归一化互相关(NCC)或其它合适的技术。
在一些情况下,扩展现实***100还可以跟踪用户的手和/或手指,以允许用户与虚拟环境中的虚拟内容(例如,显示在虚拟私用空间中的虚拟内容)进行交互和/或控制虚拟内容。例如,扩展现实***100可以跟踪用户的手和/或指尖的位姿和/或移动,以识别或翻译用户与虚拟环境的交互。用户交互可以包括例如但不限于移动虚拟内容项、对虚拟内容项和/或虚拟私用空间的地点进行大小调整、选择虚拟用户界面中的输入界面元素(例如,移动电话的虚拟表示、虚拟键盘和/或其它虚拟界面)、通过虚拟用户界面提供输入等。
图2是示出手200的示例标志点的图,这些标志点可以用于跟踪手200的位置以及手200与虚拟环境(诸如如本文描述的在虚拟私用空间内显示的虚拟内容)的交互。在图2中所示的标志点对应于手200的不同部分,包括手200的手掌上的标志点235、手200的拇指230上的标志点、手200的食指232上的标志点、手200的中指234上的标志点、手200的无名指236上的标志点、以及手200的小指238上的标志点。手200的手掌可以在三个平移方向上(例如,在相对于平面(诸如图像平面)的X、Y和Z方向上测量的)以及在三个旋转方向上(例如,在相对于该平面的偏航、俯仰和滚转方面测量的)移动,并且因此提供可以用于配准和/或跟踪的六个自由度(6DOF)。手掌的6DOF移动在图2中被示为正方形,如在图例240中指示的。
手200的手指的不同关节允许不同程度的移动,如在图例240中所示。如图2中的菱形形状(例如,菱形233)所示,每个手指的基部(对应于近端指骨和掌骨之间的掌指关节(MCP))具有两个自由度(2DOF),其对应于弯曲和伸展以及外展和内收。如图2中的圆形形状(例如,圆形231)所示,每个手指的每个上关节(对应于远端、中间和近端指骨之间的指间关节)具有对应于弯曲和伸展的一个自由度(2DOF)。结果,手200提供根据其来跟踪手200以及手200与由扩展现实***100渲染的虚拟内容的交互的26个自由度(26DOF)。
扩展现实***100可以使用手200上的一个或多个标志点来跟踪手200(例如,根据手200的位姿和/或移动),并且跟踪与由扩展现实***100渲染的虚拟环境的交互。如上所述,作为对手200上的一个或多个标志点的检测的结果,可以建立标志点(并且因此手和手指)在相对于扩展现实***100的相对物理位置上的位姿。例如,可以在图像中检测手200的手掌上的标志点(例如,标志点235),并且可以相对于扩展现实***100的图像传感器102来确定标志点的地点。由扩展现实***100渲染的虚拟内容项的点(例如,中心点,诸如质心或其它中心点)可以相对于针对手200的手掌上的标志点确定的地点被平移到扩展现实***100的显示器(例如,图1的显示器109)上的位置(或渲染在显示器上)。
如下所述,扩展现实***100还可以将虚拟内容和/或手200配准到真实世界中的点(如在一个或多个图像中检测到的)和/或用户的其它部分。例如,在一些实现中,除了确定手200相对于扩展现实***100(或扩展现实***100)和/或虚拟内容项的物理位姿之外,扩展现实***100可以确定其它标志点的地点,诸如墙壁上的独特点(被称为特征点)、对象的一个或多个角、地板上的特征、人脸上的点、附近设备上的点等。在一些情况下,扩展现实***100可以将虚拟内容放置在相对于在环境中检测到的特征点的特定位置内,这些特征点可以对应于例如在环境中检测的对象和/或人。
在一些示例中,可以使用例如来自图像传感器102的图像数据和/或来自一个或多个传感器(诸如加速计104、陀螺仪106和/或一个或多个其它传感器(例如,一个或多个磁强计、一个或多个惯性测量单元(IMU)等))的测量结果来确定扩展现实***100(和/或用户的头部)的位姿。头部位姿可以用于确定虚拟内容、手200和/或对象和/或人在环境中的位置。
用于XR引擎120、虚拟私用空间管理引擎122、图像处理引擎124和渲染引擎126(以及任何图像处理引擎)的操作可以由计算组件110中的任何一者来实现。在一个说明性示例中,渲染引擎126的操作可以由GPU 114来实现,并且XR引擎120、虚拟私用空间管理引擎122和图像处理引擎124的操作可以由CPU 112、DSP 116和/或ISP 118来实现。在一些情况下,计算组件110可以包括其它电子电路或硬件、计算机软件、固件或其任何组合,以执行本文描述的各种操作中的任何操作。
在一些示例中,XR引擎120可以执行XR操作,以基于来自图像传感器102、加速计104、陀螺仪106和/或扩展现实***100上的一个或多个传感器(诸如一个或多个IMU、雷达等)的数据来生成XR体验。在一些示例中,XR引擎120可以执行跟踪、定位、位姿估计、地图绘制、内容锚定操作和/或任何其它XR操作/功能。XR体验可以包括在虚拟会话期间使用扩展现实***100来向用户呈现XR内容(例如,虚拟现实内容、增强现实内容、混合现实内容等)。在一些示例中,XR内容和体验可以由扩展现实***100通过XR应用(例如,由XR引擎120执行或实现)来提供,该XR应用提供特定XR体验,诸如例如XR游戏体验、XR课堂体验、XR购物体验、XR娱乐体验、XR活动(例如,操作、检修活动等)等。在XR体验期间,用户可以使用扩展现实***100来查看虚拟内容和/或与虚拟内容进行交互。在一些情况下,用户可以查看虚拟内容和/或与虚拟内容进行交互,同时还能够查看在用户周围的物理环境和/或与其进行交互,从而允许用户在物理环境和与物理环境混合或集成的虚拟内容之间具有沉浸式体验。
虚拟私用空间管理引擎122可以执行各种操作,以确定(和管理)如何、何处和/或何时在XR体验期间渲染虚拟私用空间。可以由扩展现实***100的用户或自动地(例如,基于用户偏好、基于AR会话要求等)针对虚拟会话(例如,AR会话)定义虚拟私用空间。可以生成用于在物理空间的任何区域上显示虚拟内容的虚拟私用空间。可以针对大空间(例如,建筑区、音乐厅、运动场所等)或针对小空间(例如,具有显示在真实世界会议桌上的虚拟内容的虚拟电话会议、显示在真实世界桌子上的游戏板等)生成虚拟私用空间。较大的虚拟空间可以大于由单个用户设备感测到的区域。例如,如下所述,众包可以用于获得大空间的特征,这些特征可以用于生成大虚拟空间。在一些情况下,可能需要基于通过通信网络获得的输入来重新绘制与大空间相对应的3D地图(例如,SLAM地图)。例如,可以基于相同地理坐标的众包信息来细化本地地图。
可以通过定义虚拟私用空间的边界的边界信息来描绘虚拟私用空间。扩展现实***100(例如,虚拟私用空间管理引擎122和/或其它组件)可以生成边界信息,或者可以从服务器和/或其它扩展现实***获得边界信息。边界信息是表示虚拟私用空间的边界的数据结构。定义虚拟私用空间的边界的虚拟内容被称为边界虚拟内容。边界虚拟内容标识针对虚拟私用空间的边界。在一些情况下,边界信息可以包括物理空间的(例如,由图像传感器102捕获的)至少一个图像中的一个或多个特征点和/或可以包括该物理空间中的世界坐标。在一些情况下,扩展现实***100可以从服务器和/或从另一XR***接收边界虚拟内容。在一些情况下,扩展现实***100可以从服务器和/或从另一XR***接收特征点和/或世界坐标。在一个说明性示例中,扩展现实***100可以从服务器接收边界虚拟内容(以及用于虚拟会话的其它虚拟内容)以及特征点和/或世界坐标。在另一说明性示例中,扩展现实***100可以从服务器接收边界虚拟内容(和/或用于虚拟会话的其它虚拟内容),并且可以从另一XR***接收特征点和/或世界坐标。扩展现实***100可以使用特征点和/或世界坐标来生成边界虚拟内容(例如,确定相对于物理空间中的物品在何处显示边界虚拟内容)。下文描述了关于使用特征点和/或世界坐标的进一步细节。
在一些示例中,可以基于用户的注视和/或响应于非用户朝着在虚拟私用空间内显示的虚拟会话的虚拟内容的注视来生成边界虚拟内容。例如,如果被授权用户的XR***检测到未被授权用户正在朝着虚拟私用空间注视,则可以生成边界虚拟内容以阻挡未被授权用户的视野查看虚拟私用空间的虚拟内容。
基于边界虚拟内容,在虚拟私用空间内显示的虚拟会话的虚拟内容可以仅由被授权查看(使用XR设备,诸如HMD、AR眼镜等)虚拟会话的虚拟内容的被授权用户看到并且与其进行交互。边界虚拟内容阻挡虚拟私用空间中的虚拟内容被可能与被授权用户处于相同的真实世界环境中的未被授权用户查看,使得未被授权用户无法查看虚拟内容。边界虚拟内容还向位于虚拟内容被显示在其中的物理空间中的未被授权用户提供对虚拟私用空间的存在的指示。对于正在使用XR设备或***的未被授权用户,XR设备可以显示描绘虚拟空间的边界虚拟内容(例如,作为虚拟屏障)。
对于未在使用XR设备或***的未被授权用户,可以向未被授权用户提醒虚拟私用空间的地点(例如,边界)。例如,当未被授权用户没有允许用户查看虚拟内容的XR设备时,可以向未被授权用户的设备(例如,移动设备、诸如智能手表或其它可穿戴设备之类的可穿戴设备或其它设备)发送通知,以指示虚拟私用空间的存在和/或地点。在一个示例中,(被授权用户的)扩展现实***和/或实现虚拟会话的服务器可以向未被授权用户的移动设备、可穿戴设备和/或其它设备发送指示虚拟私用空间位于何处的通知(例如,基于文本的消息、可听消息和/或其它通知)。在另一示例中,响应于扩展现实***检测到不具有XR设备的未被授权用户(例如,未在使用XR设备的用户)接近或处于到虚拟私用空间的特定距离(例如,10英尺、5英尺、2英尺和/或其它距离)内,扩展现实***可以提供通知(例如,视觉通知、可听通知和/或其它通知)。该通知可以允许未被授权用户知道虚拟私用空间的地点,从而避免干扰在虚拟私用空间中进行的AR会话。在这样的情况下,可以在设备与网络之间提供互操作性。例如,可以定义协议以保持虚拟空间是私用的,并且提供用于用户设备公开地共享XR能力和/或去往和来自用户设备(例如,针对来自不同供应商/实现的设备)的内容的能力。
因此,虚拟私用空间创建了物理空间的一区域,在该区域中,被授权用户可以私下进行活动(例如,虚拟游戏、虚拟体育活动、虚拟演示等)并且不被虚拟活动正在其中进行的物理环境中的其它人或对象无意地打扰。边界虚拟内容的显示防止未被授权用户查看虚拟私用空间中的虚拟内容,而同时限制虚拟会话的意外中断。
可以使用任何合适的授权技术来将XR设备或***的用户授权参与和虚拟私用空间相关联的虚拟会话。在一些示例中,可以使用XR设备中的电子签名对相应XR设备的用户进行授权和未授权。在一个说明性示例中,AR设备的硬件可以被识别和验证(导致用户被授权)或被无效(导致用户未被授权)。在另一示例中,可以向被授权用户提供用于对用户进行授权的登录凭证。例如,可以通过将登录凭证输入到促进虚拟扑克牌游戏的应用的图形界面中,来将多个用户授权参与虚拟扑克牌游戏。没有登录凭证的用户无法加入虚拟会话。在一些示例中,可以使用其它授权技术(诸如基于手势、眼睛注视、面部识别、语音命令和/或其它授权技术)来将XR设备的用户进行授权和未授权。
如上所述,边界信息可以另外地或替代地包括物理空间中的世界坐标和/或物理空间的至少一个图像(例如,由图像传感器102捕获的)中的一个或多个特征点。在这样的情况下,扩展现实***100可以使用边界信息(世界坐标和/或特征点)来生成标识针对虚拟私用空间的边界的边界虚拟内容。上文描述了使用特征点和地图数据(例如,使用同时定位和地图绘制(SLAM)技术)的示例。例如,世界坐标可以指示将在其上显示虚拟内容(并且因此虚拟私用空间将位于其上)的表面的真实世界环境的地图(例如,诸如SLAM地图之类的3D地图)中的地点。可以获得表面的图像(例如,由图像传感器102捕获),并且可以提取该表面的特征点。特征点可以包括表面的独特特征点,诸如线、角、独特形状以及其它特征。
虚拟内容项可以被配准或锚定到在场景中检测到的特征点(例如,相对于其而定位)。例如,虚拟私用空间管理引擎122可以与XR引擎120和/或渲染引擎126进行协调,以将虚拟私用空间的虚拟内容和边界虚拟内容锚定到将在其上显示虚拟内容的表面的特征点。在一个说明性示例中,用户可以看着公共空间中的用户希望将其用于多用户AR会话(例如,玩牌游戏)的桌子。用户可以向扩展现实***100(例如,使用输入设备108)提供指示用户希望在桌子上进行AR会话并且AR会话将与虚拟私用空间相关联的输入。扩展现实引擎120、虚拟私用空间管理引擎122、图像处理引擎124和/或渲染引擎126(由计算组件110实现)可以获得由图像传感器102捕获的桌子的图像,并且可以从图像中识别桌子的特征。显示器109可以通过将AR内容锚定到桌子的某些特征点来在桌子上显示与AR会话相关联的AR内容。虚拟私用空间管理引擎122可以(例如,从服务器)生成或接收用于指示虚拟私用空间的边界的边界虚拟内容,并且边界虚拟内容可以锚定到桌子的特征。例如,扩展现实引擎120可以将AR内容和边界虚拟内容配准到桌子上的特征点,使得相对于桌子显示AR内容和边界虚拟内容。
在另一示例中,用户可以面对用户站在的街道对面的餐厅。响应于从一个或多个图像中识别出餐厅并且获得与餐厅相关联的AR内容,扩展现实引擎120可以生成提供与餐厅相关的信息的AR对象。可以从包括餐厅上的招牌的图像的一部分中检测特征点。扩展现实引擎120可以将AR对象配准到该招牌的特征点,使得相对于该招牌显示AR对象(例如,在该招牌上方,使得其可容易地被用户识别为与该餐厅相关)。
在一些实现中,被授权用户可以防止其它被授权用户查看虚拟私用区中的某些内容。例如,由用户设备执行的特定应用可以防止执行该应用的其它用户的设备显示特定内容。在一个说明性示例中,多个用户可以在多玩家扑克牌游戏中玩,并且可以防止用户设备显示其它用户的牌。
在一些示例中,扩展现实***100的虚拟私用管理引擎122和/或其它XR***可以定义多个虚拟私用空间。在一些情况下,新的虚拟私用空间不能被显示在现有虚拟私用空间上,这可以防止虚拟私用空间之间的干扰。例如,可以通过选择空间中的对象或在私用空间周围绘制屏障来确定虚拟地理围栏。在一些情况下,可以相对于空间中的一个公共参考点来定义每个虚拟私用空间。例如,虚拟空间是具有在其内显示的内容的空间体积。在XR设备中,可以相对于跟踪参考系(例如,具有原点和轴方向的3D坐标系)来定义该空间体积。可以相对于相同的参考系来定义多个虚拟私用空间。
在一些示例中,虚拟私用空间的单个被授权用户可以邀请其它虚拟私用空间的一个或多个被授权用户以合并不同的私用空间。例如,如果两个虚拟会话正在彼此接近的单独虚拟私用空间中进行,则两个虚拟空间的被授权用户可以商定将两个虚拟会话组合成单个虚拟私用空间。
在一些情况下,当在虚拟私用空间中发生打扰或变化时,可以向私用空间的一个或多个被授权用户(例如,扩展现实***100的用户和针对私用空间而授权的XR***的其它用户)提醒。例如,在虚拟私用空间中存在的真实世界对象和/或未被授权用户的移动、移除、添加和/或改变可以触发针对被授权用户的设备的对该事件的通知。在一些示例中,可以通过显示器109显示视觉指示和/或可以通过扩展现实***100的扬声器(未示出)输出可听指示,以向用户指示在虚拟私用空间中发生了打扰或改变。在一个说明性示例中,多个用户可能正在参与多用户虚拟会议,其中与虚拟会议相关联的虚拟内容被显示在餐厅的私用房间的桌子上。在一个示例中,餐厅服务人员可能将饮料放在每个用户前面的桌子上。扩展现实***100可以向用户(包括扩展现实***100的用户)输出关于物品已经被放置在虚拟私用空间的边界内的通知。在另一示例中,当虚拟项被新显示在虚拟私用空间中时,扩展现实***100可以向用户(包括扩展现实***100的用户)输出通知。在另一示例中,使用来自图像传感器102的一个或多个图像和/或来自一个或多个传感器(例如,加速计104、陀螺仪106、一个或多个IMU和/或其它传感器)的测量结果,扩展现实***100可以确定人或对象何时在干扰虚拟私用空间的某个距离(例如,10英尺、5英尺、2英尺和/或其它距离)内。扩展现实***100可以输出通知以向扩展现实***100的用户指示人可能干扰虚拟私用空间。在一些情况下,可以基于关于对虚拟私用空间的地图的改变的检测来触发提醒并且将其提供给被授权用户的设备。在一些情况下,通知可以包括关于干扰人员或对象的细节。
在一些示例中,与真实世界内容相比,虚拟私用空间中的虚拟内容可以以较高的优先级来显示。例如,扩展现实***100和/或与扩展现实***100进行通信的服务器可以在虚拟私用空间中不强调真实世界对象和/或未被授权用户的部分。在一些情况下,进入私用空间的任何物理对象可以被完全或部分遮挡。在一些示例中,当对象或人的一部分被完全遮挡时,扩展现实***100和/或服务器可以向被授权用户提供(例如,在视觉上或可听地)关于对象或人的地点的指示。在一个说明性示例中,如果未被授权用户的身体(例如,手臂)部分进入虚拟私用空间,则扩展现实***100可以完全或部分地遮挡该身体部分。在另一示例中,如果物理对象(例如,人的身体部分、杯子和/或其它物理对象)被放置在虚拟内容项正被显示在虚拟私用空间中的位置,则扩展现实***100可以在物理对象之上显示虚拟内容项,或者可以遮挡物理对象,使得其不被扩展现实***100显示(或可通过其查看)。在对象被遮挡的情况下,可以向参与和虚拟私用空间相关联的虚拟会话的被授权用户的设备提醒对象的存在。在一些示例中,如果未被授权的人和/或其它对象与虚拟空间中的虚拟内容接触,则可以移动虚拟内容以避开未被授权的人和/或其它对象。在一些示例中,如果虚拟对象取决于真实世界对象(例如,放在真实世界桌子上的虚拟杯子)并且从物理空间中移除了该真实世界对象,则扩展现实***100可以渲染真实世界对象的副本并且保持这种依赖性。在一些情况下,扩展现实***100可以使得虚拟对象随着移动的真实世界对象下落或移动。
在一些实现中,扩展现实***100可以执行对象检测和/或识别(例如,人类检测和/或识别),以验证被授权用户和/或识别物理用户或对象何时已经进入虚拟私用空间或在虚拟私用空间的某个距离内。对象检测和/或识别可以是基于图像的、基于语音的和/或使用用于检测/识别对象的其它技术。例如,可以通过执行身体、面部和/或语音识别来验证被授权用户。在允许用户查看虚拟私用空间中的虚拟内容并且与其进行交互之前验证被授权用户可以防止未被授权人员使用被授权人员的XR***并且查看私用内容并与其进行交互。
在一些情况下,众包可以用于向被授权用户和/或未被授权用户提供虚拟私用空间的增强细节。例如,来自由多个被授权用户(以及在一些情况下,未被授权用户)佩戴的XR***的图像和传感器信息可以提供可以用于增强虚拟私用空间的信息。在一些示例中,除了XR***之外,被授权用户(以及在一些情况下,未被授权用户)的计算设备(例如,移动设备、可穿戴设备、膝上型计算机、平板设备和/或其它设备)可以提供用于增强虚拟空间的信息。例如,来自被授权用户设备和/或未被授权用户设备的众包数据可以由扩展现实***100(和/或由与扩展现实***100进行通信的服务器)使用,以相对于真实世界环境对虚拟空间可靠地进行地图绘制和跟踪,这可以允许扩展现实***100(和/或服务器)更准确地监测虚拟私用空间。对虚拟私用空间的改进的监测允许扩展现实***100和/或服务器更好地向被授权用户通知对虚拟私用空间的打扰或改变。
在一些实现中,被授权参与在虚拟私用空间中实现的虚拟会话的(被授权用户的)所有设备可以共享关于虚拟私用空间的信息,以便向每个设备提供关于该空间的最准确且最新信息。此类信息可以包括未被授权用户的扰乱、虚拟内容在虚拟私用空间中的地点、对物理环境的改变、虚拟内容的不可见角度和/或侧面以及其它信息。与不可见的虚拟内容相关的信息的众包共享可以帮助减少延时并且提高用于在由多个用户共享的虚拟私用空间中渲染虚拟对象的准确性。此类众包可能在大虚拟空间(大于可以使用单个XR***的传感器进行地图绘制的空间)中是重要的。
如上所述,可以使用来自未被授权用户对私用空间的视野(数据)来实现众包。例如,由于虚拟私用空间的边界是虚拟的(如由边界信息和相关联的边界虚拟内容所定义的)并且不是在未被授权用户与虚拟私用空间的内容之间的刚性屏障,因此(未被授权用户的)未被授权设备可以与(被授权用户的)被授权设备共享关于虚拟私用空间的信息,以便除了在被授权用户的设备之间共享的数据之外,还提供关于虚拟私用空间的准确且最新信息。在这样的示例中,未被授权用户将无法看到虚拟私用空间中的私用虚拟内容,但是与该空间相关的数据可以与被授权用户共享。
在一些示例中,被授权用户可以向未被授权用户广播信息(例如,游戏分数、食物或饮料订单、消息和/或其它信息)和/或虚拟内容(例如,虚拟游戏的虚拟项、正在订购的食物或饮料的图像、消息的图像和/或其它内容)。向未被授权用户的设备提供的信息量可以由发送该信息的被授权用户来控制。
图像处理引擎124可以执行与在虚拟私用空间中呈现的虚拟内容相关的和/或与其它图像内容相关的一个或多个图像处理操作。例如,图像处理引擎124可以基于来自图像传感器102的数据来执行图像处理操作。在一些情况下,图像处理引擎124可以执行图像处理操作,诸如例如滤波、去马赛克、缩放、色彩校正、色彩转换、分割、降噪滤波、空间滤波、伪影校正等。渲染引擎126可以获得由计算组件110、图像传感器102、XR引擎120、虚拟私用空间管理引擎122和/或图像处理引擎124生成和/或处理的图像数据,并且可以渲染用于在显示设备上呈现的视频和/或图像帧。
虽然扩展现实***100被示为包括某些组件,但是普通技术人员将理解,扩展现实***100可以包括比在图1中所示的组件更多或更少的组件。例如,在一些情况下,扩展现实设备100还可以包括一个或多个存储器设备(例如,RAM、ROM、高速缓存等),一个或多个联网接口(例如,有线和/或无线通信接口等)、一个或多个显示设备和/或在图1中未示出的其它硬件或处理设备。下文参考图9描述了可以利用扩展现实***100实现的计算***和硬件组件的说明性示例。
图3是示出由用户301佩戴的扩展现实***100的示例的示意图。虽然在图3中扩展现实***100被示为AR设备(例如,AR眼镜),但是扩展现实***100可以包括任何合适类型的XR设备,诸如HMD或其它XR设备。出于说明性目的,将使用AR来描述下文描述的示例。然而,下文描述的各方面可以应用于其它类型的XR,诸如VR和MR。在图3中所示的扩展现实***100可以包括光学透视AR设备,其允许用户301在佩戴扩展现实***100时查看真实世界。例如,用户301可以在与用户301相距一距离处的平面304上查看真实世界环境中的对象302。如图3所示以及如上所述,扩展现实***100具有图像传感器102和显示器109。如上所述,显示器109可以包括玻璃、屏幕、镜头、和/或允许用户301看到真实世界环境并且还允许在其上显示AR内容的其它显示机构。AR内容(例如,图像、视频、图形、虚拟或AR对象或其它AR内容)可以被投射或以其它方式显示在显示器109上。在一个示例中,AR内容可以包括对象302的增强版本。在另一示例中,AR内容可以包括与对象302相关和/或与真实世界环境中的一个或多个其它对象相关的额外AR内容。虽然在图3中示出了一个图像传感器102和一个显示器109,但是在一些实现中,扩展现实***100可以包括多个相机和/或多个显示器(例如,用于右眼的显示器和用于左眼的显示器)。
如上文关于图1所描述的,可以生成用于呈现特定AR会话的AR内容的虚拟私用空间。图4是示出AR虚拟会话的示例的示意图,其中虚拟内容458由扩展现实***100显示在虚拟私用空间450中。边界虚拟内容451被示为勾勒虚拟私用空间的轮廓。示出了一组被授权用户,其中第一被授权用户452通过手的第一虚拟表示进行表示,第二被授权用户454通过手的第二虚拟表示进行表示,并且第三被授权用户456通过手的第三虚拟表示进行表示。被授权用户456正在使用扩展现实***100,并且被授权用户452和454中的每一者正在使用相应的XR设备。被授权用户452、454、456被授权使用其相应的XR设备查看虚拟会话的虚拟内容458。
被授权用户452、454、456可以位于餐厅,并且对参与使用餐厅中的地点的虚拟扑克牌游戏感兴趣。在一些情况下,可以通过向安装在相应XR设备上并且与虚拟扑克牌游戏相关联的应用的用户界面提供登录凭证(例如,使用输入机制来手动地输入用户名和密码、使用基于面部认证的登录和/或其它登录技术)来对被授权用户452、454、456进行授权。在各情况下,可以使用上述硬件签名来对被授权用户452、454、456的XR设备进行授权。可以使用任何其它授权或认证技术来对被授权用户452、454、456进行授权。
被授权用户452、454、456可以将餐厅处的桌子459识别为要在其上显示针对虚拟扑克牌游戏的虚拟内容458的表面。扩展现实***100的被授权用户456(和/或其它被授权用户452和/或454)可以向扩展现实***100提供指示用户想要针对桌子459上的虚拟扑克牌游戏生成的虚拟私用空间的输入。在一些情况下,可以使用与虚拟扑克牌游戏相关联的应用的用户界面来提供请求虚拟私用空间的输入。
响应于该输入,扩展现实***100可以生成或接收(例如,从服务器)定义虚拟扑克牌游戏的虚拟内容的数据以及可以用于生成定义虚拟私用空间450的边界的边界虚拟内容451的边界信息。可以向被授权用户452、454、456的不同XR设备提供定义要包括在虚拟私用空间450中的虚拟内容(例如,虚拟内容458)的数据,使得XR设备可以显示定义虚拟私用空间450的虚拟内容。例如,与虚拟扑克牌游戏相关联的服务器可以向XR设备提供虚拟内容(并且在一些情况下提供边界信息)。在一些情况下,服务器可以向被授权用户456的扩展现实***100提供虚拟内容(并且在一些情况下提供边界信息),并且扩展现实***100可以向其它用户452和454的XR设备提供虚拟内容(并且在一些情况下提供边界信息)。
在一些情况下,如上所述,边界信息可以包括边界虚拟内容451。在一些情况下,边界信息可以替代地或另外地包括定义边界虚拟内容451在3D地图(例如,SLAM地图)中的地点的坐标信息以及桌子459的定义边界虚拟内容451将被锚定或配准到何处的特征点。扩展现实***100可以向未被授权查看虚拟内容458和/或与其进行交互的其它用户(未被授权用户)的XR设备提供边界信息。其它用户的XR设备可以使用边界信息来生成和/或显示边界虚拟内容451。在一些情况下,扩展现实***100可以在虚拟内容458周围显示边界虚拟内容451,使得被授权用户456可以查看边界虚拟内容451。在一些情况下,被授权用户452、454、456的XR设备不显示用于由被授权用户452、454、456查看的边界虚拟内容451。
在一些示例中,如图4所示,边界虚拟内容451可以是在虚拟内容被显示其上的的桌子的顶部的一部分周围显示的虚拟边界(例如,作为在虚拟内容周围的三维框)。在其它示例中,边界虚拟内容451可以是在用作针对虚拟内容的背景的整个桌子459周围显示的虚拟边界。在一些情况下,与特定虚拟会话相关联的应用可以定义如何显示边界虚拟内容。例如,在图4中所示的虚拟扑克牌游戏可以具有由用于促进虚拟扑克牌游戏的应用定义的特定游戏板。边界虚拟内容451可以由该应用来定义,使得其围绕虚拟扑克牌游戏的游戏板。由边界虚拟内容451定义的边界可以以任何其它方式来配置。
图4的示意图是从用户456正在通过扩展现实***100查看的内容的视角来看的。如图所示,用户456可以查看虚拟私用空间450的虚拟内容458,并且还可以查看下面的物理桌子459。在一些示例中,扩展现实***100可以显示边界虚拟内容451以供被授权用户456观看。在一些示例中,扩展现实***100不显示边界虚拟内容451,例如,以避免被授权用户456被边界虚拟内容451分心。其它两个被授权用户452和454也可以通过其相应的XR设备,但从不同的视角或角度(对应于被授权用户452和454中的每一者坐在桌子459的何处)来查看相同的虚拟内容458和桌子459。如下文关于图5所描述的,未被授权用户的XR设备或***将不访问并且将不能显示虚拟内容458。例如,正在使用XR设备的任何未被授权用户将不能查看虚拟内容458,而仅能够查看边界虚拟内容451。可以向未在使用XR设备或***的未被授权用户通知虚拟私用空间450的存在和/或地点。
图5是示出图4当中的虚拟私用空间450的另一视野的示意图。图5的示意图是从未被授权用户以及当使用XR设备时这样的未被授权用户可以如何查看虚拟私用空间450的视角来看的。实际(物理)被授权用户452、454和456被示为围绕桌子459而坐,每个人都佩戴相应的XR设备(出于说明性目的,其被示为AR眼镜)。如上所述,被授权用户452、454、456被授权使用其相应的XR设备查看如图4所示的虚拟会话的虚拟内容458,并且在一些情况下查看边界虚拟内容451。
在图5中还示出了未被授权用户560和未被授权用户562。如前所述,未被授权用户的XR设备将不访问并且将不能显示虚拟内容458。例如,正在使用XR设备的任何未被授权用户将仅能够查看边界虚拟内容451。未被授权用户562是坐在桌子559旁的人,桌子559靠近被授权用户452、454和456所坐的桌子459。如图所示,未被授权用户562正佩戴XR***564(例如,AR眼镜),并且可以正在查看虚拟内容,但未被授权查看在虚拟私用空间450中所示的虚拟内容458。由于未被授权用户562未被授权查看虚拟内容458,因此当未被授权用户562转身使得XR***564的视野定向到桌子459时,XR***564将显示边界虚拟内容451。边界虚拟内容451阻挡未被授权用户562查看虚拟私用空间450中的虚拟内容458。
图6是示出桌子459和边界虚拟内容451的侧面视图的示意图。如图6所示,可以在三个维度上向未被授权用户显示边界虚拟内容451,这可以允许虚拟私用空间450内的虚拟内容从所有视角保持私用。可以以不同方式向被授权用户显示边界虚拟内容451。例如,边界虚拟内容451可以在三个维度上显示给未被授权用户,并且可以以修改的方式显示给被授权用户或者根本不显示给被授权用户。在一个示例中,可以在两个维度上将边界虚拟内容451作为虚线轮廓显示给被授权用户,以便不损害虚拟内容458的视野。
可以向未在使用XR设备的未被授权用户通知虚拟私用空间450的存在和/或地点。在图5中所示的未被授权用户560是餐厅雇佣的服务人员。如图所示,未被授权用户560正在为被授权用户452、454、456将饮料托盘带到桌子459。未被授权用户560未在使用XR设备,并且因此无法查看边界虚拟内容451。未被授权用户560确实具有移动设备561。被授权用户452、454、456的XR设备中的任何一者或多者(包括扩展现实***100)可以检测移动设备561的存在,并且可以使得向移动设备561发送指示虚拟私用空间450的存在和/或地点的通知。在一些示例中,扩展现实***100(或用户452、454之一的XR设备)可以向移动设备561发送消息,其具有指示虚拟私用空间450的存在和地点的信息。在另一示例中,向被授权用户452、454、456的XR设备提供虚拟内容458的服务器可以向未被授权用户560的移动设备561发送消息。如图5所示,该消息可以指示存在“桌子3处的虚拟私用空间”,这是指被授权用户452、454、456所坐的桌子459。基于该通知或消息,可以使未被授权用户560知道在桌子459处存在虚拟私用空间450,并且可以避免将饮料放置在虚拟私用空间450所占据的物理空间中。
在未被授权用户560确实将饮料或其它物理物品放置在虚拟私用空间450内的情况下,被授权用户452、454、456的XR设备中的一个或多个XR设备可以向被授权用户452、454、456输出通知。例如,被授权用户456的扩展现实***100可以在显示器109上显示向被授权用户456提醒物理物品已经被放置在虚拟私用空间450中的通知。
在一些情况下,被授权用户452、454、456的XR设备中的一个或多个XR设备可以检测未被授权用户560何时在距虚拟私用空间450的某个距离内。例如,可以定义门限距离,诸如10英尺、5英尺、2英尺和/或其它距离。如果未被授权用户560在距虚拟私用空间450的门限距离内移动,则被授权用户452、454、456的XR设备中的一个或多个XR设备可以向被授权用户452、454、456输出通知。例如,被授权用户456的扩展现实***100可以在显示器109上显示向被授权用户456提醒人或对象正在接近虚拟私用空间450的通知。在一些示例中,门限距离可以是基于虚拟私用空间正在其中实现的物理环境来定义的。例如,在餐厅环境中,可能有许多人在整个物理环境中移动。在这样的情况下,可以使门限距离变小,以避免向被授权用户452、454、456的XR设备发送大量通知。在具有较少的人或对象的环境中,可以使门限距离变大。
如前所述,在一些情况下,与真实世界内容相比,虚拟私用空间中的虚拟内容可以以较高优先级来显示。图7A-图7C是示出人760物理地进入正在餐厅中进行的虚拟会话的虚拟私用空间750的示例的示意图(类似于图4的示例)。如图7A所示,虚拟私用空间750包括虚拟内容758和边界虚拟内容751。虚拟私用空间750被显示成在物理对象(在图7A中未示出)(诸如桌子(类似于在图4中所示的桌子459))上的叠加。人760接近虚拟私用空间750,并且将饮料763和饮料764放置在虚拟私用空间750的虚拟内容被显示在其上的物理对象上。饮料763和764可能干扰虚拟私用空间750的被授权用户对虚拟内容的查看。
当饮料763和764以及未被授权用户760的部分位于虚拟私用空间750内时,虚拟私用空间750的被授权用户的XR设备(例如,扩展现实***100)和/或与XR设备进行通信的服务器可以不强调饮料763和764和/或被授权用户760的部分。例如,如图7B所示,饮料763和764以及未被授权用户760的手臂被完全遮挡,使得从查看虚拟私用空间750中的虚拟内容的被授权用户的视角来看,对象是透明的。在AR***中,显示器通常是光学透视显示器,在这种情况下,AR***的用户可以通过显示器看到物理世界,并且还可以看到显示器上的虚拟内容。虚拟对象表现为使得其叠加在物理世界之上。可以通过生成遮挡物理对象的AR内容,使从AR***用户的视角来看物理对象是透明的。在一个说明性示例中,可以生成对给定环境的背景进行建模的背景模型。例如,背景模型可以对正在其中进行与虚拟私用空间750相关联的虚拟会话的餐厅的静态部分进行建模。饮料763和764以及未被授权用户760的手臂可以利用背景模型的与餐厅的在饮料763和764以及未被授权用户760的手臂后面的部分相对应的部分来增强(或遮挡),使得背景模型的那些部分被显示在饮料763和764以及未被授权用户760的手臂前面。由查看虚拟私用空间750的虚拟内容的被授权用户的XR设备捕获的帧可以使用背景模型的那些部分的内容(例如,像素)重绘。
在一些示例中,参与和虚拟私用空间750相关联的虚拟会话的被授权用户的XR设备可以提供对饮料763和764以及未被授权用户760的手臂的地点的视觉、可听或其它类型的指示。例如,被授权用户的XR设备可以在XR设备的显示器上显示向被授权用户提醒饮料763已经被放置在虚拟私用空间450中的通知。
图7C是示出当饮料763和764以及未被授权用户760的手臂位于虚拟私用空间750内时不强调饮料763和764以及未被授权用户的手臂760的另一示例的示意图。如图7C所示,饮料763和764以及未被授权用户760的手臂以修改的外观来显示,使得对象对参与和虚拟私用空间750相关联的虚拟会话的被授权用户具有较少的破坏性影响。在一些情况下,被授权用户的XR设备可以最初在虚拟私用空间750内完全显示饮料763和764以及未被授权用户760的手臂,并且然后逐渐淡化饮料763和764以及未被授权用户760的手臂的显示,直到对象完全被遮挡。
本文描述的虚拟私用空间可以在AR和/或其它XR环境中提供各种益处。例如,如上所述,虚拟私用空间可以防止包含虚拟内容的空间中的活动的中断。虚拟私用空间还可以防止未被授权用户查看虚拟内容。在一些情况下,可以向被授权查看虚拟私用空间中的内容的用户(称为被授权用户)提醒一个或多个未被授权用户存在或接近虚拟私用空间。在一些情况下,如果虚拟私用空间内的虚拟内容以某种方式受到损害(例如,未被授权用户影响了真实世界空间,这导致对虚拟内容的某种影响),则可以向被授权用户提供提醒。
图8是示出用于使用本文描述的技术来针对一个或多个虚拟私用空间生成虚拟内容的过程800的示例的流程图。在框802处,过程800包括由设备发起用于呈现虚拟内容的虚拟会话。在框804处,过程800包括针对虚拟会话来识别物理空间的供用作用于呈现虚拟内容的至少一部分的虚拟私用空间的一部分。在一个说明性示例中,虚拟私用空间可以包括在图4-图6中所示的虚拟私用空间450。
在框806处,过程800包括输出定义虚拟私用空间的边界的边界信息。如上所述,边界信息可以用于生成定义虚拟私用空间的界限的边界虚拟内容。在一些示例中,如上所述,边界信息包括物理空间中的世界坐标和/或物理空间的至少一个图像中的一个或多个特征点,一个或多个特征点可用于生成标识针对虚拟私用空间的边界的边界虚拟内容。在一些示例中,过程800包括输出标识针对虚拟私用空间的边界或界限的边界虚拟内容。边界虚拟内容可被虚拟会话的一个或多个未被授权用户查看。
在框808处,过程800包括针对虚拟私用空间来生成虚拟内容的至少该部分。在一些情况下,可以针对虚拟私用空间来生成整个虚拟内容。在一些情况下,可以针对虚拟私用空间来生成虚拟内容的一部分(少于整个虚拟内容)。例如,虚拟内容的第一部分可以延伸超出虚拟私用空间的边界,并且较为敏感的内容(例如,如由被授权用户定义的,如由与虚拟会话相关联的内容提供商定义的,或者以其它方式定义为敏感的)可以被限制在虚拟私用空间的边界内。虚拟内容的至少该部分可被虚拟会话的一个或多个被授权用户在虚拟私用空间中查看,而不可被一个或多个未被授权用户查看。例如,一个或多个被授权用户中的每一者的扩展现实设备或其它设备被认证或以其它方式被授权显示虚拟内容的至少该部分,而一个或多个未被授权用户中的每一者的扩展现实设备或其它设备未被认证或未以其它方式被授权显示虚拟内容的至少该部分。在一些示例中,基于与边界信息相关联的边界虚拟内容,虚拟内容的至少该部分不可被一个或多个未被授权用户查看。在一些情况下,基于与边界信息相关联的边界虚拟内容,在边界虚拟内容内定义的真实世界体积不可被一个或多个未被授权用户查看。
在一些示例中,过程800包括接收关于未被授权用户已经进入虚拟私用空间的指示。基于关于未被授权用户已经进入虚拟私用空间的指示,过程800可以遮挡未被授权用户的至少一部分以免可被一个或多个被授权用户在虚拟私用空间中查看。
在一些示例中,过程800接收关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示。基于关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示,过程800可以移动虚拟私用空间中的一个或多个虚拟对象以避开未被授权用户的至少一部分。
在一些示例中,过程800包括接收关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示。基于关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示,过程800可以输出指示虚拟私用空间的存在的通知。在一些情况下,输出通知包括向未被授权用户的设备发送通知、输出指示虚拟私用空间的存在的音频通知、其组合、和/或输出另一类型的通知(诸如本文描述的通知)。在一些情况下,通知包括未被授权用户的轮廓。
在一些示例中,过程800包括接收关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示。基于关于未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内的指示,过程800可以向一个或多个被授权用户的一个或多个设备输出通知,该通知指示未被授权用户已经进入虚拟私用空间或在进入虚拟私用空间的门限距离内。在一些情况下,输出通知包括向一个或多个被授权用户中的至少一个被授权用户的设备发送通知、输出指示未被授权用户的存在的音频通知、其组合、和/或输出另一类型的通知(诸如本文描述的通知)。在一些情况下,通知包括未被授权用户的轮廓。
在一些示例中,该设备是扩展现实设备,其包括一个或多个显示器、一个或多个接收机(其可以接收数据和/或其它信息)、一个或多个发射机(其可以发送数据和/或其它信息)和/或一个或多个收发机(其可以接收和发送数据和或其它信息)。在一些示例中,过程800包括由扩展现实设备(例如,通过扩展现实设备的显示器)显示虚拟内容的至少该部分。
在一些示例中,该设备是第一扩展现实设备(包括一个或多个显示器、一个或多个接收机、一个或多个发射机和/或一个或多个收发机)。在一些示例中,过程800包括向第二扩展现实设备输出(例如,使用一个或多个接收机、一个或多个发射机和/或一个或多个收发机)虚拟内容的至少该部分。第二扩展现实设备可以由被授权用户使用。
在一些示例中,该设备是第一扩展现实设备(包括一个或多个显示器、一个或多个接收机、一个或多个发射机和/或一个或多个收发机)。在一些示例中,过程800包括:由第一扩展现实设备(例如,通过扩展现实设备的显示器)显示虚拟内容的至少该部分;以及(例如,使用一个或多个接收机、一个或多个发射机和/或一个或多个收发机)向第二扩展现实设备输出虚拟内容的至少该部分。
在一些示例中,过程800包括:由第一扩展现实设备(例如,通过扩展现实设备的显示器)显示虚拟内容的至少该部分;以及由第一扩展现实设备(例如,使用一个或多个接收机、一个或多个发射机和/或一个或多个收发机)向第二扩展现实设备输出虚拟内容的至少该部分。在一些示例中,过程800包括:由第二扩展现实设备(例如,使用第二扩展现实设备的一个或多个接收机、一个或多个发射机和/或一个或多个收发机)接收边界信息;以及由第二扩展现实设备(例如,使用第二扩展现实设备的一个或多个处理器)根据所接收的边界信息来生成虚拟边界内容。
在一些示例中,该设备或装置中的一个或多个装置是服务器设备。在一些示例中,过程800包括由服务器设备(例如,使用服务器设备的一个或多个接收机、一个或多个发射机和/或一个或多个收发机)向扩展现实设备输出虚拟内容的至少该部分。
在一些示例中,本文描述的过程(例如,本文描述的过程800和/或其它过程)可以由计算设备或装置来执行。在一个示例中,过程800可以由图1的扩展现实***100来执行。在另一示例中,过程800可以由具有在图9中所示的计算***900的计算设备来执行。例如,具有在图9中所示的计算架构的计算设备可以包括图1的扩展现实***100的组件,并且可以实现图8的操作。
计算设备可以包括任何合适的设备,诸如移动设备(例如,移动电话)、台式计算设备、平板计算设备、可穿戴设备(例如,VR耳机、AR耳机、AR眼镜、连接网络的手表或智能手表、或其它可穿戴设备)、服务器计算机、自主车辆或自主车辆的计算设备、机器人设备、电视机和/或具有执行本文描述的过程(包括过程800)的资源能力的任何其它计算设备。在一些情况下,计算设备或装置可以包括各种组件,诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、一个或多个相机、一个或多个传感器、和/或被配置为执行本文描述的过程的步骤的其它组件。在一些示例中,计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任何组合和/或其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。
计算设备的组件可以在电路中实现。例如,组件可以包括和/或可以使用电子电路或其它电子硬件来实现,电子电路或其它电子硬件可以包括一个或多个可编程电路(例如,微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU),和/或其它合适的电路)、和/或可以包括和/或使用计算机软件、固件或其任何组合来实现,以执行本文描述的各种操作。
过程800被示为逻辑流程图,逻辑流程图的操作表示可以用硬件、计算机指令或其组合来实现的一系列操作。在计算机指令的背景下,所述操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令,计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序并不旨在被解释为限制,并且可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现这些过程。
此外,过程800和/或本文描述的其它过程可以在被配置有可执行指令的一个或多个计算机***的控制下执行,并且可以被实现为在一个或多个处理器上共同执行的代码(例如,可执行指令、一个或多个计算机程序、或一个或多个应用),通过硬件来实现,或其组合。如上所提到,代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读或机器可读存储介质上。计算机可读存储介质或机器可读存储介质可以是非暂时性的。
图9是示出用于实现本文技术的某些方面的***的示例的示意图。具体地,图9示出了计算***900的示例,计算***900可以是例如构成内部计算***、远程计算***、相机或其任何组件的任何计算设备,其中该***的组件使用连接905彼此通信。连接905可以是使用总线的物理连接、或进入处理器910的直接连接(诸如在芯片组架构中)。连接905还可以是虚拟连接、网络连接或逻辑连接。
在一些实施例中,计算***900是分布式***,其中,在本公开内容中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些实施例中,所描述的***组件中的一个或多个***组件表示许多这样的组件,每个组件执行针对其描述该组件的一些或全部功能。在一些实施例中,这些组件可以是物理或虚拟设备。
示例***900包括至少一个处理单元(CPU或处理器)910和连接905,连接905将包括***存储器915(诸如只读存储器(ROM)920和随机存取存储器(RAM)925)的各种***组件耦合到处理器910。计算***900可以包括高速存储器的高速缓存912,高速缓存912与处理器910直接连接、接近处理器910或被集成为处理器910的部分。
处理器910可以包括任何通用处理器以及被配置为控制处理器910的硬件服务或软件服务(诸如被存储在存储设备930中的服务932、934和936)、以及其中软件指令被并入实际处理器设计中的专用处理器。处理器910本质上可以是完全自包含的计算***,包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互,计算***900包括可以表示任何数量的输入机制的输入设备945,诸如用于语音的麦克风、用于手势或图形输入的触摸敏感屏、键盘、鼠标、运动输入、语音等。计算***900还可以包括输出设备935,其可以是多个输出机制中的一个或多个输出机制。在一些情况下,多模态***可以使得用户能够提供多种类型的输入/输出以与计算***900进行通信。计算***900可以包括通信接口940,其通常可以支配和管理用户输入和***输出。通信接口可以使用有线和/或无线收发机来执行或促进接收和/或发送有线或无线通信,包括利用以下各项的那些有线和/或无线收发机:音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、
Figure BDA0004022534400000201
端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、BLUETOOTH/>
Figure BDA0004022534400000204
无线信号传输、/>
Figure BDA0004022534400000202
低能(BLE)无线信号传输、/>
Figure BDA0004022534400000203
无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、微波接入全球互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网络(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组织网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿着电磁频谱的无线信号传输、或其某种组合。通信接口940还可以包括一个或多个全球导航卫星***(GNSS)接收机或收发机,其用于基于从与一个或多个GNSS***相关联的一个或多个卫星接收一个或多个信号来确定计算***900的地点。GNSS包括但不限于基于美国的全球定位***(GPS)、基于俄罗斯的全球导航卫星***(GLONASS)、基于中国的北斗导航卫星***(BDS)和基于欧洲的伽利略GNSS***。对任何特定硬件布置的操作没有限制,并且因此在其被开发时,此处的基本功能可以容易地替换为改进的硬件或固件布置。
存储设备930可以是非易失性和/或非暂时性和/或计算机可读存储器设备,并且可以是可以存储可由计算机访问的数据的硬盘或其它类型的计算机可读介质,诸如盒式卡带、闪存卡、固态存储器设备、数字多功能磁盘、磁带盒、软盘、软磁盘、硬盘、磁带、磁片(strip)/磁条(stripe)、任何其它磁性存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘,蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(microSD)卡、
Figure BDA0004022534400000205
卡、智能卡芯片、EMV芯片、用户身份模块(SIM)卡、迷你/微型/纳米/微微SIM卡、另一集成电路(IC)芯片/卡,随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速EPROM(FLASHEPROM)、高速缓存存储器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、另一存储器芯片或盒、和/或其组合。
存储设备930可以包括软件服务、服务器、服务等,当定义此类软件的代码由处理器910执行时,其使得***执行功能。在一些实施例中,执行特定功能的硬件服务可以包括被存储在计算机可读介质中的软件组件,软件组件与用于执行该功能的必要硬件组件(诸如处理器910、连接905、输出设备935等)相连接。术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备、以及能够存储、包含或携带指令和/或数据的各种其它介质。计算机可读介质可以包括数据可以被存储在其中并且不包括以下各项的非暂时性介质:无线地或者在有线连接上传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于:磁盘或磁带、诸如压缩光盘(CD)或数字多功能光盘(DVD)之类的光学存储介质、闪存、存储器或存储器设备。计算机可读介质可以具有被存储在其上的代码和/或机器可执行指令,代码和/或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容,来耦合到另一代码段或硬件电路。可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或发送信息、自变量、参数、数据等。
在一些实施例中,计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而,当提及时,非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在以上描述中提供了具体细节以提供对本文提供的实施例和示例的透彻理解。然而,本领域普通技术人员将理解的是,可以在没有这些具体细节的情况下实施这些实施例。为了解释清楚,在一些情况下,本文的技术可以被呈现为包括单独的功能块,这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。除了在各图中所示和/或本文描述的组件之外,还可以使用额外的组件。例如,电路、***、网络、过程和其它组件可以以框图形式被示为组件,以便不会在不必要的细节上模糊这些实施例。在其它情况下,公知的电路、过程、算法、结构和技术可能被示为不具有不必要的细节,以便避免模糊这些实施例。
上文可能将各个实施例描述为过程或方法,该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。虽然流程图可以将操作描述为顺序的过程,但是这些操作中的许多操作可以并行地或并发地执行。另外,可以重新排列操作的顺序。过程在其操作完成时终止,但是可能具有未被包括在图中的额外步骤。过程(process)可以对应于方法、函数、过程(procedure)、子例程、子程序等。当过程对应于函数时,其终止可以对应于该函数返回到调用函数或主函数。
根据上述示例的过程和方法可以使用计算机可执行指令来实现,计算机可执行指令被存储在计算机可读介质中或者以其它方式可从计算机可读介质得到。这样的指令可以包括例如指令或数据,指令或数据使得通用计算机、专用计算机或处理设备执行或者以其它方式将其配置为执行特定功能或特定的一组功能。可以通过网络访问所使用的计算机资源的部分。计算机可执行指令可以是例如二进制文件、诸如汇编语言之类的中间格式指令、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、设置有非易失性存储器的USB设备、网络存储设备等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合,并且可以采用各种形状因子中的任何一种。当用软件、固件、中间件或微代码来实现时,用于执行必要任务的程序代码或代码段(例如,计算机程序产品)可以被存储在计算机可读或机器可读介质中。处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。本文描述的功能还可以体现在***设备或插件卡中。通过进一步的示例,这种功能还可以在单个设备中执行的不同芯片或不同过程之间的电路板上实现。
指令、用于传送这样的指令的介质、用于执行它们的计算资源以及用于支持这样的计算资源的其它结构是用于提供在本公开内容中描述的功能的示例模块。
在前面的描述中,参考本申请的特定实施例描述了本申请的各方面,但是本领域技术人员将认识到,本申请不限于此。因此,尽管本文已经详细描述了本申请的说明性实施例,但是将理解,可以以其它方式不同地体现和采用本发明构思,并且所附的权利要求旨在被解释为包括这样的变型,除了由现有技术限制的变型。可以单独地或联合地使用上述应用的各种特征和方面。进一步地,在不脱离本说明书的更宽泛的精神和范围的情况下,可以在除了本文描述的环境和应用之外的任何数量的环境和应用中利用各实施例。因此,说明书和附图被认为是说明性的而不是限制性的。为了说明的目的,以特定顺序描述了方法。应当明白,在替代实施例中,可以以与所描述的顺序不同的次序来执行所述方法。
本领域普通技术人员将明白,在不脱离本说明书的范围的情况下,本文使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)以及大于或等于(“≥”)符号来替换。
在将组件描述为“被配置为”执行某些操作的情况下,这样的配置可以例如通过以下方式来实现:将电子电路或其它硬件设计为执行该操作,将可编程电子电路(例如,微处理器或其它合适的电子电路)编程为执行该操作,或其任何组合。
短语“耦合到”指代直接或间接地在物理上连接到另一组件的任何组件、和/或直接或间接地与另一组件进行通信的任何组件(例如,通过有线或无线连接和/或其它合适的通信接口而连接到另一组件)。
记载集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示该集合中的一个成员或者该集合中的多个成员(以任何组合)满足该权利要求。例如,记载“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言意指A、B、或者A和B。在另一示例中,记载“A、B和C中的至少一个”或“A、B或C中的至少一个”的权利要求语言意指A、B、C、或者A和B、或者A和C、或者B和C、或者A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”并不将该集合限制为在该集合中列出的项目。例如,记载“A和B中的至少一个”或“A和B中的至少一个”的权利要求语言可以意指A、B或者A和B,并且可以另外包括未在A和B的集合中列出的项目。
结合本文公开的示例描述的各种说明性的逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性,上面已经对各种说明性的组件、框、模块、电路和步骤围绕其功能进行了总体描述。至于这种功能被实现为硬件还是软件取决于特定的应用和被施加在整个***上的设计约束。技术人员可以针对每种特定应用以不同的方式来实现所描述的功能,但是这种实现决策不应当被解释为导致脱离本申请的范围。
本文描述的技术还可以用电子硬件、计算机软件、固件或其任何组合来实现。这样的技术可以在各种设备中的任何一种中实现,诸如通用计算机、无线通信设备手机或具有多种用途(包括在无线通信设备手机和其它设备中的应用)的集成电路器件。被描述为模块或组件的任何特征都可以在集成逻辑器件中一起实现,或者分别作为分立但是可互操作的逻辑器件来实现。如果用软件来实现,则所述技术可以至少部分地由计算机可读数据存储介质来实现,计算机可读数据存储介质包括程序代码,程序代码包括在被执行时执行上述方法、算法和/或操作中的一种或多种的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分,计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储介质等。另外或替代地,所述技术可以至少部分地由以指令或数据结构的形式携带或传送程序代码并且可以由计算机访问、读取和/或执行的计算机可读通信介质(诸如传播的信号或波)来实现。
程序代码可以由处理器执行,处理器可以包括一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路。这样的处理器可以被配置为执行在本公开内容中描述的任何技术。通用处理器可以是微处理器,但是在替代方式中,处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其它这样的配置。因此,如本文所使用的术语“处理器”可以指代任何前述结构、前述结构的任何组合、或适于实现本文描述的技术的任何其它结构或装置。
示例1:一种生成虚拟内容的方法。所述方法包括:由设备发起用于呈现虚拟内容的虚拟会话;针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;输出定义所述虚拟私用空间的边界的边界信息;以及针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
示例2:根据示例1所述的方法,其中,基于与所述边界信息相关联的边界虚拟内容,所述虚拟内容的至少所述一部分不可被所述一个或多个未被授权用户查看。
示例3:根据示例1或2中任一项所述的方法,其中,基于与所述边界信息相关联的边界虚拟内容,在所述边界虚拟内容内定义的真实世界体积不可被所述一个或多个未被授权用户查看。
示例4:根据示例1至3中任一项所述的方法,还包括:输出标识针对所述虚拟私用空间的所述边界的边界虚拟内容,所述边界虚拟内容可被所述虚拟会话的所述一个或多个未被授权用户查看。
示例5:根据示例1至4中任一项所述的方法,其中,所述边界信息包括以下各项中的至少一项:所述物理空间中的世界坐标、以及所述物理区域的至少一个图像中的一个或多个特征点,所述一个或多个特征点可用于生成标识针对所述虚拟私用空间的所述边界的边界虚拟内容。
示例6:根据示例1至5中任一项所述的方法,接收关于未被授权用户已经进入所述虚拟私用空间的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间的所述指示,遮挡所述未被授权用户的至少一部分以免可被所述一个或多个被授权用户在所述虚拟私用空间中查看。
示例7:根据示例1至6中任一项所述的方法,还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,移动所述虚拟私用空间中的一个或多个虚拟对象以避开所述未被授权用户的至少一部分。
示例8:根据示例1至7中任一项所述的方法,还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,输出指示所述虚拟私用空间的存在的通知。
示例9:根据示例8所述的方法,其中,输出所述通知包括以下各项中的至少一项:向所述未被授权用户的设备发送所述通知,以及输出指示所述虚拟私用空间的所述存在的音频通知。
示例10:根据示例1至9中任一项所述的方法,还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,向所述一个或多个被授权用户的一个或多个设备输出通知,所述通知指示所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内。
示例11:根据示例10所述的方法,其中,所述通知包括所述未被授权用户的轮廓。
示例12:根据示例1至11中任一项所述的方法,其中,所述设备是扩展现实设备,所述方法还包括:由所述扩展现实设备显示所述虚拟内容的至少所述一部分。
示例13:根据示例1至12中任一项所述的方法,其中,所述设备是第一扩展现实设备,并且所述方法还包括:向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
示例14:根据示例1至13中任一项所述的方法,其中,所述设备是第一扩展现实设备,并且所述方法还包括:由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;以及向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
示例15:根据示例1至14中任一项所述的方法,所述设备是第一扩展现实设备,并且所述方法还包括:由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;向第二扩展现实设备输出所述虚拟内容的至少所述一部分;由所述第二扩展现实设备接收所述边界信息;以及由所述第二扩展现实设备根据所接收的边界信息来生成所述虚拟边界内容。
示例16:根据示例1至15中任一项所述的方法,其中,所述设备是服务器设备,并且所述方法还包括:由所述服务器设备向扩展现实设备输出所述虚拟内容的至少所述一部分。
示例17:一种用于生成虚拟内容的装置。所述装置包括:存储器,其被配置为存储虚拟内容;以及一个或多个处理器,其耦合到所述存储器并且被配置为:发起用于呈现虚拟内容的虚拟会话;针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;输出定义所述虚拟私用空间的边界的边界信息;以及针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
示例18:根据示例17所述的装置,其中,基于与所述边界信息相关联的边界虚拟内容,所述虚拟内容的至少所述一部分不可被所述一个或多个未被授权用户查看。
示例19:根据示例17或18中任一项所述的装置,其中,基于与所述边界信息相关联的边界虚拟内容,在所述边界虚拟内容内定义的真实世界体积不可被所述一个或多个未被授权用户查看。
示例20:根据示例17至19中任一项所述的装置,其中,所述一个或多个处理器被配置为:输出标识针对所述虚拟私用空间的所述边界的边界虚拟内容,所述边界虚拟内容可被所述虚拟会话的所述一个或多个未被授权用户查看。
示例21:根据示例17至20中任一项所述的装置,其中,所述边界信息包括以下各项中的至少一项:所述物理空间中的世界坐标、以及所述物理区域的至少一个图像中的一个或多个特征点,所述一个或多个特征点可用于生成标识针对所述虚拟私用空间的所述边界的边界虚拟内容。
示例22:根据示例17至21中任一项所述的装置,其中,所述一个或多个处理器被配置为:接收关于未被授权用户已经进入所述虚拟私用空间的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间的所述指示,遮挡所述未被授权用户的至少一部分以免可被所述一个或多个被授权用户在所述虚拟私用空间中查看。
示例23:根据示例17至22中任一项所述的装置,还包括:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,移动所述虚拟私用空间中的一个或多个虚拟对象以避开所述未被授权用户的至少一部分。
示例24:根据示例17至23中任一项所述的装置,其中,所述一个或多个处理器被配置为:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,输出指示所述虚拟私用空间的存在的通知。
示例25:根据示例24所述的装置,其中,输出所述通知包括以下各项中的至少一项:向所述未被授权用户的设备发送所述通知,以及输出指示所述虚拟私用空间的所述存在的音频通知。
示例26:根据示例17至25中任一项所述的装置,其中,所述一个或多个处理器被配置为:接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,向所述一个或多个被授权用户的一个或多个设备输出通知,所述通知指示所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内。
示例27:根据示例26所述的装置,其中,所述通知包括所述未被授权用户的轮廓。
示例28:根据示例17至27中任一项所述的装置,其中,所述装置是第一扩展现实设备,并且其中,所述一个或多个处理器被配置为:使得所述虚拟内容的至少所述一部分被输出到第二扩展现实设备。
示例29:根据示例17至28中任一项所述的装置,其中,所述装置是扩展现实设备。
示例30:根据示例17至29中任一项所述的装置,还包括显示器。
示例31:根据示例30所述的装置,其中,所述显示器被配置为显示所述虚拟内容的至少所述一部分。
示例32:根据示例30所述的装置,其中,所述装置是第一扩展现实设备,并且其中:所述显示器被配置为显示所述虚拟内容的至少所述一部分;以及所述一个或多个处理器被配置为:向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
示例33:根据示例30所述的装置,其中,所述装置是第一扩展现实设备,并且其中:所述显示器被配置为显示所述虚拟内容的至少所述一部分;所述一个或多个处理器被配置为向第二扩展现实设备输出所述虚拟内容的至少所述一部分;所述第二扩展现实设备被配置为接收所述边界信息;以及所述第二扩展现实设备被配置为根据所接收的边界信息来生成所述虚拟边界内容。
示例34:根据示例17至33中任一项所述的装置,其中,所述装置是服务器设备,并且其中,所述一个或多个处理器被配置为:通过所述服务器设备向扩展现实设备输出所述虚拟内容的至少所述一部分。
示例35:一种扩展现实***的具有存储在其上的指令的非暂时性计算机可读介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行根据示例1至16所述的操作中的任何操作。
示例35:一种扩展现实***,包括用于执行根据示例1至16所述的操作中的任何操作的一个或多个单元。

Claims (35)

1.一种生成虚拟内容的方法,所述方法包括:
由设备发起用于呈现虚拟内容的虚拟会话;
针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;
输出定义所述虚拟私用空间的边界的边界信息;以及
针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
2.根据权利要求1所述的方法,其中,基于与所述边界信息相关联的边界虚拟内容,所述虚拟内容的至少所述一部分不可被所述一个或多个未被授权用户查看。
3.根据权利要求1所述的方法,其中,基于与所述边界信息相关联的边界虚拟内容,在所述边界虚拟内容内定义的真实世界体积不可被所述一个或多个未被授权用户查看。
4.根据权利要求1所述的方法,还包括:输出标识针对所述虚拟私用空间的所述边界的边界虚拟内容,所述边界虚拟内容可被所述虚拟会话的所述一个或多个未被授权用户查看。
5.根据权利要求1所述的方法,其中,所述边界信息包括以下各项中的至少一项:所述物理空间中的世界坐标、以及所述物理空间的至少一个图像中的一个或多个特征点,所述一个或多个特征点可用于生成标识针对所述虚拟私用空间的所述边界的边界虚拟内容。
6.根据权利要求1所述的方法,还包括:
接收关于未被授权用户已经进入所述虚拟私用空间的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间的所述指示,遮挡所述未被授权用户的至少一部分以免可被所述一个或多个被授权用户在所述虚拟私用空间中查看。
7.根据权利要求1所述的方法,还包括:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,移动所述虚拟私用空间中的一个或多个虚拟对象以避开所述未被授权用户的至少一部分。
8.根据权利要求1所述的方法,还包括:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,输出指示所述虚拟私用空间的存在的通知。
9.根据权利要求8所述的方法,其中,输出所述通知包括以下各项中的至少一项:向所述未被授权用户的设备发送所述通知,以及输出指示所述虚拟私用空间的所述存在的音频通知。
10.根据权利要求1所述的方法,还包括:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,向所述一个或多个被授权用户的一个或多个设备输出通知,所述通知指示所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内。
11.根据权利要求10所述的方法,其中,所述通知包括所述未被授权用户的轮廓。
12.根据权利要求1所述的方法,其中,所述设备是扩展现实设备,所述方法还包括:
由所述扩展现实设备显示所述虚拟内容的至少所述一部分。
13.根据权利要求1所述的方法,其中,所述设备是第一扩展现实设备,并且所述方法还包括:
向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
14.根据权利要求1所述的方法,其中,所述设备是第一扩展现实设备,并且所述方法还包括:
由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;以及
向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
15.根据权利要求1所述的方法,其中,所述设备是第一扩展现实设备,并且所述方法还包括:
由所述第一扩展现实设备显示所述虚拟内容的至少所述一部分;
向第二扩展现实设备输出所述虚拟内容的至少所述一部分;
由所述第二扩展现实设备接收所述边界信息;以及
由所述第二扩展现实设备根据所接收的边界信息来生成所述虚拟边界内容。
16.根据权利要求1所述的方法,其中,所述设备是服务器设备,并且所述方法还包括:
由所述服务器设备向扩展现实设备输出所述虚拟内容的至少所述一部分。
17.一种用于生成虚拟内容的装置,包括:
存储器,其被配置为存储虚拟内容;以及
一个或多个处理器,其耦合到所述存储器并且被配置为:
发起用于呈现虚拟内容的虚拟会话;
针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;
输出定义所述虚拟私用空间的边界的边界信息;以及
针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
18.根据权利要求17所述的装置,其中,基于与所述边界信息相关联的边界虚拟内容,所述虚拟内容的至少所述一部分不可被所述一个或多个未被授权用户查看。
19.根据权利要求17所述的装置,其中,基于与所述边界信息相关联的边界虚拟内容,在所述边界虚拟内容内定义的真实世界体积不可被所述一个或多个未被授权用户查看。
20.根据权利要求17所述的装置,其中,所述一个或多个处理器被配置为:输出标识针对所述虚拟私用空间的所述边界的边界虚拟内容,所述边界虚拟内容可被所述虚拟会话的所述一个或多个未被授权用户查看。
21.根据权利要求17所述的装置,其中,所述边界信息包括以下各项中的至少一项:所述物理空间中的世界坐标、以及所述物理空间的至少一个图像中的一个或多个特征点,所述一个或多个特征点可用于生成标识针对所述虚拟私用空间的所述边界的边界虚拟内容。
22.根据权利要求17所述的装置,其中,所述一个或多个处理器被配置为:
接收关于未被授权用户已经进入所述虚拟私用空间的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间的所述指示,遮挡所述未被授权用户的至少一部分以免可被所述一个或多个被授权用户在所述虚拟私用空间中查看。
23.根据权利要求17所述的装置,还包括:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,移动所述虚拟私用空间中的一个或多个虚拟对象以避开所述未被授权用户的至少一部分。
24.根据权利要求17所述的装置,其中,所述一个或多个处理器被配置为:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,输出指示所述虚拟私用空间的存在的通知。
25.根据权利要求24所述的装置,其中,输出所述通知包括以下各项中的至少一项:向所述未被授权用户的设备发送所述通知,以及输出指示所述虚拟私用空间的所述存在的音频通知。
26.根据权利要求17所述的装置,其中,所述一个或多个处理器被配置为:
接收关于未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的门限距离内的指示;以及
基于关于所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内的所述指示,向所述一个或多个被授权用户的一个或多个设备输出通知,所述通知指示所述未被授权用户已经进入所述虚拟私用空间或在进入所述虚拟私用空间的所述门限距离内。
27.根据权利要求26所述的装置,其中,所述通知包括所述未被授权用户的轮廓。
28.根据权利要求17所述的装置,其中,所述装置是第一扩展现实设备,并且其中,所述一个或多个处理器被配置为:
使得所述虚拟内容的至少所述一部分被输出到第二扩展现实设备。
29.根据权利要求17所述的装置,其中,所述装置是扩展现实设备。
30.根据权利要求17所述的装置,还包括显示器。
31.根据权利要求30所述的装置,其中,所述显示器被配置为显示所述虚拟内容的至少所述一部分。
32.根据权利要求30所述的装置,其中,所述装置是第一扩展现实设备,并且其中:
所述显示器被配置为显示所述虚拟内容的至少所述一部分;以及
所述一个或多个处理器被配置为:向第二扩展现实设备输出所述虚拟内容的至少所述一部分。
33.根据权利要求30所述的装置,其中,所述装置是第一扩展现实设备,并且其中:
所述显示器被配置为显示所述虚拟内容的至少所述一部分;
所述一个或多个处理器被配置为向第二扩展现实设备输出所述虚拟内容的至少所述一部分;
所述第二扩展现实设备被配置为接收所述边界信息;以及
所述第二扩展现实设备被配置为根据所接收的边界信息来生成所述虚拟边界内容。
34.根据权利要求17所述的装置,其中,所述装置是服务器设备,并且其中,所述一个或多个处理器被配置为:
由所述服务器设备向扩展现实设备输出所述虚拟内容的至少所述一部分。
35.一种具有存储在其上的指令的非暂时性计算机可读介质,所述指令在由一个或多个处理器执行时,使得所述一个或多个处理器进行以下操作:
发起用于呈现虚拟内容的虚拟会话;
针对所述虚拟会话来识别物理空间的供用作用于呈现所述虚拟内容的至少一部分的虚拟私用空间的一部分;
输出定义所述虚拟私用空间的边界的边界信息;以及
针对所述虚拟私用空间来生成所述虚拟内容的至少所述一部分,所述虚拟内容的至少所述一部分可被所述虚拟会话的一个或多个被授权用户在所述虚拟私用空间中查看并且不可被一个或多个未被授权用户查看。
CN202180046178.8A 2020-07-07 2021-07-01 用于扩展现实的虚拟私用空间 Pending CN115867912A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/922,945 2020-07-07
US16/922,945 US11481931B2 (en) 2020-07-07 2020-07-07 Virtual private space for extended reality
PCT/US2021/040089 WO2022010732A1 (en) 2020-07-07 2021-07-01 Virtual private space for extended reality

Publications (1)

Publication Number Publication Date
CN115867912A true CN115867912A (zh) 2023-03-28

Family

ID=77104151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180046178.8A Pending CN115867912A (zh) 2020-07-07 2021-07-01 用于扩展现实的虚拟私用空间

Country Status (8)

Country Link
US (1) US11481931B2 (zh)
EP (1) EP4179445A1 (zh)
JP (1) JP2023532891A (zh)
KR (1) KR20230035265A (zh)
CN (1) CN115867912A (zh)
BR (1) BR112022026768A2 (zh)
TW (1) TW202207169A (zh)
WO (1) WO2022010732A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115735174A (zh) * 2020-06-29 2023-03-03 美国斯耐普公司 使用保持社交距离的增强现实体验
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230177777A1 (en) * 2021-12-08 2023-06-08 Bank Of America Corporation Systems and methods for enhanced augmented reality emulation based on historical data
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
JP7408710B2 (ja) * 2022-03-25 2024-01-05 株式会社バーチャルキャスト 仮想アイテム制御システム、仮想アイテム制御方法、および仮想アイテム制御プログラム
US12039671B2 (en) * 2022-07-21 2024-07-16 Qualcomm Incorporated Visual content verification in extended and augmented reality

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536691B2 (en) 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10445523B2 (en) 2016-10-14 2019-10-15 Google Llc Information privacy in virtual reality
US10586220B2 (en) 2016-12-02 2020-03-10 Bank Of America Corporation Augmented reality dynamic authentication
US10997558B2 (en) * 2017-02-20 2021-05-04 Vspatial, Inc. System and method for creating a collaborative virtual session
US10311249B2 (en) * 2017-03-31 2019-06-04 Google Llc Selectively obscuring private information based on contextual information
WO2018200315A1 (en) 2017-04-26 2018-11-01 Pcms Holdings, Inc. Method and apparatus for projecting collision-deterrents in virtual reality viewing environments
AU2018262533B2 (en) * 2017-05-05 2024-01-18 Stryker European Operations Limited Surgical navigation system
US20190019011A1 (en) 2017-07-16 2019-01-17 Tsunami VR, Inc. Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US20190251722A1 (en) 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for authorized exportation of virtual content to an augmented reality device
US10859831B1 (en) * 2018-05-16 2020-12-08 Facebook Technologies, Llc Systems and methods for safely operating a mobile virtual reality system

Also Published As

Publication number Publication date
EP4179445A1 (en) 2023-05-17
JP2023532891A (ja) 2023-08-01
WO2022010732A1 (en) 2022-01-13
US20220012920A1 (en) 2022-01-13
KR20230035265A (ko) 2023-03-13
TW202207169A (zh) 2022-02-16
BR112022026768A2 (pt) 2023-01-17
US11481931B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
US11481931B2 (en) Virtual private space for extended reality
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
TW202119199A (zh) 虛擬鍵盤
US11586336B2 (en) Private control interfaces for extended reality
US11922594B2 (en) Context-aware extended reality systems
US11625091B2 (en) Obfuscated control interfaces for extended reality
US11195341B1 (en) Augmented reality eyewear with 3D costumes
WO2023064719A1 (en) User interactions with remote devices
US20240256052A1 (en) User interactions with remote devices
US20240242443A1 (en) Proximity-based protocol for enabling multi-user extended reality (xr) experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination