CN114365197A - 在具有多个物理参与者的环境中放置虚拟内容 - Google Patents

在具有多个物理参与者的环境中放置虚拟内容 Download PDF

Info

Publication number
CN114365197A
CN114365197A CN202080063059.9A CN202080063059A CN114365197A CN 114365197 A CN114365197 A CN 114365197A CN 202080063059 A CN202080063059 A CN 202080063059A CN 114365197 A CN114365197 A CN 114365197A
Authority
CN
China
Prior art keywords
parameter
virtual content
digital representation
environment
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063059.9A
Other languages
English (en)
Inventor
J.基斯
R.塔茨
D.J.盖斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN114365197A publication Critical patent/CN114365197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种设备可以被配置为通过捕获环境的图像、分析所捕获的图像以识别环境中的至少一个对象、确定用于所识别的对象的参数以及基于所确定的参数来确定虚拟内容的数字表示的显示属性来确定用于具有多个物理参与者的环境中的虚拟内容的显示属性。实施例可以包括与其他设备协商显示属性以生成协调的显示属性，以及渲染虚拟内容的数字表示，使得远程参与者对于所有共同定位的参与者来说似乎处于相同的固定位置并且尺寸与共同定位的参与者一致。

Description

在具有多个物理参与者的环境中放置虚拟内容
相关申请的交叉引用
本专利申请要求于2019年9月16日提交的题为“Placement of Virtual Contentsin Environments with a Plurality of Physical Participants”的美国非临时申请第16/572,030号的优先权，其已转让给受让人并通过引用明确地并入本文。
背景技术
近年来，渲染环境内的图像和虚拟内容的软件应用程序越来越受欢迎，用途越来越广泛，诸如电子游戏、虚拟训练***、协作工作环境、先进的基于网络的会议和屏幕共享应用程序。此外，移动设备技术的进步现在允许移动设备用户在其移动设备上执行功能强大的软件应用程序，诸如将来自用户物理环境的真实世界图像与计算机生成的图像或虚拟内容相结合的增强现实软件应用程序。例如，增强现实应用程序可以将图形、声音和/或触觉反馈添加到应用程序用户周围的自然世界。关于人和/或对象的图像、视频流和信息可以在可穿戴电子显示器(例如，智能眼镜、增强现实眼镜等)上渲染给用户，使得用户可以查看和/或与现实世界的人或对象的表示进行交互。
由于这些趋势，预期增强现实应用程序将允许用户与远程位置的其他人协作和交互，就好像所有参与者都位于相同的环境中(例如，在相同的房间中)。例如，增强现实应用程序可以将远程参与者渲染为三维表示或二维视频或化身，使得本地和远程参与者可以以相同的方式进行交互和通信，好像所有参与者都在相同的环境中。
发明内容
本公开的各个方面提供了在具有多个参与者的环境中确定虚拟内容的显示属性的方法，其可以包括由处理器捕获环境的图像，分析所捕获的图像以识别环境中的对象，确定用于所识别的对象的参数，以及基于所确定的参数来确定虚拟内容的数字表示的显示属性。在一些方面，处理器可以是多个参与者之一的智能电话的处理器。
在一些方面，可以包括向确定的参数分派优先级。在一些方面，基于确定的参数确定虚拟内容的数字表示的显示属性可以包括基于分派给确定的参数的优先级来确定虚拟内容的数字表示的显示属性。
在一些方面，确定用于识别的对象的参数可以包括确定固定位置参数、尺寸参数或视线参数中的至少一个或多个，以及确定视场参数、间隔参数、人间距离参数、高度参数和能见度参数中的至少一个或多个。在一些方面，为确定的参数分派优先级可以包括为固定位置参数、尺寸参数或视线参数分派第一优先级，以及为视场参数、间隔参数、人间距离参数、高度参数或可见度参数分派第二优先级，其中，第一优先级是比第二优先级高的优先级。
在一些方面，可以包括识别环境中的一个或多个其他设备，以及将确定的参数发送到所识别的一个或多个其他设备。在一些方面，可以包括从环境中的至少一个其他设备接收附加参数，其中基于确定的参数确定虚拟内容的数字表示的显示属性可以包括基于确定的参数和所接收的附加参数确定虚拟内容的数字表示的一个或多个显示属性。
在一些方面，基于确定的参数确定远程参与者的数字表示的显示属性可以包括与环境中的至少一个其他设备协商用于渲染远程参与者的数字表示的一个或多个显示属性，以生成一个或多个协调的显示属性。在一些方面，可以包括使用一个或多个协调的显示属性来渲染远程参与者的数字表示，使得物理上存在于环境中的所有共同定位的参与者感知远程参与者在环境中处于相同的固定位置。在一些方面，可以包括使用一个或多个协调的显示属性来基于物理上存在于环境中的参与者的尺寸来调整远程参与者的数字表示的尺寸。在一些方面，可以包括使用一个或多个协调的显示属性来渲染远程参与者的数字表示，使得虚拟内容看起来位于物理上存在于环境中的第一参与者和物理上存在于环境中的第二参与者之间。
在一些方面，使用一个或多个协调的显示属性来渲染远程参与者的数字表示，使得远程参与者看起来位于物理上存在于环境中的第一参与者与物理上存在于环境中的第二参与者之间可以包括使用一个或多个协调的显示属性来渲染远程参与者的数字表示，使得远程参与者看起来与物理上存在于环境中的第一参与者和物理上存在于环境中的第二参与者大致等距。
在一些方面，可以包括使用一个或多个协调的显示属性来渲染远程参与者的数字表示，使得远程参与者看起来被锚定到空座位上。在一些方面，可以包括捕获环境的更新后的图像，分析所捕获的更新后的图像以确定所识别的对象的数量、位置、姿势或尺寸是否已经改变，响应于所识别的对象的确定的位置、姿势或尺寸已经改变而确定用于所识别的对象的更新后的参数，确定所确定的参数和所确定的更新后的参数之间的差值是否超过阈值，以及响应于确定所确定的参数和所确定的更新后的参数之间的差值超过阈值，确定用于远程参与者的数字表示的更新后的显示属性。
在一些方面，基于确定的参数确定远程参与者的数字表示的显示属性可以包括为多个远程参与者的每个数字表示确定至少一个显示属性。在一些方面中，捕获环境的图像可以包括通过与设备(例如，计算设备、移动设备、头戴式设备等)相关联的处理器捕获环境的图像。在一些方面，确定用于所识别的对象的参数可以包括确定固定位置参数、尺寸参数、视线参数、视野参数、间距参数、人距离参数、高度参数或可见度参数中的至少一个或多个。在一些方面，虚拟内容可以是远程参与者。在一些方面，虚拟内容与游戏有关。在一些方面，环境可以是增强现实游戏环境。
另外的方面，可以包括配备有处理器的计算设备，该处理器配置有处理器可执行指令以执行以上概述的任何方法的操作，诸如捕获环境的图像，分析所捕获的图像以识别环境中的对象，确定用于所识别的对象的参数，以及基于所确定的参数来确定虚拟内容的数字表示的显示属性。另外的方面，可以包括一种设备，该设备包括图像传感器、被配置为将图像投影到光学透镜上的投影仪、以及耦合到图像传感器和投影仪并且被配置有处理器可执行指令以执行上述任何方法的操作的处理器，所述操作诸如捕获环境的图像，分析所捕获的图像以识别环境中的对象，确定用于所识别的对象的参数，以及基于所确定的参数来确定虚拟内容的数字表示的显示属性。
另外的方面，可以包括一种非暂时性处理器可读存储介质，其上存储有处理器可执行指令，处理器可执行指令被配置为使设备中和/或相关联的计算设备中的处理器执行上述任何方法的操作。另外的方面可以包括具有用于实现上述方法的功能的各种部件的设备和/或相关联的计算设备。
附图说明
并入本文并构成本说明书的一部分的附图示出了各种实施例的示例实施例，并且与上面给出的一般描述和下面给出的详细描述一起用于解释权利要求的特征。
图1A是可以被配置为实现各种实施例的头戴式设备(例如，增强现实眼镜)的图示。
图1B是适用于实现一些实施例的智能电话的组件框图。
图1C是示出根据实施例的可以被包括在被配置为渲染虚拟会议中的远程参与者的数字表示的设备中的计算机架构和传感器的***框图。
图2A是根据实施例的佩戴可以被配置为在虚拟会议中渲染远程参与者的数字表示的设备的会议参与者的图示。
图2B是示出远程参与者的数字表示可以被渲染以使得远程参与者在共同定位的参与者的视场内并且不阻挡任何一个远程或共同定位的参与者的视线的框图。
图3A和3B是示出被配置为渲染虚拟会议中的远程参与者的数字表示的设备的框图，该虚拟会议包括物理上存在于相同环境中并且坐在适合观看演示的位置的游戏桌周围的多个共同定位的参与者。
图4A是示出设备可以在相对于游戏桌的自然位置处渲染远程会议参与者的数字表示并且使得共同定位的参与者中的每一个具有对远程会议参与者的数字表示的直接视线的框图。
图4B是示出根据实施例配置的设备的框图，该设备可以与存在于环境中的其他设备交换数据以将远程会议参与者的数字表示重新定位到相对于游戏桌的不同位置或姿势使得所有共同定位的参与者彼此之间以及远程会议参与者的数字表示具有直接的视线。
图5A-5C是示出根据实施例配置的设备的框图，该设备可以相对于物理上存在于环境中的共同定位的参与者的位置或姿势智能地确定远程会议参与者的数字表示应该被渲染的位置。
图6-9是示出根据一些实施例的确定用于远程参与者的数字表示的显示属性的方法的过程流程图。
图10是示出根据实施例更新远程参与者的数字表示的显示属性的方法的过程流程图。
图11是适用于各种实施例的示例计算设备的组件图。
具体实施方式
将参照附图详细描述各种实施例。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。对特定示例和实施方式的引用是出于说明性目的，并不旨在限制权利要求的范围。
总而言之，各种实施例包括用于在具有多个物理参与者的环境中确定虚拟内容的显示属性的方法和被配置为实现这些方法的设备(例如，计算设备、移动设备、头戴式设备等)。例如，移动设备或头戴式设备可以被配置为捕获环境(例如，游戏室、会议区、运动场等)的图像，分析捕获的图像以识别环境中的至少一个对象，确定用于所识别的对象的参数，以及基于确定的参数确定远程参与者的数字表示的显示属性。
本文使用的术语“移动设备”通常指智能电话、蜂窝电话、物联网(IOT)设备、个人或移动多媒体播放器、膝上型计算机、平板计算机、超极本、掌上计算机、无线电子邮件接收器、支持多媒体互联网的蜂窝电话、无线游戏控制器、头戴式设备以及包括可编程处理器、存储器和用于向/从无线通信网络发送和/或接收无线通信信号的电路的类似电子设备中的任何一个或所有。尽管各种实施例在诸如智能电话和平板电脑的移动设备中特别有用，但这些实施例通常在包括用于接入蜂窝或无线通信网络的通信电路的任何电子设备中有用。
短语“头戴式设备”及其首字母缩写词“HMD”在本文中可以互换使用，以指代向用户呈现计算机生成图像和来自用户物理环境(即，用户在没有眼镜的情况下会看到什么)的真实世界图像的组合的任何电子显示***和/或使佩戴者/用户能够在真实世界场景的上下文中查看生成的图像。作为示例，头戴式设备可以是、可以包括或可以包括在头盔、眼镜、虚拟现实眼镜、增强现实眼镜、电子护目镜和其他类似技术/设备中。在一些实施例中，头戴式设备可以包括处理器、存储器、显示器、相机和用于与互联网、网络或其他计算设备连接的无线接口。
在一些实施例中，头戴式设备可以是用于和/或从另一个计算设备(例如，台式机、膝上型电脑、智能电话、平板电脑等)接收视频的附件，其中所有或部分处理在其他计算设备(例如，图1B和11中所示的计算设备等)的处理器上执行。因此，在各种实施例中，头戴式设备可以被配置为在头戴式设备中的处理器上本地执行所有处理，将所有主处理卸载到另一个计算设备(例如游戏室中呈现的膝上型电脑)中的处理器等，或在头戴式设备中的处理器和其他计算设备中的处理器之间拆分主要处理操作。此外，在存在多个头戴式设备(例如，在有多个参与者的会议中呈现)和/或存在多个计算设备(例如，多个智能电话，智能电话、平板电脑和膝上型计算机的混合)的情况下，主要处理操作可以通过本头戴式设备以分布式方式执行和/或计算设备可以经由无线通信(例如，蓝牙、WiFi、LTE-Direct等)交换数据和计算结果。
术语“环境”在本文中用于一般地指代参与者可能在现实中和虚拟中出现的可见的上下文。环境可以包括本地参与者的物理位置。物理环境的非限制性示例包括游戏室、控制室、教室、训练设施、运动场(例如，用于游戏)等。在一些实施例中，环境可以包括虚拟位置，诸如电子游戏领域，在其中所有参与者都以虚拟形式出现。例如，环境可以是参与者在增强现实棋盘游戏中交互的虚拟空间。
短语“远程参与者”和虚拟内容在本文中用于指代被投影出现在相同虚拟环境中并且与其他人交互但物理上不存在于与其他参与者相同的物理环境中的人或人的数字表示(例如，相同的运动场、会议室等)。短语“共同定位的参与者”在本文中用于指代物理上存在于与至少一个其他参与者相同的环境中的人(或由该人持有或佩戴的设备)。在下面的描述和所附权利要求中，可能会提到“虚拟内容”、“远程参与者”和“所述远程参与者”，但是这样的引用是为了便于描述，并且各种实施例不限于为单个参与者。相反，各种实施例的方法和操作可用于安置和渲染任何数量的远程参与者。类似地，各种实施例可以与任何数量的共同定位的参与者一起工作。此外，各种实施例可以在所有参与者都是远程参与者的应用程序中实现，诸如在虚拟游戏应用程序中。此外，“远程参与者”可以是虚拟参与者的图像，诸如化身(计算机生成的在虚拟现实游戏中扮演角色的人的图像)。为了涵盖不实际存在的个人的各种类型的图像，术语“虚拟内容”可用于指代描述和权利要求中的虚拟参与者。
人们越来越多地使用他们的设备(例如，智能电话、移动设备、头戴式设备等)以在增强现实应用程序(诸如增强现实游戏、增强现实训练、虚拟会议等)中进行或与其他人交互。增强现实游戏的一种流行用法，其可以在参与者的智能电话上玩，其显示并不实际存在的个人的图像，但在智能电话上的图像中渲染为真实的外观(例如，作为经由智能电话上的相机上)或虚拟外观(例如，化身)。此外，增强现实***正在彻底改变诸如复杂控制室、作战室、飞机驾驶舱、机器人手术环境的复杂设备操作员的训练方式，并使本地和远程个人参与相同的训练课程可以显着改善团队训练效率和成本效益。此外，会议中的所有参与者不再需要亲自到场才能与其他人进行交互，就好像所有人都在同一个游戏室一样，因为增强现实***可以用于呈现所有参与者的图像，就好像在相同环境中。
智能电话、现代虚拟现实显示器和图像捕获设备可以有效地改进并促进各种类型的团体活动(例如，增强现实游戏、群聊、会议、团体训练、讲座等)中的本地和远程参与者之间的交互。通过在虚拟现实显示器中渲染远程参与者的数字表示，使得远程参与者看起来与用户设备的用户/佩戴者处于相同的环境中。然而，对于虚拟团体活动(例如，增强现实游戏、会议等)，其中两个或多个共同定位的参与者实际存在于相同环境中(例如，坐在同一个物理游戏板前、在游戏场中、相同房间、区域、控制中心等)，如果用户设备没有智能地选择在其中渲染诸如远程参与者的虚拟内容的数字表示的位置和/或姿势，则由用户设备提供的生产率或用户交互中的任何改进都将无效。例如，如果远程参与者的数字表示在每个共同定位的参与者的用户设备(例如，智能电话)中的放置不一致，则每个共同定位的参与者在说话或收听诸如远程参与者的虚拟内容时可能面对/看不同的方向。这可能会造成混淆、分散注意力、破坏性和/或以其他方式阻碍参与者之间自然的人与人之间的交流。
通常，为了促进自然的人与人之间的通信，用户设备将虚拟内容(例如，远程参与者的数字表示等)放置在从所有参与者的角度看来相同的固定位置可能是有益的，该所有参与者包括当一些参与者物理上呈现在相同环境中时的共同定位的参与者。例如，如果虚拟内容的数字表示(例如，远程参与者)由一个用户设备放置在游戏桌的某个位置，则共同定位的参与者的所有其他用户设备可以在该相同位置处渲染该远程参与者的数字表示。此外，对于用户设备来说，智能地调整远程参与者的数字表示的尺寸可能是有益的，使得远程参与者不会显得太大、太小或对共同定位的参与者来说不自然。例如，虚拟内容的数字表示(例如，远程参与者)的尺寸可以被调整为在智能电话显示器中看起来与共同定位的参与者的尺寸大致相同。此外，用户设备渲染远程参与者的数字表示使得远程参与者相对于共同定位的参与者被放置在适当的高度、在共同定位的参与者的视场内、不阻挡另一个参与者的视线、被适当的间隔(例如，所有参与者看起来大致等距等)、考虑到人与人之间的距离(例如，没有与另一个参与者过于接近，因此感觉好像该人正在侵犯个人空间边界等)、并且另外是很容易地可见的(例如，没有放置在明亮或复杂的背景前等)可能是有益的。
各种实施例包括被配置为在用户设备(例如，智能电话)中运行的增强现实软件应用程序，和/或被配置为通过智能地确定诸如远程参与者的数字表示的虚拟内容的位置、姿势、方向、尺寸和其他显示特征来促进在本地和远程参与者和虚拟内容之间的自然的人对人通信(例如，用于眼神接触、正常轮换)的用户设备，以促进自然的人与人之间的通信(例如，用于眼神交流、正常轮换等)。
设备处理器(例如，智能电话中、由共同定位的参与者佩戴的头戴式设备中、通信地耦合到头戴式设备的移动设备等中的处理器)可以被配置为与其他设备处理器(例如，在智能电话中，在其他共同定位的参与者佩戴的头戴式设备中等)，以智能地确定诸如远程参与者的虚拟内容的数字表示的显示属性。例如，设备处理器可以被配置为确定环境，诸如通过渲染虚拟环境(例如，增强现实游戏板、虚拟游戏环境等)或通过经由用户设备的相机捕获实际环境(例如，游戏桌、运动场、会议室、控制室、训练环境等)。对于实际环境，设备处理器可以分析捕获的图像以识别环境内的人和对象(例如，桌子、桌子、椅子、墙壁等)，捕获或计算数据(例如，经由传感器阵列或处理器)。对于虚拟环境，设备处理器可以确定环境中各种虚拟对象的形状和位置。设备处理器可以基于捕获/计算的数据为每个识别的对象计算各种参数，并将确定的参数发送到其他设备处理器(例如，经由无线数据链路将数据发送到其他参与者的智能电话)。
在一些实施例中，设备处理器还可以被配置为使用定位和映射技术，诸如同时定位和映射(SLAM)、视觉同时定位和映射(VSLAM)，和/或本领域已知的其他技术来创建场景的网格图。设备处理器可以使用网格图来确定诸如远程参与者的虚拟内容的位置，和/或与环境中的其他设备共享网格图，使得所有设备处理器都知道虚拟内容应该放置在环境中的何处。
由设备处理器计算和通信的参数可以包括固定位置参数、尺寸参数、视线参数、视场参数、间隔参数、人间距离参数、高度参数和/或可见度参数。这些参数中的每一个可以与一个或多个指示参数重要性的权重相关联。例如，为了适应具有虚拟内容和许多远程参与者的多方游戏，设备处理器可以增加与固定位置参数相关联的权重和/或减少与尺寸参数相关联的权重。设备处理器还可以对参数进行优先级排序，将固定位置、尺寸和视线参数给予比视场、间距、人间距离、高度和可见度参数高的优先级。
每个设备处理器可以接收由其他设备处理器计算的参数，并结合在设备上计算的参数使用接收的参数来协调或协商用于渲染虚拟内容的数字表示的显示属性，诸如远程参与者的图像。
每个设备处理器可以使用协调的显示属性来渲染虚拟内容的数字表示，诸如远程参与者的图像，使得所有共同定位的参与者(即，物理上存在于相同物理环境中的人)感知到虚拟内容位于环境(例如，游戏板、游戏室、游戏场景、会议室、控制室、作战室、设备等)中的相同位置、锚定到相同的物理对象(例如，游戏块、空椅子、控制台等)、和/或相对于环境的图像以其他方式处于固定位置。
设备处理器还可以被配置为使用协调的显示属性来智能地调整数字表示的尺寸，使得在参与者通过设备(例如智能手机)观看时，诸如远程参与者的图像的虚拟内容不会显得不自然，使得虚拟内容被放置在相对于共同定位的参与者的适当高度、在共同定位的参与者的视场内、不阻挡另一个参与者的视线、适当间隔(例如，所有参与者看起来大致等距等)、考虑人与人之间的距离(例如，没有渲染的离另一个参与者太近，以至于感觉这个人正在侵犯个人空间边界等)并另外是容易地可见的(例如，没有放置在明亮或复杂的背景前等)。
在一些实施例中，设备处理器可以被配置为复制现实世界场景，诸如通过将虚拟内容的数字表示锚定到游戏场景内、物理或虚拟控制台后面的空椅子等。在一个实施例中，如果他/她物理上存在于环境中(例如，游戏中距离其他参与者不远的椅子、控制室中的空控制台等)，设备处理器可以被配置为选择个人(当虚拟内容是远程参与者的图像时)可能已经选择的空椅子(或相对于游戏桌、设备等的位置)。
在一些实施例中，设备处理器可以被配置为检测环境中对象、虚拟内容或人的数量、位置、姿势、尺寸等的变化，确定检测到的变化是否超过阈值，并且响应于确定检测到的变化超过阈值而动态地重新计算参数或权重以考虑检测到的变化。例如，设备进程(例如，参与者的智能电话中的处理器)可以检测到在其开始之后已经加入了游戏、会议、训练课程等的新参与者(虚拟的、远程的或共同定位的)，并重新计算参数和/或权重以考虑新参与者，并基于重新计算的参数和/或权重更新虚拟内容(例如，远程参与者)的渲染。作为另一个示例，设备进程可以检测到参与者(虚拟的、远程的或共同定位的)在游戏、会议或训练课程等开始之后移动了位置(例如，通过改变座位横向移动、通过站立或坐姿垂直移动等)，确定参与者的当前位置和之前位置之间的距离是否超过阈值，并且响应确定参与者的当前位置和之前位置之间的距离超过阈值，重新计算参数和/或更新远程参与者的渲染。
在一些实施例中，设备处理器可以被配置为计算附加值并执行附加操作以考虑与更新远程参与者的渲染或在游戏、会议或训练课程已经开始之后重新定位远程参与者的布置相关联的特殊考虑。
在一些实施例中，设备处理器可以被配置为调整虚拟内容的渲染，诸如远程参与者的图像(例如，通过重新调整虚拟内容的尺寸和重新间隔)以支持社交约定并促进人与人之间的交流。例如，设备处理器可以被配置为确定虚拟内容(诸如虚拟或远程参与者的图像)的安置，类似于人们通常如何加入共同定位的游戏、会议、训练课程等。在完全共同定位的游戏和会议中，后来者通常会找到靠近其他人的座位或站立位置。后来者选择与其他每个参与者的距离大致相等的座位或站立位置也是很常见的(例如，如果有其他更等间距的开放座位，人们通常不会坐在彼此旁边)。人们自然而然地这样做的部分原因是为了改善与最多参与者的眼神交流。后来者也可以挤进小组配置，其他参与者可以稍微调整他们的位置，为后来者腾出空间。为了复制这些人类行为倾向，设备处理器可以被配置为自动调整其他虚拟内容的位置/渲染以保持良好的间距和/或考虑到上面讨论的其他考虑因素(例如，视线等)。
在一些实施例中，设备处理器(例如，智能电话的处理器)可以被配置为将阈值设置得足够高，使得当检测到某些变化时不调整渲染，诸如当单个参与者站立时。设备处理器可以将阈值设置得足够低，使得在检测到其他变化时调整渲染，诸如当大多数共同定位的人站立或坐下时。
在一些实施例中，设备处理器可以被配置为将用户改变通信到其他设备处理器以进行一致的渲染。例如，如果用户手动调整诸如远程参与者的虚拟内容的数字表示在他或她的智能电话上渲染的位置，则设备处理器可以将调整后的渲染位置发送到其他设备处理器，诸如从事相同游戏、会议、训练等的其他人的智能电话中的处理器。作为响应，其他设备处理器也可以调整相同虚拟内容的数字表示，从而保持虚拟内容的配置相对于环境对所有用户保持一致。
图1A示出了根据各种实施例的头戴式设备100形式的用户设备，其可以被配置为智能地确定虚拟对象(例如，远程参与者的数字表示)的显示特性。在图1A所示的示例中，头戴式设备100包括框架102、两个光学透镜106和处理器114，处理器114通信地耦合到图像投影仪108、单目图像传感器或相机110、传感器阵列112、存储器116和通信电路118。投影仪108可以嵌入框架102的臂部分104中并且被配置为将图像投影到光学透镜106上。投影仪108可以包括发光二极管(LED)模块、光通道、均化透镜、光学显示器、折叠镜和其他在现有技术的投影仪或头戴式显示器中众所周知的组件。在一些实施例中，两个光学透镜106可以包括被配置为将图像叠加在通过透镜的视图上的成像元件，在这种情况下可以不实施投影仪108。
在一些实施例中，头戴式设备100和/或处理器114可以被配置为采用SLAM技术来构建和更新未知环境的地图，同时保持跟踪头戴式设备100在环境中内的定位。例如，头戴式设备100可以配备有从环境中捕获图像或帧的单目图像传感器。头戴式设备100可以识别捕获的图像内的突出对象(例如，共同定位的参与者)或特征(例如，共同定位的参与者的面部和/或身体特征)，估计图像中特征的尺寸和比例，将识别的特征相互比较和/或与具有已知尺寸和比例的测试图像中的特征进行比较，并基于比较识别对应关系。每个对应关系可以是值集或信息结构，其将一个图像中的特征(或特征点)识别为在另一个图像中具有相同特征的概率很高。换句话说，对应关系可以是对应的图像点(例如，第一图像中的第一点和第二图像中的第二点等)的集合。头戴式设备100可以基于所识别的对应关系来产生单应矩阵信息结构，并且使用单应矩阵来确定其在环境中的姿态(例如，位置、方向等)。
各种实施例可以在智能电话中实现，其示例在图1B中示出。智能电话120可以包括耦合到内部存储器122、显示器123和扬声器124的处理器121。另外，智能电话120可以包括用于发送和接收电磁辐射的天线125，该天线可以连接到无线数据链路和/或耦合到处理器121的蜂窝电话收发器126。智能电话120通常还包括用于接收用户输入的菜单选择按钮或摇杆开关127。
典型的智能电话120还包括声音编码/解码(CODEC)电路128，其将从麦克风接收的声音数字化为适用于无线传输的数据分组，并对接收的声音数据分组进行解码以生成提供给扬声器的模拟信号产生声音。此外，处理器121、无线收发器126和CODEC 128中的一个或多个可以包括数字信号处理器(DSP)电路(未单独示出)。
图1C示出了根据各种实施例的可以被包括在头戴式设备100或智能电话120中的计算机架构和各种传感器，其被配置为采用SLAM或其他技术来渲染虚拟会议中的远程参与者的数字表示。在图1C所示的示例中，头戴式设备100包括主板组件152、图像传感器154、微控制器单元(MCU)156、红外(IR)传感器158、惯性测量单元(IMU)160、激光距离传感器(LDS)162和光流量传感器164。
传感器154、158-164可以收集对在头戴式设备100或智能电话120中采用SLAM技术有用的信息。例如，光流传感器164可以测量光流或视觉运动，并且基于光流/视觉运动输出测量。光流可以识别或定义由观察者(例如，头戴式设备100、智能电话120、佩戴者/用户等)和场景之间的相对运动引起的视觉场景中的对象、表面和边缘的明显运动的模式。MCU 156可以使用光流信息来测量头戴式设备100、智能电话120和头戴式设备100、智能电话120等附近的其他对象之间的视觉运动或相对运动。此外，头戴式设备100或智能电话120可以将光流信息用于运动检测、对象分割、接触时间信息、扩展计算的焦点、运动补偿编码、立体视差测量和其他类似信息。在一些实施例中，光流传感器164可以是耦合到被编程为运行光流算法的MCU 156(或处理器114、121)的图像传感器。在一些实施例中，光流传感器164可以是在同一芯片或管芯上包括图像传感器和处理器的视觉芯片。
头戴式设备100或智能电话120可以配备有多种附加传感器，包括陀螺仪、加速度计、磁力计、磁罗盘、高度计、相机、光学阅读器、方向传感器、单目图像传感器和/或用于监视物理条件(例如，位置、运动、加速度、方向、海拔高度等)或收集对采用SLAM技术有用的信息的类似传感器。
在各种实施例的以下描述中，附图和附图的描述指的是各种实施例的示例实现方式，在其中本地和远程参与者在游戏桌周围会面，诸如在其上在增强现实游戏中呈现真实和虚拟的桌子游戏板。这个示例是为了说明的目的而不是限制性的。各种实施例同样适用于其他应用程序，在其中使用虚拟现实来使本地和远程参与者以及虚拟内容能够像物理上位于相同环境中一样进行交互，诸如涉及公共游戏环境(例如，游戏板、游戏场景等)、用于会议的会议桌、用于涉及设备的训练课程的设备控制面板，这些设备可能实际地呈现或虚拟地渲染、决策制定者团队之间的训练课程、控制室或作战室的会议等等。
图2A示出了根据各种实施例配置的头戴式设备100a、100b，可用于进行具有虚拟内容(诸如远程参与者202)的游戏。设备处理器(例如，参与者的智能电话200a中的处理器121、头戴式设备100a中的处理器114等)可以被配置为与其他设备处理器(例如，参与者的智能电话200b中的处理器121、头戴式设备100b中的处理器114)协作，以智能地确定诸如远程参与者202的虚拟内容的数字表示的显示属性。例如，设备处理器可以被配置为经由智能电话或头戴式设备的相机捕获环境(例如，游戏室)的图像，分析捕获的图像识别环境内的人和对象(例如，游戏桌206、游戏板207、共同定位的参与者204a和204b等)，捕获或计算数据(例如，经由相机和智能电话200a的传感器、经由头戴式设备100a的传感器阵列112或处理器114等)，基于捕获/计算的数据计算用于每个识别的对象的各种参数，并将计算/确定的参数发送到其他设备处理器(例如，另一个智能电话200b内的处理器121)。设备处理器可以使用这些参数来确定各种显示属性并渲染诸如远程参与者202的虚拟内容的数字表示，使得虚拟内容被放置在游戏桌206上并且似乎对于每个共同定位的参与者204a、204b是在固定区域208内，诸如相对于真实或虚拟游戏板207。
图2A还示出了智能电话200a、200b和/或头戴式设备100a、100b可以被配置为调整诸如远程参与者202的虚拟内容的数字表示的尺寸，使得远程参与者不会显得太大、太小，或以其他方式对共同定位的参与者204a、204b不自然。智能电话200a、200b和/或头戴式设备100a、100b还可以渲染诸如远程参与者202的虚拟内容的数字表示，使得虚拟内容看起来相对于共同定位的参与者204a、204b被放置在适当高度210处、被适当地间隔(例如，所有参与者看起来大致等距等)、考虑到人间距离(例如，没有渲染得离另一个参与者太近以至于感觉好像这个人正在侵占个人空间边界等)、并另外是很容易地可见的(例如，未放置在明亮或复杂背景等的前面)。
图2B示出了可以渲染诸如远程参与者202的虚拟内容的数字表示，使得虚拟内容在通过他们的智能电话显示器或头戴式设备观看的共同定位的参与者204a、204b的视场内，并且不会阻挡任何远程或共同定位的参与者的视线。
图3A和3B示出了共同定位在相同环境(例如游戏室)中、坐在游戏桌206周围并佩戴头戴式设备100a-100d的多个会议参与者。
参照图3A，共同定位的参与者304a-304d已经选择了他们的座位和/或已经将他们自己安排在游戏桌206的三个侧面，使得他们可以相互交流并观看游戏板、白板、电视、监视器或演示302。共同定位的参与者304a-304d中的每一个相对于环境和游戏桌206处于稍微不同的物理位置，并且在两个共同定位的参与者304b和共同定位的参与者304c之间存在人身尺寸间隔306。
参考图3B，智能电话200a、200b和/或头戴式设备100a-100d可以被配置为相互通信以协作地确定诸如远程参与者202的虚拟内容的数字表示应该以人身尺寸间隔306来渲染。作为这些操作的一部分，智能电话200a、200b和/或头戴式设备100a-100d可以分析、计算或解释各种参数(及其各自的权重)，包括固定位置参数、尺寸参数、视线参数、视场参数、间隔参数、人间距离参数、高度参数和可见度参数。
固定位置参数可以指示诸如远程参与者202的虚拟内容的数字表示，应该被放置在相对于所有共同定位的参与者304a-304d相同的固定位置。例如，如果将诸如远程参与者202的虚拟内容的数字表示放置在游戏桌206的某个位置之前，则所有位于相同位置的参与者可以在该相同位置或在固定位置看到虚拟内容区域。相对于其他参数，与固定位置参数相关联的权重值可以指示在固定位置中渲染虚拟内容的数字表示的权重或重要性。
尺寸参数可以指示诸如远程参与者202的虚拟内容的数字表示的渲染的尺寸对于所有共同定位的参与者304a-304d应该是一致的，并且对于在其中渲染的位置应该是适当的(例如，自然和预期的尺寸)。例如，尺寸参数可以指示作为远程参与者的身体的虚拟内容应该被渲染为与共同定位的参与者304a-304d的身体大致相同的尺寸。为了实现这一点，智能电话200a、200b和/或头戴式显示器100a-100d中的一个或多个可以被配置为测量共同定位的参与者304a-304d的头部尺寸和/或它们之间的距离，生成平均，并使用该信息来确定在其中诸如远程参与者202的虚拟内容的数字表示的渲染尺寸。与每个尺寸参数相关联的权重值可以指示渲染诸如远程参与者202的虚拟内容的数字表示对于所有共同定位的参与者是一致的和/或与共同定位的参与者304a-304d大致相同的尺寸的权重或重要性。
视线参数可以指示诸如远程参与者202的虚拟内容的数字表示不应被渲染在阻挡任何共同定位的参与者304a-304d的视线的位置中，其可以通过智能电话200a、200b和/或头戴式设备100a-100d识别阻挡另一参与者的部分或全部视场的区域来确定。在一些实施例中，智能电话200a、200b和/或头戴式设备100a-100d中的一个或多个可以被配置为广泛地测量区域和/或视线，使得诸如远程参与者202的虚拟内容的数字表示不会被放置得太靠近相邻参与者(例如，共同定位的参与者304b或共同定位的参与者304c)。与每个视线参数相关联的权重值可以指示渲染诸如远程参与者202的虚拟内容的数字表示以不阻挡任何共同定位的参与者304a-304d的视线的权重或重要性。
视场参数可以指示诸如远程参与者202的虚拟内容的数字表示应该以适合尽可能多的共同定位的参与者304a-304d的视场的方式渲染。与每个视场参数相关联的权重值可以指示诸如远程参与者202的虚拟内容的数字表示的渲染的权重或重要性，以适应到另一个共同定位的参与者304a-304d的视场内。由于智能电话200a、200b和/或头戴式显示器100a-d可能具有狭窄的视场，因此可能难以在所有共同定位的参与者304a-304d的视场内渲染诸如远程人的虚拟内容。在这种情况下，视场参数中的一个或多个的权重可以被减小以考虑各个智能电话200a、200b和/或头戴式设备100a-100d的特性和/或与在所有共同定位的参与者304a-304d的视场内渲染诸如远程参与者202的虚拟内容的数字表示相关联的任何困难。
间隔参数可以指示诸如远程参与者202的虚拟内容的数字表示，应该与共同定位的参与者304a-304d等距放置，类似于人们通常如何将自己组织在一个面对面的游戏设置。例如，一个人通常不会坐得太靠近另一个人，也不会坐得离其他人太远。为了解决这个问题，智能电话200a、200b和/或头戴式显示器100a-100d可以测量每个其他参与者之间的距离，考虑环境中的障碍物和对象(例如，演示302)，并将远程参与者202的数字表示渲染在具有最多可用空间的可接受一侧(例如，不包括演示302的一侧)上的位置。智能电话200a、200b和/或头戴式显示器100a-100d可以进行测量，计算平均得分，使用平均得分来确定最长侧，并将远程参与者202的数字表示放置在最长侧上。可以为后续远程参与者重复该过程，考虑到先前安置的诸如远程参与者虚拟内容。与每个间隔参数相关联的权重值可以指示渲染诸如远程参与者202的虚拟内容的数字表示与共同定位的参与者304a-304d等距离的权重或重要性。
人间距离参数可以指示诸如远程参与者202的虚拟内容的数字表示不应该被渲染得离另一个参与者(例如，共同定位的参与者304b)如此接近，使得感觉好像远程参与者正在侵犯个人空间边界。由于这种人与人之间的距离可能因文化而异，智能电话200a、200b和/或头戴式显示器100a-d可以被配置为基于预先配置的值、行为和共同定位的参与者之间的距离、人工智能或其他类似参数来确定距离。与人间距离参数相关联的权重值可以指示渲染诸如远程参与者202的虚拟内容的数字表示使得远程参与者看起来不会侵犯共同定位的参与者304a-304d的个人空间边界的权重或重要性。
高度参数可以指示诸如远程参与者202的虚拟内容的数字表示应该放置在适当的高度、共同定位的参与者304a-304d的给定位置、姿势和高度。取决于共同定位的参与者304a-304d的位置、姿势和高度，这可能需要坐着或站着的高度。在一些实施例中，智能电话200a、200b和/或头戴式设备100a-d可以被配置为将高度确定为每个共同定位的参与者的平均头部或眼睛高度。在一些实施例中，智能电话200a、200b和/或头戴式设备100a-d可以被配置为确定大多数共同定位的参与者304a-304d是坐着还是站着，并取大多数人的平均值。例如，如果三个共同定位的参与者坐着而两个共同定位的参与者站着，则智能电话200a、200b和/或头戴式设备100a-d可以取三个就座参与者的平均眼睛高度并在该水平放置诸如远程参与者202的虚拟内容的数字表示。与每个高度参数相关联的权重值可以指示渲染诸如远程参与者202的虚拟内容的数字表示相对于其他参数的适当高度的权重或重要性。
可见度参数可以指示诸如远程参与者202的虚拟内容的数字表示应放置以优化可见度，诸如通过避免可能阻碍诸如远程参与者202虚拟内容的数字表示的可见度的明亮或复杂背景或锚定对象，或干扰共同定位的参与者304a-304d的视图。与每个可见度参数相关联的权重值可以指示渲染数字表示以优化可见度的权重或重要性。
返回到图3B所示的示例，智能电话200a、200b和/或头戴式设备100a-d可以通过捕获和分析环境的图像来识别环境中的人和对象，包括游戏参与者、游戏桌206和/或演示302，以确定应该在以人身尺寸间隔306渲染诸如远程参与者202的虚拟内容的数字表示。头戴式设备100a-d可以计算用于环境中已识别的对象/人的各种参数(例如，深度、距离、方向等)。智能电话200a、200b和/或头戴式设备100a-100d可以使用计算/分析的参数来确定远程参与者202的数字表示应该以人身尺寸间隔306渲染。即，智能电话200a、200b和/或头戴式设备100a-100d可以基于对上述参数中的一个或多个及其各自权重的分析来确定将诸如远程参与者202的虚拟内容的数字表示安置在人身尺寸间隔306中，将允许共同定位的参与者304a-304d继续观看演示302并彼此通信。
响应于确定诸如远程参与者202的虚拟内容的数字表示应该以人身尺寸间隔306渲染，智能电话200a、200b和/或头戴式设备100a-100d可以搜索所捕获的环境的图像以识别在人身尺寸间隔306内部或紧邻的表面或对象(例如，空椅子)，选择识别的表面/对象用作锚，并基于计算/分析的参数和选定的表面/对象与共同定位的参与者304a-304d之间的相对距离来确定用于诸如远程参与者202的虚拟内容的数字表示的显示属性(例如，尺寸等)。智能电话200a、200b和/或头戴式设备100a-100d可以渲染诸如远程参与者202的虚拟内容的数字表示，使得虚拟内容出现在对所有共同定位的参与者的固定位置(例如，锚定到锚表面/对象)和/或使得共同定位的参与者能够容易且自然地相互交流和互动以及与虚拟内容进行交互。
图4A示出了一个示例，其中诸如远程参与者202的虚拟内容的数字表示被放置在相对于游戏桌206的自然位置，并且共同定位的参与者204a-204c中的每一个具有对虚拟内容的数字表示的直接视线(由虚线箭头指示)。然而，诸如远程参与者202的虚拟内容的数字表示的位置/姿势阻挡了共同定位的参与者204b和204c的视线。例如，如果在游戏进行之后共同定位的参与者204c加入游戏，则这可能发生。
图4B示出了根据实施例配置的参与者智能电话和/或头戴式设备，可以协作以确定共同定位的参与者204b和204c之间的视线被阻挡，并且重新将诸如远程参与者202的虚拟内容的数字表示定位到相对于游戏桌206的不同位置或姿势，使得所有共同定位的参与者204a-204c彼此具有直接的视线(由实线箭头指示)并且具有对诸如远程参与者202(由虚线箭头指示)虚拟内容的数字表示直接视线。
图5A-5C示出了根据实施例配置的参与者智能电话和/或头戴式设备可以智能地确定在其中应该相对于共同定位的参与者204a-204c的位置或姿势来渲染的诸如远程参与者202a、202b的虚拟内容的数字表示的位置。图5A示出了参与者智能电话和/或头戴式设备可以被配置为计算共同定位的参与者204a-204c之间的距离，并确定参与者之间的最大距离(L)在共同定位的参与者204a和共同定位的参与者204c之间。
参考图5B，参与者智能电话和/或头戴式设备可以在共同定位的参与者204a和共同定位的参与者204c之间渲染诸如第一远程参与者202a虚拟内容的数字表示。智能电话和/或头戴式设备可以重新计算共同定位的参与者204a-204c与诸如远程参与者202a的虚拟内容的数字表示之间的距离，并确定参与者之间的最大距离(L)现在在共同定位的参与者204a和共同定位的参与者204b之间。
图5C示出了参与者智能电话和/或头戴式设备可以在共同定位的参与者204a和共同定位的参与者204b之间渲染诸如第二远程参与者202b虚拟内容的数字表示。参与者智能电话和/或头戴式设备可以重新计算共同定位的参与者204a-204c和诸如远程参与者202a、202b的虚拟内容的数字表示之间的距离，并确定参与者之间的最大距离(L)现在在共同定位的参与者204b和共同定位的参与者204c之间。智能电话和/或头戴式设备可以重复这些操作，直到所有远程参与者都渲染在环境中。
图6-9示出了根据各种实施例(例如，包括以上参考图1-5讨论的任何或所有实施例)确定用于诸如远程参与者的虚拟内容的数字表示的显示属性的方法600、700、800、900。方法600、700、800、900的全部或部分可以由设备处理器执行，诸如由共同定位的参与者佩戴的头戴式设备中的处理器(例如，图1A中所示的处理器114)、智能电话中的处理器(例如，图1B中所示的处理器121)、独立地或通信地耦合到由共同定位的参与者佩戴的头戴式设备、通信地耦合到智能电话或头戴式设备的服务器计算设备中的处理器、或与云网络或基于云的计算***相关联的处理器。
参考图6，在方法600的框602中，设备处理器可以捕获、生成或接收环境的图像。例如，智能电话或头戴式设备上的相机可以捕获环境视频并向设备处理器提供图像帧。作为另一示例，来自环境的图像可以由位于环境内并与设备处理器通信的一个或多个相机捕获。
在框604中，设备处理器可以分析捕获的图像以识别环境中的至少一个对象(例如，人、游戏桌、空座位等)。在一些实施例中，作为框604中的操作的一部分，设备处理器可以使用诸如机器视觉、VSLAM或本领域已知的其他技术和技术的定位和映射技术来创建环境的网格或地图、识别对象、确定对象在环境中的位置、方向和/或姿势，和/或执行其他类似操作。
在框606中，设备处理器可以确定用于所识别的对象的参数。例如，设备进程可以确定固定位置参数、尺寸参数、视线参数、视场参数、间隔参数、人间距离参数、高度参数和/或可见度参数中的任何一个或全部。在一些实施例中，所确定的参数中的每一个可以与指示相应重要性的一个或多个权重或优先级相关联。
在一些实施例中，设备处理器可以被配置为基于用户输入和/或考虑各种条件、事件或偏好来调整与参数相关联的优先级或权重。例如，设备处理器可以确定将诸如远程参与者的虚拟内容的数字表示针对不同定位的参与者渲染在不同位置比渲染诸如远程参与者的虚拟内容的数字表示远小于物理上存在于环境中的共同定位的参与者的尺寸更分散或破坏人与人之间的通信和交互。因此，为了适应与许多远程参与者的游戏或会议，设备处理器可以增加与固定位置参数相关联的权重或减小与尺寸参数相关联的权重。作为另一个示例，设备处理器可以确定在不同位置为不同的共同定位的参与者渲染诸如远程参与者的虚拟内容的数字表示，对于人与人之间的通信和交互来说比渲染诸如远程参与者的虚拟内容的数字表示对于物理上存在于环境中的共同定位的参与者太近更分散或具有破坏性。作为响应，设备处理器可以向固定位置参数分派比分派给人间距离参数的优先级/权重更高的优先级或权重。
在一些实施例中，设备处理器可以被配置为基于用户输入来调整与参数相关联的优先级或权重。在这样的实施例中，设备处理器可以允许用户/佩戴者手动控制各种参数对那个用户或对一个或多个用户(例如，游戏参与者等)的重要程度。在一些实施例中，设备处理器可以接收在智能电话、头戴式显示器和/或相关计算设备的用户界面的设置菜单中做出的用户选择的形式的用户输入。
在一些实施例中，设备处理器可以为固定位置参数、尺寸参数或视线参数分派比分派给视场参数、间隔参数、人间距离参数、高度参数和可见度参数的优先级/权重更高的优先级或权重。
返回图6，设备处理器可以基于在框608中确定的参数(以及它们各自的权重/优先级)来确定诸如远程参与者的虚拟内容的数字表示的显示属性。例如，基于在框608中确定的参数，设备进程可以确定诸如远程参与者的虚拟内容的数字表示应该被渲染在环境中呈现的空白空间(例如，空椅子等)所包围的区域中。作为另一示例，设备进程可以基于在框608中确定的参数来确定诸如远程参与者的虚拟内容的数字表示应该被调整尺寸，使得虚拟内容在用户/佩戴者看来是大约6英尺高，头宽6到7英寸，长8到9英寸，胸围44到46英寸，肩宽16英寸。
参考图7，在方法700的框602-608中，设备处理器可以执行方法600的类似编号的框的操作，如参考图6所描述的。
在框710中，设备处理器可以识别物理上非常接近(例如，在相同的环境、区域、游戏室中等)设备处理器的其他设备(例如，其他智能电话、计算设备、移动设备、头戴式设备等)。这可以通过例如广播ping消息或发送信标来请求接收消息/信标的所有设备以标识符(例如，媒体访问控制(MAC)地址等)、通信参数、位置信息和/或其他类似信息来响应。
在框712中，设备处理器可以将在框606中确定的参数和/或在框608中确定的显示属性发送到所识别的设备(即，相同环境中的其他设备等)。
参考图8，在方法800的框602-606中，设备处理器可以执行方法600的类似编号的框的操作，如参考图6所描述的。
在框808中，设备处理器可以从与设备处理器物理非常接近(例如，在相同环境中)的一个或多个其他设备接收附加参数。例如，当每个设备处理器确定参数时，这些参数可以被发送到环境内的所有其他设备处理器。作为另一示例，如果单个设备处理器正在为环境中的所有设备执行各种实施例的操作，则每个智能电话或头戴式设备可以将图像、位置、方向和其他信息发送到那一个处理设备。
在框810中，设备处理器可以基于所确定的参数和从其他设备接收的附加参数来确定用于诸如远程参与者的虚拟内容的数字表示的显示属性。
在框812中，设备处理器可以将在框810中确定的显示属性发送到所识别的设备(即，相同环境中的其他设备等)。
参考图9，在方法900的框602-606中，设备处理器可以执行方法600的类似编号的框的操作，如参考图6所描述的。
在框908中，设备处理器可以与环境中(或与参与者智能电话、头戴式设备、头戴式设备等物理上非常接近)的其他设备协商用于渲染诸如远程参与者的虚拟内容的数字表示的显示属性，以生成协调的显示属性。例如，设备处理器可以向其他设备发送建议的显示属性并从每个设备接收它们自己的建议的显示属性。设备中的一个、一些或所有设备处理器可以采用各种决策方法来获得显示属性的单个集合。例如，每个设备处理器可以测试每个接收到的显示属性集合并向其他设备发送是否违反了用于确定显示属性的各种标准中的任何一个的指示。作为另一示例，环境内的一个设备处理器可以被指定为用于确定显示属性的控制器，并且可以基于输入(例如，位置和方向信息以及由其他头戴式显示器捕获的图像)这样做，并使用收集的信息来确定显示属性。其他方法可用于确定协调的显示属性。
在框910中，设备处理器可以基于协调的显示属性来渲染诸如远程参与者的虚拟内容的数字表示。例如，设备处理器可以使用协调的显示属性将诸如远程参与者的虚拟内容的数字表示渲染在相对于所有共同定位的参与者相同的固定位置。即，因为显示属性是协商的和协调的，如果诸如远程参与者的虚拟内容的数字表示被放置在环境中另一个智能电话或头戴式设备的游戏桌的某个位置，设备处理器将在相同位置渲染诸如远程参与者的虚拟内容的数字表示。
图10示出了根据实施例的更新用于诸如远程参与者的虚拟内容的数字表示的显示属性的方法1000。方法1000可以在数字表示的显示属性被确定、数字表示被渲染或者虚拟游戏已经开始之后执行。方法1000的全部或部分可以由设备处理器执行，诸如由共同定位的参与者佩戴的头戴式设备或智能电话(例如，处理器121)中的处理器(例如，图1A中所示的处理器114)。
在框1002中，设备处理器可以捕获、生成或接收环境的更新后的图像。例如，一个或所有设备上的相机可以捕获环境的视频并周期性地向设备处理器(例如，智能电话处理器、头戴式设备的处理器、远程计算设备的处理器等)提供。作为另一示例，环境的图像可以由位于环境内并与设备处理器通信的一个或多个相机周期性地捕获。
在框1004中，设备处理器可以分析更新后的图像以确定环境中的人或对象的数量、位置、姿势或尺寸是否已经改变。这样的操作可以包括确定各种参与者和对象的边界并将确定的边界与上一次确定显示参数时确定并存储在存储器中的边界进行比较。
在框1006中，设备处理器可以响应于确定环境中的人或对象的位置、姿势或尺寸已经改变，来确定环境中识别的对象的更新后的参数。
在框1008中，设备处理器可以确定原始参数和更新后的参数之间的差值。
在确定框1010中，设备进程可以确定原始参数和更新后的参数之间的差值是否超过阈值。阈值可以设置得足够高，使得在检测到某些变化时不调整渲染，诸如当单个参与者站立时。替代地或另外地，阈值可以设置得足够低，使得在检测到某些变化时调整渲染，诸如当大多数共同定位的人员站立或坐下时。
在框1012中，响应于确定原始参数和更新后的参数之间的差值不超过阈值(即，确定框1010＝“否”)，设备处理器可以基于原始参数(例如，在框606中计算的参数等)和/或原始显示属性(例如，在框608中计算的显示属性等)，继续渲染诸如远程参与者的虚拟内容的数字表示。
在框1014中，响应于确定原始参数和更新后的参数之间的差值超过阈值(即，确定框1010＝“是”)，设备处理器可以基于更新后的参数来确定用于数字表示的更新后的显示属性。例如，设备处理器可以执行方法600、700、800或900中的任何一个的操作中的一个或多个，以在框1014中确定更新后的参数。
在框1016中，设备处理器可以基于更新后的显示属性来渲染诸如远程参与者的虚拟内容的数字表示。
一些实施例可以包括确定用于在游戏、增强现实游戏、训练课程、会议等中显示一个或多个远程参与者的图像的显示属性的方法，诸如在虚拟现实***中通过捕获(由处理器与智能电话和/或头戴式设备相关联)游戏室/区域的图像，分析捕获的图像以识别游戏室/区域中的人和对象，确定所识别的人和对象的参数，并基于确定的参数确定诸如远程参与者的虚拟内容的数字表示的显示属性。
在一些实施例中，确定所识别的人和对象的参数可以包括基于一个或多个因素来确定参数，其中一个或多个因素包括固定位置因素、尺寸因素、视线因素、视场因素、间隔因素、人间距离因素、高度因素或能见度因素中的至少一个或多个。
一些实施例可以包括为一个或多个因素中的每一个分派优先级，其中基于所确定的参数确定远程参与者的数字表示的显示属性可以包括基于分派给一个或多个因素中的每个因素的优先级来确定远程参与者的数字表示的显示属性，并且向一个或多个因素中的每一个分派优先级可以包括向固定位置因素、尺寸因素或视线因素分派比分派给视场因素、间隔因素、人间距离因素、高度因素和可见度因素高的优先级。
一些实施例可以包括识别游戏室/区域中的其他头戴式设备，并且将确定的参数发送到游戏室/区域中的其他智能电话和/或头戴式设备。一些实施例可以包括从游戏室/区域中的其他智能电话和/或头戴式设备接收附加参数，在其中基于所确定的参数来确定诸如远程参与者的虚拟内容的数字表示的显示属性，可以包括基于所确定的参数和从游戏室/区域中的其他智能电话和/或头戴式设备接收的附加参数来确定诸如远程参与者的虚拟内容的数字表示的显示属性。在一些实施例中，基于所确定的参数来确定诸如远程参与者的虚拟内容的数字表示的显示属性，可以包括与游戏室/区域中的其他智能电话和/或头戴式设备协商用于渲染虚拟内容的数字表示以生成协调的显示属性。
一些实施例可以包括使用协调的显示属性来渲染诸如远程参与者的虚拟内容的数字表示，使得物理上存在于游戏室/区域中的所有共同定位的参与者感知到虚拟内容在游戏室/区域中相同的固定位置。一些实施例可以包括使用协调的显示属性来智能地调整远程参与者的数字表示的尺寸，使得远程参与者看起来与实际存在于游戏室/区域中的共同定位的参与者的尺寸大致相同。一些实施例可以包括使用协调的显示属性来渲染诸如远程参与者的虚拟内容的数字表示，使得虚拟内容看起来与物理上存在于游戏室/区域中的共同定位的参与者的平均高度大致相同。
一些实施例可以包括使用协调的显示属性来渲染诸如远程参与者的虚拟内容的数字表示，使得虚拟内容看起来与物理上存在于游戏室/区域中的共同定位的参与者大致等距。一些实施例可以包括使用协调的显示属性来渲染诸如远程参与者的虚拟内容的数字表示，使得虚拟内容看起来被锚定到游戏桌上的空椅子上。一些实施例可以包括捕获游戏室/区域的更新后的图像，分析捕获的更新后的图像以确定游戏室/区域中的人或对象的数量、位置、姿势或尺寸是否已经改变，响应于确定更新的参数响应于确定游戏房间/区域中的人或对象的位置、姿势或尺寸已经改变，识别游戏房间/区域中的人和对象，确定所确定的参数和所确定的更新后的参数之间的差值是否超过阈值，并且响应于确定所确定的参数和所确定的更新后的参数之间的差值超过阈值，确定诸如远程参与者的虚拟内容的数字表示的更新后的显示属性。
各种实施例方法可以在各种个人计算设备中实现，诸如如图11所示的膝上型计算机1100。膝上型计算机1100通常包括耦合到易失性存储器1102的处理器1101和大容量非易失性存储器，诸如闪存的磁盘驱动器1104。膝上型计算机1100还可以包括耦合到处理器1106的软碟驱动器1105。计算机接收器设备1100还可以包括耦合到处理器1101的多个连接器端口或其他网络接口，用于建立数据连接或接收外部存储器接收器设备，诸如通用串行总线(USB)或
Figure BDA0003538115800000241
连接器插座，或用于将处理器1101耦合到网络(例如，通信网络)的其他网络连接电路。在笔记本配置中，计算机外壳包括触摸板1110、键盘1112和显示器1114，它们都耦合到处理器1101。如众所周知的，计算设备的其他配置可以包括耦合到处理器的计算机鼠标或轨迹球(例如，经由USB输入)，其也可以与各种实施例结合使用。
处理器可以是任何可编程微处理器、微型计算机或多处理器芯片或多个处理器芯片，其可以由软件指令(应用程序)配置以执行各种功能，包括在本申请中描述的各种实施例的功能。在一些移动设备中，可以提供多个处理器，诸如一个专用于无线通信功能的处理器和一个专用于运行其他应用程序的处理器。通常，软件应用程序可以在它们被访问和加载到处理器之前存储在内部存储器中。处理器可以包括足以存储应用软件指令的内部存储器。
所示和描述的各种实施例仅作为示例提供以说明权利要求的各种特征。然而，关于任何给定实施例示出和描述的特征不一定限于相关联的实施例并且可以与示出和描述的其他实施例一起使用或组合。此外，权利要求不旨在受限于任何一个示例实施例。例如，方法的一种或多种操作可以替代方法的一种或多种操作或与方法的一种或多种操作组合。
前述方法描述和过程流程图仅作为说明性示例提供，并不意在要求或暗示可以按照所呈现的顺序执行各种实施例的操作。如本领域技术人员将理解的，前述实施例中的操作顺序可以以任何顺序执行。诸如“此后”、“那么”、“下一个”等词语并非旨在限制操作的顺序；这些词用于引导读者通过方法的描述。此外，以单数形式对权利要求元素的任何引用，例如，使用冠词“一”、“一个”或“所述”不应被解释为将元素限制为单数。
结合本文公开的实施例描述的各种说明性逻辑块、功能组件、功能性组件、电路和算法操作可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、块、功能组件、电路和操作已在上面大体上根据它们的功能进行了描述。这种功能是作为硬件还是软件实现取决于特定应用程序和施加在整个***上的设计约束。熟练的技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这样的实施例决策不应被解释为导致背离权利要求的范围。
用于实现结合本文公开的实施例描述的各种说明性逻辑、逻辑块、功能组件和电路的硬件可以用通用处理器、数字信号处理器(DSP)、应用程序专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或设计用于执行本文所述功能的任何组合实现或执行。通用处理器可以是微处理器，但在备选方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心相结合，或任何其他这样的配置。或者，一些操作或方法可以由特定于给定功能的电路来执行。
在一个或多个实施例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在非暂时性计算机可读介质或非暂时性处理器可读介质上。本文公开的方法或算法的操作可以体现在处理器可执行软件模块中，该软件模块可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制，此类非暂时性计算机可读或处理器可读介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备，或可用于以指令或数据结构的形式存储所需程序代码并且可由计算机访问的任何其他介质。如本文所用，碟和盘包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常以磁性方式再现数据，而盘则用激光以光学方式再现数据。以上的组合也包括在非暂时性计算机可读和处理器可读介质的范围内。此外，方法或算法的操作可以作为一个或任何组合或代码和/或指令的集合驻留在非暂时性处理器可读介质和/或计算机可读介质上，其可以并入计算机程序产品中。
提供所公开实施例的前述描述以使本领域的任何技术人员能够制定或使用权利要求。对这些实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他实施例和实施方式而不背离权利要求的范围。因此，本公开不旨在限于本文描述的实施例和实施方式，而是要符合与以下权利要求以及本文公开的原理和新颖特征一致的最宽范围。

Claims (34)

1.一种确定用于具有多个参与者的环境中的虚拟内容的显示属性的方法，包括：
由处理器捕获所述环境的图像；
分析所捕获的图像以识别所述环境中的对象；
确定用于所识别的对象的参数；以及
基于所确定的参数来确定所述虚拟内容的数字表示的显示属性。
2.根据权利要求1所述的方法，还包括为所确定的参数分派优先级，其中基于所确定的参数来确定所述虚拟内容的所述数字表示的所述显示属性包括基于分派给所确定的参数的所述优先级来确定所述虚拟内容的所述数字表示的所述显示属性。
3.根据权利要求2所述的方法，其中，确定用于所识别的对象的所述参数包括：
确定固定位置参数、尺寸参数或视线参数中的至少一个或多个；以及
确定视场参数、间隔参数、人间距离参数、高度参数和能见度参数中的至少一个或多个。
4.根据权利要求3所述的方法，其中，为所确定的参数分派优先级包括：
为所述固定位置参数、所述尺寸参数或所述视线参数分派第一优先级；以及
为所述视场参数、所述间隔参数、所述人间距离参数、所述高度参数或所述可见度参数分派第二优先级，以及
其中，所述第一优先级是比所述第二优先级高的优先级。
5.根据权利要求1所述的方法，还包括：
识别所述环境中的一个或多个其他设备；以及
将所确定的参数发送到所识别的一个或多个其他设备。
6.根据权利要求1所述的方法，还包括从所述环境中的至少一个其他设备接收附加参数，其中基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性包括基于所确定的参数和所接收的附加参数确定所述虚拟内容的所述数字表示的一个或多个显示属性。
7.根据权利要求1所述的方法，其中，基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性包括：
与所述环境中的至少一个其他设备协商用于渲染所述虚拟内容的所述数字表示的一个或多个显示属性，以生成一个或多个协调的显示属性。
8.根据权利要求7所述的方法，还包括使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得物理上存在于所述环境中的所有共同定位的参与者感知所述虚拟内容在所述环境中处于相同的固定位置。
9.根据权利要求7所述的方法，还包括使用所述一个或多个协调的显示属性来基于物理上存在于所述环境中的参与者的尺寸来调整所述虚拟内容的所述数字表示的尺寸。
10.根据权利要求7所述的方法，还包括使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得所述虚拟内容看起来位于物理上存在于所述环境中的第一参与者和物理上存在于所述环境中的第二参与者之间。
11.根据权利要求10所述的方法，其中，使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得所述虚拟内容看起来位于物理上存在于所述环境中的所述第一参与者与物理上存在于所述环境中的所述第二参与者之间包括使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得所述虚拟内容看起来与物理上存在于所述环境中的所述第一参与者和物理上存在于所述环境中的所述第二参与者大致等距。
12.根据权利要求10所述的方法，其中，所述虚拟内容包括远程参与者。
13.根据权利要求12所述的方法，还包括使用所述一个或多个协调的显示属性来渲染所述远程参与者的所述数字表示，使得所述远程参与者看起来被锚定到空座位上。
14.根据权利要求1所述的方法，还包括：
捕获所述环境的更新后的图像；
分析所捕获的更新后的图像以确定所识别的对象的数量、位置、姿势或尺寸是否已经改变；
响应于确定所识别的对象的位置、姿势或尺寸已经改变，确定用于所识别的对象的更新后的参数；
确定所确定的参数与所确定的更新后的参数之间的差值是否超过阈值；以及
响应于确定所确定的参数和所确定的更新后的参数之间的差值超过阈值，确定所述虚拟内容的所述数字表示的更新后的显示属性。
15.根据权利要求1所述的方法，其中，基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性包括确定多个远程参与者中的每一个的每个数字表示的至少一个显示属性。
16.根据权利要求1所述的方法，其中，确定用于所识别的对象的所述参数包括确定以下至少一项或多项：
固定位置参数；
尺寸参数；
视线参数；
视场参数；
间隔参数；
人间距离参数；
高度参数；或者
可见度参数。
17.根据权利要求1所述的方法，其中，所述虚拟内容与游戏有关。
18.一种计算设备，包括：
存储器；以及
处理器，耦合到所述存储器并被配置为：
捕获环境的图像；
分析所捕获的图像以识别所述环境中的对象；
确定用于所识别的对象的参数；以及
基于所确定的参数来确定虚拟内容的数字表示的显示属性。
19.根据权利要求18所述的计算设备，其中，所述处理器被配置为：
为所确定的参数分派优先级；以及
通过基于分派给所确定的参数的所述优先级来确定所述虚拟内容的所述数字表示的所述显示属性，来基于所确定的参数来确定所述虚拟内容的所述数字表示的所述显示属性。
20.根据权利要求19所述的计算设备，其中，所述处理器被配置为：
通过以下方式确定用于所识别的对象的参数：
确定固定位置参数、尺寸参数或视线参数中的至少一个或多个；以及
确定视场参数、间隔参数、人间距离参数、高度参数和能见度参数中的至少一个或多个。
21.根据权利要求20所述的计算设备，其中，所述处理器被配置为：
通过以下方式为所确定的参数分派所述优先级：
为所述固定位置参数、所述尺寸参数或所述视线参数分派第一优先级；以及
为所述视场参数、所述间隔参数、所述人间距离参数、所述高度参数或所述可见度参数分派第二优先级，其中，所述第一优先级是比所述第二优先级高的优先级。
22.根据权利要求18所述的计算设备，其中，所述处理器被配置为：
识别所述环境中的一个或多个其他设备；以及
将所确定的参数发送到所识别的一个或多个其他设备。
23.根据权利要求18所述的计算设备，还包括从所述环境中的至少一个其他设备接收附加参数，其中基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性包括基于所确定的参数和所接收的附加参数确定所述虚拟内容的所述数字表示的一个或多个显示属性。
24.根据权利要求18所述的计算设备，其中，所述处理器被配置为通过与所述环境中的至少一个其他设备协商用于渲染所述虚拟内容的所述数字表示的一个或多个显示属性，以生成一个或多个协调的显示属性，来基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性。
25.根据权利要求24所述的计算设备，其中，所述处理器被配置为使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得物理上存在于所述环境中的所有共同定位的参与者感知所述虚拟内容在所述环境中处于相同的固定位置。
26.根据权利要求24所述的计算设备，其中，所述处理器被配置为使用使用所述一个或多个协调的显示属性来基于物理上存在于所述环境中的参与者的尺寸来调整所述虚拟内容的所述数字表示的尺寸。
27.根据权利要求24所述的计算设备，其中，所述处理器被配置为使用所述一个或多个协调的显示属性来渲染所述虚拟内容的所述数字表示，使得所述虚拟内容看起来位于物理上存在于所述环境中的第一参与者和物理上存在于所述环境中的第二参与者之间。
28.根据权利要求24所述的计算设备，其中，所述处理器被配置为使得所述虚拟内容是远程参与者。
29.根据权利要求28所述的计算设备，其中，所述处理器被配置为使用所述一个或多个协调的显示属性来渲染所述远程参与者的所述数字表示，使得所述远程参与者看起来被锚定到空座位上。
30.根据权利要求18所述的计算设备，其中，所述处理器被配置为：
捕获所述环境的更新后的图像；
分析所捕获的更新后的图像以确定所识别的对象的数量、位置、姿势或尺寸是否已经改变；
响应于确定所识别的对象的位置、姿势或尺寸已经改变，确定用于所识别的对象的更新后的参数；
确定所确定的参数与所确定的更新后的参数之间的差值是否超过阈值；以及
响应于确定所确定的参数和所确定的更新后的参数之间的差值超过阈值，确定所述虚拟内容的所述数字表示的更新后的显示属性。
31.根据权利要求18所述的计算设备，其中，所述处理器被配置为通过确定多个远程参与者中的每一个的每个数字表示的至少一个显示属性，来基于所确定的参数确定所述虚拟内容的所述数字表示的所述显示属性。
32.根据权利要求18所述的计算设备，还包括：
图像传感器；以及
投影仪，被配置为将图像投影到光学镜头上，
其中，所述处理器耦合到所述图像传感器和所述投影仪。
33.根据权利要求18所述的计算设备，其中，所述计算设备是智能电话。
34.根据权利要求18所述的计算设备，其中，所述虚拟内容与游戏有关。
CN202080063059.9A 2019-09-16 2020-09-11 在具有多个物理参与者的环境中放置虚拟内容 Pending CN114365197A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/572,030 2019-09-16
US16/572,030 US11159766B2 (en) 2019-09-16 2019-09-16 Placement of virtual content in environments with a plurality of physical participants
PCT/US2020/050309 WO2021055241A1 (en) 2019-09-16 2020-09-11 Placement of virtual content in environments with a plurality of physical participants

Publications (1)

Publication Number Publication Date
CN114365197A true CN114365197A (zh) 2022-04-15

Family

ID=72659334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063059.9A Pending CN114365197A (zh) 2019-09-16 2020-09-11 在具有多个物理参与者的环境中放置虚拟内容

Country Status (6)

Country Link
US (2) US11159766B2 (zh)
EP (1) EP4031957A1 (zh)
KR (1) KR20220062513A (zh)
CN (1) CN114365197A (zh)
TW (1) TWI766365B (zh)
WO (1) WO2021055241A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304239B2 (en) 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
JP7415940B2 (ja) * 2018-11-09 2024-01-17 ソニーグループ株式会社 情報処理装置および方法、並びに、プログラム
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
CN113711175A (zh) 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
WO2021062278A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
US11374988B1 (en) * 2021-01-29 2022-06-28 Microsoft Technology Licensing, Llc Controlled user interface transitions for private breakout communication sessions
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
GB2606346B (en) * 2021-04-28 2023-10-25 Sony Interactive Entertainment Inc System and method of head mounted display personalisation
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法
US20230252730A1 (en) * 2022-02-04 2023-08-10 The Boeing Company Situational awareness headset
US20230252735A1 (en) * 2022-02-07 2023-08-10 Tencent America LLC Apparatus for creating shared virtual conversational space with ar and non-ar devices using edge processing
US20230377279A1 (en) * 2022-05-19 2023-11-23 Disney Enterprises, Inc. Space and content matching for augmented and mixed reality
JP2024070696A (ja) * 2022-11-11 2024-05-23 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
WO2024101591A1 (ko) * 2022-11-11 2024-05-16 삼성전자주식회사 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034652A (en) 1996-03-22 2000-03-07 Interval Research Corporation Attention manager for occupying the peripheral attention of a person in the vicinity of a display device
US7319992B2 (en) 2000-09-25 2008-01-15 The Mission Corporation Method and apparatus for delivering a virtual reality environment
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
GB2456748A (en) 2007-10-22 2009-07-29 Nortel Networks Ltd Contact centre queue management
US8436789B2 (en) 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
JP2011095797A (ja) 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2011058584A1 (en) 2009-11-10 2011-05-19 Selex Sistemi Integrati S.P.A. Avatar-based virtual collaborative assistance
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9563265B2 (en) 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
JP2014174589A (ja) 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9779544B2 (en) 2014-12-23 2017-10-03 Google Inc. Labeling for three-dimensional occluded shapes
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
EP3106963B1 (en) 2015-06-16 2019-07-24 Nokia Technologies Oy Mediated reality
WO2017021902A1 (en) 2015-08-03 2017-02-09 Smartvizs Private Limited System and method for gesture based measurement of virtual reality space
WO2017030985A1 (en) 2015-08-14 2017-02-23 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US10384130B2 (en) 2016-08-05 2019-08-20 AR Sports LLC Fantasy sport platform with augmented reality player acquisition
US10271033B2 (en) 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10304239B2 (en) 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants

Also Published As

Publication number Publication date
TWI766365B (zh) 2022-06-01
WO2021055241A1 (en) 2021-03-25
US20210084259A1 (en) 2021-03-18
TW202127866A (zh) 2021-07-16
US20220006973A1 (en) 2022-01-06
US11765318B2 (en) 2023-09-19
EP4031957A1 (en) 2022-07-27
US11159766B2 (en) 2021-10-26
KR20220062513A (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
US11765318B2 (en) Placement of virtual content in environments with a plurality of physical participants
US12003890B2 (en) Environment for remote communication
US20200322395A1 (en) Multiuser asymmetric immersive teleconferencing
US11455032B2 (en) Immersive displays
US10013805B2 (en) Control of enhanced communication between remote participants using augmented and virtual reality
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US10516870B2 (en) Information processing device, information processing method, and program
US20210327156A1 (en) Performing operations using a mirror in an artificial reality environment
US11836282B2 (en) Method and device for surfacing physical environment interactions during simulated reality sessions
US11712628B2 (en) Method and device for attenuation of co-user interactions
CN110427227B (zh) 虚拟场景的生成方法、装置、电子设备及存储介质
CN116508304A (zh) 多用户通信会话的环境表示中的推荐头像放置
US20240220031A1 (en) Muting mode for a virtual object representing one or more physical elements
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
US20240202944A1 (en) Aligning scanned environments for multi-user communication sessions
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
JP2023129018A (ja) リモート会議支援装置、方法及びプログラム
WO2024138035A1 (en) Dynamic artificial reality coworking spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination