CN113260954B - 基于人工现实的用户群组 - Google Patents
基于人工现实的用户群组 Download PDFInfo
- Publication number
- CN113260954B CN113260954B CN201980087795.5A CN201980087795A CN113260954B CN 113260954 B CN113260954 B CN 113260954B CN 201980087795 A CN201980087795 A CN 201980087795A CN 113260954 B CN113260954 B CN 113260954B
- Authority
- CN
- China
- Prior art keywords
- user
- input
- location
- artificial reality
- environmental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000006855 networking Effects 0.000 description 23
- 230000005236 sound signal Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000000613 ear canal Anatomy 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 235000017899 Spathodea campanulata Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
所公开的计算机实现的方法可以包括从检测第一用户的第一环境的第一人工现实设备接收第一输入,并基于第一输入确定第一环境的第一环境特征。该方法可以包括从检测第二用户的第二环境的第二人工现实设备接收第二输入,并基于第二输入确定第二环境的第二环境特征。该方法可以包括将第一环境特征与第二环境特征进行比较,并且基于该比较,将第一用户和第二用户包括群组中,用于在线交互。还公开了各种其他方法、***和计算机可读介质。
Description
背景
社交网络等网络应用平台可能允许用户以各种方式进行关连(connect)和交互。例如,在社交网络上,用户可以发布内容,并允许其他用户对帖子进行评论或回复。作为另一个例子,用户可以在社交网络的聊天功能上进行对话。这些链接用户的交互可以为定义用户群组提供基础。被定义后,用户群组的成员然后可以邀请该群组的其他成员参加特定的活动,例如可以从社交网络启动的视频游戏。不幸的是,基于在线交互创建群组可能相当受限,并且可能无法完全考虑用户在现实世界中如何交互和聚集。
概述
计算硬件的进步使得人工现实设备,如增强现实(AR)或虚拟现实(VR)设备,更容易为用户所用。这些人工现实设备可能能够感测和分析用户的周围环境。利用在使用人工现实设备时可用的附加数据,除了通过网络应用平台上的共享交互来链接用户之外的附加因素可以用于定义用户群组。如下文将更详细描述的,本公开描述了使用人工现实信号来定义用户群组。
在一个示例中,用于基于人工现实定义用户群组的计算机实现的方法可以包括:(1)从检测第一用户的第一环境的第一人工现实设备接收第一输入,(2)基于第一输入确定第一环境的第一环境特征,(3)从检测第二用户的第二环境的第二人工现实设备接收第二输入,(4)基于第二输入确定第二环境的第二环境特征,(5)将第一环境特征与第二环境特征进行比较,以及(6)基于比较,将第一用户和第二用户包括在群组中,用于在线交互。
在一些示例中,第一环境特征可以对应于第一用户的第一位置,以及第二环境特征可以对应于第二用户的第二位置。第一输入可以包括第一位置处的第一用户附近(user’s vicinity)的图像数据,以及第二输入可以包括第二位置处的第二用户附近的图像数据。确定第一环境特征可以包括基于第一输入识别第一位置,并且确定第二环境特征可以包括基于第二输入识别第二位置。
在一些示例中,将第一环境特征与第二环境特征进行比较可以包括确定第一位置和第二位置之间的距离,并将该距离与距离阈值进行比较。将第一用户和第二用户包括在群组中可以基于该距离满足距离阈值。
在一些示例中,第一位置可以对应于第一区域,以及第二位置可以对应于第二区域。将第一环境特征与第二环境特征进行比较可以包括将第一区域与第二区域进行比较,并且将第一用户和第二用户包括在群组中可以基于第一区域匹配第二区域。在一些示例中,第一区域或第二区域可以对应于室内环境。
在一些示例中,第一输入可以包括第一位置处的第一用户附近的图像数据,以及第二输入可以包括第二位置处的第二用户附近的图像数据。确定第一环境特征可以包括从第一输入识别第一对象,并且确定第二环境特征可以包括从第二输入识别第二对象。将第一环境特征与第二环境特征进行比较可以包括将第一对象与第二对象进行比较,并且将第一用户和第二用户包括在群组中可以基于第一对象匹配第二对象。在一些示例中,第一对象或第二对象可以对应于虚拟对象。在一些示例中,第一环境特征或第二环境特征可以对应于虚拟位置。
在一些示例中,确定第一环境特征或第二环境特征可以进一步基于位置信号、GPS信号或WiFi信号中的至少一个。
在一些示例中,确定第一环境特征可以包括识别第一用户,并且确定第二环境特征可以包括识别第二用户。定义该群组可以进一步基于第一用户在与该应用相关联的社交网络中与第二用户相关联。在一些示例中,识别第一用户或识别第二用户可以基于面部识别。
在一些示例中,上述方法可以被编码为计算机可读介质上的计算机可读指令。例如,计算机可读介质可以包括一个或更多个计算机可执行指令,当由计算设备的至少一个处理器执行时,这些指令可以使得计算设备(1)从检测第一用户的第一环境的第一人工现实设备接收第一输入,(2)基于第一输入确定第一环境的第一环境特征,(3)从检测第二用户的第二环境的第二人工现实设备接收第二输入,(4)基于第二输入确定第二环境的第二环境特征,(5)将第一环境特征与第二环境特征进行比较,以及(6)基于比较,将第一用户和第二用户包括在群组中,用于在线交互。
在一些示例中,第一输入可以包括第一用户的第一位置处的第一用户附近的图像数据,以及第二输入可以包括第二用户的第二位置处的第二用户附近的图像数据。确定第一环境特征可以包括基于第一输入识别第一位置,并且确定第二环境特征可以包括基于第二输入识别第二位置。
在一些示例中,第一位置可以对应于第一区域,以及第二位置可以对应于第二区域。将第一环境特征与第二环境特征进行比较可以包括将第一区域与第二区域进行比较,并且将第一用户和第二用户包括在群组中可以基于第一区域匹配第二区域。
在一些示例中,第一输入可以包括第一位置处的第一用户附近的图像数据,以及第二输入可以包括第二位置处的第二用户附近的图像数据。确定第一环境特征可以包括从第一输入识别第一对象,并且确定第二环境特征可以包括从第二输入识别第二对象。将第一环境特征与第二环境特征进行比较可以包括将第一对象与第二对象进行比较,并且将第一用户和第二用户包括在群组中可以基于第一对象匹配第二对象。
在一些示例中,确定第一环境特征可以包括识别第一用户,确定第二环境特征可以包括识别第二用户,并且定义群组可以进一步基于第一用户在与应用相关联的社交网络中与第二用户相关联。在一些示例中,第一环境特征或第二环境特征可以对应于虚拟位置。
此外,用于基于人工现实定义用户群组的相应***可以包括一个或更多个处理器和存储器,该存储器包括指令,当该指令被一个或更多个处理器执行时,可以使***(1)从检测第一用户的第一环境的第一人工现实设备接收第一输入,(2)基于第一输入确定第一环境的第一环境特征,(3)从检测第二用户的第二环境的第二人工现实设备接收第二输入,(4)基于第二输入确定第二环境的第二环境特征,(5)将第一环境特征与第二环境特征进行比较,以及(6)基于比较,将第一用户和第二用户包括在群组中,用于在线交互。
在一些示例中,第一输入可以包括第一用户的第一位置处的第一用户附近的图像数据,以及第二输入可以包括第二用户的第二位置处的第二用户附近的图像数据。确定第一环境特征可以包括基于第一输入识别第一位置,并且确定第二环境特征可以包括基于第二输入识别第二位置。
根据本文描述的一般原理,来自上面提到的实施例中的任一个的特征可以与彼此组合地被使用。当结合附图和权利要求阅读下面的详细描述时,这些和其他实施例、特征和优点将被更充分地理解。
附图简述
附图示出了许多示例性实施例,并且是说明书的一部分。这些附图连同下面的描述一起展示并解释了本公开的各种原理。
图1是根据本公开的方面的用于使用人工现实信号来定义用户群组的示例性***的框图。
图2是根据本公开的方面的示例性网络环境的框图。
图3是根据本公开的方面,使用人工现实信号定义用户群组的示例性方法的流程图。
图4A-4B是根据本公开的方面的用户环境的简化图。
图5是根据本公开的方面的示例性AR***的示意图。
图6是根据本公开的方面的示例性AR***的示意图。
图7是根据本公开的方面的示例性VR***的示意图。
在所有附图中,相同的参考符号和描述表示相似但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式,但是特定实施例已经通过附图中的示例示出,并且将在本文详细描述。然而,本文描述的示例性实施例并不旨在局限于所公开的特定形式。更确切地,本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。
示例性实施例的详细描述
本公开通常涉及使用人工现实信号来定义用户群组。如下文将更详细解释的,本公开的实施例可以从用户的人工现实设备接收输入,并确定每个用户各自的环境特征。可以比较环境特征以确定用户的环境是否匹配。当环境匹配时,相应的用户可以被分组在一起。
本公开的实施例可以提供优于传统***的许多特征和优点,传统***没有被配置成利用来自人工现实设备的信号。传统***可能在定义用户群组的可用信号方面受到限制。例如,可以基于链接已经在网络应用平台上交互的用户来定义用户群组。人工现实设备可以提供额外的信号,以允许基于例如物理接近度对用户进行分组。
本公开的实施例可以提供一种基于人工现实设备输入来定义用户群组的方法。此外,本公开的实施例可以通过结合定义用户群组的更复杂的方法来改进计算机的功能,而不会显著增加超过人工现实体验所需的处理要求。此外,本公开的实施例可以改进人工现实领域,例如,通过提供使用可用信号对人工现实用户进行分组的直观方式。本文讨论的实施例可以实现这些和其他特征和优点。
下面将参考图1-图7提供使用人工现实信号定义用户群组的***和方法的详细描述。图1示出了基于人工现实定义用户群组的示例性***。图2示出了示例性网络环境。图3示出了使用人工现实信号定义用户群组的示例性过程。图4A-4B示出了如何使用人工现实信号对用户进行分组的各种示例。图5示出了示例性AR***。图6示出了另一个示例性AR***。图7示出了示例性VR***。
图1是使用人工现实信号定义用户群组的示例***100的框图。如该图所示,示例***100可以包括用于执行一个或更多个任务的一个或更多个模块102。如下文将更详细解释的,模块102可以包括第一接收模块104、第一特征模块106、第二接收模块108、第二特征模块110、比较模块112和分组模块114。尽管作为单独的元件示出,图1中的一个或更多个模块102可以代表单个模块或应用的部分。
在某些实施例中,图1中的一个或更多个模块102可以表示一个或更多个软件应用或程序,当由计算设备执行时,该一个或更多个软件应用或程序可以使计算设备执行一个或更多个任务。例如,如下文将更详细描述的,模块102中的一个或更多个可以表示被存储和配置为在诸如图2所示的设备(例如,计算设备202和/或服务器206)等一个或更多个计算设备上运行的模块。图1中的一个或更多个模块102也可以代表被配置成执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
如图1所示,示例***100还可以包括一个或更多个存储器设备,例如存储器140。存储器140通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,存储器140可以存储、加载和/或维护一个或更多个模块102。存储器140的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、一个或更多个上述存储器的变型或组合、和/或任何其他合适的储存存储器。
如图1所示,示例***100还可以包括一个或更多个物理处理器,例如物理处理器130。物理处理器130通常表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中,物理处理器130可以访问和/或修改存储在存储器140中的一个或更多个模块102。附加地或替代地,物理处理器130可以执行一个或更多个模块102,以便于使用人工现实信号来定义用户群组。物理处理器130的示例非限制地包括微处理器、微控制器、中央处理单元(CPU)、实现软核(softcore)处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个部件的部分、这些部件中的一个或更多个部件的变型或组合、和/或任何其他合适的物理处理器。
如图1所示,示例***100还可以包括一个或更多个传感器120,其可以是用于捕获环境数据的任何类型的传感器。如下面将进一步讨论的,例如,关于图2、图5、图6和图7,环境传感器可以包括光学传感器、音频传感器、天线等。
图1中的示例***100可以以多种方式实现。例如,示例***100的全部或一部分可以表示图2中的示例网络环境200、图5中的增强现实***500、图6中的增强现实***600和/或图7中的虚拟现实***700的部分。
图2示出了能够实现本公开的各个方面的示例性网络环境200。如图2所示,网络环境200可以包括计算设备202、网络204和服务器206。计算设备202可以是客户端设备或用户设备,例如AR设备(例如,AR眼镜)、台式计算机、膝上型计算机、平板设备、智能手机或其他计算设备。计算设备202可以包括物理处理器230,其可以是一个或更多个处理器、存储器240和传感器120。在一些实施方式中,计算设备202可以表示具有显示器的AR设备,该显示器将图像覆盖在用户对他或她的本地环境的视图上。例如,显示器可以包括透明介质,该透明介质允许来自用户环境的光穿过,使得用户可以看到环境。显示器然后可以在透明介质上绘制以覆盖信息。或者,显示器可以将图像投影到透明介质上和/或用户的眼睛上。显示器的实施例将在下面进一步描述。
服务器206可以代表或包括一个或更多个能够托管应用的服务器。例如,应用可以通过网络204和服务器206支持多个用户。服务器206可以包括物理处理器230、存储器240和传感器120,物理处理器230可以包括一个或更多个处理器,存储器240可以存储模块102。
计算设备202可以通过网络204通信耦合到服务器206。网络204可以代表任何类型或形式的通信网络,例如互联网,并且可以包括一个或更多个物理连接,例如LAN,和/或无线连接,例如WAN。
图3是使用人工现实信号定义用户群组的示例性计算机实现的方法300的流程图。图3所示的步骤可以由任何合适的计算机可执行代码和/或计算***来执行,这样的计算***包括图1、图2和图5-7所示的***。在一个示例中,图3所示的每个步骤可以表示其结构包括多个子步骤和/或由多个子步骤表示的算法,其示例将在下面更详细地提供。
作为图3所示过程的概述,在步骤310,本文描述的一个或更多个***可以从检测第一用户的第一环境的第一人工现实设备接收第一输入。在步骤320,本文描述的一个或更多个***可以基于第一输入来确定第一环境的第一环境特征。在步骤330,本文描述的一个或更多个***可以从检测第二用户的第二环境的第二人工现实设备接收第二输入。在步骤340,本文描述的一个或更多个***可以基于第二输入确定第二环境的第二环境特征。在步骤350,本文描述的一个或更多个***可以将第一环境特征与第二环境特征进行比较。在步骤360,本文描述的一个或更多个***可以基于比较将第一用户和第二用户包括在群组中,用于在线交互。
方法300,将在下面进一步详细描述,可以应用于不同位置的用户,例如室外位置和/或室内位置。方法300对于室内位置可能特别有用。人工现实设备的用户可能经常在室内位置使用人工现实设备,这可能比在室外位置使用更安全。此外,人工现实设备可以提供额外的信号和数据,这些信号和数据可以补偿其他退化的信号,例如室内GPS信号。图4A和图4B示出了包括用户410A-410H的室内环境401的简化地图视图。环境401可以是例如室内位置,例如包含多个房间的建筑物的楼层。图4A中的用户410A-410E和图4B中的用户410F-410H可以分散在各个房间中。用户410A-410H中的每一个可以使用他们自己的计算设备202来检测他们各自的环境。例如,第一输入可以包括图4A中用户410A附近的图像数据。
除了或代替图像数据,第一输入可以包括其他类型的数据,例如其他人工现实信号。在一些实施例中,术语“人工现实信号”可以指人工现实***可以用来感知周围环境的信号、输入等。人工现实信号的例子包括但不限于图像数据、音频数据、位置信号、GPS信号、Wi-Fi信号等。人工现实信号的其他示例可以包括使用人工现实设备的用户输入、从人工现实体验中的用户交互中导出的信号和/或数据、人工现实应用数据等。各种人工现实设备可能能够产生人工现实信号。
本公开的实施例,例如计算设备202,可以包括或结合各种类型的人工现实***来实现。人工现实是在呈现给用户之前已经以某种方式被调整的现实的形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如,真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外,在一些实施例中,人工现实还可以与用于例如,在人工现实中创建内容和/或以其他方式在人工现实中使用(例如,以在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。
可以在各种不同的形状因子和配置中实现人工现实***。一些人工现实***可以被设计成在没有近眼显示器(NED)的情况下工作,其示例是图5中的AR***500。其他人工现实***可以包括还提供对真实世界的可视性的NED(例如,图6中的AR***600)或者将用户视觉地沉浸在人工现实中的NED(例如,图7中的VR***700)。虽然一些人工现实设备可以是自主式***,但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部装置的示例包括手持控制器、移动装置、台式计算机、由用户佩戴的装置、由一个或更多个其他用户佩戴的装置、和/或任何其他合适的外部***。
转到图5,AR***500通常表示可穿戴设备,其被设计成所需尺寸以适配在用户的身体部位(例如,头部)周围。如图5所示,***500可以包括框架502和照相机组件504,照相机组件504耦合到框架502并被配置为通过观察本地环境来收集关于本地环境的信息。照相机组件504可以对应于照相机。AR***500还可以包括一个或更多个音频设备,例如输出音频换能器508(A)和508(B)以及输入音频换能器510。输出音频换能器508(A)和508(B)可以向用户提供音频反馈和/或内容,并且输入音频换能器510可以捕获在用户的环境中的音频。
如所示,AR***500可以不必包括位于用户的眼睛前方的NED。无NED的AR***可以采用多种形式,例如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框、和/或任何其他合适类型或形式的装置。虽然AR***100可以不包括NED,但AR***500可以包括其他类型的屏幕或视觉反馈设备(例如,集成到框架502的一侧内的显示屏)。
也可以在包括一个或更多个NED的AR***中实现在本公开中讨论的实施例。例如,如图6所示,AR***600可以包括具有框架610的眼镜设备602,框架610被配置为将左显示设备615(A)和右显示设备615(B)保持在用户的眼睛的前方。显示装置615(A)和615(B)可以一起或独立地起作用来向用户呈现图像或一系列图像。虽然AR***600包括两个显示器,但是可以在具有单个NED或两个以上NED的AR***中实现本公开的实施例。AR***600还可以包括或耦合到一个或更多个照相机组件,例如照相机(未示出)。
在一些实施例中,AR***600可以包括一个或更多个传感器,例如传感器640。传感器640可以响应于AR***600的运动而生成测量信号,并且可以实质上位于框架610的任何部分上。传感器640可以包括位置传感器、惯性测量单元(IMU)、深度照相机组件、或其任何组合。在一些实施例中,AR***600可以包括或不包括传感器640,或者可以包括一个以上传感器。在传感器640包括IMU的实施例中,IMU可以基于来自传感器640的测量信号来生成校准数据。传感器640的示例可以非限制地包括加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。
AR***600还可以包括具有被统称为声传感器620的多个声传感器620(A)-620(J)的麦克风阵列。声传感器620可以是检测由声波引起的气压变化的换能器。每个声传感器620可以被配置成检测声音并将检测到的声音转换成电子格式(例如,模拟或数字格式)。图6中的麦克风阵列可以包括例如十个声传感器:620(A)和620(B),其可以被设计成放置在用户的相应耳朵内;声传感器620(C)、620(D)、620(E)、620(F)、620(G)和620(H),其可以被定位在框架610上的不同位置;和/或声传感器620(I)和620(J),其可以被定位在相应的颈带605上。
麦克风阵列的声传感器620的配置可以变化。尽管AR***600在图6中被示为具有十个声传感器620,但是声传感器620的数量可以大于或小于十。在一些实施例中,使用更高数量的声传感器620可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相反,使用更低数量的声传感器620可以降低控制器650处理所收集的音频信息所需的计算能力。此外,麦克风阵列的每个声传感器620的位置可以变化。例如,声传感器620的位置可以包括在用户身上的所定义的位置、在框架610上的所定义的坐标、与每个声传感器相关联的定向、或者它们的某种组合。
声传感器620(A)和620(B)可以位于用户的耳朵的不同部位上,例如在耳廓(pinna)后面或在耳廓(auricle)或窝(fossa)内。或者,除了在耳道内部的声传感器620之外,还可以有在耳朵上或耳朵周围的附加声传感器。将声传感器定位在用户的耳道旁边可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声传感器620中的至少两个定位在用户的头部的两侧上(例如,作为双耳麦克风),AR设备600可以模拟双耳听觉并捕获在用户的头部周围的3D立体声场。在一些实施例中,声传感器620(A)和620(B)可以经由有线连接来连接到AR***600,并且在其他实施例中,声传感器620(A)和620(B)可以经由无线连接(例如,蓝牙连接)来连接到AR***600。在还有其他实施例中,声传感器620(A)和620(B)可以根本不与AR***600结合来被使用。
可以沿着眼镜腿(temple)的长度、横越镜梁(bridge)、在显示设备615(A)和615(B)的上方或下方、或者其某种组合来定位框架610上的声传感器620。声传感器620可以被定向成使得麦克风阵列能够在佩戴AR***600的用户周围的宽范围的方向上检测声音。在一些实施例中,可以在AR***600的制造期间执行优化过程以确定在麦克风阵列中的每个声传感器620的相对位置。
AR***600还可以包括或连接到外部设备(例如,配对设备),例如颈带605。如所示,颈带605可以经由一个或更多个连接器630耦合到眼镜设备602。连接器630可以是有线或无线连接器,并且可以包括电气和/或非电气(例如,结构)部件。在一些情况下,眼镜设备602和颈带605可以独立地操作,而在它们之间没有任何有线或无线连接。虽然图6示出了在眼镜设备602和颈带605上的示例位置中的眼镜设备602和颈带605的部件,但是这些部件可以位于眼镜设备602和/或颈带605的其他地方和/或在眼镜设备602和/或颈带605上不同地分布。在一些实施例中,眼镜设备602和颈带605的部件可以位于与眼镜设备602、颈带605或其某种组合配对的一个或更多个附加***设备上。此外,颈带605通常表示任何类型或形式的配对设备。因此,颈带605的下面的讨论也可以应用于各种其他配对设备,例如智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机等。
将诸如颈带605等外部设备与AR眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子,同时仍然能够提供足够的电池和计算能力来用于扩展的功能。AR***600的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或者在配对设备和眼镜设备之间共享,因而总体上减小眼镜设备的重量、热分布和形状因子,同时仍然保持期望的功能。例如,颈带605可以允许原本将被包括在眼镜设备上的部件被包括在颈带605中,因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带605也可以具有更大的表面积,以在该表面积上将热量扩散并分散到周围环境中。因此,颈带605可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。因为在颈带605中承载的重量可能比在眼镜设备602中承载的重量对用户更低创,所以相比于用户容忍佩戴重的独立眼镜设备,用户可以在更长的时间段期间容忍佩戴更轻的眼镜设备以及携带或佩戴配对设备,从而使人工现实环境能够更充分地融入用户的日常活动中。
颈带605可以与眼镜设备602和/或其他设备通信地耦合。其他设备可以向AR***600提供某些功能(例如,跟踪、定位、深度映射、处理、存储等)。在图6的实施例中,颈带605可以包括两个声传感器(例如,620(I)和620(J)),它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带605还可以包括控制器625和电源635。
颈带605的声传感器620(I)和620(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。在图6的实施例中,声传感器620(I)和620(J)可以定位在颈带605上,从而增加在颈带声传感器620(I)和620(J)与定位在眼镜设备602上的其他声传感器620之间的距离。在一些情况下,增加在麦克风阵列的声传感器620之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如,如果声音由声传感器620(C)和620(D)检测到,并且在声传感器620(C)和620(D)之间的距离大于例如在声传感器620(D)和620(E)之间的距离,则所确定的检测到的声音的源位置可以比如果声音由声传感器620(D)和620(E)检测到时所确定的源位置更准确。
颈带605的控制器625可以处理由在颈带605和/或AR***600上的传感器生成的信息。例如,控制器625可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音,控制器625可以执行DoA估计以估计方向(检测到的声音从该方向到达麦克风阵列处)。当麦克风阵列检测到声音时,控制器625可以用该信息填充音频数据集。在AR***600包括惯性测量单元的实施例中,控制器625可以从位于眼镜设备602上的IMU计算所有的惯性和空间计算。连接器630可以在AR***600和颈带605之间以及在AR***600和控制器625之间传送信息。信息可以是光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由AR***600生成的信息的处理移动到颈带605可以减少在眼镜设备602中的重量和热量,使它变得对用户来说更舒适。
颈带605中的电源635可以向眼镜设备602和/或颈带605提供电力。电源635可以包括但不限于锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下,电源635可以是有线电源。在颈带605上而不是在眼镜设备602上包括电源635可以帮助更好地分配由电源635生成的重量和热量。
如所提到的,一些人工现实***可以实质上用虚拟体验代替用户对现实世界的一个或更多个感官知觉,而不是将人工现实与实际现实混合。这种类型的***的一个示例是头戴式(head-worn)显示***(例如图7中的VR***700),其主要地或完全地覆盖用户的视野。VR***700可以包括前刚性主体702和被成形为适配在用户的头部周围的带704。VR***700还可以包括输出音频换能器706(A)和706(B)。此外,虽然在图7中未示出,但是前刚性主体702可以包括一个或更多个电子元件,其包括一个或更多个电子显示器、一个或更多个惯性测量单元(IMU)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或***。
人工现实***可以包括各种类型的视觉反馈机构。例如,在AR***600和/或VR***700中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、和/或任何其他合适类型的显示屏。人工现实***可以包括用于双眼的单个显示屏,或者可以为每只眼睛提供显示屏,这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。一些人工现实***还可以包括具有一个或更多个透镜(例如,传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子***,用户可以通过这些透镜来观看显示屏。
除了或代替使用显示屏,一些人工现实***还可以包括一个或更多个投影***。例如,在AR***600和/或VR***700中的显示设备可以包括(使用例如,波导)将光投射到显示设备中的微LED投影仪,例如允许环境光穿过的透明组合透镜。显示设备可以朝着用户的瞳孔折射所投射的光,并且可以使用户能够同时观看人工现实内容和现实世界。人工现实***还可以配置有任何其他合适类型或形式的图像投影***。
人工现实***也可以包括各种类型的计算机视觉部件和子***。例如,AR***500、AR***600和/或VR***700可以包括一个或更多个光学传感器,例如二维(2D)或三维(3D)照相机、飞行时间深度传感器、单光束或扫频激光测距仪、3D LiDAR传感器、和/或任何其他合适类型或形式的光学传感器。人工现实***可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制现实世界的地图、向用户提供关于现实世界周围环境的背景、和/或执行各种其他功能。
人工现实***还可以包括一个或更多个输入和/或输出音频换能器。在图5和图7所示的示例中,输出音频换能器508(A)、508(B)、706(A)和706(B)可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、和/或任何其他合适类型或形式的音频换能器。类似地,输入音频换能器510可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中,单个换能器可以用于音频输入和音频输出两者。
虽然在图5-图7中未示出,但是人工现实***可以包括触觉(tactile)(即,触觉(haptic))反馈***,其可以被结合到头饰、手套、紧身衣裤、手持控制器、环境设备(例如,椅子、地板垫等)、和/或任何其他类型的设备或***中。触觉反馈***可以提供各种类型的皮肤反馈,包括振动、力、牵引力、纹理和/或温度。触觉反馈***还可以提供各种类型的动觉反馈,例如运动和顺应性。可以使用电机、压电致动器、射流***和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈***。
通过提供触觉感觉、可听内容和/或视觉内容,人工现实***可以创建整个虚拟体验或者增强用户在各种背景和环境中的现实世界体验。例如,人工现实***可以帮助或扩展用户在特定环境中的感知、记忆或认知。一些***可以增强用户与在现实世界中的其他人的交互,或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实***还可以用于教育目的(例如,用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如,用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如,作为助听器、助视器等)。本文公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。
方法300可以是用户的人工现实体验的一部分,并且可以使用本文描述的任何人工现实设备来执行。回到图3,在步骤310,本文描述的一个或更多个***可以从检测第一用户的第一环境的第一人工现实设备接收第一输入。例如,第一接收模块104可以从传感器120接收第一输入。
本文描述的***可以以多种方式执行步骤310。在一个示例中,服务器206可以从计算设备202的传感器120接收第一输入。在一些示例中,传感器120可以是光学传感器,例如照相机。传感器120可能已经捕获了第一位置处的第一用户附近的图像数据。在其他示例中,传感器120可以包括其他类型的传感器,例如麦克风或无线信号接收器。
如图3所示,在步骤320,本文描述的一个或更多个***可以基于第一输入确定第一环境的第一环境特征。例如,第一特征模块106可以基于第一输入来确定第一环境特征。
在一些实施例中,术语“环境特征”可以指用户环境的可检测特征、特性和/或属性。环境特征的例子包括但不限于位置、区域、可识别的物体等。在一些示例中,环境特征可以对应于用户的真实世界环境。在其他示例中,环境特征可以指用户正在与之交互的虚拟位置和/或对象。
本文描述的***可以以多种方式执行步骤320。在一个示例中,计算设备202和/或服务器206可以基于第一输入来确定第一用户的第一位置。可从人工现实设备获得的人工现实信号可以实现确定用户位置和环境的各种方式,这利用传统计算设备可能是不可行的。
一些AR***可以使用被称为“即时定位与地图构建”(SLAM)的技术来绘制用户的环境地图。SLAM地图构建和位置识别技术可以涉及各种硬件和软件工具,其可以创建或更新环境的地图,而同时保持跟踪用户在所绘制地图的环境内的位置。SLAM可以使用许多不同类型的传感器来创建地图并确定用户在地图内的位置。
SLAM技术可以例如实现光学传感器以确定用户的位置。包括WiFi、蓝牙、全球定位***(GPS)、蜂窝或其他通信装置的无线电装置也可以用于确定用户相对于无线电收发器或收发器组(例如,WiFi路由器或GPS卫星组)的位置。诸如麦克风阵列的声传感器或者2D或3D声纳传感器也可以用于确定用户在环境内的位置。AR和VR设备(例如分别为图5、图6和图7的***500、600和700)可以合并任何或所有这些类型的传感器以执行SLAM操作,例如创建并持续地更新用户的当前环境的地图。在本文描述的至少一些实施例中,由这些传感器生成的SLAM数据可以被称为“环境数据”,并且可以指示用户的当前环境。该数据可以存储在本地或远程数据储存器(例如,云数据储存器)中,并且可以按需提供给用户的AR/VR装置。
当用户在给定环境中佩戴AR头戴式装置或VR头戴式装置时,用户可能正在与其他用户或用作音频源的其他电子设备进行交互。在一些情况下,希望确定音频源相对于用户位于哪里且然后将音频源呈现给用户好像它们来自音频源的位置一样。确定音频源相对于用户位于哪里的过程在本文可以被称为“定位”,并且再现音频源信号的回放以看起来好像它来自特定方向的过程在本文可以被称为“空间化”。
可以以多种不同的方式来执行定位音频源。在一些情况下,AR或VR头戴式送受话器可以发起到达方向(DOA)分析以确定声源的位置。DOA分析可以包括分析每个声音在AR/VR设备处的强度、频谱和/或到达时间以确定声音源自的方向。在一些情况下,DOA分析可以包括用于分析人工现实设备所位于的周围声学环境的任何合适的算法。
例如,DOA分析可以被设计成从麦克风接收输入信号,并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如,延迟算法和求和算法,其中输入信号被采样,并且采样信号的得到的加权和延迟版本被一起取平均以确定到达方向。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如,识别信号强度的差异或到达时间的差异。然后,这些差异可用于估计到达方向。在另一个实施例中,可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元,以识别麦克风阵列接收直接路径音频信号的角度。然后,所确定的角度可以用于识别接收到的输入信号的到达方向。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。
在一些实施例中,不同的用户可能将声源感知为来自稍微不同的位置。这可能是每个用户具有独特的头部相关传递函数(HRTF)的结果,该头部相关传递函数可以由用户的包括耳道长度和耳鼓膜的定位的解剖结构决定。人工现实设备可以提供对准和定向指南,用户可以遵循该指南以基于他们的独特HRTF来定制呈现给用户的声音信号。在一些实施例中,人工现实设备可以实现一个或更多个麦克风以收听在用户的环境中的声音。AR或VR头戴式送受话器可以使用各种不同的阵列传递函数(例如,上面识别的任一DOA算法)来估计声音的到达方向。一旦到达方向被确定,人工现实设备就可以根据用户的独特HRTF来向用户回放声音。因此,使用阵列传递函数(ATF)生成的DOA估计可以用于确定声音将从那播放的方向。回放声音可以基于特定用户如何根据HRTF听到声音被进一步改善。
除了执行DOA估计之外或者作为执行DOA估计的备选方案,人工现实设备可以基于从其他类型的传感器接收的信息来执行定位。这些传感器可以包括摄像机、IR传感器、热传感器、运动传感器、GPS接收器、或者在一些情况下的检测用户的眼球移动的传感器。例如,如上面所提到的,人工现实设备可以包括确定用户正在看哪里的眼球***或注视检测器。用户的眼球常常会看向声源,即使短暂地。由用户的眼球提供的这样的线索可以进一步帮助确定声源的位置。诸如照相机、热传感器和IR传感器的其他传感器也可以指示用户的位置、电子装置的位置、或另一声源的位置。可以单独或组合地使用任何或所有上述方法来确定声源的位置,并且还可以用于随着时间来更新声源的位置。
一些实施例可以实现所确定的DOA来为用户生成更多的定制的输出音频信号。例如,“声学传递函数”可以表征或定义如何从给定位置接收声音。更具体地,声学传递函数可以定义声音在其源位置处的参数与通过其检测声音信号(例如,由麦克风阵列检测或由用户的耳朵检测)的参数之间的关系。人工现实设备可以包括检测在设备的范围内的声音的一个或更多个声传感器。人工现实设备的控制器可以(例如,使用上面识别的任一方法)估计检测到的声音的DOA,并且基于检测到的声音的参数,可以生成特定于设备的位置的声学传递函数。因此,该定制的声学传递函数可以用于生成空间化的输出音频信号,其中声音被感知为来自特定位置。
事实上,一旦一个或更多个声源的位置是已知的,人工现实设备就可以将声音信号重新再现(即,空间化)成好像来自该声源的方向的声音。人工现实设备可以应用滤波器或其他数字信号处理,其改变声音信号的强度、频谱或到达时间。数字信号处理可以以使得声音信号被感知为源自所确定的位置这样的方式被应用。人工现实设备可以放大或抑制某些频率或者改变信号到达每个耳朵的时间。在一些情况下,人工现实设备可以创建特定于设备的位置和声音信号的检测到的到达方向的声学传递函数。在一些实施例中,人工现实设备可以在立体声设备或多扬声器设备(例如,环绕声设备)中重新再现源信号。在这种情况下,可以向每个扬声器发送单独且不同的音频信号。可以根据用户的HRTF以及根据对用户的位置和声源的位置的测量来将这些音频信号中的每一个改变成好像它们来自声源的所确定的位置一样的声音。因此,以这种方式,人工现实设备(或与该设备相关联的扬声器)可以将音频信号重新再现为好像源自特定位置的声音。
本文描述的人工现实设备因此可以确定第一环境特征,例如位置。现在转向图4A,第一环境特征可以对应于用户410A的位置。如上所述,可以使用人工现实信号来确定位置。该位置可以对应于坐标,例如纬度和经度,或者可以是相对于局部坐标系的坐标,例如环境401的x和y坐标。或者,该位置可以对应于一个区域。例如,在图4A中,用户410C和410D可以位于区域432中,而用户410E可以位于区域434中。区域432和434可以对应于环境401中的房间,尽管在其他示例中,该区域可以以其他方式定义。例如,该区域可以对应于预定义的边界、距用户的半径、其他室内环境等。在一些实施例中,该位置可以对应于虚拟位置。例如,用户可以在VR会话期间与虚拟环境交互。
在一些实施例中,环境特征可以对应于被识别的对象。例如,在图4B中,用户410G和410F可能在对象442附近,而用户410H可能在对象444附近。在一些示例中,所识别的对象可以是虚拟对象。
在一些实施例中,环境特征可以包括识别第一用户。例如,可以基于面部识别来识别用户。计算设备202可以被定位成捕获用户面部的图像数据。可以通过其他方式来识别用户,例如通过识别与用户相关联的唯一对象或文本,或者用户登录到服务(诸如社交网络服务)。
返回图3,在步骤330,本文描述的一个或更多个***可以从检测第二用户的第二环境的第二人工现实设备接收第二输入。例如,第二接收模块108可以从传感器120接收第二输入。
本文描述的***可以以多种方式执行步骤330。在一个示例中,服务器206可以从计算设备202的传感器120接收传感器输入。在一些示例中,传感器120可以是光学传感器,例如照相机。传感器120可能已经捕获了第二位置处的第二用户附近的图像数据。在其他示例中,传感器120可以包括其他类型的传感器,例如麦克风或无线信号接收器。类似于上述第一输入,第二输入可以包括一个或更多个人工现实信号。例如,第二输入可以包括图4A中用户410B附近的图像数据。在一些实施例中,第二输入可以包括与第一输入不同类型的数据和/或人工现实信号。此外,第二输入可以从与第一输入不同的传感器类型发送。
如图3所示,在步骤340,本文描述的一个或更多个***可以基于第二输入确定第二环境的第二环境特征。例如,第二特征模块110可以基于第二输入来确定第二环境特征。
本文描述的***可以以多种方式执行步骤340。在一个示例中,计算设备202和/或服务器206可以基于第二输入来确定第二用户的第二位置。步骤340可以以任何合适的方式执行(例如,使用上文关于步骤320描述的任何算法、数据或技术)。并且,在一些实施例中,可以以不同的方式和/或使用与用于确定第一位置的数据不同的数据类型来确定第二位置。
参考图4A,第二环境特征可以对应于用户410B的位置。如上所述,可以使用人工现实信号来确定位置。该位置可以对应于坐标,例如纬度和经度,或者可以是相对于局部坐标系的坐标,例如环境401的x和y坐标。或者,该位置可以对应于一个区域。例如,在图4A中,用户410C和410D可以位于区域432中,以及用户410E可以位于区域434中。在一些实施例中,该位置可以对应于虚拟位置。例如,用户可能在VR会话期间与虚拟环境交互。
在一些实施例中,环境特征可以对应于被识别的对象。可以使用计算机视觉或其他类似的对象识别方法来识别用户附近的对象。例如,在图4B中,用户410G和410F可能在对象442附近,而用户410H可能在对象444附近。该对象可以是物理特征。在一些示例中,所识别的对象可以是虚拟对象。
在一些实施例中,环境特征可以包括识别第二用户。例如,可以基于面部识别来识别用户。计算设备202可以被定位成捕获用户面部的图像数据。可以通过其他方式来识别用户,例如通过识别与用户相关联的唯一对象或文本,或者用户登录到服务(诸如社交网络服务)。
返回图3,在步骤350,本文描述的一个或更多个***可以将第一环境特征与第二环境特征进行比较。例如,比较模块112可以将第一环境特征与第二环境特征进行比较。
本文描述的***可以以多种方式执行步骤350。在一个示例中,比较可以包括确定第一位置和第二位置之间的距离,并将该距离与距离阈值进行比较。例如,在图4A中,用户410A和用户410B之间的距离422和/或用户410A和用户410E之间的距离424可以与距离阈值进行比较。距离阈值可以对应于指定的距离,例如20英尺或任何其他合适的距离。距离阈值可以对应于诸如1-20英尺的范围或任何其他合适的距离范围。该距离可以基于直线距离计算,如图4A所示,或者可以基于间接路径计算。此外,该距离可以基于参考点而不是特定用户来计算。例如,参考点可以对应于已经在群组中的所有用户的中心点。可选地,该距离可以对应于到可能在该群组中或者可能被添加到该群组的其他用户的平均距离。
在一些示例中,比较第一环境特征和第二环境特征可以包括比较第一区域和第二区域。例如,在图4A中,与用户410C相关联的区域432可以与和用户410D相关联的区域432进行比较。类似地,与用户410C相关联的区域432可以与和用户410E相关联的区域434进行比较。
在一些示例中,将第一环境特征与第二环境特征进行比较可以包括将第一对象与第二对象进行比较。例如,在图4B中,与用户410G相关联的对象442可以与和用户410F相关联的对象442进行比较。类似地,与用户410G相关联的对象442可以与和用户410H相关联的对象444进行比较。
如图3所示,在步骤360,基于比较,本文描述的一个或更多个***可以将第一用户和第二用户包括在群组中,用于在线交互。例如,分组模块114可以将第一用户和第二用户包括在群组中。
本文描述的***可以以多种方式执行步骤360。在一个示例中,将第一用户和第二用户包括在群组中是基于该距离满足距离阈值。例如,如果距离阈值对应于最大距离,则距离不超过最大距离的用户可以被包括在该群组中。在图4A中,距离422可以小于最大距离。因此,用户410A和410B可以被包括在该群组中。距离424可以大于最大距离。因此,用户410E可能不被包括在具有用户410A和410B的群组中。或者,距离可以对应于平均距离。例如,用户410E和用户410B之间的距离可以满足距离阈值,但是用户410E与用户410A和410B之间的平均距离可能不满足距离阈值。如果距离阈值对应于距离范围,则落在该范围内的距离可以满足距离阈值,从而可以添加相应的用户。在其他示例中,可以使用确定用户之间接近度的其他方法。
在一些示例中,将第一用户和第二用户包括在群组中是基于第一区域匹配第二区域。在图4A中,用户410C和410D可以一起包括在一个群组中,因为两个用户都与同一区域432相关联。因为用户410E与区域434相关联,所以用户410E可能不被包括在具有用户410C和410D的群组中。
在一些示例中,将第一用户和第二用户包括在群组中是基于第一对象匹配第二对象。如果第一用户和第二用户非常接近同一对象,则第一用户和第二用户也可以彼此非常接近。在图4B中,用户410G和410F都可以与对象442相关联,并因此包括在一个群组中。对象444可以不同于对象442。因此,用户410H可能不包括在该群组中。这些对象可以是与特定现实世界位置挂钩的虚拟对象。
在一些替代示例中,对象可以被复制或者以其他方式彼此关联,使得物理上不接近的用户仍然可以基于对象被分组在一起。例如,对象444可以是对象442的副本或者以其他方式与对象442相关联,使得用户410H可以被包括在具有用户410G和410F的群组中。
在一些示例中,将第一用户和第二用户包括在群组中还基于第一用户在与应用相关联的社交网络中与第二用户相关联。例如,在识别用户之后,可以将社交网络上是好友的用户分组在一起。社交网络上的关连可能是用于确定是否将用户包括在群组中的附加因素。例如,物理上非常接近并且也是社交网络上的好友的用户可以被自动分组在一起或者被建议为一个群组。其他可能在物理上非常接近但在社交网络上不是好友的用户可能不会被自动分组在一起,但可能需要额外的确认才能被包括在该群组中。
根据本文描述的方面,具有人工现实设备的用户可以使用来自人工现实设备的输入被分组在一起。用户可能正在参与人工现实体验。人工现实设备可以提供用户的位置感知,并且直观地将检测到在物理上非常接近的用户分组在一起。分组用户中的一个然后可以邀请其他群组成员参加另一种体验,例如视频游戏。虽然分组的用户可以在社交网络上关连,但是这种对附近用户的直观分组可以允许并鼓励分组的用户之间的额外交互。物理上的接近可以允许分组的用户不仅在视频游戏中,而且还在现实世界中进行交互。
本文描述的方面还可以通过利用人工现实信号来允许额外的分组。例如,可以基于用户看到相同的对象,例如特定的地标,来确定接近度。然而,本文描述的方面可以进一步将接近度扩展到物理接近度之外。公共对象可以被复制,并且对远程用户可用。例如,公共对象可以是特定物理令牌的副本,这可以允许令牌附近的用户被包括在群组中,即使物理上是远程的。因此,用户可以虚拟地接近并且基于他们的虚拟接近度来分组。或者,公共对象可以是虚拟对象。虚拟对象可以与特定的现实世界位置挂钩。例如,虚拟兔子可能在房间的桌子上。然后,房间中使用人工现实设备观看虚拟兔子的用户可以被分组在一起。此外,虚拟对象的副本可以与远程位置挂钩,也可以允许虚拟对象副本附近的远程用户被分组。因此,本公开的各方面可以提供使用人工现实信号对用户进行分组的附加方式,以提高用户之间的接近度感知。
此外,本文描述的方面可以允许访问社交网络***内的游戏会话。游戏会话可以在社交网络的各个区域内访问,例如墙(walls)、实时新闻(newsfeeds)、时间轴(timelines)等。游戏会话也可以使用相关的社交网络应用(例如,信使(messenger)应用)来访问。信使应用是一个让用户能够几乎即时在线交流的应用。玩家组件便于客户端设备上的游戏实例和社交网络***的后端服务器之间的通信。通信信息可以存储在社交网络***的社交图中或者从社交图中检索。游戏实例可以从社交网络***的社交网络应用(例如,实时新闻、信使等)初始化,并且游戏可以在不离开社交网络应用的情况下进行。
在各种实施例中,用户可以使用发现组件来识别要玩的游戏。发现组件可以列出多个游戏,并且可以以指定的顺序列出游戏。作为示例,发现组件可以基于用户与游戏的先前交互、社交图中指示的“好友”、联系人列表中的联系人、好友和/或联系人玩的游戏等来为该用户列出游戏。
在各种实施例中,用户可以在其社交网络实时新闻或信使应用app中接收“挑战”。作为示例,用户可以接收好友或联系人在特定游戏中获得高分的通知。用户可以接受挑战,例如通过在通知上“点击”或“按下”,来开始游戏。用户可能会收到来自不同用户对特定游戏的挑战。接受挑战可以为特定游戏定义包括用户和好友的群组。或者,该群组可以促进发出挑战,因为该群组可以被定义,并且该群组的用户可以向其他群组成员发出挑战。
本文描述的方面提供了除了使用用户先前的交互之外的用于定义群组的方法。社交网络***的用户可以使用人工现实设备来访问社交网络***的部分。来自人工现实设备的人工现实信号可以用于定义社交网络***的用户群组。一旦定义了群组,可以自动地和/或根据用户的请求向群组的成员发出挑战。在一些实施例中,社交网络***可以基于群组中用户的交互来推荐挑战。
在各种实施例中,用户在游戏中获得的分数可以被发布给一些或所有其他用户。例如,分数可以与发送特定挑战的不同用户、发送挑战的所有用户共享,或者公开共享。在用户玩游戏之后,用户的分数可以与其他用户共享,例如,以向其他用户挑战。在各种实施例中,用户可以明确地共享分数,例如,以挑战另一个用户。在一些实施例中,分数可以被隐含地共享,例如,共享给“排行榜”,或者作为对好友或联系人的挑战。当其他用户接受挑战时,可以在发送挑战的用户和接受挑战的用户之间创建通信线程。
实施例包括游戏平台与社交网络***的集成,以实现对游戏实例的基本上即时的访问。该***架构包括实现客户端玩家组件(例如,软件组件)的客户端设备。玩家组件可以促进客户端设备上的游戏实例和社交网络***的后端服务器之间的通信。该通信可以包括高分、游戏参与者身份、游戏参与者关连、游戏会话细节、游戏成绩等。通信信息可以存储在社交网络***的社交图中或基于社交图存储。
在各种实施例中,两个或更多个用户之间的通信的每个信使应用线程具有线程标识符(“线程ID”),社交网络的每个用户具有用户ID,具有社交网络页面的企业具有页面ID,并且应用(例如,游戏应用)具有应用ID。因为用户可能同时涉及与多个其他用户玩特定游戏,所以各种ID的组合可用于识别游戏的特定实例,例如,为了分数共享的目的。作为一个例子,线程ID和应用ID的组合识别由在线程中通信的用户正在玩的特定游戏。作为另一个例子,用户ID、应用ID和页面ID的组合识别由所识别的用户正在玩的由企业主办或赞助的游戏。虽然这个和下面的讨论使用消息应用作为特定实施例,但是本领域技术人员将认识到,这些实施例可以适用于其他社交网络对话区域,例如墙、页面、实时新闻、时间轴等。在这种情况下,代替消息传递线程ID,可以使用一些其他社交网络内部标识符(例如,消息标识符、会话标识符、页面标识符等)。
在各种实施例中,这些ID中的一些或全部可以匿名化。作为一个例子,用户ID可以被匿名化,使得尽管用户的分数或分数更新可以被公开发布或发布给社交网络或信使应用的其他用户,但是除了可能用户的好友之外,该用户可能不能被其他人识别。类似地,线程ID可以被匿名化,使得游戏开发者不能恶意使用实际线程,例如,以发布可能与游戏无关的广告消息。正如线程ID、应用ID、页面ID和用户ID在社交网络和/或信使应用中可能是唯一的,相应的匿名化ID也可能是唯一的。
在各种实施例中,游戏实例可以使用信使应用及其底层通信协议来与其他游戏实例交换消息。例如,当两个不同的用户在一个线程中玩游戏时,该游戏可以在对应于每个玩家的游戏实例之间交换分数信息、纸牌游戏的纸牌、象棋游戏的棋步等。作为进一步的例子,当两个玩家同时在一个信使线程中时,一个玩家可以远程观看另一个玩家的游戏。信使平台的底层“实时流(live stream)”功能可以向其他用户发送正在玩的游戏的视频流。
在各种实施例中,可以发送与用户玩游戏相关的各种社交信号。作为示例,当用户是高分者时,字形或图标可以被添加到用户的简档照片。作为示例,面部识别***可以在用户的简档照片中识别用户的面部,并且在照片中在用户的头部上方添加皇冠。修改后的简档照片可能仅限于信使线程,或者可供社交网络或信使应用的所有用户查看。其他社交信号可以包括图标、动画、声音、徽章等。社交信号可以对应于分数、挑战或其他游戏概念。
通过游戏库实现游戏组件和玩家组件之间的通信解锁了无数的社交网络功能,包括使用户能够发起游戏会话和自由共享以前无法通过社交网络***访问的游戏的游戏相关数据。游戏实例可以从社交网络***的社交平台(例如,实时新闻、消息应用等)初始化。客户端玩家组件可被实现为社交网络网站的一部分,其可通过运行在客户端设备上的浏览器应用来访问,或者客户端玩家组件可实现为社交网络移动应用的一部分。客户端玩家可以访问代表第三方游戏的多个网址(例如,嵌入了JavaScript库的游戏网页)。第三方游戏开发者的web服务器可以托管游戏网页。客户端玩家组件可以从与游戏相关的网址与第三方游戏网页的网址并行地加载闪屏(splash screen),使得玩家能够体验对游戏会话的基本上即时的访问。在将游戏网页完全加载到客户端设备上之前,客户端玩家组件可以进一步访问与游戏相关的社交网络信息。
例如,根据各种实施例,社交网络的两个用户可以在物理上接近并且分组在一起。这两个用户可能正在一起玩AR游戏,例如具有虚拟打雪仗上下文(context)的AR游戏。可以关连到社交网络上的两个用户中的一个或两个用户的社交网络的第三成员可以通过加入相同的物理位置来物理地会见这两个用户。根据各种实施例,第三用户可以被添加到群组中,例如通过从人工现实信号中被检测到,或者通过两个用户之一邀请该第三用户。两个用户可以接收第三用户已经加入的指示,例如AR游戏中的视觉通知。此外,在群组内,用户可以不局限于游戏的相同虚拟上下文。例如,用户之一可以独立于群组中的其他用户,将AR游戏从虚拟打雪仗上下文改变为巫师火球上下文。或者,用户可以一起切换到巫师火球上下文。
如上面所详述的,本文描述和/或示出的计算设备和***广泛地表示能够执行计算机可读指令(例如在本文描述的模块中包含的那些指令)的任何类型或形式的计算设备或***。在它们的最基本的配置中,这些计算设备(一个或多个)可以各自包括至少一个存储器设备和至少一个物理处理器。
在一些示例中,术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,存储器设备可以存储、加载和/或维护本文描述的模块中的一个或更多个。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合、或者任何其他合适的储存存储器。
在一些示例中,术语“物理处理器”通常指能够解析和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中,物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合、或任何其他合适的物理处理器。
尽管被示为单独的元件,但是本文描述和/或示出的模块可以表示单个模块或应用程序的部分。此外,在某些实施例中,这些模块中的一个或更多个可以表示一个或更多个软件应用或程序,其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如,本文描述和/或示出的一个或更多个模块可以表示被存储和配置为在本文描述和/或示出的一个或更多个计算设备或***上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
此外,本文描述的一个或更多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。例如,本文所述的一个或更多个模块可以接收要转换的输入数据,转换输入数据,输出转换结果以识别用户接近度,使用转换结果来定义用户群组,并存储转换结果以促进用户与用户群组的交互。附加地或可替代地,本文所述的模块中的一个或更多个可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。
在一些实施例中,术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(诸如,载波)以及非暂时性介质,诸如,磁存储介质(例如,硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如,光盘(CD)、数字视频盘(DVD)和BLU-RAY盘)、电子存储介质(例如,固态驱动器和闪存介质)以及其他分发***。
本公开的实施例可以包括人工现实***或者结合人工现实***来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality,MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如,真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外,在一些实施例中,人工现实还可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实***可以在各种平台上实现,这些平台包括连接到主计算机***的头戴式显示器(HMD)、独立的HMD、移动设备或计算***、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
本文描述和/或示出的过程参数和步骤顺序仅作为示例给出,并且可以根据需要改变。例如,虽然在本文示出和/或描述的步骤可以以特定顺序示出或讨论,但是这些步骤不一定需要以示出或讨论的顺序执行。本文描述和/或示出的各种示例性方法也可以省略在本文描述或示出的一个或更多个步骤,或者包括除了那些所公开的步骤之外的附加步骤。
提供前面的描述以使本领域中的其他技术人员能够最好地利用本文公开的示例性实施例的各种方面。该示例性描述并不旨在是穷尽的或受限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下,许多修改和变化是可能的。本文公开的实施例在所有方面都应该被认为是说明性的,而不是限制性的。在确定本公开的范围时,应当参考所附权利要求及其等同物。
除非另有说明,否则说明书和权利要求书中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即,通过其他元件或部件)连接。此外,说明书和权利要求书中使用的术语“一个(a)”或“一个(an)”应被解释为意指“...中的至少一个”。最后,为了便于使用,说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(comprising)”互换并具有相同的含义。
Claims (14)
1.一种基于人工现实定义用户群组的方法,包括:
从检测第一用户的第一环境的第一人工现实设备接收第一输入;
通过使用对象识别从所述第一输入识别位于所述第一用户附近的第一对象来基于所述第一输入确定所述第一环境的第一环境特征;
从检测第二用户的第二环境的第二人工现实设备接收第二输入;
通过使用对象识别从所述第二输入识别位于所述第二用户附近的第二对象来基于所述第二输入确定所述第二环境的第二环境特征;
通过将所述第一对象与所述第二对象进行比较来将所述第一环境特征与所述第二环境特征进行比较;和
至少基于经由对象识别将所述第一对象识别为匹配所述第二对象,将所述第一用户和所述第二用户包括在群组中,用于在线交互。
2.根据权利要求1所述的方法,其中:
所述第一环境特征对应于所述第一用户的第一位置;和
所述第二环境特征对应于所述第二用户的第二位置。
3.根据权利要求2所述的方法,其中:
所述第一输入包括所述第一位置处的所述第一用户的附近的图像数据;
所述第二输入包括所述第二位置处的所述第二用户的附近的图像数据;
确定所述第一环境特征包括基于所述第一输入识别所述第一位置;和
确定所述第二环境特征包括基于所述第二输入识别所述第二位置。
4.根据权利要求3所述的方法,其中:
将所述第一环境特征与所述第二环境特征进行比较包括:
确定所述第一位置和所述第二位置之间的距离;和
将所述距离与距离阈值进行比较;以及
将所述第一用户和所述第二用户包括在所述群组中是基于所述距离满足所述距离阈值。
5.根据权利要求3所述的方法,其中:
所述第一位置对应于第一区域;
所述第二位置对应于第二区域;
将所述第一环境特征与所述第二环境特征进行比较包括比较所述第一区域和所述第二区域;和
将所述第一用户和所述第二用户包括在所述群组中是基于所述第一区域匹配所述第二区域。
6.根据权利要求5所述的方法,其中所述第一区域或所述第二区域对应于室内环境。
7.根据权利要求1所述的方法,其中所述第一对象或所述第二对象对应于虚拟对象。
8.根据权利要求1所述的方法,其中所述第一环境特征或所述第二环境特征对应于虚拟位置。
9.根据权利要求1所述的方法,其中确定所述第一环境特征或所述第二环境特征还基于位置信号、GPS信号或WiFi信号中的至少一项。
10.根据权利要求1所述的方法,其中:
确定所述第一环境特征包括识别所述第一用户;
确定所述第二环境特征包括识别所述第二用户;和
将所述第一用户和所述第二用户包括在所述群组中还基于所述第一用户在与应用相关联的社交网络中与所述第二用户相关联。
11.根据权利要求10所述的方法,其中识别所述第一用户或识别所述第二用户是基于面部识别。
12.一种包括计算机可读指令的计算机可读介质,当所述计算机可读指令被计算设备的至少一个处理器执行时,使所述计算设备执行权利要求1-11中任一项所述的方法。
13.一种基于人工现实定义用户群组的***,包括:
一个或更多个处理器;
包括指令的存储器,当所述指令被所述一个或更多个处理器执行时,使所述***:
从检测第一用户的第一环境的第一人工现实设备接收第一输入;
通过使用对象识别从所述第一输入识别位于所述第一用户附近的第一对象来基于所述第一输入确定所述第一环境的第一环境特征;
从检测第二用户的第二环境的第二人工现实设备接收第二输入;
通过使用对象识别从所述第二输入识别位于所述第二用户附近的第二对象来基于所述第二输入确定所述第二环境的第二环境特征;
通过将所述第一对象与所述第二对象进行比较来将所述第一环境特征与所述第二环境特征进行比较;和
至少基于经由对象识别将所述第一对象识别为匹配所述第二对象,将所述第一用户和所述第二用户包括在群组中,用于在线交互。
14.根据权利要求13所述的***,其中:
所述第一输入包括所述第一用户的第一位置处的所述第一用户的附近的图像数据;
所述第二输入包括所述第二用户的第二位置处的所述第二用户的附近的图像数据;
确定所述第一环境特征包括基于所述第一输入识别所述第一位置;和
确定所述第二环境特征包括基于所述第二输入识别所述第二位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/239,509 | 2019-01-03 | ||
US16/239,509 US11159768B1 (en) | 2019-01-03 | 2019-01-03 | User groups based on artificial reality |
PCT/US2019/068878 WO2020142402A1 (en) | 2019-01-03 | 2019-12-30 | User groups based on artificial reality |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113260954A CN113260954A (zh) | 2021-08-13 |
CN113260954B true CN113260954B (zh) | 2024-04-09 |
Family
ID=69375997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980087795.5A Active CN113260954B (zh) | 2019-01-03 | 2019-12-30 | 基于人工现实的用户群组 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11159768B1 (zh) |
JP (1) | JP2022518105A (zh) |
KR (1) | KR20210109004A (zh) |
CN (1) | CN113260954B (zh) |
WO (1) | WO2020142402A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11545024B1 (en) | 2020-09-24 | 2023-01-03 | Amazon Technologies, Inc. | Detection and alerting based on room occupancy |
US20230195208A1 (en) * | 2021-12-16 | 2023-06-22 | Joshua Steven Noyes | Centralized Virtual Reality and Augmented Reality Activity System |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105229688A (zh) * | 2013-03-13 | 2016-01-06 | 艾锐势科技公司 | 环境人口统计学确定*** |
CN105228506A (zh) * | 2013-03-13 | 2016-01-06 | 艾锐势科技公司 | 环境情感确定*** |
CN107943595A (zh) * | 2016-10-12 | 2018-04-20 | 谷歌公司 | 环境自动分组 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9384469B2 (en) * | 2008-09-22 | 2016-07-05 | International Business Machines Corporation | Modifying environmental chat distance based on avatar population density in an area of a virtual world |
US9713774B2 (en) * | 2010-08-30 | 2017-07-25 | Disney Enterprises, Inc. | Contextual chat message generation in online environments |
US10657701B2 (en) * | 2016-06-30 | 2020-05-19 | Sony Interactive Entertainment Inc. | Dynamic entering and leaving of virtual-reality environments navigated by different HMD users |
EP3857520A4 (en) | 2018-09-24 | 2021-12-01 | Magic Leap, Inc. | PROCEDURES AND SYSTEMS FOR DIVIDING THREE-DIMENSIONAL MODELS |
-
2019
- 2019-01-03 US US16/239,509 patent/US11159768B1/en active Active
- 2019-12-30 KR KR1020217023673A patent/KR20210109004A/ko active Search and Examination
- 2019-12-30 WO PCT/US2019/068878 patent/WO2020142402A1/en active Application Filing
- 2019-12-30 CN CN201980087795.5A patent/CN113260954B/zh active Active
- 2019-12-30 JP JP2021530093A patent/JP2022518105A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105229688A (zh) * | 2013-03-13 | 2016-01-06 | 艾锐势科技公司 | 环境人口统计学确定*** |
CN105228506A (zh) * | 2013-03-13 | 2016-01-06 | 艾锐势科技公司 | 环境情感确定*** |
CN107943595A (zh) * | 2016-10-12 | 2018-04-20 | 谷歌公司 | 环境自动分组 |
Also Published As
Publication number | Publication date |
---|---|
KR20210109004A (ko) | 2021-09-03 |
JP2022518105A (ja) | 2022-03-14 |
CN113260954A (zh) | 2021-08-13 |
US11159768B1 (en) | 2021-10-26 |
WO2020142402A1 (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10979845B1 (en) | Audio augmentation using environmental data | |
US20180124497A1 (en) | Augmented Reality Sharing for Wearable Devices | |
US20180123813A1 (en) | Augmented Reality Conferencing System and Method | |
JP2022502800A (ja) | 拡張現実のためのシステムおよび方法 | |
US10819953B1 (en) | Systems and methods for processing mixed media streams | |
US11055056B1 (en) | Split system for artificial reality | |
US11758347B1 (en) | Dynamic speech directivity reproduction | |
US10831267B1 (en) | Systems and methods for virtually tagging objects viewed by friends and influencers | |
Yang et al. | Audio augmented reality: A systematic review of technologies, applications, and future research directions | |
CN113302545A (zh) | 用于维持可移动的设备的定向无线链路的***和方法 | |
US20220130096A1 (en) | Reducing latency of an application in a server-side hosted environment | |
CN113260954B (zh) | 基于人工现实的用户群组 | |
US10979236B1 (en) | Systems and methods for smoothly transitioning conversations between communication channels | |
US10536666B1 (en) | Systems and methods for transmitting aggregated video data | |
US10674259B2 (en) | Virtual microphone | |
US11132834B2 (en) | Privacy-aware artificial reality mapping | |
US11659043B1 (en) | Systems and methods for predictively downloading volumetric data | |
CN116194792A (zh) | 连接评估*** | |
US11706266B1 (en) | Systems and methods for assisting users of artificial reality platforms | |
US11870852B1 (en) | Systems and methods for local data transmission | |
US11638111B2 (en) | Systems and methods for classifying beamformed signals for binaural audio playback | |
US20220405361A1 (en) | Systems and methods for correcting data to match user identity | |
US20230344891A1 (en) | Systems and methods for quality measurement for videoconferencing | |
US12028419B1 (en) | Systems and methods for predictively downloading volumetric data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |