CN116194792A - 连接评估*** - Google Patents

连接评估*** Download PDF

Info

Publication number
CN116194792A
CN116194792A CN202180064213.9A CN202180064213A CN116194792A CN 116194792 A CN116194792 A CN 116194792A CN 202180064213 A CN202180064213 A CN 202180064213A CN 116194792 A CN116194792 A CN 116194792A
Authority
CN
China
Prior art keywords
computing device
environment
location
physical
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064213.9A
Other languages
English (en)
Inventor
R·德赛
J·N·克尔
B·加瓦姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116194792A publication Critical patent/CN116194792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22Traffic simulation tools or models
    • H04W16/225Traffic simulation tools or models for indoor or short range network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22Traffic simulation tools or models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

公开了与识别环境内的位置的连接质量有关的技术。第一计算设备可收集与该第一计算设备和第二计算设备所位于的环境的布局有关的环境信息。该第一计算设备可与该第二计算设备进行无线通信。该第一计算设备可基于该环境信息来确定该环境内的位置以定位该第一计算设备来改善该无线通信。该第一计算设备可向该第一计算设备的用户提供该位置的指示。

Description

连接评估***
背景技术
技术领域
本公开整体涉及无线计算设备,并且更具体地涉及连接评估***。
相关技术描述
当计算设备彼此通信信息时,这种通信可经由物理有线连接或无线连接发生。通过无线连接,当在计算设备之间传输时,信号通常通过诸如墙壁之类的对象传播。此类对象可削弱无线信号,使得在两个计算设备之间传输数据的能力受损。当用户希望执行需要高信息传送的一些动作(例如,观看电影)时,这样的动作可能受到干扰从用户的设备传输到诸如路由器之类的网络设备的信号的对象的严重影响。然而,用户可能不知道他们在执行动作时的问题的原因可能部分地是由于物理对象导致的干扰。
附图说明
图1是示出根据一些实施方案的其中部署能够产生扩展现实(XR)环境的***的物理环境的示例性元素的框图。
图2是示出根据一些实施方案的包括基站和具有各种传感器的计算设备的具有XR能力的***的示例性元素的框图。
图3是示出根据一些实施方案的包括在具有XR能力的***中的部件的示例性元素的框图。
图4是示出根据一些实施方案的可由计算设备收集的环境信息的示例性元素的框图。
图5是示出根据一些实施方案的连接评估引擎的示例性元素的框图。
图6是示出根据一些实施方案的可由计算设备产生的输出的示例性元素的框图。
图7至图9是示出根据一些实施方案的与识别定位/安置计算设备的位置相关的示例性方法的流程图。
图10是示出了根据一些实施方案的示例性计算机***的框图。
本公开包括对“一个实施方案”或“实施方案”的标引。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
在本公开内,不同实体(其可被不同地称为“单元”、“电路”、其他部件等)可被描述或声称成“被配置为”执行一个或多个任务或操作。此表达方式—被配置为[执行一个或多个任务]的[实体]—在本文中用于指代结构(即,物理的事物,诸如电子电路)。更具体地,此表达方式用于指示此结构被布置成在操作期间执行一个或多个任务。结构可被说成“被配置为”执行某个任务,即使该结构当前并非正***作。“被配置为通过网络通信的网络接口”旨在涵盖例如具有在操作期间执行该功能的电路的集成电路,即使所涉及的集成电路当前并非正被使用(例如电源未连接到它)。因此,被描述或表述成“被配置为”执行某个任务的实体是指用于实施该任务的物理的事物,诸如设备、电路、存储有可执行程序指令的存储器等等。该短语在本文中不被用于指代无形的事物。因此,“被配置为”结构在本文中不被用于指代软件实体,诸如应用编程接口(API)。
术语“被配置为”并不旨在意指“可配置为”。例如,未经编程的FPGA不会被认为是“被配置为”执行某个特定功能,虽然其可能“能被配置为”执行该功能并且在编程之后可以“被配置为”执行该功能。
所附权利要求书中的表述结构“被配置为”执行一个或多个任务明确地旨在对该权利要求要素不援引35U.S.C.§112(f)。于是,所提交的本申请中没有任何权利要求旨在要被解释为具有装置-加-功能要素。如果申请人在申请过程中想要援引112(f)部分,则其将使用“用于[执行功能]的装置”结构来表述权利要求的要素。
如本文所用,术语“第一”、“第二”等充当其之后的名词的标签,并且不暗指任何类型的排序(例如,空间的、时间的、逻辑的等),除非有明确指出。例如,在具有八个处理核心的处理器中,术语“第一”处理核心和“第二”处理核心可用于指该八个处理核心中的任意两个处理核心。换句话讲,“第一”处理核心和“第二”处理核心不限于例如处理核心0和处理核心1。
如本文所用,术语“基于”用于描述影响确定的一个或多个因素。该术语不排除可能有附加因素可影响确定。也就是说,确定可仅基于指定的因素或基于所指定的因素及其他未指定的因素。考虑短语“基于B确定A”。此短语指定B是用于确定A的因素或者B影响A的确定。此短语并不排除A的确定也可基于某个其他因素诸如C。该短语还旨在涵盖A仅基于B来确定的实施方案。如本文所用,短语“基于”因此与短语“至少部分地基于”是同义的。
物理环境是指人们在没有电子***帮助的情况下能够感测和/或与其交互的物理世界。物理环境可包括物理特征,诸如物理表面或物理对象。例如,物理环境可对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相比之下,扩展现实(XR)环境(或计算机生成现实(CGR)环境)是指人们经由电子***感测和/或交互的完全或部分模拟的环境。例如,XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR***的情况下,跟踪人的物理运动的一个子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在XR***中模拟的一个或多个虚拟对象的一个或多个特征。例如,XR***可以检测人的头部移动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。又如,XR***可以检测呈现XR环境的电子设备(例如,移动电话、平板计算机、膝上型计算机等)的移动,并且作为响应,以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),XR***可响应于物理运动的表示(例如,声音命令)来调节XR环境中图形内容的特征。
人可以利用其感觉中的任一者来感测XR对象和/或与XR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中,人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还结合来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。
在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子***可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,***可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如,用于呈现AR环境的电子***可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该***可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该***感知叠加在物理环境之上的虚拟对象。或者,***可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用***经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着***使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,***可以具有投影***,该投影***将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该***感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,***可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
有许多不同类型的电子***使人能够感测和/或与各种XR环境交互。示例包括头戴式***、基于投影的***、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入***(例如,具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板计算机、以及台式/膝上型计算机。头戴式***可具有集成不透明显示器和一个或多个扬声器。另选地,头戴式***可被配置为接受外部不透明显示器(例如,智能电话)。头戴式***可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式***可具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的***可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影***也可以被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。
具体实施方式
在一些实例中,用户可能希望参与扩展现实(XR)体验(例如,使用虚拟现实(VR)、增强现实(AR)或混合现实(MR)),其中用户与沉浸式人工环境交互,使得用户感觉好像他们实际在那种环境中一样。例如,用户可通过VR***观看图像,从而感觉他们好像正从第一人称视角在场景内移动。类似地,混合现实(MR)可将计算机生成的数据(虚拟内容)与真实世界图像(或真实世界画面)组合,以增强用户看到的真实世界的画面,或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的画面组合。
为了与XR环境交互,用户可使用向用户显示XR环境的图像的计算设备。在一些实例中,产生XR环境可包括由用户使用的***(例如,头戴式显示器(HMD)、智能电话等)与帮助产生CGR环境的另一***之间的无线通信。然而,如果在那些***之间传播的信号受损(例如,通过那些***之间或附近的物理对象),则XR环境可能无法适当地渲染(例如,基站可能无法向计算设备提供XR图像)。在一些实例中,计算设备可具有导致音频和/或视频帧被丢弃或迟到的不良连接。例如,如果用户正在与另一个体参与虚拟参与并且用户的计算设备具有不良连接,则用户可能具有另一个体的低质量视图或者可能无法正确地听到它们。因此,用户可能对旨在沉浸式的XR环境具有较差的体验。
本公开描述了用于识别物理环境中的区域的各种技术,其中可呈现XR体验的呈现计算设备可位于该物理环境中,以潜在地获得与辅助呈现计算设备的另一计算设备(例如基站)的合适的连接质量。这些技术还可用于识别可在呈现设备与另一辅助计算设备之间提供降级连接的区域。在以下描述的各种实施方案中,呈现设备与辅助基站无线地通信以便产生XR环境。在一些实施方案中,呈现设备收集关于呈现设备和基站所驻留的物理环境的环境信息。环境信息可包括关于什么物理对象存在于物理环境中以及它们驻留在何处的信息。基于该环境信息,呈现设备(和/或基站)可计算该环境内不同区域的分数。每一分数可指示当HMD位于对应于该分数的区域中时呈现设备与基站之间的连接质量。
在一些实施方案中,基于分数,呈现设备确定环境中定位呈现设备的区域(或位置),以便改善呈现设备与基站之间的无线通信,或者向用户提供足以用于用户参与的活动的连接质量。一旦呈现设备已确定区域,呈现设备就可向用户显示图像或产生引导用户通过环境到达该区域的其他感官反馈(例如,触觉响应)。在一些实施方案中,呈现设备还可产生指示用户在参与用户活动时应避免的区域的感官反馈。
这些技术可以是有利的,因为它们提供了一种方式来识别物理环境内的具有改善的或足够的连接质量的区域以使得用户能够具有更无缝的基于XR的体验。这些技术还可识别用户在参与某些基于XR的体验时应当避开的区域。例如,如果用户参与虚拟商务会议,则这些技术可识别其他人可能潜在地窃听用户会话的区域,并且因此用户可避开这样的区域。这些技术可优于简单地分析两个设备之间的连接强度的其他方法,该其他方法包括移动设备中的一个设备以测试物理环境内的不同位置处的连接强度。与该方法相比,本文所讨论的技术可使用相机和其他传感器来观看物理环境的一部分或全部以便评估该环境内的物理对象,使得可基于物理对象的属性以及它们如何影响传播信号来近似地确定特定位置处的连接强度。
现在转向图1,该图示出了用户105驻留在其中的示例性环境100的框图。在例示的实施方案中,环境100包括正在呈现与基站120进行无线通信的设备110的用户105。如进一步示出的,呈现设备110向用户105呈现识别强连接区域130、差连接区域140和不安全区域150的XR视图115。在一些实施方案中,环境100可被具体实施为与图示不同。例如,环境100可包括附加物理对象,诸如墙壁、桌子等。
在各种实施方案中,环境100是用户105可在没有呈现设备110帮助的情况下感测并与其交互的物理环境。环境100可对应于各种不同物理环境中的任一者,诸如起居室、办公空间、博物馆展览、公园等。环境100可包括各种物理对象中的任一者,诸如沙发、桌子、电视、雕像、动物、树木、长凳等。在一些实施方案中,当向用户105提供基于XR的体验时,呈现设备110将环境100的方面(诸如其物理对象)结合到该体验中。例如,当向用户105提供AR体验时,呈现设备110可捕获环境100的图像并随后在向用户105显示这些图像之前用虚拟对象来扩增这些图像。如下所述,当向用户105提供基于XR的体验时,呈现设备110可与基站120进行通信。然而,当与基站120进行无线通信时,环境100的物理对象可能对该通信造成干扰,这导致呈现设备110所提供的体验的降级。
在各种实施方案中,呈现设备110是被配置为向用户105显示内容(诸如XR视图115)的计算设备。在一些实施方案中,呈现设备110是佩戴在用户105的头部上的头戴式显示器(HMD),诸如耳麦、头盔、护目镜、眼镜、***外壳中的电话等。在其他实施方案中,诸如基于投影的***、形成为被设计成放置在用户眼睛上的透镜(例如,类似于隐形眼镜)的显示器等的不同设备可用于实现针对呈现设备110所描述的特征。在一些实施方案中,呈现设备110为另一形式的可佩戴设备,诸如手表、臂章、手镯、头戴式耳机等。在一些实施方案中,呈现设备110为头戴式耳机/耳机、扬声器阵列、输入***、智能电话、平板计算机和台式/膝上型计算机。在各种实施方案中,呈现设备110包括无线通信技术,诸如蓝牙技术,其允许呈现设备110与包括基站120的各种***通信和交换数据。在各种情况下,呈现设备110可使用无线通信技术作为提供其中基站120辅助产生XR视图115的XR体验的一部分。然而,在一些实施方案中,可在呈现设备110与基站120之间使用有线连接。
在各种实施方案中,呈现设备110被配置为向用户105提供各种体验中的任何体验。这种体验可包括基于XR的体验。例如,呈现设备110可提供共同在场体验,其中多个用户可在XR环境中个别地连接。如本文所用,术语“共同在场”是指共享XR体验,其中两个或更多个人可使用其相应呈现设备110彼此交互。又如,呈现设备110可提供其中用户在VR环境中执行活动的游戏体验。呈现设备110还可提供非基于XR的体验。例如,用户可使用呈现设备110来流传输可以三维或二维显示的媒体内容,诸如音乐或电影。为了促进这些各种体验的递送,呈现设备110可采用包括世界传感器和用户传感器的不同传感器的使用,这些传感器将参考图2更详细地描述。
在各种实施方案中,基站120是被配置为辅助产生由呈现设备110使用的内容(诸如促进XR视图115的渲染)的计算设备。基站120可以是或可包括任何类型的计算设备,诸如台式计算机、膝上型计算机、电话、平F-EF239036板计算机等。例如,基站120可以是用户的电话,其计算能力可由呈现设备110利用以生成当由呈现设备110渲染时产生XR视图115的帧。在各种实施方案中,基站120可包括各种类型的处理器(例如,SOC、CPU、GPU和/或其他部件)中的一者或多者,以及被配置为存储可由处理器执行的软件(例如,一个或多个VR应用程序)和在软件在基站120上执行时可由软件使用的数据的存储器。基站120可执行能够在虚拟世界中为用户105提供XR体验的VR应用程序。在VR应用程序的执行期间,基站120可生成用于XR体验的虚拟内容的帧。因此,基站120可将帧发送到呈现设备110以进行处理和显示,从而向用户105提供虚拟世界的XR视图115。在各种实施方案中,呈现设备110可在产生内容时与多个基站120连接,并且基站120中的每个基站可具有不同处理能力。例如,一个基站120可以是游戏控制台,而另一基站120可以是由用户105佩戴的智能手表。基站120还可与多个呈现设备110连接--例如,如果环境100中存在各自使用呈现设备110的多个用户105。
在一些实施方案中,基站120是不主动辅助产生用于渲染GCR视图115的内容的通信节点。例如,基站120可以是促进呈现设备110与其他计算设备(诸如正由处于不同环境100中的另一用户使用的另一呈现设备110)之间的通信的网络路由器或其他接入点设备。因此,基站120可促进将音频帧、视频帧和其他信息递送到呈现设备110以用于渲染XR视图115。
在例示的实施方案中,基站120位于环境100的前部附近,而呈现设备110位于环境100的背部附近的用户105上。在例示的实施方案中,在基站120与呈现设备110之间是包括沙发和咖啡桌的一组物理对象。由于环境100中呈现设备110、基站120和该组物理对象的位置,在例示的实施方案中出现强连接区域130和差连接区域140。强连接区域130可对应于可放置呈现设备110以向呈现设备110提供满足(即,符合或超过)指定阈值的到基站120的连接质量的区域。例如,特定的XR体验可能需要实现一定量的网络带宽。因此,强连接区域130可以是可放置呈现设备110以实现(符合或超过)该网络带宽量的区域。相比之下,差连接区域140可以是在呈现设备110位于其中的情况下呈现设备110没有实现满足指定阈值的连接质量的区域。如贯穿本公开所讨论的,可针对环境100内的不同区域计算连接分数。可存在一定范围的分数,并且因此存在一定范围的具有不同连接质量的区域。这些不同的区域可被不同地呈现给用户105,使得用户105可在它们之间进行选择。例如,可存在被认为是强连接区域130的两个区域,但是它们中的一者可具有更好的连接质量。因此,例如,“更好的”区域可比其他区域呈现更鲜艳的颜色。
不安全区域150也出现在例示的实施方案中。不安全区域150可对应于被识别为对用户105参与的体验有潜在问题但不涉及连接质量的区域。例如,如果用户正在进行商务会议,则不安全区域150可以是与环境100内的打开窗口旁边的区域。站在打开窗口旁边,用户105的会话可能被其他人无意中听到,这可能是用户105不期望的。因此,不安全区域150可对应于用户105可能希望避开的打开窗口旁边的区域。
为了设备区域130、140和150,在各种实施方案中,呈现设备110收集各种类型的信息,这些信息可包括网络信息(例如,关于信道拥塞、接收信号强度指示符(RSSI)、延迟、吞吐量等的信息)、视觉信息、以及音频信息。例如,呈现设备110可识别环境100中的物理对象,使得其可确定那些对象影响呈现设备110与基站120之间的网络连接的程度。如参考图2更详细讨论的,呈现设备110可包括各种类型的传感器,诸如可捕捉环境100的视频信息的一个或多个可见光相机。
在各种实施方案中,使用为环境100收集的信息,呈现设备110计算(在一些实例中在基站120的辅助下)环境100内的不同区域的连接分数。例如,呈现设备110可确定在呈现设备110与基站120之间存在沙发,如例示的实施方案中所示。呈现设备110还可确定沙发由合理地减弱通过沙发传播的信号的材料制成。因此,呈现设备110可将较低分数分配给信号必须通过沙发传播以到达基站120且反之亦然以到达呈现设备110的区域。因此,呈现设备110可确定在例示的实施方案中所示的强连接区域130和差连接区域140。
在计算不同区域的连接分数之后,在各种实施方案中,呈现设备110向用户105提供那些分数的指示。例如,呈现设备110可提供视觉指示,诸如XR视图115中的绿色浮动球用于强连接区域130,而红色浮动球用于弱连接140。响应于被呈现这些指示,用户105可决定移动到强连接区域130。在一些实例中,呈现设备110可提供使得用户105能够移动到指定区域(诸如强连接区域130)而不以不期望的方式与环境100的物理对象交互(例如,移动到沙发中)的路线。
现在转向图2,该图示出了包括在呈现设备110中的示例性传感器的框图。在例示的实施方案中,呈现设备110包括可辅助渲染XR视图115的世界传感器210和用户传感器220。此外,如图所示,呈现设备110和基站120经由连接230进行无线通信。在一些实施方案中,呈现设备110可被具体实施为与图示不同。例如,呈现设备110可不包括用户传感器220。
在各种实施方案中,世界传感器210是被配置为收集关于用户105在其中佩戴呈现设备110的环境100的各种信息的传感器。在一些实施方案中,世界传感器210可包括捕获环境100的视频信息的一个或多个可见光相机。该信息可用于提供环境100的虚拟视图、检测环境100中的物理对象和表面、提供环境100中的对象和表面的深度信息、提供环境100中的用户105的位置(例如,位置和取向)和运动(例如,方向和速度)信息等,呈现设备110可包括位于呈现设备110的前表面上的基本上在用户105的每只眼睛前方的位置处的左相机和右相机。在又其他实施方案中,更多或更少的相机可用于呈现设备110中并且可定位在其他位置处。
在一些实施方案中,世界传感器210包括捕获在环境100中的物理对象和表面的深度信息或范围信息的一个或多个世界映射传感器(例如,具有IR照明源的红外(IR)传感器或光检测和测距(LIDAR)发射器和接收器/检测器)。该范围信息可与由相机捕获的帧结合使用,以检测和识别真实世界环境中的对象和表面,并且确定对象和表面相对于用户105的当前位置和运动的位置、距离和速度。该范围信息还可用于将待合成为虚拟环境的物理对象的虚拟表示定位在正确的深度处。在各种实施方案中,该范围信息可用于检测与真实世界对象和表面碰撞以重定向用户步行的可能性。在一些实施方案中,世界传感器210可包括捕获环境100中的照明信息(例如,方向、颜色和强度)的一个或多个光传感器(例如,在呈现设备110的前部和顶部上)。该信息可用于改变呈现设备110中的显示***的亮度和/或颜色。
在各种实施方案中,用户传感器220是被配置为使用呈现设备110收集关于用户105的各种信息的传感器。在一些实施方案中,用户传感器220可包括一个或多个头部姿势传感器(例如,IR或RGB相机),该一个或多个头部姿势传感器可捕获关于用户105和/或用户105的头部的位置和/或运动的信息。由头部姿势传感器收集的信息可用于确定如何渲染和显示虚拟环境的GCR视图115和那些视图内的内容。例如,无论用户105头部当前是否正在走过环境等等,都可至少部分地基于用户105的头部的位置来渲染环境的不同视图115。又如,增强的位置和/或运动信息可用于相对于环境的背景视图将虚拟内容合成到固定位置中的场景中。在一些实施方案中,可存在位于呈现设备110的前表面或顶表面上的两个头部姿势传感器;然而,在其他实施方案中,可使用更多(或更少)头部姿势传感器且可定位在其他位置处。
在各种实施方案中,呈现设备110包括用于与基站120建立网络连接230的一个或多个网络接口。可使用任何合适的网络通信协议来建立网络连接230,包括无线协议诸如
Figure BDA0004133923430000121
、长期演进TM等,或有线协议诸如以太网、光纤信道、通用串行总线TM(USB)等。在一些实施方案中,网络连接230可根据在呈现设备110与基站120之间提供高度定向无线链路的专有无线通信技术(例如,60千兆赫(GHz)无线技术)来实现。在一些实施方案中,呈现设备110被配置为基于接口的连接性以及由呈现设备110递送的特定用户体验来在不同的可用网络接口之间进行选择。例如,如果特定用户体验需要大量带宽,则呈现设备110可在与基站120进行无线通信时选择支持专有无线技术的无线电部件。然而,如果用户仅从基站120流传输电影,则/>
Figure BDA0004133923430000122
可能是足够的并且由呈现设备110来选择。在一些实施方案中,在例如带宽有限的情况下,呈现设备110使用压缩形式来通过网络连接230进行通信。
呈现设备110可经由连接230向基站120传输由传感器210和220收集的信息中的至少一些。基站120可基于从传感器210和250获得的各种信息来渲染VR帧,压缩帧,并且经由连接230将它们传输到呈现设备110以显示给用户105。那些帧可由呈现设备110显示给用户105以便促进XR视图115的呈现。在其他情况下,呈现设备110可在没有基站120辅助的情况下本地处理所收集的信息以产生帧。在各种实施方案中,由世界传感器210检测到的真实世界对象的虚拟表示可被叠置在由呈现设备110提供的XR视图115上或合成在其中。
现在转向图3,该图示出了呈现设备110和基站120内的示例性部件的框图。在例示的实施方案中,除了上述世界传感器210和用户传感器220之外,呈现设备110还包括显示***310、控制器320、存储器330和网络接口340。如图所示,基站120包括控制器350、存储器360和网络接口370。在一些实施方案中,呈现设备110和基站120可被具体实施为与图示不同。例如,呈现设备110可不包括用户传感器220。
在各种实施方案中,显示***310被配置为向用户显示所渲染的帧。显示***310可实现各种类型的显示技术中的任一者,其包括例如呈现左图像和右图像以创建三维视图(例如,XR视图115)的效果的近眼显示器。在各种实施方案中,近眼显示器可使用数字光处理(DLP)、液晶显示器(LCD)、硅基液晶(LCoS)或发光二极管(LED)。又如,显示***310可包括直接视网膜投影仪,该直接视网膜投影仪经由反射表面(例如,反射眼镜镜片)将包括左图像和右图像的帧逐像素地直接扫描到用户105的眼睛。为了在XR视图115中创建三维效果,在两个图像中的不同深度或距离处的对象作为距离的三角测量的函数向左或向右移位,其中较近的对象比较远的对象移位得更多。显示***310还可支持任何介质,诸如光学波导、全息图媒介、光学组合器、光学反射器,或它们的任意组合。在一些实施方案中,显示***310可以是透明或半透明的,并且被配置为选择性地变得不透明。
在各种实施方案中,控制器320包括被配置为促进呈现设备110的操作的电路。因此,控制器320可包括被配置为执行程序指令(诸如连接评估引擎335)的一个或多个处理器,以使呈现设备110执行本文所述的各种操作。这些处理器可以是被配置为实现任何合适的指令集架构的CPU,并且可被配置为执行在该指令集架构中定义的指令。例如,控制器320可包括实现多种指令集架构(ISA)(诸如ARM、x86、PowerPC、SPARC、RISC或MIPS ISA或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器***中,处理器中的每个处理器可共同实现相同的ISA,但不是必需的。控制器320可采用任何微架构,包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等,或它们的组合。控制器320可包括实现微码技术的电路。控制器320可包括一个或多个级别的高速缓存,该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中,控制器320可包括至少GPU,该GPU可包括任何合适的图形处理电路。通常,GPU可被配置为将待显示对象渲染到帧缓冲区中(例如,包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器,该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中,控制器320可包括用于处理和渲染视频和/或图像的一个或多个其他部件,例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中,控制器320可实现为片上***(SOC)。如所讨论的,呈现设备110可包括收集关于用户105的环境的信息(视频、深度信息、照明信息等)的世界传感器210以及收集关于用户105的信息(例如,用户的表情、眼睛移动等)的用户传感器220。传感器210和220可将所收集的信息提供给呈现设备110的控制器320以供处理。
在各种实施方案中,存储器330被配置为存储程序指令(例如,实现连接评估引擎335的程序指令)和可由控制器320中的处理器处理的数据。存储器330可包括任何类型的易失性存储器,诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本,诸如mDDR3等,或SDRAM的低功率版本,诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。存储器330还可以是任何类型的非易失性存储器,诸如NAND闪存存储器、NOR闪存存储器、纳米RAM(NRAM)、磁阻RAM(MRAM)、相变RAM(PRAM)、赛道存储器、忆阻器存储器。在一些实施方案中,一个或多个存储器设备可耦接到电路板上以形成存储器模块,诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地,这些设备可与实现***的集成电路在芯片堆叠构造、封装堆叠构造或多芯片模块构造中安装。
在各种实施方案中,网络接口340包括被配置为与外部实体诸如基站120通信的一个或多个接口。如上所述,网络接口340可支持任何合适的无线技术,诸如
Figure BDA0004133923430000141
长期演进TM等,或任何合适的有线技术,诸如以太网、光纤信道、通用串行总线TM(USB)等。在一些实施方案中,接口340可实现在呈现设备110与基站120之间提供高度定向无线连接230的专有无线通信技术(例如,60千兆赫(GHz)无线技术)。网络接口340可被配置为经由连接230与基站120通信以将传感器输入发送到基站120并且从基站120接收所渲染的帧。
在各种实施方案中,控制器350包括被配置为促进基站120的操作的电路。控制器350可实现上文相对于控制器320所述的任何功能。例如,控制器350可包括一个或多个处理器,该一个或多个处理器被配置为执行程序指令以使基站120执行本文所述的各种操作,诸如处理代码365以生成与XR视图115相关联的帧。处理代码365可包括一个或多个VR应用程序。
在各种实施方案中,存储器360被配置为存储由控制器350中的处理器执行的数据和程序指令。存储器360可包括任何合适的易失性存储器和/或非易失性存储器,诸如上文关于存储器330所述的那些。存储器360可以任何合适的配置来实现,诸如上文关于存储器330所述的那些配置。
在各种实施方案中,网络接口370包括被配置为与外部实体诸如呈现设备110以及其他基站120通信的一个或多个接口。网络接口37还可实现任何合适的技术,诸如上文相对于网络接口340所述的那些技术。
现在转向图4,该图示出了由呈现设备110接收的示例性环境信息的框图。在例示的实施方案中,环境100包括佩戴呈现设备110的用户105、基站120、已知对象422和未知对象424。此外,如图所示,呈现设备110接收网络信息410、视觉信息420和音频信息430。在一些实施方案中,环境100可与图示不同。例如,环境100可包括不同的对象422和424,诸如货架、树木、长凳等。
如所讨论的,呈现设备110可包括使得呈现设备110能够捕获关于环境100的不同类型的信息的各种传感器。呈现设备110(以及当辅助呈现设备110时的基站120)可使用该信息来确定有利于体验XR体验的强连接区域130和在XR体验期间应当避免的差连接区域140。
在各种实施方案中,网络信息410包括识别环境100内不同物理位置处的呈现设备110与基站120之间的无线电信号强度的信息。网络信息410可由呈现设备110的一组网络电路捕获,该组网络电路测量呈现设备110从基站120接收的网络信号的功率电平。无线电信号强度可以分贝毫瓦记录。例如,网络信息410可指示呈现设备110与基站120之间的无线电信号强度在呈现设备110位于沙发(在例示的实施方案中示出)后面时为大约-70dBm,而在呈现设备110位于该沙发前面时为大约-50dBm。为了收集网络信息410,用户105可将呈现设备110移动到环境100中的不同位置,使得呈现设备110可在那些位置处测量呈现设备110与基站120之间的网络信号的功率电平。在一些实施方案中,网络信息410可用于建立环境100中不同位置的连接强度的基本近似值。该近似值可基于使用视觉信息420识别的环境100中的物理对象的评估而被外推到其他位置。网络信息410可包括识别呈现设备110到基站120的连接的信道拥塞、延迟和吞吐量的附加信息。
在各种实施方案中,视觉信息420包括提供环境100中的物理布局和/或物理对象的视觉表示的信息。视觉信息420可由检测环境100中的物理对象和表面并为环境100中的那些对象和表面提供深度信息的一个或多个世界传感器210捕获。例如,视觉信息420可包括由具有IR照明源的红外(IR)传感器捕获的深度信息/范围信息以及由相机捕获的视频帧。该深度信息/范围信息可与那些视频帧结合使用以检测和识别环境100中的对象和表面。例如,可将在视频帧内识别的对象与已知对象的目录进行比较422,以确定那些识别的对象中的任何对象是否是已知的。因此,在各种实施方案中,呈现设备110(以及当辅助呈现设备110时的基站120)使用视觉信息420来识别已知对象422(例如,在目录内找到的对象)和未知对象424。
在各种实施方案中,音频信息430包括与环境100内发生的声音有关的信息。音频信息430可由呈现设备110的一组麦克风捕获,该组麦克风测量通过环境100传播的声音。例如,如例示的实施方案的右下方所示,两个个体正在进行对话。来自它们的对话的声音可传播,使得呈现设备110的麦克风检测到那些声音并测量它们的起源方向。因此,音频信息430可指示那些声音(例如,以分贝为单位的那些声音的强度)以及它们源自何处。在各种实施方案中,音频信息430可用于确定环境100内的不安全区域150。例如,如果音频信息430指示存在源自特定位置的人声,则呈现设备110可向用户105指示所述位置作为不安全区域150,使得如果用户105正在进行例如机密呼叫,则用户105可避开该位置。
现在转向图5,该图示出了示例性连接评估引擎335的框图。在例示的实施方案中,连接评估引擎335接收四个输入510并且产生三个输出520。如图所示,输入510包括网络信息410、视觉信息420、音频信息430和已知对象信息515,并且输出520包括视觉指示522、音频指示524和触觉指示526。在一些实施方案中,输入510和输出520可与图示不同。例如,连接评估引擎335可不接收音频信息430作为输入510。
在各种实施方案中,连接评估引擎335是可执行以识别环境100中的强连接区域130、差连接区域140和/或不安全区域150的软件例程的集合。为了识别那些不同的区域,连接评估引擎335可计算环境100中的各个位置的分数,并且基于落入限定范围内的那些分数,那些位置可被分类为强连接区域130或差连接区域140。连接评估引擎335可单独地确定是否将特定位置分类为不安全区域150。
为了计算环境100中不同位置的分数,在一些实施方案中,连接评估引擎335最初捕获环境100的环境信息,诸如视觉信息420和音频信息430。连接评估引擎335还可捕获网络信息410。除了捕获关于环境100的信息之外,在一些实施例中,连接评估引擎335从本地或外部数据库检索已知对象信息515,例如,已知对象信息515可由第三方维护。在各种实施方案中,已知对象信息515包括识别已知对象422的列表和关于那些对象的特定属性(例如,制成它们的材料)的信息。例如,已知对象信息515可包括零售商出售的椅子的目录。该目录可识别特定椅子是否由木材、皮革、塑料等制成。在各种实施方案中,已知对象信息515还可包括提供由特定材料引起的干扰的指示的信息。例如,已知对象信息515可指示砖块可对5GHz信号造成-15dBm的衰减。
在各种实施方案中,在捕获关于环境100的环境信息并检索已知对象信息515之后,连接评估引擎335计算环境100中不同位置的分数。为了计算特定位置的分数,连接评估引擎335可确定在该特定位置与基站120之间是否存在物理对象。在一些情况下,连接评估引擎335使用例如一组经训练的机器学习模型来分析环境100的图像(其被包括在视觉信息420中)。如果连接评估引擎335确定在特定位置与基站120之间存在物理对象,则连接评估引擎335可确定该物理对象是已知对象422还是未知对象424。为了进行该确定,在一些实施方案中,连接评估引擎335检查物理对象的图像和已知对象422的图像(其可被包括在已知对象信息515中)以确定物理对象是否匹配任何已知对象422。
如果物理对象是已知对象422,则连接评估引擎335可查找该对象的属性(例如,其材料)并且基于这些属性来确定由该物理对象引起的干扰量。例如,连接评估引擎335可确定物理对象对应于由木材制成的特定椅子,该椅子对由呈现设备110和基站120传输的信号造成近似量的衰减。在各种实例中,如果物理对象是未知对象424,则连接评估引擎335可尝试确定该对象由什么材料制成。例如,呈现设备110可包括可用于测量物理对象的折射率或热导率的世界传感器210(例如,激光器)。基于折射率或热导率,连接评估引擎335可确定物理对象的材料。连接评估引擎335随后可检索关于该材料的信息(例如,描述由该材料引起的衰减量的信息),如所讨论的。
基于由位于特定位置与基站120之间的物理对象引起的所确定的干扰量,连接评估引擎335可将分数分配给该特定位置。如果在呈现设备110与基站120之间传输的信号预期在特定位置处被合理地衰减,则连接评估引擎335可分配较低分数;否则,可将较高分数分配给该位置。在一些情况下,如果网络信息410指示与正在评估的特定位置在预定义距离内的位置的无线电信号强度,则连接评估引擎335可通过从另一位置外推无线电信号强度来计算特定位置的无线电信号强度。在各种情况下,连接评估引擎335可基于估计由特定位置与基站120之间的物理对象引起的衰减量来调整无线电信号强度。连接评估引擎335随后可基于调整后的无线电信号强度来计算分数。
在计算环境100内的位置的分数之后,在各种实施方案中,连接评估引擎335确定那些位置是否是强连接区域130还是差连接区域140。在一些情况下,可为每种类型的区域指定分数范围。因此,如果计算出的分数落在特定分数范围内,则相关位置可分类为相应区域。在一些实施方案中,在确定强连接区域130和差连接区域140之后,连接评估引擎335可生成视觉指示522、音频指示524和/或触觉指示526,并且将其呈现给用户105以便引导用户105朝向或离开特定区域。这些指示将参考图6更详细地讨论。
在一些实施方案中,信息被存储在基站120处,该信息识别由连接评估引擎335计算的分数以及环境100中的各个位置的分类。因此,当佩戴呈现设备110的用户105进入环境100时,该呈现设备110可从基站120检索信息,使得它不必执行环境100的评估。即,一个呈现设备110可评估环境100以识别强连接区域130和差连接区域140,并且可经由基站120直接地或间接地与其他呈现设备110共享该评估(例如,以映射的形式)。当呈现设备110检索对环境100的评估时,其可重新评估环境100以确定布局是否已改变。如果布局没有改变,则呈现设备110可使用先前的评估;否则,呈现设备110可更新评估。
除了标识环境100中的强连接区域130和差连接区域140之外,连接评估引擎335还可识别环境100中用户105在参与XR体验时可能希望避免的不安全区域150。例如,如果用户105正在进行共同在场商务会议,则用户105可能不希望其他用户窃听该会议。因此,在一些情况下,连接评估引擎335可分析视觉信息420和音频信息430以识别环境100中存在其他用户的区域。例如,如果音频信息430指示一组个体正在环境100的角落说话,则连接评估引擎335可将该角落分类为不安全区域150,并且向用户105提供在参与共同在场商务会议时避开该区域的指示。在一些情况下,连接评估引擎335可识别可能潜在地伤害用户105的物理对象(例如,地板上的小盒子)并且将包括那些物理对象的区域分类为不安全区域150。
现在转向图6,该图示出了包括视觉指示522A-C和音频指示524的示例性输出520的框图。如所讨论的,呈现设备110可生成并呈现指示522、524和526以向用户105识别强、差和不安全区域130、140和150。当呈现视觉指示522时,呈现设备110可用识别特定区域的虚拟可视化来增强环境100(或虚拟环境)的一组图像。如图所示,视觉指示522A是向下指向强连接区域130的箭头。因此,当用户105看到该箭头时,用户105可以选择向该箭头移动以到达该区域,以便改善呈现设备110与基站120之间的连接质量。在各种情况下,可能不存在到特定区域(诸如强连接区域130)的直线路径,即,在用户105与区域130之间存在沙发。呈现设备110可呈现沿路径引导用户105的视觉指示522。如图所示,视觉指示522B是围绕沙发朝向区域130弯曲的箭头。用户105可遵循视觉指示522B以避免撞到沙发上。视觉指示522的另一示例是视觉指示522C,其是围绕不安全区域150的云的视觉。因此,当用户105看到云区域时,用户105可选择避开该区域。在各种实施方案中,呈现设备110可向用户105提供音频指示524。如图所示,例如,音频指示524对应于经由呈现设备110的扬声器向用户105说出的短语“右转”。在各种实施方案中,呈现设备110可提供触觉指示526以引导用户105。例如,呈现设备110可振动用户105头部的右侧,作为用户105应当向右移动的指示。在各种实施方案中,呈现设备110可提供指示622、624和626的组合,包括除了所示出的指示之外的其他指示。例如,呈现设备110可向用户105提供视觉指示522B和音频指示524两者。
现在转向图7,该图示出了方法700的流程图。例如,方法700是由第一设备(例如,呈现设备110)执行以便提供用户可定位第一计算设备以改善与另一计算设备(例如,基站120)的连接质量的位置(例如,强连接区域130)的指示(例如,视觉指示522)的方法的一个实施方案。方法700可响应于用户开始XR体验、在XR体验期间、当用户带着第一计算设备进入房间时等来执行。在一些实施方案中,方法700可包括除所示之外的附加步骤。例如,第一计算设备可生成环境(例如,环境100)的映射并与另一计算设备(例如,另一呈现设备110)共享,以使另一设备能够确定其可能位于环境中的位置,从而改善其与第二计算设备之间的无线通信。
方法700开始于步骤710,其中第一计算设备收集与第一计算设备和第二计算设备所位于的环境(例如,环境100)的布局有关的环境信息(例如,网络信息410、视觉信息420、音频信息430和已知对象信息515)。该第一计算设备能够与该第二计算设备进行无线通信。在各种实施方案中,第一计算设备从耦接到第一计算设备的一个或多个相机(例如,世界传感器210)收集视觉信息(例如,视觉信息420)。视觉信息可包括环境的多个图像,这些图像可用于识别环境内干扰第一计算设备与第二计算设备之间的无线通信的一组物理对象(例如,已知对象422和未知对象424)。在一些情况下,响应于确定第一计算设备向环境中的移动(例如,用户在佩戴第一计算设备的同时走入环境中)来执行收集环境信息。在一些实施方案中,所述第一计算设备通过检索所述环境的先前生成的映射,所述先前生成的映射针对所述环境内的一组位置中的每个位置识别当所述第一计算设备物理地位于所述位置处时所述无线通信的连接质量。
在步骤720中,第一计算设备基于环境信息来确定环境内的位置(例如,强连接区域130)以定位第一计算设备,从而改善第一计算设备与第二计算设备之间的无线通信。第一计算设备可通过为环境内的相应的一组位置生成一组分数来确定位置。当第一计算设备物理地位于给定位置处时,给定位置的分数可指示无线通信的连接质量。在各种实施方案中,第一计算设备基于该组分数从该组位置中选择位置。在一些情况下,可基于将由第一计算设备提供给用户的体验的类型(例如,观看电影、在虚拟现实中交互等)来选择位置。该位置可被选择成使得该位置处的连接质量满足用于提供体验的最低连接质量。
在一些实施方案中,第一计算设备可通过基于环境信息来识别位于环境内的一组物理对象来确定位置。第一计算设备可针对该组物理对象中的每个物理对象来访问识别该物理对象的一组属性的属性信息,该属性信息可用于确定能够由该物理对象对第一计算设备与第二计算设备之间的无线通信造成的干扰量。然后,当第一计算设备位于该位置处时,第一计算设备可基于所确定的由该组物理对象引起的干扰量来识别该位置。
在步骤730中,第一计算设备向第一计算设备的用户提供位置的指示(例如,指示522、524和/或526)。在各种实施方案中,第一计算设备被配置为通过用虚拟可视化来增强环境的图像来产生呈现混合现实的图像。因此,第一计算设备可通过用识别位置的虚拟可视化(例如,指示522A)来增强环境的一组图像并且使得第一计算设备的显示器向用户呈现该组增强图像来提供位置的指示。在一些情况下,第一计算设备可通过使得产生用于将用户的移动引导到位置的声音来提供对位置的指示。第一计算设备还可确定环境内的另一位置与关于第一计算设备在该另一位置处的使用的一组安全危害相关联。因此,第一计算设备可向用户提供另一位置的指示。
现在转向图8,该图示出了方法800的流程图。例如,方法800是由第一计算设备(例如,呈现设备110)执行以便提供用户可定位第一计算设备以改善与另一计算设备(例如,基站120)的连接质量的位置(例如,强连接区域130)的指示(例如,视觉指示522)的方法的一个实施方案。在一些实施方案中,方法800可包括除了所示的步骤之外的附加步骤。
方法800开始于步骤810,其中第一计算设备收集与第一计算设备和第二计算设备所位于的物理环境有关的环境信息(例如,网络信息410、视觉信息420、音频信息430和已知对象信息515)。在各种实施方案中,第一计算设备包括被配置为捕获物理环境的图像的一个或多个相机(例如,世界传感器210)。因此,第一计算设备可通过使用一个或多个相机捕获物理环境的一组图像来收集环境信息。
在步骤820中,第一计算设备基于环境信息来确定物理环境内放置第一计算设备的位置是否满足第一计算设备与第二计算设备之间的无线连接的连接质量阈值。这种确定可包括基于使用一个或多个相机捕获的该组图像识别一个或多个对象,并且估计当第一计算设备放置在位置处时将由一个或多个对象引起的对无线连接的干扰。
在步骤830中,第一计算设备响应于确定位置满足连接质量阈值而向用户提供位置的指示。在各种实施方案中,第一计算设备包括被配置为向用户呈现物理环境的图像的头戴式显示器(HMD)。因此,第一计算设备可通过增强物理环境的一组图像以包括指示位置的虚拟元素并使HMD将该组图像呈现给用户来提供指示。在一些实施方案中,第一计算设备包括被配置为提供触觉反馈的一个或多个基于触觉的传感器。因此,第一计算设备可通过使一个或多个基于触觉的传感器向用户提供指示位置的触觉反馈来提供指示。
现在转向图9,该图示出了方法900的流程图。例如,方法900是由计算机***(例如,呈现设备110或基站120)执行以便提供用户可定位第一计算设备以改善与另一计算设备的连接质量的位置(例如,强连接区域130)的指示的方法的一个实施方案。在一些实施方案中,方法900可包括比示出的更多的附加步骤。
方法900开始于步骤910,其中计算机***访问与物理环境(例如,环境100)的布局有关的环境信息(例如,网络信息410、视觉信息420、音频信息430和已知对象信息515)。计算机***可通过获得由第一计算设备的一个或多个相机捕获的物理环境的一组图像来访问环境信息。
在步骤920中,计算机***基于环境信息来确定环境内的位置以定位第一计算设备,从而改善第一计算设备与第二计算设备之间的无线连接。计算机***可基于该组图像以通过使用在包括一个或多个物理对象的多个对象上训练的一组神经网络来识别物理环境内的一个或多个物理对象来确定位置。计算机***还确定由一个或多个所识别的物理对象引起的对无线连接的一组影响。在步骤930中,计算机***提供位置的指示以供第一计算设备显示。
示例性计算机***
现在转向图10,该图描绘了可实现呈现设备110和/或基站120的示例性计算机***1000的框图。计算机***1000包括处理器子***1080,该处理器子***经由互连器1060(例如,***总线)耦接到***存储器1020和I/O接口1040。I/O接口1040耦接到一个或多个I/O设备1050。计算机设备1000可以是各种类型的设备中的任一种,包括但不限于服务器***、个人计算机***、台式计算机、膝上型或笔记本计算机、大型计算机***、平板计算机、手持计算机、工作站、网络计算机、消费者设备诸如移动电话、音乐播放器或个人数据助理(PDA)。虽然为方便起见在图10中示出了单个计算机***1000,但***1000也可被实现为一起操作的两个或更多个计算机***。
处理器子***1080可包括一个或多个处理器或处理单元。在计算机***1000的各种实施方案中,处理器子***1080的多个实例可耦接到互连器1060。在各种实施方案中,处理器子***1080(或1080内的每个处理器单元)可包含高速缓存或其他形式的板上存储器。
***存储器1020能用于存储能被处理器子***1080执行以使***1000执行本文所述的各种操作的程序指令。***存储器1020可利用不同的物理存储器介质来实施,诸如硬盘存储装置、软盘存储装置、可移动磁盘存储装置、闪存存储器、随机存取存储器(RAM—SRAM、EDO RAM、SDRAM、DDR SDRAM、RAMBUS RAM等)、只读存储器(PROM、EEPROM等)等。计算机***1000中的存储器不限于主存储装置,诸如存储器1020。相反,计算机***1000也可包括其他形式的存储装置,诸如处理器子***1080中的高速缓存存储器和I/O设备1050上的辅助存储装置(例如,硬盘驱动器、存储阵列等)。在一些实施方案中,这些其他形式的存储设备也可存储能够被处理器子***1080执行的程序指令。在一些实施方案中,当被执行时实现连接评估引擎335的程序指令可被包括/存储在***存储器1020内。
根据各种实施方案,I/O接口1040可以是被配置为耦接到其他设备和与其他设备进行通信的各种类型的接口中的任一者。在一个实施方案中,I/O接口1040是从前端总线到一个或多个后端总线的桥接芯片(例如,南桥)。I/O接口1040可经由一个或多个对应的总线或其他接口耦接到一个或多个I/O设备1050。I/O设备1050的示例包括存储设备(硬盘驱动器、光盘驱动器、可移除闪存驱动器、存储阵列、SAN、或其相关联控制器)、网络接口设备(例如,到局域网或广域网)、或其他设备(例如,图形、用户接口设备等)。在一个实施方案中,计算机***1000经由(例如,被配置为通过Wi-Fi、蓝牙、以太网等进行通信的)网络接口设备1050耦接到网络。
***
尽管上文已经描述了具体实施方案,但这些实施方案并非要限制本公开的范围,即使仅相对于特定特征描述单个实施方案的情况下也是如此。本公开中提供的特征示例意在进行例示,而非限制,除非做出不同表述。上述说明书意在涵盖此类替代形式、修改形式和等价形式,这对知晓本公开有效效果的本领域技术人员将是显而易见的。
本公开的范围包括本文(明确或暗示)公开的任意特征或特征的组合或其任意概括,而无论其是否减轻本文解决的任何或所有问题。因此,在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地,参考所附权利要求书,可将从属权利要求的特征与独立权利要求的特征进行组合,并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。

Claims (20)

1.一种具有在其上存储的程序指令的非暂态计算机可读介质,所述程序指令能够执行以使第一计算设备执行包括以下项的操作:
收集与所述第一计算设备和第二计算设备所位于的环境的布局有关的环境信息,其中所述第一计算设备与所述第二计算设备无线通信;
基于所述环境信息来确定所述环境内的位置以定位所述第一计算设备来改善所述无线通信;以及
向所述第一计算设备的用户提供所述位置的指示。
2.根据权利要求1所述的介质,其中收集环境信息包括:
从耦接到所述第一计算设备的一个或多个相机收集视觉信息,其中所述视觉信息包括所述环境的多个图像,并且其中所述多个图像能够用于识别所述环境内干扰所述无线通信的一组物理对象。
3.根据权利要求1所述的介质,其中所述收集是响应于确定所述第一计算设备到所述环境中的移动而执行的,并且其中所述收集包括:
检索所述环境的先前生成的映射,所述先前生成的映射针对所述环境内的一组位置中的每个位置识别当所述第一计算设备物理地位于所述位置处时所述无线通信的连接质量。
4.根据权利要求1所述的介质,其中确定所述位置包括:
为所述环境内的相应的一组位置生成一组分数,其中所述一组分数中用于给定位置的分数指示当所述第一计算设备物理地位于所述给定位置处时所述无线通信的连接质量;以及
基于所述一组分数来从所述一组位置中选择所述位置。
5.根据权利要求4所述的介质,其中所述位置是基于将由所述第一计算设备提供给所述用户的体验的类型来选择的,其中所述体验的所述类型与用于提供所述体验的最低连接质量相关联。
6.根据权利要求4所述的介质,还包括:
生成识别所述相应的一组位置的所述一组分数的所述环境的映射;以及
与另一计算设备共享所生成的所述环境的映射以使得所述另一计算设备能够确定所述环境内的位置来定位所述另一计算设备,从而改善所述另一计算设备与所述第二计算设备之间的无线通信。
7.根据权利要求1所述的介质,其中确定所述位置包括:
基于所述环境信息来识别位于所述环境内的一组物理对象;
针对所述一组物理对象中的每个物理对象,访问识别所述物理对象的一组属性的属性信息,所述属性信息能够用于确定能够由所述物理对象对所述第一计算设备与所述第二计算设备之间的所述无线通信造成的干扰量;以及
当所述第一计算设备位于所述位置处时,基于所确定的由所述一组物理对象引起的干扰量来识别所述位置。
8.根据权利要求1所述的介质,还包括:
确定所述环境内的另一位置与关于所述第一计算设备在所述另一位置处的使用的一组安全危害相关联;以及
向所述用户提供所述另一位置的指示。
9.根据权利要求1所述的介质,其中所述第一计算设备被配置为通过用虚拟可视化来增强所述环境的图像来产生呈现混合现实的图像,并且其中提供所述位置的所述指示包括:
用标识所述位置的虚拟可视化来增强所述环境的一组图像;以及
使得所述第一计算设备的显示器向所述用户呈现所述一组增强图像。
10.根据权利要求1所述的介质,其中提供所述位置的所述指示包括使得产生用于将所述用户的移动引导到所述位置的声音。
11.一种第一计算设备,包括:
网络电路,所述网络电路被配置为与第二计算设备建立无线连接;
至少一个处理器;和
存储器,所述存储器具有存储在其上的程序指令,所述程序指令能够由所述至少一个处理器执行以使所述第一计算设备执行包括以下项的操作:
收集与所述第一计算设备和所述第二计算设备所位于的物理环境有关的环境信息;
基于所述环境信息来确定所述物理环境内放置所述第一计算设备的位置是否满足所述第一计算设备与所述第二计算设备之间的所述无线连接的连接质量阈值;以及
响应于确定所述位置满足所述连接质量阈值而向用户提供所述位置的指示。
12.根据权利要求11所述的第一计算设备,还包括:
一个或多个相机,所述一个或多个相机被配置为捕获所述物理环境的图像,其中收集环境信息包括使用所述一个或多个相机来捕获所述物理环境的一组图像。
13.根据权利要求12所述的第一计算设备,其中所述确定包括:
基于使用所述一个或多个相机捕获的所述一组图像来识别一个或多个对象;以及
估计当所述第一计算设备被放置在所述位置处时将由所述一个或多个对象引起的对所述无线连接的干扰。
14.根据权利要求11所述的第一计算设备,还包括:
头戴式显示器(HMD),所述头戴式显示器被配置为向所述用户呈现所述物理环境的图像,其中提供所述指示包括:
增强所述物理环境的一组图像以包括指示所述位置的虚拟元素;以及
使所述HMD将所述一组图像呈现给所述用户。
15.根据权利要求11所述的第一计算设备,还包括:
一个或多个基于触觉的传感器,所述一个或多个基于触觉的传感器被配置为提供触觉反馈,其中提供所述指示包括:
使得所述一个或多个基于触觉的传感器向所述用户提供指示所述位置的触觉反馈。
16.一种方法,包括:
访问与物理环境的布局有关的环境信息;
基于所述环境信息来确定所述物理环境内的位置以定位第一计算设备,从而改善所述第一计算设备与第二计算设备之间的无线连接;以及
提供所述位置的指示以供所述第一计算设备显示。
17.根据权利要求16所述的方法,其中所述方法由所述第一计算设备执行。
18.根据权利要求16所述的方法,其中所述方法由所述第二计算设备执行。
19.根据权利要求16所述的方法,其中访问环境信息包括:
获得由所述第一计算设备的一个或多个相机捕获的所述物理环境的一组图像。
20.根据权利要求19所述的方法,其中确定所述位置包括:
基于所述一组图像,使用在包括一个或多个物理对象的多个对象上训练的一组神经网络来识别所述物理环境内的所述一个或多个物理对象;以及
确定由所述一个或多个识别的物理对象引起的对所述无线连接的一组影响。
CN202180064213.9A 2020-09-24 2021-07-15 连接评估*** Pending CN116194792A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063083085P 2020-09-24 2020-09-24
US63/083,085 2020-09-24
US17/320,178 US20220095123A1 (en) 2020-09-24 2021-05-13 Connection assessment system
US17/320,178 2021-05-13
PCT/US2021/041881 WO2022066266A1 (en) 2020-09-24 2021-07-15 Connection assessment system

Publications (1)

Publication Number Publication Date
CN116194792A true CN116194792A (zh) 2023-05-30

Family

ID=80741214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064213.9A Pending CN116194792A (zh) 2020-09-24 2021-07-15 连接评估***

Country Status (4)

Country Link
US (1) US20220095123A1 (zh)
EP (1) EP4176644A1 (zh)
CN (1) CN116194792A (zh)
WO (1) WO2022066266A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11996096B2 (en) * 2021-05-19 2024-05-28 TRANSFR Inc. Systems and methods for providing programmable, personalized, and conversational coaching in extended reality learning experience

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0409617D0 (en) * 2004-04-30 2004-06-02 Ibm A method and system for determining the location of an improved carrier signal
US7706811B2 (en) * 2006-09-19 2010-04-27 Broadphone Llc Signal comparison-based location determining method
EP2572544A4 (en) * 2010-05-19 2017-01-18 Nokia Technologies Oy Physically-constrained radiomaps
US9008859B2 (en) * 2010-12-22 2015-04-14 Microsoft Technology Licensing, Llc Navigation instructions using low-bandwidth signaling
US20140148196A1 (en) * 2012-11-25 2014-05-29 Amir Bassan-Eskenazi Locaiton determination in an indoor space
US9357348B2 (en) * 2013-01-29 2016-05-31 Tile, Inc. Systems and methods for locating a tracking device
US9992690B2 (en) * 2013-10-11 2018-06-05 Textron Innovations, Inc. Placed wireless instruments for predicting quality of service
US10244413B2 (en) * 2015-02-20 2019-03-26 Tempo Communications, Inc. System and method for generating a graphic illustration of wireless network performance
GB2554671B (en) * 2016-09-30 2019-02-20 British Telecomm WLAN Extender placement
US10664502B2 (en) * 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10514264B2 (en) * 2017-06-09 2019-12-24 Alarm.Com Incorporated System and method for aiding responses to an event detected by a monitoring system
DE102017126861A1 (de) * 2017-11-15 2019-05-16 Innogy Innovation Gmbh Verfahren und Vorrichtung zur Positionsbestimmung
US20200265644A1 (en) * 2018-09-12 2020-08-20 Limited Liability Company "Transinzhkom" Method and system for generating merged reality images
US11165599B2 (en) * 2018-09-24 2021-11-02 International Business Machines Corporation Cognitive component selection and implementation
US10516999B1 (en) * 2018-10-11 2019-12-24 Verizon Patent And Licensing Inc. Systems and methods for self-organizing network provisioning based on signal path image
US11082861B2 (en) * 2018-11-26 2021-08-03 Charter Communications Operating, Llc Methods and apparatus for facilitating configuration, testing and/or deployment of a wireless system including a wireless extender
US11429113B2 (en) * 2019-08-08 2022-08-30 Lg Electronics Inc. Serving system using robot and operation method thereof
US11743723B2 (en) * 2019-09-16 2023-08-29 Microstrategy Incorporated Predictively providing access to resources
CN116097667A (zh) * 2020-08-04 2023-05-09 三星电子株式会社 通过使用uwb和ar来搜索丢失装置的方法及其设备

Also Published As

Publication number Publication date
WO2022066266A1 (en) 2022-03-31
US20220095123A1 (en) 2022-03-24
EP4176644A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
US11765318B2 (en) Placement of virtual content in environments with a plurality of physical participants
US12003890B2 (en) Environment for remote communication
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
WO2021143574A1 (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
US20220095123A1 (en) Connection assessment system
CN113260954B (zh) 基于人工现实的用户群组
US11887249B2 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
US11715271B2 (en) XR preferred movement along planes
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的***
US20230334794A1 (en) Presenting Communication Data Based on Environment
US20240037886A1 (en) Environment sharing
US12015758B1 (en) Holographic video sessions
US20230262406A1 (en) Visual content presentation with viewer position-based audio
US20230067584A1 (en) Adaptive Quantization Matrix for Extended Reality Video Encoding
US20220148253A1 (en) Image rendering system and method
US20240078743A1 (en) Stereo Depth Markers
US20230334676A1 (en) Adjusting Display of an Image based on Device Position
US20230403386A1 (en) Image display within a three-dimensional environment
CN109313823A (zh) 信息处理装置、信息处理方法和程序
RUSSELL et al. Project Starline: A high-fidelity telepresence system
KR20240083777A (ko) 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination