CN110663011B - 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的***及方法 - Google Patents
基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的***及方法 Download PDFInfo
- Publication number
- CN110663011B CN110663011B CN201880033363.1A CN201880033363A CN110663011B CN 110663011 B CN110663011 B CN 110663011B CN 201880033363 A CN201880033363 A CN 201880033363A CN 110663011 B CN110663011 B CN 110663011B
- Authority
- CN
- China
- Prior art keywords
- information
- user
- real world
- persistence
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002688 persistence Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 65
- 238000012913 prioritisation Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 52
- 230000003993 interaction Effects 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 25
- 239000013598 vector Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 241000760358 Enodes Species 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 235000013361 beverage Nutrition 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000969 carrier Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
根据一些实施例的本文描述的***和方法可以基于对象在用户的视图内的预测的持久性来显示与对象有关的增强现实(AR)信息。在一些实施例中，如果预测的消失比某个阈值时间更早发生，则基于关于对象多久将从视图中消失的预测来区分AR信息的显示的优先级。根据一些实施例的本文描述的***和方法可扩展到混合现实(MR)***，并且提供了显示已经变得被遮蔽或已经从视图消失的对象的图像和/或显示与已经变得被遮蔽或已经从视图消失的对象相关的AR信息。
Description
相关申请的交叉引用
本申请是2017年5月23日递交的题为“基于用户视图中的真实生活对象的持久性而对AR信息进行优先化排序的***及方法(System and Method for Prioritizing ARInformation Based on Persistence of Real-Life Objects in the User's View)”的美国临时专利申请序列号62/510,099的正式申请，并且按照35U.S.C.§119(e)要求其权益，该美国临时专利申请通过引用而被整体并入本案。
背景技术
增强现实(AR)界面向用户呈现与用户的视图内存在的某一真实生活(真实世界)对象有关的信息。混合现实(MR)界面以将虚拟对象与真实世界的视图组合的方式向用户呈现信息。利用MR显示，一些对象是真实的，而一些对象是虚拟的；另外，还可显示关于现实对象和/或虚拟对象的一些AR信息。
发明内容
根据一些实施例的本文描述的***和方法可以基于对象在用户的视图内的预测的持久性来显示与该对象有关的增强现实(AR)信息。在一些实施例中，如果预测的消失比某个阈值时间更早发生，则基于关于对象多久将从视图中消失的预测来优先化排序(prioritize)AR信息的显示。根据一些实施例的本文描述的***和方法可扩展到混合现实(MR)***，并且提供了显示已经变得被遮蔽或已经从视图消失的对象的图像和/或显示与已经变得被遮蔽或已经从视图消失的对象相关的AR信息。
在一些实施例中，一种基于用户的视图内的对象持久性来对AR信息优先化排序的方法可以包括：接收场景信息；接收多个AR配对(pair)，每个AR配对包括对象的标识和与所标识的对象相关联的AR信息；确定所述多个AR配对中的对象的持久性；基于所述对应对象的所述所确定的持久性值来优先化排序对象的AR信息的显示；以及将利用优先化排序AR信息增强的信息发送到显示器。
在一些实施例中，确定持久性值可以包括确定每个对象可以在用户的视图内持续多久，或者确定对象的速度和对象的可见性。确定对象的速度可以包括执行对该对象的运动跟踪。确定持久性值可以包括基于对象的坐标、对象的速度和所接收的场景信息的边界来确定该对象将在用户的视图中持续多久。在一些实施例中，确定持久性值可以使用运动模型的直线，或者使用历史运动来预测未来运动。持久性值可以被确定为达到阈值预测时限，在一些实施例中，该阈值预测时限可以是30秒。在一些实施例中，确定持久性值可以包括预测对象的运动线中的点和/或显示在该对象的所述运动线中的预测点。作为确定持久性值的一部分，可以确定所述对象的所述运动线中的所述预测点的可见性。在一些实施例中，确定持久性值可以包括确定对象的遮挡。在一些实施例中，确定多个AR配对中的对象的持久性可包括将所述多个AR配对发送到持久性确定器；以及接收所确定的所述多个AR配对中的对象的持久性。
在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短的预测持久性的对象的AR信息。在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短但比第二阈值长的预测持久性的对象的AR信息。对AR信息的显示进行优先化排序可以包括确定是否已经显示对象的AR信息；以及响应于确定已经显示所述对象的AR信息，不再次显示所述对象的AR信息。对AR信息的显示进行优先化排序可以包括向AR配对指派优先化排序分数；以及在显示与具有较低优先化排序分数的配对相对应的AR信息之前，显示与具有较高优先化排序分数的配对相对应的AR信息。对AR信息的显示进行优先化排序可以包括突出显示该AR信息的显示，该显示利用与未被优先化排序的AR信息不同的字体大小或颜色。该方法的一些实施例可以进一步包括：响应于接收到所述场景信息，将所述场景信息发送到信息服务，并且其中接收多个AR配对包括从所述信息服务接收所述多个AR配对。接收场景信息可包含利用场景传感器感测场景信息。并且在一些实施例中，场景信息可以包括点云。
在一些实施例中，一种基于用户的视图内的对象持久性来对AR信息优先化排序的方法可包含跟踪多个真实世界对象的运动；基于对所述对象的所述跟踪，预测每个对象可能在所述用户的视野中持续多久；以及针对具有较短的预测持久性的那些对象，对AR信息的显示进行优先化排序，其中对该AR信息的显示进行优先化排序包括首先显示。
在一些实施例中，一种***可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行本文公开的方法。一种***可进一步包括显示器和场景传感器。
附图说明
通过以下结合附图以示例性方式给出的以下详细描述，可以得到更详细的理解。此外，附图中相同的附图标记表示相同的元素，并且其中：
图1A是示出了其中可以实施一个或多个公开的实施例的示例性通信***的***图。
图1B是示出了根据一些实施例的可在图1A中所示的通信***内使用的示例性无线发射/接收单元(WTRU)的***图。
图1C是示出了根据一些实施例的可在图1A中所示的通信***内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的***图。
图1D是示出了根据一些实施例的可在图1A中所示的通信***内使用的另一示例性RAN和另一示例性CN的***图。
图1E示出了根据一些实施例的可以执行本文所公开的方法的网络实体。
图2是根据一些实施例的基于用户的视图内的对象的持久性来对增强现实(AR)信息进行优先化排序的方法的消息流程图。
图3是根据一些实施例的基于用户的视图内的对象的持久性来对AR信息进行优先化排序的方法的消息序列图。
图4A-4B是示出可在某些实施例中使用的用于持久性确定的基础的用户视图序列。
图5是如可以在一些实施例观察到的具有多个对象的AR信息的用户视图的图示。
图6是根据一些实施例的针对MR***对AR信息进行优先化排序和处理中断的方法的消息流程图。
图7是根据一些实施例的针对MR***用于创建MR呈现(其可以包括AR信息)和处理中断的消息序列图。
图8A-8D是如可以在一些实施例观察到的在各种条件下实际和虚拟对象的MR用户视图的图示。
图9A-9D是示出示例AR信息文本内的用户注视的示例位置的图示。
图10A-10C是如可以在一些实施例观察到的在各种情况下具有移动对象的MR用户视图的图示。
图11A-11C是如可以在一些实施例观察到的涉及计算对象的位移或布置的MR用户视图的图示。
图12A-12B是如可以在一些实施例观察到的对象被遮蔽的情况的AR/MR用户视图。
图13A-13B是如可以在一些实施例中观察到的对象移出视图的情况的AR/MR用户视图。
图14A-14E是如可以在一些实施方式观察到的各种情况中的抬头(heads-up)AR显示的图示。
在各个附图中描述的以及与各个附图结合的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，任何和所有陈述、或关于特定附图描绘什么、特定附图中的特定元件或实体是什么或具有什么的其它指示、以及任何和所有类似陈述，其可能会孤立地和在上下文之外被理解为绝对的并且因此是限制性的，但在本文中其仅可以在其之前结构性地存在诸如“在至少一些实施例中，...”的条款的情况下方能被适当地理解。出于呈现的简洁和清楚，该隐含的主导条款并未被不重复，除非在附图的详细描述中指出。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，这些细节旨在是示例性的，而不以任何方式限制本申请的范围。
用于实现实施例的示例性网络
图1A是示出了可以实施一个或多个所公开的实施例的例示通信***100的示图。该通信***100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入***。该通信***100可以通过共享包括无线带宽在内的***资源而使多个无线用户能够接入此类内容。举例来说，通信***100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信***100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。举例来说，所述客户端设备102a被描绘为蜂窝式电话；所述客户端设备102b被描绘为用于3D增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)显示的HMD；客户端设备102C被描绘为台式计算机；并且所述客户端设备102d被描述为平板计算机。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
所述通信***100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信***100可以是多址接入***，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信***(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。在实施例中，基站114a和WTRU102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备***。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
所述通信***100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了例示WTRU 102的***图示。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位***(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、增强现实、虚拟现实和/或混合现实(AR/VR/MR)设备、以及活动***等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了根据实施例的RAN 104和CN 106的***图示。如上所述，RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B162a、162b、162c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B160a可以使用多个天线来向WTRU 102a发射无线信号，和/或以及接收来自WTRU 102a的无线信号。
每一个e节点B160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示，e节点B160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B160a、160b、160c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如IP多媒体子***(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。在典型实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式***(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11***中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN***(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN***包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了根据实施例的RAN 113和CN 115的***图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B160a、160b、160c进行通信。在非独立配置中，e节点B160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU或UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子***服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN 185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
图1E描绘了可以在本公开的实施例中使用的示例性网络实体190，例如作为AR或MR管理器或作为UE。如图1E所示，网络实体190包括通信接口192、处理器194和非暂时性数据存储装置196，所有这些通过总线、网络或其他通信路径198通信地链接。
通信接口192可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，通信接口192可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口192可以包括多个组件，诸如一个或多个天线、被设计和配置用于一种或多种类型的无线(例如，LTE)通信的一个或多个收发信机/芯片组、和/或相关领域的技术人员认为合适的任何其他组件。并且进一步关于无线通信，通信接口192可以按比例配备并且具有适于在无线通信(例如，LTE通信、WiFi通信等)的网络侧(与客户端侧相对)上动作的配置。因此，通信接口192可以包括用于服务覆盖区域中的多个移动站、UE或其它接入终端的适当设备和电路(可能包括多个收发信机)。
处理器194可以包括相关领域的技术人员认为合适的任何类型的一个或多个处理器，一些示例包括通用微处理器、图形处理单元(GPU)和专用数字信号处理器(DSP)。数据存储装置196可以采取任何非暂时性计算机可读介质或这样的媒体的组合的形式，一些示例包括闪存、只读存储器(ROM)和随机存取存储器(RAM)，在此仅举几个例子，因为可以使用相关领域的技术人员认为合适的任何一个或多个类型的非暂时性数据存储装置。如图1E中所描绘的，数据存储装置196是非暂时性计算机可读媒体，其包含可由处理器194执行的程序指令197，用于执行本文描述的各种网络实体功能的各种组合。处理器194被配置为执行存储在存储器196中的指令197。
有鉴于图1A-1E以及关于图1A-1E的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。举例来说，所述客户端设备102a被描绘为蜂窝式电话；所述客户端设备102b被描绘为用于3D AR、VR和/或MR显示的HMD；客户端设备102c被描绘为台式计算机；并且所述客户端设备102d被描述为平板计算机。应当理解，这些设备中的任何一个设备或具有类似功能的其他设备可以适用于客户端侧设备或服务器侧设备。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
AR和MR信息的呈现
根据一些实施例的本文描述的***和方法可以基于对象在用户的视图内的预测的持久性来显示与该对象有关的增强现实(AR)信息。在一些实施例中，如果预测的消失比某个阈值时间更早发生，则基于对象多久将从视图中消失的预测来对AR信息的显示进行优先化排序。根据一些实施例的本文描述的***和方法可扩展到混合现实(MR)***，并且提供显示已经变得被遮蔽或已经从视图消失的对象的图像和/或显示与已经变得被遮蔽或已经从视图消失的对象相关的AR信息。
AR界面向用户呈现与用户的视图内存在的某一真实生活(真实世界)对象有关的信息。这样的***可能在对AR信息的呈现进行排序或优先化排序方面具有挑战，并且可能冒着用户过载或不呈现最迫切需要的信息的风险。MR界面以将虚拟对象与真实世界的视图组合的方式向用户呈现信息。利用MR显示，一些对象是真实的，而一些对象是虚拟的；另外，还可显示关于该真实对象和/或虚拟对象的一些AR信息。MR***可能存在与对AR信息的呈现进行排序或优先化排序有关的类似挑战，并且因此可能同样存在用户过载或不呈现最急需的信息的风险。此外，AR和MR***都可能具有当用户与对象的交互或查看已经中断时呈现对象的AR信息的挑战。
某些***可能具有以最大化用户从可用AR信息获益的机会的方式向用户呈现真实世界对象的AR信息的挑战。例如，这些***可能当在用户和对象之间存在导致真实世界对象从视图中消失的相对运动时具有挑战。某些AR***没有考虑对象可能保持对用户可视多长时间。因此，用户可能正在观看将持续存在于用户的视图中的对象的AR信息，即使另一对象会很快消失。因此，用户可能错过接收关于未持续出现在视图中的对象的AR信息的机会。
在本文描述的***和方法的一些实施例中，呈现真实世界对象的AR信息，使得被确定为最可能最早消失的真实世界对象可以首先被呈现，或者被强调地呈现，诸如突出显示。即，可在呈现可能保持在视图中的其它对象的AR信息之前，呈现可能从视图中消失的对象的AR信息，可同时呈现该两种类型的对象的AR信息，并对可能消失的对象进行突出显示。在一些实施例中，可以存在组合。
根据一些实施例的本文公开的***和方法可以基于对象在用户的视图内的持久性来对AR信息进行优先化排序。对于一些实施例，方法可以包括接收多个一个或多个AR配对，例如具有一个或多个AR配对的列表，其中每个AR配对包括真实世界对象和相关联的AR信息；确定对象的持久性；以及基于用户视图中的对象的持久性，呈现AR信息，使得对于持久性短于阈值的对象，AR信息被优先化排序。如本文所使用的，根据一些实施例，一配对是真实世界(真实生活)对象(或关于真实世界对象的位置的描述)和相关联的AR信息。可以在多于一个场景中显示一配对。用户可以与配对交互或者可以不与配对交互。如本文所使用的，根据一些实施例，视图是用户透过例如MR显示器看到的，其可以包括真实世界对象、虚拟对象和AR信息。例如，如果用户正在观看延伸到远距离的室外空间，而不是用户仅仅观看无窗房间内的附近对象，则视图可以延伸到用户的环境之外。如本文所使用的，根据一些实施例，持久性是用于定义真实世界对象在用户的视图内保持多长时间的时间段。对于一些实施例，基于持久性来对AR信息进行优先化排序可以简单到首先显示最高优先级AR配对的AR信息，稍后显示较低优先级配对的AR信息。对于一些实施例，基于持久性对AR信息进行优先化排序可包括例如用轮廓突出显示对象，或例如用不同字体大小、字体颜色、边框和/或背景颜色突出显示AR信息。因此，用户的注意力可以被吸引到短持久性的对象，以使得用户能够从AR信息中获益。
对于一些实施例，基于持久性对AR信息优先化排序可包括首先呈现具有短于第一阈值但长于第二阈值的预测持久性的对象的AR信息。所述第二阈值可以防止对于过快地离开用户的视图的对象浪费用户的注意力。这使得用户能够看到将很快消失但仍保持在视图中达超过所述第二阈值的足够时间长度的对象的AR信息。
根据一些实施例的本文公开的***和方法可以集中于具有被中断的风险中并且已经被中断的正在进行的交互，以便为那些交互提供连续性。例如，对象可以具有足够的价值或用户对其感兴趣，以便用户开始与其交互。然而，由于该对象的移动或遮挡，该对象可能从用户的视图中消失。在这种情况中，用户可能尚未完成与该对象及其相关联的AR信息的所计划的交互。
根据一些实施例的本文公开的***和方法可检测到相关的真实世界对象已移出或将移出用户的视图，确定用户交互已被中断或作为结果可能被中断，然后构建包括该对象的虚拟表示的MR视图，并将该虚拟表示与关于该虚拟对象的真实世界等效物的AR信息相关联。在这样的实施例中，即使对象不在用户的视图中，用户也可以从关于该对象的AR信息中获益。一些实施例可以通过以下操作而达到此目的：(1)识别之前存在于用户的视图中但仅刚移出该视图的真实世界对象；(2)呈现表示该真实世界对象的虚拟对象；以及(3)呈现链接到该虚拟对象表示的所述真实世界对象的AR信息。
根据一些实施例的本文公开的***和方法可以通过MR界面呈现与用户的视图中不存在的真实世界对象相关联的AR信息。对于一个示例性实施例，这样的方法可以包括接收存在于用户的视图中的配对；确定所述用户与所述所接收配对的交互是否已由于所述真实世界对象被变得不在所述用户的视图中而被中断；以及构建MR视图以通过将所述配对的MR表示适当地布置到所述视图中而使得用户能够继续与所述配对的交互。如本文所使用的，根据一些实施例，当前对象是在用户的视图中可见或以其他方式推断的真实世界对象。当前对象可包括视觉上存在的对象，即使该对象不是直接可见的。如本文所使用的，根据一些实施方式，当前配对是当前真实世界对象及其相关联的AR信息项。如本文所使用的，根据一些实施例，不存在的对象是不存在于用户的视图中的真实世界对象。如本文所使用的，根据一些实施例，一对配的MR表示是适合于MR界面的表示，其中真实世界对象被表示为虚拟对象，并且该真实世界对象的相关联的AR信息通过链接到其对应的虚拟对象或者以其他方式增强其对应的虚拟对象而被呈现。对于一些实施例，可以仅针对与用户交互的那些对象来构建真实世界对象的MR表示，其中该交互已经被中断了比阈值时间更长的时间。对于一些实施例，可以仅针对与用户交互的那些对象来构建真实世界对象的MR表示，其中相关联的AR信息最近在阈值时间段内不被显示给用户。
一些实施例可以确定对象是否已经被遮挡或者已经离开场景。对于遮挡，虚拟对象表示可被布置在被遮挡对象被计算或以其他方式预期的所处的位置。否则(诸如经由退出场景或例如具有不可预测的消失)，如果背景对象持续，则所述表示可被布置于所述真实世界对象相对于该背景对象可被看到的位置。如果没有背景对象继续存在，则所述表示可被布置在相对于用户的视图最后看到所述对象的位置处。结果，在一些实施例中，MR视图应当将所述表示布置在对用户而言看上去自然的位置处。在一些实施例中，所述MR视图可通过确定将真实世界对象的虚拟表示布置在哪里以实现对用户来说似乎自然的交互而被构建。
图2是根据一些实施方式的基于用户的视图内的对象的持久性来对AR信息进行优先化排序的示例方法的消息流程图200。如图所示，一个或多个场景传感器202(例如，相机、RGB-D传感器、光检测和测距(Lidar)和/或GPS)向AR显示管理器206提供场景信息204(例如，作为点云)，其可能包括位置信息。AR显示管理器206接收场景信息204，并将组合的场景和位置信息208发送到一个或多个AR应用(AR app)210。尽管描述了AR应用，但是应当理解，也可以使用MR应用。AR应用210使用所接收的信息208来产生一组关于所识别的真实世界对象和对应的AR数据的配对212。在一组配对212中的每个配对包括标识对象的信息(可能使用通过位置坐标的标识，其包括所述对象的图像和边界坐标)以及相关联的AR数据，其提供关于所述对象的信息并且还可以描述如何在AR显示器中渲染该信息。AR应用210接着将一组配对212提供给AR显示管理器206。
根据该示例，AR显示管理器206接收一组配对212，并将关于对象214的标识发送到持久性确定器216。持续确定器216例如通过基于当前和先前场景确定每个对象的运动量来计算每个接收对象的持久性值。持久性确定器216可计算出关于每一对象何时可移出所述当前场景的视图的预测，这可基于这一的假设：当前场景是用户接下来将看到的内容的足够准确的预测。持久性确定器216可将计算出的持久性值218发送回AR显示管理器206。在一些实施例中，AR显示管理器206给予与持久性被计算为低于第一阈值的对象相关的AR信息的呈现较大的优先级。在一些实施例中，AR显示管理器206给予与其持久性被计算为低于第一阈值并且高于第二阈值的对象有关的AR信息的呈现较大的优先级。AR显示管理器206然后将所选择的对象和AR信息220发送到AR显示器222以供用户观看。关于持久性值的计算将用后面的附图被更详细地描述。
在一些实施例中，AR显示管理器206在持续进行的基础上操作，执行以下动作：接收场景信息204，向AR应用210发送场景和位置信息208，接收对象和AR信息配对212，向持久性确定器216发送场景和对象信息214，接收真实世界对象持久性值218，对AR信息显示优先化排序，以及向AR显示器222发送显示信息220。可以从各种可用的传感器接收场景信息。场景和位置信息可以被发送到适当的AR应用，例如订阅的AR应用。AR显示管理器可以从多个AR应用中的每一个接收配对列表(如上所述)，并且编排主配对列表。
应当理解，在一些实施例中，AR显示管理器206在远离所述UE的服务器上操作，并且在一些实施例中，AR显示管理器206在所述UE内实现。在一些实施例中，AR显示管理器206和持久性确定器216可以在不同的节点上操作，并且在一些实施例中，AR显示管理器206和持久性确定器216可以在相同的节点内操作。在一些实施例中，AR显示器222与一个或多个场景传感器202作为同一UE的一部分来操作。应当理解，在一些实施例中，AR应用210中的至少一些可以是本地的并且在UE内运行。因此，尽管图2中所示的***被描述为分布式***，但是在一些实施例中，该方法可以在单个UE内执行。
图3是根据一些实施方式的基于用户的视图内的对象的持久性来对AR信息进行优先化排序的示例方法的消息序列图300。可以是UE或基础设施设备的一部分的场景传感器202将场景信息204发送到AR显示管理器206。AR显示管理器206可以是诸如服务器的设备，或者基于云的模块。AR显示管理器206将场景和位置信息208发送到AR应用(或信息服务)210，其可以是许多AR应用中的一个。AR应用210可以是驻留在云中的软件模块。AR应用210可以将关于对象和AR信息的配对212发送到AR显示管理器206。AR显示管理器206可以将场景和对象214发送到持续性确定器216。对于一些实施例，可以是设备上的软件模块或基于云的模块的持久性确定器216确定310对象相对于用户的视图的位置和速度，并计算312对象的持久性(以及相关联的持久性值)。持续性确定器216可将为每个对象确定(计算)的持久性值218发送到AR显示管理器206。对于一些实施例，AR显示管理器206基于接收的持久性值选择314要显示哪些配对。AR显示管理器206将利用所选择的或优先化排序的AR信息220增强的场景信息发送到AR显示器222，其可以是UE的一部分。
在一些实施例中，计算持久性值的方法包括确定每个对象可以在用户的视图内持续存在多长时间。代表性方法可以采用计算机视觉(机器视觉)来确定速度和可见性，可能一种方法用于运动跟踪，另一种方法用于可见性检测。示例运动跟踪方法包括例如在以下中描述的方法：Christoph Mertz等人的Moving Object Detection with Laser Scanners(用激光扫描仪进行移动对象检测),30(1)J.Field Robotics(场地机器人)17–43(2013)，其可在以下获得：https://www.ri.cmu.edu/pub_files/2013/1/rob21430.pdf。示例可见性确定方法包括例如在以下描述的方法：Sagi Katz等人的“点集的直接可见性(DirectVisibility of Point Sets)”，26:3ACM Transactions on Graphics(图形事务处理)(SIGGRAPH)24:1-24:11(2007年8月)中描述的方法，其可在以下获得：http://webee.technion.ac.il/～ayellet/Ps/KatzTalBasri.pdf。
用于计算(确定)持久性值的一些实施例可以使用对象的速度和可见性检测来基于方向、行进速度和所接收的点云的边界确定该对象将在用户的视图中持续多久。用于计算对象的持久性值的一些实施例计算对象的坐标和速度。例如，可以基于运动跟踪方法来计算速度，该运动跟踪方法使用激光测距仪数据(诸如Lidar数据)作为输入，并且输出对象的坐标和速度。有时，运动的直线可以被确定为对应于对象在小于预测阈值的短持续时间内的预期运动的点的集合(用于假设恒定运动)。在此类实施例中，使用历史运动来预测未来运动，其中假设恒定运动可能在所述阈值时间内继续。
对于一些实施例，所述阈值可以被设置为30秒作为默认值，并可在需要时(或者例如，在经验指示了不同的阈值可能是优选时)进行调整。在一些实施例中，该阈值可以基于用户的速度(如果确定的话)来设置。静止用户可以在比高速道路上在汽车中移动的用户更长的时间段内观察基本上相同的场景。对象的运动线中的点可以被限制为与对象基于其速度和预测时间阈值的位置变化相对应的那些点。对应于对象的运动线的点可以被***到场景的点云中，并且因此被显示给用户。可见性检测方法可用于确定哪些点将对用户可见。对于一些实施例，当前场景可以用作用户将观看的未来场景的估计。对于一些实施例，确定点可见性可使用类似于Katz等人(上文引用)描述的方法。一些可见性检测方法可以基于表面重建来计算可见点，尽管这不是所有方法都使用。对于一些实施例，基于所述点可见性方法的结果，可以确定与运动线相对应的点的可见性。要被确定为不可见的运动线中的第一点指示对象可能在哪里被场景中的其他东西遮挡。该点可以被识别为消失点。如果确定运动线中的任何点都是可见的，则确定该对象在预测阈值时间内不离开场景(或环境的可见部分)。对于一些实施例，基于对象的当前位置、消失点和速度，可计算对象的持久性值。
因此，所述***基于对象的跟踪来跟踪多个真实世界对象的运动，作出关于每个对象可能在用户的视野中持续多久的预测，并且对于具有最短预测持久性(其长于某个最小阈值时间)的那些对象，AR信息的显示会被优先化排序。
图4A-4B是示出了可在某些实施例中使用的持久性确定的基础的用户视图序列。图4A示出了在时间t＝0的场景400a，其被用作确定对象的运动的参考。对于该示例，用户的视图包括圆形对象402、三角形对象404和建筑物406。图4B是场景400b，其为相同的视图，但是在稍后的时间t＝T(当前场景)。对于一些实施例，通过将时间t＝0处的场景400a与时间t＝T处的场景400b进行比较，运动***模块可确定对象402、404和406的坐标和运动。在该示例中，圆形402正在移动，而三角形404和建筑物406保持静止。在图4B中，圆形对象402处于新位置408a，并且还示出了预测位置408b-408f。位置408f可以是预测阈值时间内的最终预测位置。在一些实施例中，可以在预测位置408b-408f处***重影图像，其中圆形对象402被计算为正在移动(如果圆形对象402的运动是恒定的，并且场景400b的剩余部分保持不变)。一些重影图像可以被建筑物406遮挡，并且一些实施例可以使用该信息来确定圆形对象402的持久性预测。
一些实施例可以使用关于圆形402的运动和预测的持久性的信息来使示出关于圆形对象402的AR信息优先于示出关于三角形404的AR信息。一些实施例可以降低显示关于圆形对象402的AR信息的优先级，如果它已经被显示给用户的话。如果AR信息将在较短的阈值时间段内变得被遮挡，则一些实施例可以降低显示关于圆形对象402的AR信息的优先级。也就是说，一些优先化排序方法可以包括诸如以下的决定：(a)最近是否显示了关于对象的AR信息？如果是，则不再显示AR信息。(b)在第一阈值时间内对象是否即将从视图中消失？(c)在比第一阈值时间短的第二阈值时间内，对象即将从视图中消失吗？(d)如果是(c)，则不显示AR信息。(e)如果对于(b)为是，对于(c)为否，则优先显示对象的AR信息。在(e)中可以使用多个优先化排序级别。例如，一些实施例可以指派优先化排序分数，其中较高的优先化排序分数通常被指派给较低的持久性预测。在一些实施例中，然后可以将优先化排序分数分组为优先化排序等级。然后，可以根据优先化排序等级来显示AR信息，其中与具有较高优先化排序等级或分数的AR配对相对应的AR信息在与具有较低优先化排序等级或分数的AR配对相对应的AR信息之前被显示。在一些实施例中，可以同时显示在相同优先化排序等级内的两个或更多个对象的AR信息。对于一些实施例，第一对象移动的检测可以触发对于可能被该移动对象遮挡的静止对象的持久性预测值的计算，并且因此可以优先化排序一些静止对象AR信息。
图5是如可以在一些实施例观察到的具有多个对象的AR信息的用户视图500的图示。在该图示的示例中，用户正在访问考古站点以及一些名人。对象识别技术可用于检测和识别有生命和无生命对象。第一人502在一个方向上快速行走，使得第一人502可以很快消失在建筑物后面。第二人506慢慢地走开，使得在预测阈值时间内，第二人506将保持在视图内。第三人510坐着不动。其他检测到的对象514、518、522和526是考古对象，并且因此不太可能自己移动；用户视图500内的这些对象514、518、522和526的任何运动将由用户自己的运动或头部运动引起。然而，在该示例中，用户静止站立，具有一致的观察方向。
基于所预测的持久性值，关于人502的AR信息504可以优先于其它检测到的对象的AR信息。优先化排序可以包括首先显示，或者如果与其他AR信息同时显示，则以不同于非优先化排序AR信息的字体大小或色彩(文本和/或背景)的方式显示，使得其更容易吸引用户的注意。由于人506的较慢运动，但预期会持续存在，关于人506的AR信息508可以被优先化排序在用于静止考古对象514、518、522和526的AR信息之上，但在关于人502的AR信息504之下。虽然人510暂时是静止的，但是仍然是能够运动的人而不是静止的考古对象，关于人510的AR信息512可以被优先化排序在关于静止考古对象514、518、522和526的AR信息之上，但是仍然在关于人502的AR信息504之下。关于人510的AR信息512可以类似于关于人506的AR信息508被优先化排序，或者更低，因为人506正在移动而人510没有移动。在一些实施例中，可以使用多个优先化排序级别，这其中包括预测的快速消失、运动但没有预测的消失、没有运动但有运动能力的对象、以及没有运动并且该对象是不期望运动的类型。
AR信息的混合现实呈现
图6是根据一些实施例的针对MR***对AR信息进行优先化排序和处理中断的示例方法的消息流程图600。如图所示，一个或多个场景传感器202(例如，相机、RGB-D传感器、光检测和测距(Lidar)和/或GPS)向MR呈现管理器606提供场景信息604(例如，作为点云)，其可能包括位置信息。MR呈现管理器606接收场景信息604并将组合的场景和位置信息608发送到一个或多个AR应用(AR app)210。尽管描述了AR应用，但是应当理解，也可以使用MR应用。AR应用210使用所接收的信息608来产生一组关于所标识的对象(真实或虚拟对象)和对应AR数据的配对612。在一组配对612中的每配对包括标识对象的信息(可能使用通过位置坐标进行标识，其可包括对象的图像和边界坐标)以及相关联的AR数据，该AR数据提供关于所述对象的信息并且还可以描述如何在MR呈现中渲染该信息。AR应用210然后向MR呈现管理器606提供一组配对612。
MR呈现管理器606接收一组配对612，并将所述对象614的标识发送到中断确定器616。另外，UE或用户的人上的一个或多个传感器624可以向中断确定器616提供关于用户的信息626，例如用户的注视和姿势。中断确定器616确定哪个用户交互(例如，与哪个对象的交互)由于对象变得不在用户的视图中而被中断或者可能很快被中断。中断确定器616可计算关于每一对象何时可移出当前场景的视图的预测，其可基于当前场景是用户接下来将看到的内容的足够准确的预测的假设。中断确定器616可将所计算的中断信息618发送回MR呈现管理器606。在一些实施例中，MR呈现管理器606基于中断向呈现AR信息以及可能的虚拟对象呈现给予较高的优先级。MR呈现管理器606构建混合现实视图620，其可包括与被遮挡的真实世界对象相对应的虚拟对象以及相关联的AR信息，并将该该数据发送到MR显示器622。MR显示器622可以是WTRU，例如WTRU 102b。
在一些实施例中，MR呈现管理器606在正在进行的基础上操作，执行以下动作：接收场景信息604、向AR应用210发送场景和位置信息608、接收对象和AR信息配对612、向中断确定器616发送场景和对象信息614、接收中断信息618、构建混合现实视图(该混合现实视图可以包括与真实世界对象相对应的虚拟对象和相关联的AR信息)、以及向MR显示器622发送显示信息620。
图7是根据一些实施例的用于为MR***创建MR呈现(其可能包括AR信息)并处理中断的示例方法的消息序列图700。场景传感器202将初始场景信息604a发送到MR呈现管理器606。MR呈现管理器606可以是诸如服务器之类的设备，或者是基于云的模块。UE或用户的人上的一个或多个传感器624可以向中断确定器616提供关于用户的初始信息626a，例如用户的注视和姿势。MR呈现管理器606将初始场景和位置信息608a发送到AR应用(或信息服务)210，其可以是许多AR应用中的一个。AR应用210可以是驻留在云中的软件模块。AR应用210可以将关于对象和AR信息的初始配对612a发送到MR呈现管理器606。MR呈现管理器606将初始场景和对象614a发送到中断确定器616。中断确定器616接着确定702在用户与配对之间是否存在任何正在进行的交互。
由于MR会话可以是正在进行的过程，因此以下可以发生多次：一个或多个传感器624可以向中断确定器616提供关于用户的更新信息626b，例如用户的注视和姿势。MR呈现管理器606将更新的场景和位置信息608b发送到AR应用210。AR应用210将更新的关于对象和AR信息的配对612b发送到MR呈现管理器606。MR呈现管理器606将更新的场景和对象614b发送到中断确定器616。中断确定器616确定704哪个用户交互(例如，与哪个对象的交互)由于对象变得不在用户的视图中而被中断或者可能很快被中断。中断确定器616可将该数据作为中断信息618发送到MR呈现管理器606。MR呈现管理器606构建706混合现实视图，该混合现实视图可包括与被遮挡的真实世界对象相对应的虚拟对象以及相关联的AR信息。MR呈现管理器606向可以是UE的一部分的MR显示器622发送利用所选择的AR信息620增强的场景信息。
图8A-8D是如可以在一些实施例观察到的在各种条件下实际和虚拟对象的MR用户视图的图示。图8A示出了在时间t＝0的场景800a。在该图示的示例中，用户的视图包括真实世界的圆形对象402、三角形对象404和建筑物406。五边形形状是AR信息窗口804，其属于圆形对象402。圆形对象402正在移动，而三角形404和建筑物406是静止的。图8B示出了在时间t＝T1的场景800b。圆形对象402被建筑物406隐藏(遮挡)而不能从视图中被看到。***确定用户交互未完成，例如AR信息窗口804没有显示足够的时间以使用户已经完成阅读材料。因此，虚拟圆形对象802与相关联的AR信息窗口804一起被显示(例如，在一些实施例中，其基于圆形对象402如果不是被建筑物406隐藏的话将在哪里的预期位置)。
图8C是在时间t＝T2的场景800c。真实世界圆形对象402重新显现到视图中。中断确定器和MR呈现管理器一起确定(a)用户交互没有结束(用户需要更多的时间来读取AR信息窗口804)，以及(b)由于真实世界的圆形对象402在视图中，所以不再需要虚拟圆形对象802。图8D是在时间t＝T3的场景800d。该圆形已经移出视图，而不是在另一对象后面，而是移出相机的视图。中断确定器和MR呈现管理器一起确定(a)用户交互仍然没有结束(用户需要更多的时间来读取AR信息窗口804)，以及(b)由于真实世界的圆形对象402已经从视图中消失，现在再次需要虚拟圆形对象802。虚拟圆形对象802例如布置在真实世界圆形对象402离开视图的地方附近，因为这对于用户寻找AR信息窗口804来说是直观的位置。这样，尽管遮挡和消失，用户交互可以继续而没有中断，从而给予用户体验连续性。在一些实施例中，所述虚拟圆形对象802仍可由虚拟圆形对象802从视图中消失而触发，但虚拟圆形对象802可被布置在其它地方，例如，进一步远离真实世界圆形对象402离开视图的地方或完全在其它地方。
确定用户与所接收的配对的交互的中断可以取决于该交互的性质。一种方法可以是使用对用户的眼睛已经停留在AR信息窗口上的位置的检测，并且将那些区域与包含文本的区域进行比较。各种技术可被用于适当地跟踪用户注视。图9A-9D是示出用户注视在示例AR信息文本窗口(例如，图8A-8D的五边形AR信息窗口804)内的示例位置的图示。
图9A到9D中的具有散列阴影的虚线圆圈指示用户的注视已经稳定的位置。图9A示出了五边形AR信息窗口902，在其上可以向用户呈现AR信息。检测到的注视位置904a-904b仅覆盖窗口902的一小部分，指示如果用户交互停止，则将存在中断。图9B示出了类似的情况，其中用户尚未完成交互，尽管使用文本框906而不是信息窗口902。检测到的注视位置908a-908e仅覆盖文本框906的一小部分，指示用户尚未完成阅读所有文本。对于图9C，检测到的注视位置910a-910l指示用户已经阅读了几乎所有的文本。因此，如果交互停止，则可能不存在中断，或者中断将不显著。对于图9D，检测到的注视位置912a-912e指示用户已经阅读了重要部分(这里被确定为每行的起始片段)，这暗示用户正在加速阅读文本并且指示没有中断。
在一些实施例中，也可以使用用于确定用户与AR信息的交互的中断的其他方法。示例性的“短持续时间”交互可以被指定为一秒或更短。如果用户与配对(对象和AR信息)的交互涉及与该配对中的真实世界对象交互，并且如果用户的注视在该真实世界对象变为不存在之前的短时间内停留在该真实世界对象的任何部分上，则可确定用户与该真实世界对象的交互被中断。如果用户与所述配对的交互涉及与相关联的AR信息的交互，则该方法可以使用该AR信息的属性来确定是否发生了连续用户动作的中断。
例如，在AR信息项具有空间范围(例如，如在正显示的图片或文本片段中)的情况中，如果在真实世界对象变为不存在的时刻之前的短时间内，用户的注视已经停留在该AR信息上的某处而几乎不覆盖整个空间范围，则用户的交互可以被确定为已经被中断。这将是图9B中所示的情况，如果在用户的注视已经到达注视位置908e时，对象从视图中消失。
如果当真实世界对象变得不存在时，具有时间范围的AR信息(例如，如在音频剪辑或视频剪辑中)和整个AR信息没有被回放，则用户的交互可被确定为被中断。对于视频剪辑，如果用户的注视在真实世界对象变得不存在之前的短时间内在视频剪辑上，但是视频剪辑尚未终止，则用户的交互可以被确定为被中断。对于音频剪辑，如果在真实世界对象变得不存在之前的短时间，在音频正在播放时用户的注视在与对象相关的场景的某一部分上，但音频剪辑尚未终止，则可确定用户的交互被中断。以下讨论在音频播放时用户的注视在真实世界对象上的情况。
创建混合现实视图使得用户能够通过将配对的混合现实表示布置在场景中来继续与该配对交互。根据一些实施例的本文描述的***和方法可以使用背景来锚定场景，使得真实世界对象的虚拟表示可以被布置在对于用户而言很自然的位置。对于一个实施例，该方法可以用于场景已经完全改变并且没有检测到恒定背景的情况。为了确定对象的坐标和速度，可以使用运动跟踪方法。可以使用的示例性跟踪方法是使用输入测距仪数据并输出对象的坐标和速度的方法，该方法在以下存在描述：Christoph Mertz等人的MovingObject Detection with Laser Scanners(用激光扫描仪进行移动对象检测),30(1)J.Field Robotics(场地机器人)17–43(2013)，其可在以下获得：https://www.ri.cmu.edu/pub_files/2013/1/rob21430.pdf。
如果真实世界对象在当前场景中不可见，并且沿着从用户的眼睛到真实世界对象的预测坐标的射线检测到另一对象，则所述真实世界对象可被确定为被在从用户的眼睛到该真实世界对象的射线上的第一对象遮挡。可以存在多个遮挡对象以实现部分重叠的效果。
图10A-10C是如在一些实施例中可以观察到的在各种情况下具有移动对象的MR用户视图的图示。为了指示布局的3D性质，示出了从原点1002开始的坐标轴，其中x＝0，y＝0，并且z＝0。x轴1004、y轴1006和负z轴1008被示出用于参考。在图10A所说明的实例中，当真实世界圆形对象1010a沿着运动向量(速度)1012a从其初始位置<xp，yp，zp>移动到坐标<xc，yc，zc>处的位置1010b时，场景1000a中的真实世界圆形对象1010a被建筑物406遮挡。视线向量1014a指示真实世界圆形对象1010a最初是可见的。视线向量1016a指示真实世界圆形对象1010a在位置1010b中时被遮挡，且因此中断确定器和MR呈现管理器一起可确定需要圆形对象1010a的虚拟表示1018且应沿着视线向量1016a布置。该位置由坐标<xo，yo，zo>指定。如果圆形对象1010a继续移动并且如用户所查看地重新出现在建筑物406的右侧，则虚拟表示1018可不再被使用。
在图10B所说明的示例中，圆形对象1010a通过沿着运动向量1012b从其初始位置<xp，yp，zp>移动到坐标<xc，yc，zc>处的位置1010b而退出场景1000b。视线向量1014a指示圆形对象1010a最初是可见的。视线向量1016b指示圆形对象1010a在场景1000b中不存在，并且因此中断确定器和MR呈现管理器一起可确定在圆形对象1010a离开场景1000b的位置附近可能需要虚拟表示(未示出)。
在一些实施例中，真实世界对象的虚拟表示(例如，圆形对象1010a的虚拟表示1018)可布置在场景的一些坐标处，以使得丢失对象与背景中的一些对象之间的关系保持固定。用户可以发现，通过将丢失对象布置在固定到背景对象的位置处，对于用户来说更自然地继续与真实世界对象或其相关联的AR信息交互而不损失连续性。例如，如果在灯杆的右侧看到汽车，则丢失的汽车的图像也可以被显示在该灯杆的右侧。
然而，在一些情形中，真实世界对象可能以不可预测的方式移动，且可能意外(不可预测的)不存在地消失。在图10C所示的示例中，圆形对象1010a在场景1000c内开始其初始位置<xp，yp，zp>，并为其计算运动向量1012c，预测其可能会被建筑物406遮挡并在坐标<xc，yc，zc>的位置1010b处重新出现。基于视线向量1016c，坐标<xc，yc，zc>处的位置1010b应为可见的。然而，在场景1000c中不存在圆形对象1010a。因此，中断确定器和MR呈现管理器一起可确定虚拟表示(未示出)是需要的并且应当沿着视线向量1016c布置在圆形对象1010a将被预测为要重新出现的位置1010b处或附近。该位置1010b由预测坐标<xc，yc，zc>指定。在一些实施例中，如果圆形对象1010a继续移动并且最终如用户所查看的那样(在某种程度上)如原始预测的那样重新出现在建筑物406的右侧，则虚拟表示1018可以例如不再被使用并且场景1000c将回复到在例如其现在的当前位置中示出圆形对象1010a。
图11A-11C是如在一些实施例中可以观察到的涉及计算对象的位移或布置的MR用户视图的图示。在图11A中，背景对象1112被示为锚定在场景1100a中的位置<xb，yb，zb>处。位移向量1114a被计算为对象1110的坐标<xp，yp，zp>和背景对象1112的位置之间的差。该位移由<dx，dy，dz>表示。存在从原点1002到背景对象1112的视线向量1116a，以及从原点1002到对象1110的视线向量1118a。在一些实施例中，所述视线向量1116a和1118a可用于确定坐标。
图11B描绘了用户已经改变位置并且现在正在观看场景1100b的情况。对象1110可能由于建筑物406的遮挡，或者可能因为对象1110移出视图，而不再可见。因此，对象1110的虚拟表示1120(其可以是3D模型或2D图像)将用于用户交互，诸如AR信息的显示。在该示例中，虚拟表示1120将被布置在<xn+dx，yn+dy，zn+dz>的锚定位置处。该位置基于来自背景对象1112的位移向量1114a，如为场景1100a(图11A的场景)所计算的。关于<dx，dy，dz>的计算如图11A所示。
存在从原点1002到背景对象1112的视线向量1116b，以及从原点1002到表示1120的视线向量1118a。在一些实施例中，该视线向量1116b和1118b可用于确定坐标。
图11C描绘了用户再次改变位置并且现在正在观看场景1100c的情况。尽管新的背景对象1124可见，对象1110、背景对象1112和建筑物406都不可见。因此，不存在位移向量的锚点来定义表示1120在场景1100c中的显示位置。因此，在一些实施例中，表示1120将根据视线向量1118B来布置，使得其相对于参考帧处于与表示1120之前已被布置在场景1100b中相同的位置，如图11B所示。
在一些实施例中，与对象相关联的AR信息可以以用户将该AR信息与真实世界的对象相关联的方式呈现给用户。这种呈现的一个示例性实施例使用与可能已经用于当前设置中的其他AR信息的模态相同的模态，使得用户容易地将所呈现的AR信息与正在显示其图像的真实世界对象相关联。对于一些实施方式，如果所述AR信息具有空间范围(例如图片或文本片段)，则继续显示所有的AR信息。对于一些实施方式，如果所述AR信息具有时间范围(例如音频或视频片段)，则从该AR信息最后被中断的地方呈现该AR信息。
在一些实施例中，关于交互尚未结束的确定取决于AR信息的内容，例如，视频剪辑是否为30秒长。在一些实施例中，关于交互尚未结束的确定取决于用户的观察，例如用户的注视。在一些实施例中，已从视图消失而未退出场景的真实世界对象的图像在其预测坐标处被显示，而不是使所述图像与背景相关。在一些此类实施例中，这样做可避免必须计算场景的背景。
在一些实施例中，真实世界对象在其行进穿过用户的视图的一部分时的视频可被显示，其中该真实世界对象的外观可被变换以指示其不存在。如果真实世界对象以稳定的速度行进并且被用户的视图中的其它东西遮挡，则可以使用视频表示。在一些实施例中，当真实世界对象行进穿过用户的视图的一部分时，该真实世界对象的慢动作视频可被显示。如果真实世界对象离开用户的视图的边缘，则可以使用慢动作视频模态。
图12A-12B是如可以在一些实施例观察到的对象被遮蔽的情况的AR/MR用户视图。图12A示出了在示例性用例中关于创建混合饮料的视频的AR视图。用户在柜台上遇到特定的混合饮料1202。作为场景1200a，AR呈现管理器轮廓化混合饮料1202，并以制作该饮料时的视频剪辑的形式显示AR信息1204。所述视频剪辑开始在用户的MR显示器中播放。
图12B示出了在AR信息1204中的视频完成之前，遮挡对象1206(人)遮蔽混合饮料1202的情况。因此，虚拟表示1208被布置在混合饮料1202的最后识别的位置处，并且AR信息1204中的视频剪辑继续播放。
图13A-13B是如可以在一些实施例中观察到的对象移出视图的情况的AR/MR用户视图。如图13A所示，使用对象检测和识别算法的AR应用已经识别了场景1300a中的汽车的特定模型1304，并且已经在AR信息窗口1304中将AR信息显示为文本。另外，汽车1302被轮廓化为突出显示以便用户注意。在该示例中，汽车1302停在红色交通灯处。在用户有时间完成阅读AR信息文本之前汽车1302从视图中消失的情况下，捕获汽车1302的图像以便稍后用作虚拟表示。
图13B说明场景1300b中的中断情况。交通灯已经改变，并且汽车1302从视图中快速离开。使用根据一些实施例的本文公开的***和方法，可以确定用户与汽车1302的交互被中断。因此，根据该示例，因为真实世界的汽车1302缺失，汽车1302的图像1306被布置在用户的MR显示器中，并且AR信息窗口1304与图像1306相关联。用于定位虚拟表示或图像的各种技术可以在不同的实施例中使用。例如，图像可以被布置在场景内相对于背景的相同相对位置上，或者在相同的观看方向上。
抬头车辆显示
图14A-14E是如可以在一些实施例观察到的各种场景中的抬头AR显示的图示。一些实施例可以被实现为汽车中的抬头显示器，以帮助驾驶员或乘客(或者是用户)看到汽车的挡风玻璃之外的视图。在一些实施例中，可以利用汽车上或汽车内的前向相机来捕获图像。图14A示出了在时间t＝0时汽车挡风玻璃外的视图1400a，其中视图中存在两个标志1402和1404。还没有AR信息被显示。
图14B示出了在稍晚的时间t＝T1的汽车挡风玻璃外的视图1400b，其中标志1404仍然在视图中，但是标志1402已经被通过并且不再在视图中。在抬头显示器上为用户显示关于标志1404的AR信息1406。
图14C示出了在稍晚的时间t＝T1的汽车挡风玻璃外的视图1400c，其中标志1404仍然在视图中，但是标志1402已经被通过并且不再在视图中。不同于将AR信息显示为文本，与标志1404相关的图标1408被显示在用户的抬头显示器上。在一些实施例中，如果用户轻击抬头显示器中的所述图标，则可以提供与所述标志1404有关的更多信息。图14D示出了在稍后时间t＝T1的汽车挡风玻璃外的视图1400d，其类似于图14C的视图1400c，但是图标1408具有不同的示例位置。在一些实施例中，如果用户已经注视所识别的标志，例如，注视小于第一阈值时间段但大于第二阈值时间段，则将显示与该标志相关的AR信息或图标。
图14E示出了在稍后的时间t＝T2的汽车挡风玻璃外的视图1400e，其中标志1402和标志1404都已经被通过并且不再在视图中。呈现了可以与标志1402和/或标志1404相关的两个菜单1410和1412。对于一些实施例，可以显示菜单，而不是例如以文本格式显示AR信息。对于一些实施例，如果用户已经与用户界面元素(诸如菜单)交互，则显示与标志有关的AR信息。对于一些实施例，如果用户已经注视标志例如大于第一阈值但小于第二阈值，则显示与该标志有关的AR信息或用户界面项。对于一些实施例，与标志有关的AR信息可以以距背景对象的固定位移处显示在抬头显示器上。对于一些实施例，如果标志从抬头显示器的视图中消失，则与该标志相关的AR信息可以以相对于背景对象的固定位移而被显示。
示例性应用
在一些实施例中，确定持久性值可以包括确定每个对象可以在用户的视图内持续多久，或者确定对象的速度和对象的可见性。确定对象的速度可以包括执行对所述对象的运动跟踪。确定持久性值可以包括基于对象的坐标、对象的速度和所接收的场景信息的边界来确定所述对象将在用户的视图中持续多久。在一些实施例中，确定持久性值可以使用运动模型的直线，或者使用历史运动来预测未来运动。持久性值可以被确定为达到阈值预测时限，在一些实施例中，该阈值预测时限可以是30秒。在一些实施例中，确定持久性值可以包括预测对象的运动线中的点和/或显示所述对象的所述运动线中的预测点。作为确定持久性值的一部分，可以确定对象的运动线中的预测点的可见性。在一些实施例中，确定持久性值可以包括确定对象的遮挡。在一些实施例中，确定多个AR配对中的对象的持久性可包括将该多个AR配对发送到持久性确定器；以及接收所确定的所述多个AR配对中的对象的持久性。
在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短的预测持久性的对象的AR信息。在一些实施例中，对AR信息的显示进行优先化排序可以包括首先呈现具有比第一阈值短但比第二阈值长的预测持久性的对象的AR信息。对AR信息的显示进行优先化排序可以包括确定是否已经显示对象的AR信息；以及响应于确定已经显示所述对象的AR信息，不再次显示所述对象的AR信息。对AR信息的显示进行优先化排序可以包括向AR配对分配优先化排序分数；以及在显示与具有较低优先化排序分数的配对相对应的AR信息之前，显示与具有较高优先化排序分数的配对相对应的AR信息。对AR信息的显示进行优先化排序可以包括利用与未被优先化排序的AR信息不同的字体大小或颜色来突出显示AR信息的显示。该方法的一些实施例可以进一步包括：响应于接收到所述场景信息，将所述场景信息发送到信息服务，并且其中接收多个AR配对包括从所述信息服务接收所述多个AR配对。接收场景信息可包含利用场景传感器感测场景信息。并且在一些实施例中，场景信息可以包括点云。
在一些实施例中，一种基于用户的视图内的对象持久性来对AR信息优先化排序的方法可包含跟踪多个真实世界对象的运动；基于对所述对象的所述跟踪，预测每个对象可能在所述用户的视野中持续多久；以及针对具有较短的预测持久性的那些对象，对AR信息的显示进行优先化排序，其中对AR信息的显示进行优先化排序包括首先显示。
在一些实施例中，一种***可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行本文公开的方法。一种***可以进一步包括显示器和场景传感器。
注意，所描述的实施例中的一个或多个实施例的各种硬件元件被称为“模块”，其执行(即，运行、实行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现方式的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令和/或软件指令等的形式或包括硬件(即，硬连线的)指令、固件指令和/或软件指令等，并且可以存储在任何合适的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等的那些媒体。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
Claims (27)
1.一种基于用户的视野内的对象持久性来对增强现实AR信息进行优先化排序的方法，所述方法包括：
跟踪多个真实世界对象的运动；
基于跟踪所述多个真实世界对象的所述运动，预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久；以及
对具有较短预测持久性的那些真实世界对象的所述AR信息的显示进行优先化排序，其中对所述AR信息的显示进行优先化排序包括首先显示具有较短预测持久性的那些真实世界对象的所述AR信息。
2. 根据权利要求1所述的方法，还包括：
接收场景信息；以及
将利用优先化排序的AR信息增强的所述场景信息发送给显示器。
3.根据权利要求1所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括确定所述对象的速度和所述对象的可见性。
4.根据权利要求2所述的方法，还包括：
接收对应于所述多个真实世界对象的多个AR配对，每一AR配对包括所述多个真实世界对象中的对象的标识以及与所标识的对象相关联的AR信息，
其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括：确定所述多个AR配对中的所述多个真实世界对象的持久性值，以及
其中对所述AR信息的显示进行优先化排序进一步包括：基于所确定的相应真实世界对象的持久性值，对所述真实世界对象的所述AR信息的显示进行优先化排序。
5.根据权利要求2所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久基于所述对象的坐标、所述对象的速度和所接收的场景信息的边界。
6.根据权利要求1-5中任一项所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括使用运动模型的直线。
7.根据权利要求1-5中任一项所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括使用历史运动来预测每个对象的未来运动。
8.根据权利要求1-5中任一项所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括预测每个对象的未来运动直到阈值预测时限。
9.根据权利要求8所述的方法，其中所述阈值预测时限是30秒。
10.根据权利要求4所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久包括预测每个对象的运动线中的点。
11.根据权利要求10所述的方法，还包括：
显示所述对象的所述运动线中的所预测的点。
12.根据权利要求10-11中任一项所述的方法，其中确定持久性值还包括：
确定所述对象的所述运动线中的所预测的点的可见性。
13.根据权利要求1-5中任一项所述的方法，其中预测所述多个真实世界对象中的每一对象可能在所述用户的视野内持续多久还包括：
确定所述多个对象中的每个对象的遮挡。
14.根据权利要求1到5中任一权利要求所述的方法，其中首先显示具有较短预测持久性的那些真实世界对象的所述AR信息包括：
首先呈现具有比第一阈值短的预测持久性的对象的所述AR信息。
15.根据权利要求1到5中任一权利要求所述的方法，其中首先显示具有较短预测持久性的那些真实世界对象的所述AR信息包括：
首先呈现具有比第一阈值短但比第二阈值长的预测持久性的对象的所述AR信息。
16. 根据权利要求1到5中任一权利要求所述的方法，其中对所述AR信息的显示进行优先化排序还包括：
确定是否已经显示所述多个真实世界对象中的对象的AR信息；以及
响应于确定已经显示所述对象的AR信息，不再次显示所述对象的所述AR信息。
17. 根据权利要求4所述的方法，其中对所述AR信息的显示进行优先化排序还包括：
将优先化排序分数指派给所述多个AR配对中的每个AR配对；以及
在显示与具有较低优先化排序分数的AR配对相对应的AR信息之前，显示与具有较高优先化排序分数的AR配对相对应的AR信息。
18.根据权利要求1到5中任一权利要求所述的方法，其中对所述AR信息的显示进行优先化排序包括：以与未被优先化排序的AR信息不同的字体大小或色彩，突出显示所述AR信息的显示。
19. 根据权利要求4所述的方法，其中确定所述多个AR配对中的对象的持久性值包括：
将所述多个AR配对发送到持久性确定器；以及
接收针对所述多个AR配对中的对象的所确定的持久性值。
20. 根据权利要求4所述的方法，还包括：
响应于接收到所述场景信息，将所述场景信息发送到信息服务；以及
其中接收多个AR配对包括从所述信息服务接收所述多个AR配对。
21.根据权利要求2所述的方法，其中接收场景信息包括利用场景传感器感测场景信息。
22.根据权利要求2所述的方法，其中所述场景信息包括点云。
23. 一种***，包括：
处理器；以及
非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时操作以促使所述***执行根据权利要求1至22中任一项所述的方法。
24.根据权利要求23所述的***，还包括：
场景传感器。
25.根据权利要求23所述的***，还包括：
显示器。
26.一种基于用户的视野内的对象持久性来对增强现实AR信息进行优先化排序的方法，所述方法包括：
使用传感器感测场景信息；
跟踪多个真实世界对象的运动；
基于跟踪所述多个真实世界对象的所述运动，预测所述多个真实世界对象中的每一对象可能在所述用户的视野中持续多长时间；
优先化排序具有较短预测持久性的那些真实世界对象的所述AR信息的显示，其中优先化排序所述AR信息的显示包括：首先显示具有较短预测持久性的那些真实世界对象的AR信息；以及
显示利用优先化排序的AR信息增强的场景信息。
27.一种***，包括：
场景传感器；
显示器；
处理器；以及
非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时操作以促使所述***执行根据权利要求26所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410376487.7A CN118312039A (zh) | 2017-05-23 | 2018-05-10 | 对ar信息进行优先化排序的***及方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762510099P | 2017-05-23 | 2017-05-23 | |
| US62/510,099 | 2017-05-23 | ||
| PCT/US2018/032121 WO2018217470A1 (en) | 2017-05-23 | 2018-05-10 | System and method for prioritizing ar information based on persistence of real-life objects in the user's view |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410376487.7A Division CN118312039A (zh) | 2017-05-23 | 2018-05-10 | 对ar信息进行优先化排序的***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110663011A CN110663011A (zh) | 2020-01-07 |
| CN110663011B true CN110663011B (zh) | 2024-04-12 |
Family
ID=62705657
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410376487.7A Pending CN118312039A (zh) | 2017-05-23 | 2018-05-10 | 对ar信息进行优先化排序的***及方法 |
| CN201880033363.1A Active CN110663011B (zh) | 2017-05-23 | 2018-05-10 | 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的***及方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410376487.7A Pending CN118312039A (zh) | 2017-05-23 | 2018-05-10 | 对ar信息进行优先化排序的***及方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11276375B2 (zh) |
| EP (1) | EP3631601A1 (zh) |
| CN (2) | CN118312039A (zh) |
| WO (1) | WO2018217470A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11892311B2 (en) | 2016-11-26 | 2024-02-06 | Thinkware Corporation | Image processing apparatus, image processing method, computer program and computer readable recording medium |
| CN108121764B (zh) * | 2016-11-26 | 2022-03-11 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
| US10761694B2 (en) * | 2018-12-12 | 2020-09-01 | Lenovo (Singapore) Pte. Ltd. | Extended reality content exclusion |
| CN113544749A (zh) | 2019-02-20 | 2021-10-22 | 三星电子株式会社 | 用于在增强现实装置上显示内容的设备和方法 |
| EP3926441B1 (en) | 2020-06-15 | 2024-02-21 | Nokia Technologies Oy | Output of virtual content |
| US11651528B2 (en) * | 2021-09-22 | 2023-05-16 | Rockwell Automation Technologies, Inc. | Systems and methods for providing context-based data for an industrial automation system |
| US20240045496A1 (en) * | 2022-08-03 | 2024-02-08 | Sony Interactive Entertainment Inc. | Improving accuracy of interactions for gaze-enabled ar objects when in motion |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999160A (zh) * | 2011-10-14 | 2013-03-27 | 微软公司 | 混合现实显示器中用户控制的现实对象的消失 |
| CN105242275A (zh) * | 2015-09-29 | 2016-01-13 | 燕山大学 | 基于一致性估计与休眠调度的水下目标协同追踪方法 |
| CN105324738A (zh) * | 2013-06-07 | 2016-02-10 | 索尼电脑娱乐公司 | 在头戴式显示器中切换操作模式 |
| US9589372B1 (en) * | 2016-01-21 | 2017-03-07 | International Business Machines Corporation | Augmented reality overlays based on an optically zoomed input |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8922659B2 (en) | 2008-06-03 | 2014-12-30 | Thales | Dynamically reconfigurable intelligent video surveillance system |
| JP5263049B2 (ja) * | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| US9529424B2 (en) * | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
| US8670183B2 (en) | 2011-03-07 | 2014-03-11 | Microsoft Corporation | Augmented view of advertisements |
| US8217856B1 (en) * | 2011-07-27 | 2012-07-10 | Google Inc. | Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view |
| US9349218B2 (en) | 2012-07-26 | 2016-05-24 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
| US9448404B2 (en) * | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
| US9317972B2 (en) * | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
| US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
| US9239661B2 (en) * | 2013-03-15 | 2016-01-19 | Qualcomm Incorporated | Methods and apparatus for displaying images on a head mounted display |
| US20160055676A1 (en) * | 2013-04-04 | 2016-02-25 | Sony Corporation | Display control device, display control method, and program |
| US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
| DE102014109079A1 (de) | 2013-06-28 | 2014-12-31 | Harman International Industries, Inc. | Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers |
| CN105794177A (zh) * | 2013-12-01 | 2016-07-20 | 交互数字专利控股公司 | 使用基于策略的决策引擎的体验质量优化 |
| WO2015090421A1 (en) | 2013-12-19 | 2015-06-25 | Metaio Gmbh | Method and system for providing information associated with a view of a real environment superimposed with a virtual object |
| AU2013273829A1 (en) * | 2013-12-23 | 2015-07-09 | Canon Kabushiki Kaisha | Time constrained augmented reality |
| KR102212030B1 (ko) * | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US10740971B2 (en) * | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
| US9563983B2 (en) | 2015-03-04 | 2017-02-07 | International Business Machines Corporation | Filtering information within augmented reality overlays |
| US9760790B2 (en) * | 2015-05-12 | 2017-09-12 | Microsoft Technology Licensing, Llc | Context-aware display of objects in mixed environments |
| EP3104330B1 (de) | 2015-06-09 | 2019-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal |
| JP5876607B1 (ja) | 2015-06-12 | 2016-03-02 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
| WO2017039308A1 (en) * | 2015-08-31 | 2017-03-09 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
| US10275023B2 (en) * | 2016-05-05 | 2019-04-30 | Google Llc | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
| CN117058345A (zh) * | 2016-09-23 | 2023-11-14 | 苹果公司 | 增强现实显示器 |
| US10466777B2 (en) * | 2016-12-07 | 2019-11-05 | LogMeln, Inc. | Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets |
| US10930082B2 (en) * | 2016-12-21 | 2021-02-23 | Pcms Holdings, Inc. | Systems and methods for selecting spheres of relevance for presenting augmented reality information |
| JP7013786B2 (ja) * | 2017-10-16 | 2022-02-01 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、プログラム及び制御方法 |
| US10434935B1 (en) * | 2018-06-29 | 2019-10-08 | Nissan North America, Inc. | Interactive external vehicle-user communication |
-
2018
- 2018-05-10 EP EP18733379.4A patent/EP3631601A1/en active Pending
- 2018-05-10 CN CN202410376487.7A patent/CN118312039A/zh active Pending
- 2018-05-10 CN CN201880033363.1A patent/CN110663011B/zh active Active
- 2018-05-10 WO PCT/US2018/032121 patent/WO2018217470A1/en active Application Filing
- 2018-05-10 US US16/614,293 patent/US11276375B2/en active Active
-
2022
- 2022-02-24 US US17/679,705 patent/US20220180842A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999160A (zh) * | 2011-10-14 | 2013-03-27 | 微软公司 | 混合现实显示器中用户控制的现实对象的消失 |
| CN105324738A (zh) * | 2013-06-07 | 2016-02-10 | 索尼电脑娱乐公司 | 在头戴式显示器中切换操作模式 |
| CN105242275A (zh) * | 2015-09-29 | 2016-01-13 | 燕山大学 | 基于一致性估计与休眠调度的水下目标协同追踪方法 |
| US9589372B1 (en) * | 2016-01-21 | 2017-03-07 | International Business Machines Corporation | Augmented reality overlays based on an optically zoomed input |
Non-Patent Citations (3)
| Title |
|---|
| Tobias Jäkel ; Martin Weißbach ; Kai Herrmann ; .Position Paper: Runtime Model for Role-Based Software Systems.IEEE.2016,全文. * |
| 基于ARToolKit的户外增强现实***的设计和实现;刘秀坤;郭贵洲;;测绘科学;20091015(第S2期);全文 * |
| 陆地生态***的模型模拟;李长生;复杂***与复杂性科学;20040111(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210158779A1 (en) | 2021-05-27 |
| US20220180842A1 (en) | 2022-06-09 |
| CN110663011A (zh) | 2020-01-07 |
| WO2018217470A1 (en) | 2018-11-29 |
| US11276375B2 (en) | 2022-03-15 |
| CN118312039A (zh) | 2024-07-09 |
| EP3631601A1 (en) | 2020-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110663011B (zh) | 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的***及方法 | |
| JP7376496B2 (ja) | 優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法 | |
| CN112262611B (zh) | 数据传输抢占 | |
| US20230337269A1 (en) | Methods, architectures, apparatuses and systems for extended reality-assisted radio resource management | |
| US11442535B2 (en) | Systems and methods for region of interest estimation for virtual reality | |
| EP3957021A1 (en) | Multiple zone configuration | |
| WO2018200315A1 (en) | Method and apparatus for projecting collision-deterrents in virtual reality viewing environments | |
| CN112313712A (zh) | 采用用于虚拟现实的预测过满填充的***和方法 | |
| US20190204108A1 (en) | Methods and apparatus for improved navigation notification based on localized traffic flow | |
| EP3788457A1 (en) | Systems and methods for physical proximity and/or gesture-based chaining of vr experiences | |
| CN111052753A (zh) | 跟踪式视频缩放 | |
| US11900532B2 (en) | System and method for hybrid format spatial data distribution and rendering | |
| WO2020033562A1 (en) | Methods and apparatuses for synchronization in wireless system | |
| US20230377273A1 (en) | Method for mirroring 3d objects to light field displays | |
| JP2023541517A (ja) | 第１の端末装置、第２の端末装置、第１の端末装置の方法、および第２の端末装置の方法 | |
| WO2023081197A1 (en) | Methods and apparatus for supporting collaborative extended reality (xr) | |
| US20240221494A1 (en) | Periodic integrated sensing with mobility support | |
| CN118369940A (zh) | 用于支持协作扩展现实(xr)的方法和装置 | |
| WO2024073380A1 (en) | Supporting code block group (cbg) based transmissions | |
| WO2023211941A1 (en) | Methods for robust link performance management for xr | |
| WO2023212169A1 (en) | Group-based network access | |
| WO2023154429A1 (en) | Supporting power savings in multi-modal xr services | |
| WO2024097408A1 (en) | System and methods to improve the performance of federated learning via sidelink communications | |
| WO2023283240A1 (en) | Method and procedures for adaptive high granularity sensing using multi-sta coordination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230404 Address after: Delaware Applicant after: Interactive Digital VC Holdings Address before: Wilmington, Delaware, USA Applicant before: PCMS HOLDINGS, Inc. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |