CN114138116A - 基于无线测距来控制电子设备和显示信息 - Google Patents
基于无线测距来控制电子设备和显示信息 Download PDFInfo
- Publication number
- CN114138116A CN114138116A CN202111466610.7A CN202111466610A CN114138116A CN 114138116 A CN114138116 A CN 114138116A CN 202111466610 A CN202111466610 A CN 202111466610A CN 114138116 A CN114138116 A CN 114138116A
- Authority
- CN
- China
- Prior art keywords
- wireless communication
- communication device
- wireless
- wireless device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 96
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 440
- 230000005540 biological transmission Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 230000006855 networking Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 230000009471 action Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000001052 transient effect Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229910002091 carbon monoxide Inorganic materials 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Environmental & Geological Engineering (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Mobile Radio Communication Systems (AREA)
- Multimedia (AREA)
- Selective Calling Equipment (AREA)
Abstract
本公开涉及基于无线测距来控制电子设备和显示信息。一种用于由无线设备控制对象的方法,所述方法包括由所述无线设备:解释第一组数据以检测指示控制所述对象的意图的意图手势,其中所述对象在所述无线设备的无线范围内;执行无线测距操作以识别要控制的对象;解释第二组数据以确定动作手势,所述动作手势指示用于控制由所述无线测距操作识别的所述对象的命令;以及发送与所述命令对应的命令值以控制所述对象。
Description
本申请是申请日为2017年2月3日的、名称为“基于无线测距来控制电子设备和显示信息”的发明专利申请No.201780009457.0的分案申请。
技术领域
本发明所描述的实施方案涉及电子设备之间的无线通信以及用户界面,包括用于利用手势和量度诸如无线测距来控制电子设备的***和技术、以及用于至少部分地基于无线测距来在用户界面上显示物理或增强现实信息的***和技术。
背景技术
许多电子设备、包括便携式电子设备(诸如蜂窝电话)的用途常常受易用性影响,因此其普及性常常受易用性影响。具体地讲,许多电子设备的易用性通常由用户界面确定。用户界面是用以限定和接收用户的动作或行为(包括用户要访问电子设备的特征的尝试)所通过的途径。因此,用户界面是整体用户体验不可缺少的部分。
然而,存在与现有用户界面相关联的限制,尤其是小型手持式电子设备的用户界面。例如,许多现有用户界面由于需要用户激活或打开电子设备而受到限制。于是,用户可能需要与用户界面进行物理接触,诸如在触敏显示器上显示的用户界面的情况。此外,可能难以以允许不同类型的信息彼此直观地区分开的方式在用户界面上呈现信息。因此,可在用户界面上显示的信息的量常常受到限制,并且用户常常被所显示的信息弄糊涂。除了使用户沮丧和劣化用户体验之外,常常存在与被忽略或未显示的信息相关联的显著的机会成本。因此,许多现有用户界面产生令人沮丧的用户交互,这会劣化用户体验。
发明内容
本文公开了涉及控制对象的无线通信电子设备的实施方案。在操作期间,无线通信设备标识所接收的指示要控制对象的意图的意图手势,其中该对象在环境中被定位成接近无线通信设备。然后,无线通信设备利用无线测距来确定与意图手势相关联的对象。此外,无线通信设备访问来自与无线通信设备相关联的一个或多个传感器的传感器数据,并解释所访问的传感器数据以确定命令值,该命令值被传输以控制对象。
需注意,对象可以是物理对象。例如,物理对象可包括:计算设备、显示器、打印机、通信设备、音频设备、电器、可穿戴设备、家庭自动化设备、环境控制器、和/或附件。另选地,对象可以是虚拟对象。另外,虚拟对象可充当将命令值与物理对象关联的代理。
此外,无线测距可使用无线传输特性或无线测距计算来确定无线通信设备与对象之间的距离。此外,所访问的传感器数据可包括对应于无线通信设备的取向值,该取向值是利用罗盘、加速度计和/或陀螺仪来确定的。
另外,命令值可包括用于以下操作的命令:将无线通信设备与对象配对;改变对象的操作设置;和/或执行功能。需注意,命令值可导致对象传输包括传感器值的响应和/或可请求访问资源。
在一些实施方案中,无线通信设备可利用超声调频信号来确定环境中对象的接近性。
本文还公开了涉及定位对象的无线通信电子设备的实施方案。在操作期间,无线通信设备接收具有与在环境中被定位成接近无线通信设备的对象相关联的标识符的传输。无线通信设备确定对象相对于无线通信设备的范围和/或到对象的方向,其中范围、方向或者这两者是至少部分地利用无线测距来确定的。然后,无线通信设备呈现指示范围和/或方向的输出信息。
例如,呈现输出信息可涉及在无线通信设备中的显示器上显示环境中接近区域的地图(或其他表示)以及在地图上显示表示对象的第一指示符。另选地或除此之外,呈现输出信息可涉及在显示器上显示由无线通信设备中的成像传感器捕获的环境中接近区域的图像、以及在图像上显示表示对象的第二指示符。在一些实施方案中,呈现输出信息涉及基于无线通信设备的取向来在显示器上在显示环境中的接近区域的包括表示对象的第一指示符的地图和在所述显示器上显示所述接近区域的包括对应于对象的第二指示符的相机所捕获的图像之间进行转变。需注意,不管对象是否在无线通信设备的视觉范围内或者换句话讲对于无线通信设备是可见的,第一指示符和/或第二指示符都可被显示。
此外,与对象相关联的标识符可以是唯一标识符。此外,与对象相关联的标识符可与对应于对象的资源类相关联。在一些实施方案中,具有不同含义或不同可解析性的多个标识符可与同一对象相关联。
在一些实施方案中,无线通信设备将所接收的标识符与一个或多个所存储的目标标识符进行比较以确定匹配(例如,以解析标识符)。需注意,目标标识符可能已经与搜索结果或交易一起被接收。另选地或除此之外,目标标识符可对应于由无线通信设备保持的联系人。
此外,无线通信设备可至少部分地基于标识符向对象传输消息。例如,消息可包括音频消息,其作为基本上仅在对应于对象的位置处能够感知的波束成形的音频消息被传输,其中所述位置是至少部分地基于对象的范围和/或方向来确定的。
需注意,对象可为与个体相关联的电子设备。另选地或除此之外,对象可以是环境中的资源,诸如公共(例如,安全)资源或私有(例如商业)资源。
此外,输出信息可包括触觉输出,其可通过无线通信设备和/或另一设备来呈现。
其他实施方案提供用于与无线通信设备一起使用的计算机程序产品。该计算机程序产品包括用于由无线通信设备执行的操作中的至少一些操作的指令。
另外的实施方案提供包括由无线通信设备执行的操作中的一个或多个操作的方法。
提供本发明内容的目的是举例说明一些示例性实施方案,以提供对本文所述主题的一些方面的基本了解。因此,应当理解,上文描述的特征部只是示例,并且不应认为其以任何方式缩窄本文所述的主题的范围或实质。本文所描述的主题的其它特征、方面和优点将通过以下具体实施方式、附图和权利要求书而变得显而易见。
附图说明
所包括的附图用于例示的目的并仅用于为所公开的***和技术提供可能结构和布置的示例,所公开的***和技术用于例如通过无线测距来智能且高效地管理多个相关联设备之间的操作、控制、交互和其他通信以及用于定位对象。这些附图决不限制本领域的技术人员在不脱离实施方案的实质和范围的前提下可对实施方案进行的在形式和细节方面的任何更改。实施方案通过下面结合附图的详细描述将易于理解,其中类似的附图标记表示类似的结构元件。
图1是示出无线地通信的电子设备的示例的框图。
图2提供示出执行无线测距的无线通信设备的示例的框图。
图3、图4和图5提供示出基于无线测距利用一个或多个手势来控制对象的示例的图示。
图6提供用于利用无线通信设备来控制对象的示例性方法。
图7提供图1所示电子设备之间的通信的示例。
图8提供示出利用无线测距在环境中定位对象的示例的图示。
图9提供示出显示地图和表示图8中的对象的指示符的用户界面的示例的图示。
图10提供示出显示图像和表示图8中的对象的指示符的用户界面的示例的图示。
图11提供示出用户界面的基于无线通信设备的取向的不同模式的示例的图示。
图12提供示出用户界面的不同模式的示例的图示。
图13提供示出增强现实的示例的图示。
图14提供示出关于环境中资源的扩展态势感知的示例的图示。
图15提供示出提供提醒以及跟踪环境中的对象的示例的图示。
图16提供示出与用户界面相关联的不同类型的反馈的示例的图示。
图17提供用于利用无线通信设备定位对象的方法的示例。
图18提供图1所示电子设备之间的通信的另一示例。
需注意,在整个附图中类似的附图标号指代对应的部件。此外,相同部件的多个实例由公共前缀进行指定,该公共前缀通过破折线与实例标号分开。
具体实施方式
所公开的实施方案涉及无线通信设备(诸如智能电话或智能手表),其使用一个或多个测量(诸如无线测距或基于无线电的距离测量)来远程控制对象诸如物理设备或在物理参考位置处的与物理设备相关联的虚拟表示(或占位符)。具体地讲,无线通信设备可实施用户界面技术,其中一个或多个测量被用于远程地(例如,从一定距离,并且一般性地,在没有物理接触的情况下)控制对象的操作。需注意,对象有时被称为“可控设备”或“目标设备”。
用户界面技术可消除与许多现有用户界面相关联的约束。例如,为了控制对象,用户可以不再需要打开或解锁无线通信设备(例如,通过提供密码或生物特征标识符诸如指纹)。类似地,通过便于从一定距离控制对象,该用户界面技术可消除对用户与对象上的或者和对象相关联的用户界面的物理接触的需要。因此,用户界面技术可改善在使用无线通信设备和对象时的用户体验,因此可提高客户满意度和保留。
所公开的实施方案还涉及使用一个或多个测量(诸如无线测距或基于无线电的距离测量)来定位环境中的接近对象诸如物理设备(例如,电子设备或资源)或物理设备的在物理参考位置处的虚拟表示(或占位符)的无线通信设备(诸如智能电话或智能手表)。虚拟表示可以是物理对象(例如占位符对象)或完全虚拟对象(例如,对应于位置的一个或多个坐标)。无线通信设备可实施用户界面技术,其中与对象相关联的标识符以无线方式被接收,并且一个或多个测量被用于无线地(例如,从一定距离,并且一般性地,在没有物理接触的情况下)确定对象相对于无线通信设备的范围和/或到对象的方向(例如,矢量或航向)。于是,无线通信设备可呈现指示范围和/或方向的输出信息。例如,无线通信设备可显示环境中接近区域的地图,在地图上具有表示对象的指示符。另选地,无线通信设备可显示接近区域的图像(例如,由无线通信设备的相机捕获),在图像上具有表示对象的指示符。
这个附加用户界面技术可消除与许多现有用户界面相关联的约束。例如,输出信息可根据范围和/或方向而被显示。这可允许所显示的输出信息被直观地布置,这可允许用户快速地理解和使用否则可能是复杂内容的内容。此外,这个附加用户界面技术可允许输出信息仅在对用户有用时被显示,使得在任何给定时间只有相关子集的感兴趣的信息被显示。具体地讲,相关子集可基于周围环境中接近对象的位置和用户行为(诸如无线通信设备的取向或其被指向的方向)的态势感知来标识。因此,所述附加用户界面技术可改善在使用无线通信设备时的用户体验,因此可提高客户满意度和保留。
需注意,用户界面技术中在电子设备之间的无线通信期间使用的通信可以遵照通信协议,诸如:电气电子工程师协会(IEEE)802.11标准(有时称为Wi-Fi)。例如,通信可与IEEE 802.11ax一起使用,这在以下讨论中被用作示例性示例。然而,用户界面技术也可与多种其他通信协议一起使用,并且也可在可结合多种不同无线电接入技术(RAT)的电子设备(诸如便携式电子设备或移动设备)中使用,以通过提供不同服务和/或能力的不同无线网络提供连接。
具体地,无线通信设备可包括用于支持根据无线个人局域网(WPAN)通信协议(诸如由技术联盟(Kirkland,Washington)标准化的那些和/或由Apple(Cupertino,California)开发的被称为Apple无线直连(AWDL)的那些)的WPAN的硬件和软件。此外,无线通信设备可经由无线广域网(WWAN)、无线城域网(WMAN)、WLAN、近场通信(NFC)、蜂窝电话或数据网络(诸如使用第三代(3G)通信协议、***(4G)通信协议例如长期演进或LTE、高级LTE(LTE-A)、第五代(5G)通信协议、或其他当前或未来开发的高级蜂窝通信协议)和/或另一通信协议进行通信。
在一些实施方案中,无线通信设备还可作为无线通信***的一部分来操作,该无线通信***可包括也可被称为站、客户端电子设备、或客户端电子设备的一组客户端设备,其互连到接入点(例如作为WLAN的一部分)和/或彼此互连(例如作为WPAN和/或“自组织”无线网络诸如Wi-Fi直接连接的一部分)。在一些实施方案中,客户端设备可为能够经由WLAN技术(例如,根据WLAN通信协议)进行通信的任何电子设备。此外,在一些实施方案中,WLAN技术可包括Wi-Fi(或更一般性地,WLAN)无线通信子***或无线电部件,Wi-Fi无线电部件可实施电气电子工程师协会(IEEE)802.11技术,诸如以下各项中的一者或多者:IEEE802.11a;IEEE 802.11b;IEEE 802.11g;IEEE 802.11-2007;IEEE 802.11n;IEEE802.11-2012;IEEE 802.11ac;IEEE 802.11ax、或其他现在或未来开发的IEEE 802.11技术。
因此,在一些实施方案中,无线通信设备可充当通信枢纽,通信枢纽提供对WLAN和/或对WWAN的接入,并且因此提供对在无线通信设备上执行的各种应用程序可支持的多种服务的接入。因此,无线通信设备可包括(诸如利用Wi-Fi)与其他电子设备无线地通信并且经由IEEE 802.3(有时称为“以太网”)提供对另一网络(诸如互联网)的接入的“接入点”。
另外,应当理解,本文所述的电子设备可被配置成还能够经由不同的3G和/或第二代(2G)RAT进行通信的多模无线通信设备。在这些情境下,多模电子设备或UE可被配置为与提供较低数据速率吞吐量的其他3G传统网络相比更偏好附接到提供较快数据速率吞吐量的LTE网络。例如,在一些具体实施中,多模电子设备被配置为在LTE和LTE-A网络不可用时回退到3G传统网络,例如演进型高速分组接入(HSPA+)网络或者码分多址(CDMA)2000演进-仅数据(EV-DO)网络。
无线测距可利用任何标准或专有测距技术、或者标准和/或专有测距技术的任意组合来执行。无线测距操作可被执行以确定设备之间(例如,发起方和响应方之间)的距离、设备之间的方向、或这两者。例如,可为设备之间的一个或多个消息确定飞行时间/到达时间(ToF/ToA),其可被用于建立距离测量。所述一个或多个消息可具有任何格式,并且可利用任何无线协议例如802.11协议、蓝牙等来传输。在一些实施方案中,ToF/ToA可利用两个或更多个消息的双向交换来确定。另外,在一些实施方案中,用于执行测距的一个或多个消息可例如通过加密或以其他方式保护内容的至少一部分来受到保护。此外,在一些实施方案中,一个或多个无线信号的来源的方向可利用诸如到达角(AoA)这样的技术来确定。例如,AoA估计可利用多个接收元件(例如,天线阵列的元件)测量信号到达的不同时间(TDOA)和/或不同相位(PDOA)来执行。除此之外或另选地,在一些实施方案中,方向性可通过测量多普勒漂移以确立到达频率差(FDOA)来确定。无线测距技术可单独地或组合地应用,以执行单个测距操作。此外,无线测距技术可单独地或组合地应用,以执行持续测距操作,诸如连续或间断测距,并且测量的历史可被捕获并且在基于范围和/或方向执行操作中使用。
根据本文所述的各种实施方案,术语“无线通信设备”、“电子设备”、“移动设备”、“移动站”、“无线站”、“无线接入点”、“站”,“接入点”和“用户设备(UE)”在本文中可被用来描述可以能够执行与本公开的各种实施方案相关联的过程的一个或多个消费电子设备。
现在对用户界面技术的实施方案进行描述。图1提供示出无线地通信的电子设备的示例的框图100。具体地讲,无线通信设备110(诸如智能电话、膝上型计算机、可穿戴设备或平板电脑)和物理设备112可无线地通信。这些电子设备可在以下情况下进行无线通信:通过扫描无线信道而检测到彼此、在无线信道上传输和接收信标或信标帧、建立连接(例如,通过传输连接请求)、和/或传输和接收分组或帧(其可包括请求和/或附加信息诸如数据作为有效载荷)。另外,在物理位置116处可存在虚拟表示114。虚拟表示114可对应于物理设备118,使得虚拟表示114充当物理设备118的代理。在这种情况下,无线通信设备110可标识虚拟表示114以及与虚拟表示114交互,但可传输在物理设备118处接收的无线信号。例如,虚拟表示114可与温度调节器相关联,并且无线通信设备110对温度调节器的调节可通过与虚拟表示114的交互来提供,但是由环境单元(例如,物理设备118)接收和实施。
需注意,物理设备112和/或118可包括:电器(诸如烘箱、烤面包机、冰箱、洗碗机或洗衣机)、另一电子设备(诸如计算机、膝上型计算机、平板电脑或计算设备)、娱乐设备(诸如电视机、显示器、无线电接收器或机顶盒)、音频设备、投影仪、保安设备(诸如报警器或门锁)、通信设备(诸如智能电话)、监视设备(诸如烟雾探测器或一氧化碳探测器)、环境控制器(诸如温度调节器、灯开关、或窗帘)、附件(诸如键盘、鼠标或扬声器)、打印机、可穿戴设备、家庭自动化设备、环境108中的资源(诸如运输资源、共享计算资源、医疗资源、显示资源、保安资源、可达性资源或安全资源)等。此外,虚拟表示114可被实现成:贴纸、图片、陶瓷件、地理围栏、定义位置的一个或多个坐标等。在一些实施方案中,物理设备118包括:灯开关、温度调节器等等。
如下文参考图2进一步所述,无线通信设备110、物理设备112、和/或物理设备118可包括子***,诸如联网子***、存储器子***和处理器子***。此外,无线通信设备110、物理设备112、和/或物理设备118可包括联网子***中的无线电部件120。更一般性地,无线通信设备110、物理设备112、和/或物理设备118可包括具有使得无线通信设备110、物理设备112、和/或物理设备118能够与另一电子设备进行无线通信的联网子***的任何电子设备(或可被包括在该任何电子设备内)。这可包括在无线信道上传输信标以使得电子设备能够彼此进行初始联系或检测彼此,然后交换后续的数据/管理帧(诸如连接请求)以建立连接(有时被称为“Wi-Fi连接”)、配置安全选项(例如,IPSec)、经由所述连接来传输和接收分组或帧等。
如图1中可见,无线信号122(由锯齿状线表示)分别由无线通信设备110和物理设备112中的无线电部件120-1和120-2来通信。例如,无线通信设备110和物理设备112可在无线个人局域网(WPAN)中利用蓝牙协议或者在无线局域网(WLAN)中利用Wi-Fi协议来交换分组。
具体地讲,如下文参考图3-图5和图8-图16所述,无线通信设备110可传输包括传输时间的帧或分组。当这个帧或分组被物理设备112接收时,可确定到达时间。基于飞行时间(到达时间和传输时间的差值)和传播速度的乘积,可计算无线通信设备110与物理设备112之间的距离。该距离可在后续的帧或分组传输中与物理设备112或物理设备112的用户的标识符(诸如唯一标识符)一起从物理设备112传送给无线通信设备110。另选地,物理设备112可传输包括传输时间和物理设备112的标识符的帧或分组,并且无线通信设备110可基于飞行时间(到达时间和传输时间的差值)和传播速度的乘积来确定无线通信设备110和物理设备112之间的距离。需注意,这种用于动态确定无线通信的电子设备之间的距离的方法有时被称为“无线测距”。另外,当多个目标设备可定位为彼此靠近或定位在同一视线中时,无线测距(单独地或与其他传感器输入诸如罗盘、陀螺仪和/或加速度计一起)可被用于消除控制输入意图的歧义。可使用这种方法的变型形式,其中无线通信设备110通过传感器输入(例如,罗盘、陀螺仪和/或加速度计)感测针对物理位置116的手势输入,并确定一个或多个控制信号应被传输给相关联的设备,例如与虚拟表示114相关联的物理设备118。类似地,该方法的其中无线通信设备110传输在物理位置116处被反射的帧或分组的另一变型形式可任选地被用于动态地确定无线通信设备110与虚拟表示114之间的距离。因此,无线测距可被无线通信设备110用于确定对象(诸如物理设备112或虚拟表示114)何时是在环境108中接近。
虽然前述示例示出无线通信设备110和物理设备112中具有同步时钟的无线测距,但在其他实施方案中,时钟不同步。例如,即使在传输时间未知或不可用时,无线通信设备110或物理设备112的位置可基于无线信号122的在不同已知位置处的若干接收器处的传播速度和到达时间数据(有时称为“到达差分时间”)来估计。更一般地,可使用多种无线电定位技术,诸如:基于接收信号强度指示器(RSSI)相对于原始传输信号强度的功率差(其可包括对吸收、折射、遮蔽和/或反射的校正)来确定距离;利用定向天线或基于具有已知位置的天线阵列处的到达差分时间来确定接收器处的到达角(包括非视线接收);基于背散射无线信号来确定距离;和/或确定具有已知位置的两个接收器处的到达角(即,三边测量或多边测量)。需注意,无线信号122可包括GHz或多GHz带宽上的传输以产生短持续时间的脉冲(诸如例如大约1ns),其可允许在0.3m(例如1英尺)内确定距离。在一些实施方案中,无线测距利用位置信息诸如由本地定位***、全球定位***和/或无线网络所确定或指定的图1中电子设备中的一者或多者的位置来被促进。
此外,无线通信设备110可包括测量(或生成)传感器数据的一个或多个传感器。例如,所述一个或多个传感器可包括:测量无线通信设备110的取向(或取向值)或方向的一个或多个罗盘、一个或多个加速度计、和/或一个或多个陀螺仪;测量无线通信设备110的加速度的一个或多个加速度计;收发器(诸如无线电部件120-1),所述收发器确定表征无线通信设备110与另一电子设备(诸如物理设备112,或者在其中被反射的无线信号被接收的实施方案中,无线通信设备110)之间的无线通信的量度;被配置为例如经由触摸屏接收触摸输入的一个或多个触摸传感器;和/或测量无线通信设备110的环境108中的环境声音的一个或多个麦克风或声学换能器。在一些实施方案中,无线通信设备110利用声学换能器提供的超声啁啾信号(chirp)来确定对象在环境108中的接近性。这个超声啁啾信号可以在人类听觉范围之外。在下面的讨论中,电子设备的“接近性”应被理解为包括至少在无线通信范围内,并且可将电子设备进一步限制为在同一房间中或在预定距离内(诸如在10米或30米内)。
如下文参考图3-图5进一步所述,在用户界面技术期间,无线通信设备110可使用无线测距和/或传感器数据来控制物理设备112和/或118。具体地,无线通信设备110可标识无线通信设备110的用户的意图手势。例如,用户可将无线通信设备110朝着物理位置116(并且因此朝着虚拟表示114)或者朝着物理设备112指向,并且无线通信设备110可基于无线通信设备110的取向(与物理设备112或虚拟表示114的位置和/或取向孤立地或有关地)和/或无线通信设备110的移动(例如,预定义的意图手势运动,诸如前向伸展(或推动))来标识这个“意图手势”。于是,无线通信设备110可确定与意图手势相关联的对象(诸如物理设备112或虚拟表示114),包括利用无线测距。例如,对应于意图手势的对象可至少部分地基于利用无线测距确定的与对象的距离以及取向(或相对取向)来确定。
此外,用户于是可通过例如二维或三维地移动无线通信设备110来执行“动作手势”。该动作手势可在由无线通信设备110中的或与无线通信设备110相关联的一个或多个传感器获取的所检测/所测量的传感器数据中被捕获。然后,无线通信设备110可解释传感器数据以确定动作手势,并且因此确定命令或命令值。此外,无线通信设备110可在帧或分组中将命令或命令值传输给要控制的相应设备,例如物理设备112或物理设备118。
如下文进一步所述,需注意,命令值可包括用于以下操作的命令:将无线通信设备110与对象配对或关联;更改对象的操作设置(例如开灯或关灯、或者改变温度调节器的温度、调节音量、信道和/或回放设置);传送数据(诸如媒体或文本数据);和/或执行任何其他此类功能。需注意,命令值可导致对象将响应(例如包括传感器值)传输回无线通信设备110和/或可请求访问资源(诸如无线打印机)。
因此,用户界面技术可允许无线通信设备110从一定距离控制对象(或与对象相关联的功能),包括在用户没有打开或解锁无线通信设备110的情况下。这种能力也可为用户提供在控制对象或与对象交互中的新的自由度。因此,用户界面技术可改善在使用无线通信设备110和对象时的用户体验,因此可提高用户满意度和保留。
在所描述的实施方案中,在无线通信设备110、物理设备112、和/或物理设备118中的一者中处理分组或帧包括:接收对所述分组或帧进行编码的无线信号122;从所接收的无线信号122解码/提取所述分组或帧以获取所述分组或帧;以及处理所述分组或帧以确定所述分组或帧中包含的信息(诸如有效载荷中的数据)。
通常,用户界面技术中经由WLAN的通信可通过多种量度(或通信性能量度)来表征。例如,所述量度可以包括:RSSI、数据率、成功通信的数据率(有时被称为“吞吐量”)、错误率(诸如重试或重发率)、经均衡的信号相对于均衡目标的均方差、符号间干扰、多径干扰、信噪比、眼图的宽度、时间间隔(诸如1秒-10秒)期间成功通信的字节数与所估计的在该时间间隔中能通信的最大字节数的比率(其中后者有时被称为通信信道或链路的“容量”)、和/或实际数据率与所估计的数据率的比率(有时称为“使用”)。
如下文参考图8-图16进一步所述,在用户界面技术期间,无线通信设备110可使用无线测距和/或传感器数据来定位环境108中的对象以及基于所确定的位置提供关于对象的直观信息。具体地讲,无线通信设备110可接收传输,该传输包括与在环境108(诸如,建筑物中的房间或无线通信设备110周围的区域)中被定位成接近无线通信设备110的对象(例如物理设备112)相关联的标识符。例如,标识符可以是物理设备112的唯一标识符(因此,是物理设备112的用户的唯一标识符)。另选地或除此之外,标识符可与对应于物理设备112的资源类相关联,诸如:运输资源、共享计算资源(例如打印机)、医疗资源、显示资源、保安资源、可达性资源、安全资源等。需注意,标识符可能已经与搜索结果或交易一起被接收。另选地或除此之外,标识符可对应于无线通信设备110的用户的联系人。在一些具体实施中,对象(例如,物理设备112)可分开地传输可根据可供接收方(例如,无线通信设备110)使用的信息被不同地解析的多个不同标识符。
作为响应,无线通信设备110可将所接收的标识符与一个或多个所存储的目标标识符进行比较以确定匹配。于是,利用无线测距,无线通信设备110可确定物理设备112相对于无线通信设备110的范围(或距离)和/或到物理设备112的方向。
然后,无线通信设备110可呈现指示对物理设备112的范围和/或方向的输出信息。例如,如下文参考图9进一步所述,无线通信设备110可显示环境108中接近区域的地图,并且可在地图上显示表示物理设备112的第一指示符。另选地或除此之外,如下文参考图10进一步所述,无线通信设备110可显示由无线通信设备110中的成像传感器(诸如CMOS或CCD成像传感器,并且更一般性地,相机)捕获的环境108中接近区域的图像,并且可在图像上显示表示物理设备112的第二指示符(其可与第一指示符相同或不同)。需注意,不管物理设备112是否在无线通信设备110的视觉范围内或者换句话讲对于无线通信设备110是可见的,第一指示符和/或第二指示符可被显示。
此外,如图11中所描绘,在一些实施方案中,用户可通过改变无线通信设备110的取向来直观地在这两个用户界面模式之间来回切换或变换。具体地,基于所测量的取向值,无线通信设备110可选择性地在显示地图和显示图像之间进行转变。因此,当无线通信设备110(例如水平地)面朝下时,具有第一指示符的地图可被显示,并且当无线通信设备110(例如,竖直地)面向物理设备112的方向时,具有第二指示符的图像可被显示。
另选地,如图12中所描绘,用户可选择用户界面模式,诸如通过在图标的敲击区域内进行、然后中断与无线通信设备110中的触敏显示器的接触来选择。这样,用户可选择用户界面模式,其中具有围绕无线通信设备110的360°视角的地图被显示,并且不同范围和方向处的对象(诸如物理设备112)通过第一指示符(诸如符号、表情符号或图形图标)而被表示在地图上。此外,当无线通信设备110被指向物理设备112或正面向物理设备112的方向时,用户可选择用户界面模式,其中图像被显示,并且物理设备112由第二指示符(诸如符号,表情符号或图形图标)表示。在一些具体实施中,在无线通信设备110的显示器显示接近区域的图像时,一个或多个其他图形元素(例如,定向元素)也可被呈现。
在一些实施方案中,用户界面技术包括增强现实。具体地讲,如下文参考图13所述,无线通信设备110上的前向相机可捕获在用户将无线通信设备110握持在其面部前面时会被无线通信设备110掩蔽的环境108的图像(或视频)。于是,在无线通信设备110正面向对象(诸如物理设备112)的方向时,所述图像可与表示物理设备112的指示符一起被显示在无线通信设备110上,使得无线通信设备110在用户看来是透明的。需注意,指示符在图像中可被定位在其在环境108中的位置处,并且可被尺寸设定成提供具有关于到对象的相对范围的直观信息的透视图。因此,离无线通信设备110(并且因此离用户)越远的对象与更靠近无线通信设备110的对象相比可由更小的指示符来表示。
此外,如下文参考图14所述,增强现实可包括所谓的“X射线视觉”。具体地讲,当物理设备112位于不透明屏障(诸如墙壁或一件家具)的另一侧时,显示在无线通信设备110上的图像可允许用户看到物理设备112,就好像不透明屏障不存在一样,或者就好像用户能看穿不透明屏障一样。例如,如果用户正在寻找位于另一房间中的网络打印机,则当用户将无线通信设备110指向网络打印机的方向时,网络打印机的图像可与允许用户访问网络打印机的信息一起被显示在无线通信设备110上。因此,通过轻击在无线通信设备110上显示的用户界面中与网络打印机相关联的图标,用户可指示无线通信设备110与网络打印机配对或连接(或者以其他方式与其交互)。另选地或除此之外,用户界面可包括关于如何到达网络打印机的指令(并且任选地还包括建筑物地图)。
类似地,如下文参考图15进一步所述,用户界面技术可允许用户跟踪环境108中的对象(诸如物理设备112)的位置,或者获取关于环境108中一个或多个相关对象的提醒(例如,以防止丢失)。这样,父母可保持跟踪孩子,或者可确保在上学路上不忘记什么东西(诸如背包)。
此外,如下文参考图16进一步所述,多种反馈可利用用户界面技术被提供给环境108中的用户或其他个体。除了先前所述的视觉信息之外,无线通信设备110可直接在无线通信设备110上或间接地通过另一电子设备(诸如用户的智能手表)向用户提供触觉反馈。这样,用户可接收关于其环境的反馈,诸如当其正面向物理设备112的方向时。
另外,无线通信设备110可向物理设备112传输消息,诸如文本或音频消息。例如,消息可包括作为基本上仅在对应于物理设备112的位置能感知的波束成形的音频消息进行传输的音频消息(例如,私人音频广播)。这样,无线通信设备110的用户可向在范围内的另一个体发送私人消息,即使当用户没有用于与所述另一个体通信的电子方式时(诸如,当用户不知道接收方的电话号码或电子邮件地址时)也如此。除此之外或另选地,无线通信设备110可将具有相关信息的波束成形的音频消息传输给用户,相关信息诸如是:环境108中的人的姓名、要完成的任务、即将到来的约会等。
因此,用户界面技术可允许无线通信设备110从一定距离控制对象(或与对象相关联的功能),包括在用户没有打开或解锁无线通信设备110的情况下。用户界面技术也可允许无线通信设备110以直观有用的方式提供关于环境108中的对象的态势感知。这些能力也可为用户提供在其如何与环境108中的对象通信和交互中的新的自由度。因此,用户界面技术可改善在使用无线通信设备110时的用户体验,因此可提高用户满意度和保留。
在所描述的实施方案中,在无线通信设备110、物理设备112、和/或物理设备118中的一者中处理分组或帧包括:接收对所述分组或帧进行编码的无线信号122;从所接收的无线信号122解码/提取所述分组或帧以获取所述分组或帧;以及处理所述分组或帧以确定所述分组或帧中包含的信息(诸如有效载荷中的数据)。
通常,用户界面技术中经由WLAN的通信可通过多种量度(或通信性能量度)来表征。例如,所述量度可以包括:RSSI、数据率、成功通信的数据率(有时被称为“吞吐量”)、错误率(诸如重试或重发率)、经均衡的信号相对于均衡目标的均方差、符号间干扰、多径干扰、信噪比、眼图的宽度、时间间隔(诸如1至10秒)期间成功通信的字节数与所估计的在该时间间隔中能通信的最大字节数的比率(其中后者有时被称为通信信道或链路的“容量”)、和/或实际数据率与所估计的数据率的比率(有时称为“使用”)。
虽然我们以图1所示的网络环境为例进行描述,但是在另选的实施方案中,可能存在不同数量或类型的电子设备。例如,一些实施方案包括更多或更少的电子设备。又如,在另一实施方案中,不同的电子设备可以正在传输和/或接收分组或帧。
现在对电子设备的实施方案进行描述。图2示出电子设备200(可为便携式电子设备或站)的示例的框图。例如,电子设备200可以是以下中的一者:图1中的无线通信设备110、物理设备112、和/或物理设备118。电子设备200可包括处理子***210、存储器子***212、联网子***214、显示子***226、测量子***230、和用户交互子***232。处理子***210包括被配置为执行计算操作的一个或多个设备。例如,处理子***210可包括一个或多个微处理器、专用集成电路(ASIC)、微控制器、可编程逻辑器件和/或一个或多个数字信号处理器(DSP)。
存储器子***212包括用于存储用于处理子***210和联网子***214的数据和/或指令的一个或多个设备。例如,存储器子***212可包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器、和/或其他类型的存储器。在一些实施方案中,存储器子***212中的用于处理子***210的指令包括:可由处理子***210执行的一个或多个程序模块或指令集(诸如程序模块222或操作***224)。例如,ROM可以非易失性方式存储要执行的程序、实用程序或过程,并且DRAM可提供易失性数据存储,并且可存储与电子设备200的操作相关的指令。需注意,所述一个或多个计算机程序可构成计算机程序机制或软件。此外,存储器子***212中的各个模块中的指令可以以下语言来实现:高级过程语言、面向对象的编程语言、和/或汇编语言或机器语言。此外,编程语言可被编译或解释,例如能配置为或被配置为(这两者在本讨论中可互换使用)由处理子***210执行。在一些实施方案中,所述一个或多个计算机程序分布在网络耦接的计算机***上,使得所述一个或多个计算机程序以分布式方式存储和执行。
此外,存储器子***212可包括用于控制对存储器的访问的机制。在一些实施方案中,存储器子***212包括存储器分级结构,该存储器分级结构包括耦接到电子设备200中的存储器的一个或多个高速缓存。在这些实施方案中的一些实施方案中,该高速缓存中的一个或多个高速缓存位于处理子***210中。
在一些实施方案中,将存储器子***212耦接到一个或多个高容量海量存储设备(未示出)。例如,存储器子***212可耦接到磁盘驱动器或光盘驱动器、固态驱动器、或另一种类型的海量存储设备。在这些实施方案中,存储器子***212可被电子设备200用作用于经常使用的数据的快速存取存储装置,而海量存储设备被用于存储使用频率较低的数据。
联网子***214包括被配置为耦接到有线和/或无线网络以及在有线和/或无线网络上通信(即,执行网络操作)的一个或多个设备,包括:控制逻辑部件216、接口电路218和可被控制逻辑部件216选择性地接通和/或关断以产生多种任选的天线图案或“波束模式”的自适应阵列中的一组天线220(或天线元件)。(虽然图2包括天线集220,但是在一些实施方案中,电子设备200包括可耦接到天线集220的一个或多个节点,诸如节点208,例如垫盘。因此,电子设备200可以包括或者可以不包括天线集220。)例如,联网子***214可包括蓝牙TM联网***、蜂窝联网***(诸如,3G/4G网络,诸如UMTS、LTE等)、通用串行总线(USB)联网***、基于IEEE 802.11中所述标准的联网***(例如,联网***)、以太网联网***、和/或另一网络***。
联网子***214包括处理器、控制器、无线电部件/天线、插口/插头、和/或用于耦接至每个所支持的联网***、在每个所支持的联网***上进行通信以及处理每个所支持的联网***的数据和事件的其他设备。需要指出,用于耦接至每个网络***的网络、在每个网络***的网络上进行通信、和处理每个网络***的网络上的数据和事件的机构有时统称为用于该网络***的“网络接口”。此外,在一些实施方案中,电子设备之间的“网络”或“连接”尚不存在。因此,电子设备200可使用联网子***214中的机制来执行电子设备之间的简单无线通信,例如传输通告帧或信标帧和/或扫描由其他电子设备所传输的通告帧。
在电子设备200内,处理子***210、存储器子***212、联网子***214、显示子***226、测量子***230和用户交互子***232利用总线228耦接在一起,该总线促进这些部件之间的数据传输。总线228可包括可被这些子***用于在彼此之间传送命令和数据的电连接件、光学连接件、和/或光电连接件。虽然为清楚起见只示出了一条总线228,但是不同实施方案可包括子***之间不同数量或配置的电连接件、光学连接件、和/或光电连接件。
在一些实施方案中,电子设备200包括显示子***226用于在显示器上显示信息,该显示子***可包括显示驱动器和显示器,诸如液晶显示器、多点触摸触摸屏等。显示子***226可被处理子***210控制以为用户显示信息(例如,与传入、传出或活动通信会话有关的信息)。在一些实施方案中,显示子***226可被配置为生成显示信息用于非本地显示器(例如,与其他设备相关联的显示器)。
电子设备200还可包括具有一个或多个传感器的测量子***230,所述测量子***允许电子设备200执行一种或多种类型的测量。例如,所述一个或多个传感器可包括:一个或多个罗盘、一个或多个加速计、一个或多个陀螺仪、一个或多个麦克风或声学换能器、一个或多个环境传感器(诸如温度传感器和/或高度计)、一个或多个光传感器(诸如环境光传感器)、一个或多个触摸传感器(诸如触摸屏)、一个或多个生物特征传感器(诸如指纹传感器)等。需注意,所述一个或多个传感器可包括电子设备200中的物理传感器和/或虚拟传感器(诸如至少部分地在软件中实现的传感器)。在一些实施方案中,所述一个或多个传感器中的至少一些基于从远程电子设备接收的信息来确定传感器数据。
此外,电子设备200可包括用户交互子***232。例如,用户交互子***232可包括多种用户输入设备,诸如:按钮、小键盘、拨号盘、触摸屏、音频输入接口、视觉/图像捕获输入接口、传感器数据形式的输入等。另选地或除此之外,用户交互子***232可包括多种用户输出设备,诸如:一个或多个扬声器(其可提供定向声学阵列)、触觉换能器等。
电子设备200可为具有至少一个网络接口的任何电子设备(或可被包括在具有至少一个网络接口的任何电子设备中)。例如,电子设备200可包括:蜂窝电话或智能电话、平板电脑、膝上型计算机、笔记本电脑、个人或台式计算机、上网本计算机、计算设备、共享计算设备(诸如打印机)、媒体播放器设备、电子书设备、智能手表、可穿戴计算设备、可穿戴设备、便携式计算设备、消费电子设备、接入点、路由器、交换机、通信装置或通信设备、测试装置、电器、娱乐设备、电视机、显示器、无线电接收器、机顶盒、音频设备、投影仪、医疗设备(诸如自动体外除颤器)、保安设备、报警器、监视设备(例如,烟雾检测器或一氧化碳检测器)、环境控制器、温度调节器、灯开关、配件、键盘、鼠标、扬声器、打印机、家用自动化设备、车辆、电子锁、以及任何其它类型的具有可包括经由一个或更多无线通信协议的通信的无线通信能力的电子计算设备。
虽然使用特定部件来描述电子设备200,但是在另选实施方案中,在电子设备200中可以存在不同的部件和/或子***。例如,电子设备200可包括一个或多个附加处理子***、存储器子***、联网子***、和/或显示子***。另外,这些子***中的一者或多者可以不存在于电子设备200中。此外,在一些实施方案中,电子设备200可包括图2中未示出的一个或多个附加子***。而且,虽然在图2中示出了分开的子***,但是在一些实施方案中,给定子***或部件的一部分或全部可被集成到电子设备200中的其他子***或部件中的一者或多者中。例如,在一些实施方案中,程序模块222被包括在操作***224中,和/或控制逻辑部件216被包括在接口电路218中。
此外,电子设备200中的电路和部件可利用模拟电路和/或数字电路的任意组合来实现,包括:双极性、PMOS和/或NMOS栅极或晶体管。此外,这些实施方案中的信号可包括具有近似离散值的数字信号和/或具有连续值的模拟信号。另外,部件和电路可为单端型或差分型,并且电源可为单极性或双极性。
集成电路(有时称为“通信电路”)可实现联网子***214的功能的一部分或全部。这个集成电路可包括硬件机构和/或软件机构,该硬件机构和/或软件机构用于从电子设备200传输无线信号以及在电子设备200处从其他电子设备接收信号。除了本文所述的机制,无线电部件在本领域中是公知的,因此没有详细描述。一般而言,联网子***214和/或集成电路可包括任意数量的无线电部件。需注意,多无线电部件的实施方案中的无线电部件以类似于所述单无线电部件的实施方案的方式起作用。
在一些实施方案中,联网子***214和/或集成电路包括将无线电部件配置为在给定通信信道(诸如给定载波频率)上进行传输和/或接收的配置机构(诸如一个或多个硬件机构和/或软件机构)。例如,在一些实施方案中,该配置机构可用于将无线电部件从在给定通信信道上进行监视和/或传输切换到在另一通信信道上进行监视和/或传输。(需注意,本文所使用的‘监视’包括从其他电子设备接收信号,并且可能对所接收的信号执行一个或多个处理操作,例如,执行无线测距等)
在一些实施方案中,用于对包括本文所述电路中一者或多者的集成电路或集成电路的一部分进行设计的过程的输出可为计算机可读介质,诸如例如可编程存储器、磁带或光盘或磁盘。该计算机可读介质可被编码有对可被物理地实例化为集成电路或集成电路的所述一部分的电路进行描述的数据结构或其他信息。虽然各种格式可被用于此类编码,但这些数据结构通常以以下格式来编写:Caltech中介格式(CIF)、Calma GDS II流格式(GDSII)或电子设计交换格式(EDIF)。集成电路设计领域的技术人员能够从以上详细描述的类型的示意图和对应描述中开发出此类数据结构,并且将该数据结构编码在计算机可读介质上。集成电路制造领域的技术人员可使用这种经编码的数据来制造出包括本文所述电路中一者或多者的集成电路。
用户界面技术可在多种网络接口中使用。此外,虽然前述实施方案中的操作中的一些是在硬件或软件中实现,但是一般来讲,前述实施方案中的操作可在多种配置和架构中实现。因此,前述实施方案中的一些或全部操作可在硬件、软件中执行或在硬件和软件中同时执行。例如,用户界面技术中的操作中的至少一些可利用程序模块222、操作***224(诸如用于接口电路218的驱动器)或者在接口电路218中的固件中实现。另选地或除此之外,用户界面技术中的操作中的至少一些可在物理层诸如接口电路218中的硬件中实现。在示例性实施方案中,用户界面技术至少部分地在接口电路218中的MAC层中实现。
在示例性实施方案中,用户界面技术被用于提供定向控制。具体地讲,当无线通信设备相对于对象的位置和取向基于一个或多个测量被确定时,无线通信设备上的或者以无线通信设备执行的一个或多个手势输入可被解释成用于对象的命令。如下文进一步所述,无线测距和传感器数据(来自陀螺仪、加速度计、罗盘等)输入可被用于选择对象、与对象配对和/或命令对象。
在示例性实施方案中,用户界面技术被用于在环境控制中直观地提供关于一个或多个对象的信息。具体地讲,当对象的范围和/或方向被无线通信设备基于一个或多个测量(诸如无线测距和/或取向)确定时,无线通信设备可使用所确定的范围和/或方向来直观地提供关于对象的输出信息(诸如在用户界面中)。
控制电子设备
图3提供了示出利用手势至少部分地基于无线测距来对对象进行控制的示例的图示300。具体地讲,在用户界面技术期间,用户可使用无线通信设备110通过(例如,二维或三维地)执行一个或多个手势或运动来控制物理设备(例如,物理设备112),或者利用与对象的虚拟表示(例如,虚拟表示114)的交互来生成用于物理设备的控制输入。无线通信设备110被图示为相对于对象310生成手势输入,该对象可为实际设备或虚拟表示。例如,用户可使用其蜂窝电话通过执行手势(诸如通过将无线通信设备110向上、然后向下移动(或反之亦然))来控制电视的音量或所选频道,或者打开或关闭房间灯。另选地,用户可控制图1中的房间或环境108中预定义物理位置(诸如图1中的物理位置116)处的灯开关的虚拟表示(即,在所述预定义物理位置处可以不存在物理的灯开关)。需注意,所述预定义物理位置(并且,更一般性地,三维空间中的预定义物理位置)可以已经由用户在训练过程期间利用无线通信设备110指定,诸如通过使无线通信设备110接近物理位置或触摸物理位置并且激活无线通信设备110上的触敏显示器上所显示的用户界面中的虚拟命令图标,或者通过将无线通信设备110触摸到物理位置并言语说出被无线通信设备110监视并利用语音识别技术来解释的命令或指令。
在用户界面技术期间,用户可利用“意图手势”312来指定(或以其他方式指示)对象310,诸如通过将无线通信设备110朝对象310或沿对象310的大致方向延伸(诸如,例如在对象310的5°内)。然后,用户可执行“动作手势”314,例如,通过相对于对象310移动无线通信设备110。在一个示例中,无线通信设备110可相对于对象310向上或向下移动,例如以分别以信号告知值的增大或减小。也可使用其他手势,诸如通过提供横向和/或旋转移动。此外,手势可以是简单的(例如,涉及一个运动,诸如竖直或水平运动)或复杂的(例如,涉及两个或更多个运动,诸如水平、竖直、横向和/或旋转运动的组合)。这些操作可在用户正在将无线通信设备110朝着对象310或沿对象310的大致方向指向时执行。
为了检测意图手势312,无线通信设备110可测量其相对于对象310的方位或位置的取向。例如,对象310可基于对象310所传送的通用或唯一标识符来被标识,并且相对位置可基于无线测距(例如,利用无线信号122)、量度(诸如RSSI)和/或取向来确定。此外,为了检测动作手势314,无线通信设备110可测量运动、加速度和/或距离316,例如利用传感器输入和/或无线测距来测量。需注意,无线测距可在一个或多个频带处或频带中执行,诸如在以下频带处或频带中:2GHz无线频带、5GHz无线频带、ISM频带、60GHz无线频带、超宽频带等。
此外,环境声音可被无线通信设备110用于确定对象310是否与无线通信设备110处于相同的环境108(图1)中,诸如在同一房间中(而不是邻近或相邻房间)。例如,经由无线通信信道(诸如WLAN)与无线通信设备110共享的由对象310记录的环境声音可与由无线通信设备110测量的环境声音进行比较。如果这些是相同的,则无线通信设备110和对象310可位于同一房间中。另选地或除此之外,无线通信设备110可输出一个或多个声学调频信号或声音(其可位于人类能听到的频率范围之外的频带处或中),所述一个或多个声学调频信号或声音可被对象310检测,例如,如果没有中间的物理屏障的话。
更一般地,无线通信设备110所执行的测量中的一者或多者可被用于将环境108(图1)中的一个或多个潜在目标设备(诸如对象310)与一个或多个其他设备(诸如物理设备118)消除歧义。例如,面向无线通信设备110的用户的对象310可具有与环境中的另一对象相同的取向、不同的高度、和/或相同或不同的RSSI。结合距离316,所述一个或多个测量可被用于从所有可用设备标识对象310。此外,如前所述,潜在目标设备可基于环境声音而被排除。例如,环境声音可指示设备位于口袋或提包中,因此不太可能是用于配对或信息共享的意图手势312的目标。
在一些具体实施中,高度计可被用于排除一个或多个潜在目标设备,例如,低于台桌或位于口袋/袋子中的潜在目标设备,当它们不可能要被意图手势312指定时。又如,一个或多个超声调频信号或60GHz传输可被用于排除在无线通信设备310的主无线电范围或无线接近性内、但在相关物理空间或物理接近性之外的潜在目标设备(例如,被排除的潜在目标设备可位于另一房间中或被存放在箱匣内)。
当两个或更多个潜在目标设备不能以这些方式中的一者或多者来分开时,无线通信设备110的用户可被要求在一组被标识的潜在目标设备中进行选择。例如,具有潜在目标设备列表的用户界面可被显示在无线通信设备110中的显示器上。用户于是可从界面选择例如意图手势312的预期目标,并提供所期望的动作手势314或其他此类控制输入。
虽然前述讨论包括意图手势312和动作手势314的示例性示例,但一般而言,这些手势可包括多种二维或三维运动和旋转,诸如:沿一个或多个方向的线性运动、围绕一个或多个轴的旋转、沿弧线的运动、虚拟轻击、基于数字的手势(例如,数字8手势)、字母或数字形状的手势、线性运动和旋转的组合等。更一般性地,动作手势314可具有与变化类型或所期望的控制操作的直观对应。例如,如图4所示,该图提供示出利用手势控制对象的示例的图示400,向上和/或向下动作手势410可被用于增大(或减小)值或设置,诸如加热器或温度调节器的温度设置,或对象的位置(诸如窗口共享或屏幕)。类似地,如图5所示,该图示出利用手势控制对象的示例的图示500,动作手势510可涉及对应于改变值或设置(诸如娱乐设备的音量)的向左和/或向右旋转。
在一个示例中,用户可将其蜂窝电话指向电视机。通过无线测距,蜂窝电话可确定电视机在范围内(即,近得足以作为预期目标设备)。加速度计和/或陀螺仪输入可提供可被解释为意图手势312的相对运动的进一步指示,从而指示无线通信设备110正被用于命令(例如,动作手势)电视机,例如,对象310。此外,一个或多个动作手势(例如314、410和/或510中的任一者)可被提供以指示用于控制电视机的一个或多个命令。例如,用户可向右转动蜂窝电话来增大电视机的音量或改变频道。
用户界面技术也可被用于直观地将无线通信设备110与另一电子设备配对,使得经配对的电子设备后续可彼此通信。例如,通过执行意图手势312和动作手势(314、410和/或510),用户可以能够远程地指示期望与物理设备以无线方式交换或共享数据。在这些操作被执行时,无线通信设备110和/或物理设备可在用户界面中显示消息,从而请求对于配对的确认和/或授权。此外,另一物理设备可同意配对持续指定时间间隔(例如10分钟或一小时),在此之后,配对可被停用。这样,无线通信设备110的用户可保持对配对过程的控制,这也可帮助确保配对是安全的,诸如通过确认被配对的物理设备处于同一环境(诸如同一房间)中。通过提供定向的意图和动作手势,无线通信设备110可避免与正试图以电子方式欺骗或模仿意图与之进行配对的对象310的设备配对。类似地,定向的意图和动作手势可避免意外地与环境内接近的、但在另一位置或高度处的并非对象310的设备的配对。此方法还可帮助降低共享信息和/或配对的复杂性。例如,在配对过程期间可以不需要密码。在一些实施方案中,在意图手势和动作手势之后,无线通信设备和物理设备可交换加密密钥。
在另一示例中,无线通信设备110可被指向意图与之配对的或者意图对其发出命令的对象的方向。无线通信设备110的相机可捕获视场中所有对象的图像,并且可呈现显示一个或多个候选设备的可选择的屏幕上界面。用户于是可选择要与之配对的设备(并且任选地,还选择例如协议)。
在另一示例中,无线通信设备110可被指向对象310以要求资源或获取信息。例如,无线通信设备110可(例如,利用意图手势312,具有或不具有动作手势314、410和/或510)被指向出租车(例如,对象310)以示意其停下。此外,无线通信设备110可(例如,利用意图手势312,具有或不具有动作手势314、410和/或510)被指向餐厅(或者与餐厅相关联的对象310)以获取评分或进行预定。类似地,无线通信设备110可通过指向打印机而与打印机交互(例如,设置或打印)。例如,意图手势312和动作手势314、410和/或510可在无线通信设备110处被提供,以向打印机发送信息(例如,发起打印作业)或发起一个或多个设置/配置的控制。
无线测距和方向性也可被用于从一个或多个传感器获取信息。例如,无线通信设备110可朝传感器(例如,温度调节器或胎压计)指向以获取读数。在一些具体实施中,具有或不具有动作手势314、410和/或510的意图手势312可被用于发起传感器数据的通信。类似地,一个或多个意图和/或动作手势可在无线通信设备110处被提供以从服务器检索信息,诸如通过与商店中的物品或显示器进行交互以检查属性,诸如价格或可供应性信息。
此外,例如无线通信设备110对对象310的标识可通过由对象310选择性地传输的(通用或唯一)标识符来促进。例如,标识符可以是与特定电子设备(例如,对象310)相关联的持久性的唯一标识符。无线通信设备110可(例如,在本地或在云中)存储持久性的唯一标识符,并且可将标识符与人、对象或位置相关联(例如,在联系信息中)。当标识符在所接收的无线通信中被检测到时,无线通信设备110可提供已知电子设备(例如,对象310)接近的指示。另选地,标识符可以是瞬时性的或临时性的,诸如由在无线通信设备110或对象312上执行的应用程序分配的标识符。例如,搭乘共享应用程序可临时地分配标识符给无线通信设备110,该无线通信设备于是可将该标识符进行广播。另外,搭乘共享应用程序可提供瞬时性标识符给对应于所分配的驾驶者的设备以便于接载。类似地,对应于驾驶者的设备的(持久性或瞬时性)标识符可被提供给无线通信设备110以验证驾驶者。瞬时性标识符可在预先确定的时间量(诸如一小时)之后或者在交易完成时失效。任意数量的持久性和瞬时性标识符可与设备或对象相关联,例如,以便于跨多种场景的标识。
此外,所分配的标识符可随时间推移而改变以保护用户的隐私以及提供安全性。具体地讲,标识符可由图1中的任选服务器126(其可经由图1中的网络124诸如有线或无线网络来访问)分配,并且可周期性地(诸如在时间间隔例如5分钟或1天经过之后)更新。除此之外或另选地,标识符可被分配作为一次性标识符,例如用于特定交易。在一些实施方案中,标识符可以是可持久性地被分配给设备或对象诸如对象310的匿名标识符。匿名标识符于是只能由已经与其共享所述匿名标识符和标识信息项的其他设备来解析。
为了降低功率消耗,无线通信设备110和/或对象312可以只周期性地或在事件(诸如检测到与已知联系人相关联的标识符)时传输一个或多个标识符。除此之外或另选地,无线通信设备110和/或对象312可以只在一个或多个条件被满足时(诸如,在另一(已知或未知)设备附近、参与涉及另一设备的交易、在特定区域中(例如,在地理围栏区域内)、响应于用户输入、和/或基于事件(例如,约会或会面))尝试接收一个或多个标识符。例如,蓝牙低功耗(BLE)接收器可周期性地扫描包括来自例如对象312的标识符的通告(或其他消息)。扫描速率可基于一个或多个因素而变化,诸如运动、时间和/或可用功率。响应于检测到已知标识符,无线通信设备110可激活一个或多个其他通信接口,并且可启用无线测距,例如使得无线通信设备110可接收来自对象312的消息和/或确定到对象312的方向和/或距离316。
此外,如上所述,用户界面技术可有利于虚拟对象的使用。这些实施方案可包括定义虚拟对象以及通过无线测距/定向控制输入来控制它们。在一些实施方案中,与虚拟对象(例如,虚拟表示114)的交互可基于无线通信设备110的取向和所接收的意图手势,而不执行无线测距。
例如,虚拟对象或虚拟表示可建立在特定物理位置中,诸如门旁边的虚拟灯开关或虚拟温度调节器。虚拟对象可由视觉物品(例如,贴纸)物理地表示,或者可为纯虚拟的,只对应于一个或多个坐标。虚拟对象也可由相关联的物理设备限定。例如,投影仪可例如在墙上限定虚拟控件,并且可通告虚拟控件的位置,从而允许其他电子设备操纵虚拟控件以实现对投影仪的实际输入。
如前所述,在具有虚拟对象的实施方案中,设备(例如,无线通信设备110)可在特定位置限定虚拟设备,诸如,对应于墙上的特定位置的虚拟控件。需注意,虚拟设备可被限定为更大***的一部分。例如,设施可限定与每个入户门(例如,在灯开关处)相邻的虚拟温度调节器。另选地,虚拟设备可由特定设备限定,例如,投影仪可在墙或其他表面上限定控件,并且可以无线方式通告控件的位置,从而允许其他电子设备操纵虚拟控件,就像其是真实的一样。
以此方式,无线通信设备110(例如,蜂窝电话或可穿戴设备)可以能够用作控制设备,例如动态遥控器。另外,无线通信设备110可以能够通过手势为多种对象(例如,对象310)提供控制输入,而不被配置为具有特定的输入机构。这可允许无线通信设备110的显示器充当更大监视器的代理触摸屏,并且传感器/输入件诸如罗盘、陀螺仪、加速度计、高度计、触摸输入和/或麦克风可被用于控制与监视器相关联的输入和/或输出。在一些实施方案中,无线通信设备110可被用作对应于主显示器的第二屏幕(需注意,其可以或者可以不对主显示器进行镜像)。于是,基于手势的(包括基于触摸的)控制可被提供以控制主显示器(例如,捏合、缩放、滚动、轻扫等)。
此外,例如对无线通信设备110的基于手势的控制输入可被用于执行功能,诸如电子设备之间的内容传输。例如,对无线通信设备110的一个或多个基于手势的控制输入可被用于发送(例如,“抛投”)内容给第二电子设备,从第二电子设备拉取内容,掌控第二电子设备(例如,取得计算机的所有权并使其复制您的内容/设置)等等。因此,一个或多个基于手势的输入(例如,轻弹、推压、摩擦、轻扫或轻击)可被用于指示从无线通信设备110传输到另一设备诸如更大的显示器或计算机(或者从另一设备传输到无线通信设备110)。类似地,利用无线通信设备110作为数据载体,对无线通信设备110的基于手势的输入可被用于将某物从一个设备移动到另一设备。
在一些具体实施中,虚拟对象可涵盖构建体,诸如虚拟队列(或线),例如用于服务。例如,虚拟队列可与实体或资源(例如售票处或商店)相关联地被限定,并且附近的电子设备可通过将相关联的标识符(例如,唯一的瞬时性标识符)传输给保持虚拟队列的主机设备而登记在虚拟队列中。设备(例如,无线通信设备110)的虚拟队列位置可在设备保持在虚拟队列的物理位置附近时被保持或者被保持直到队列被处理。另外,虚拟队列中的位置也可被呈现给被登记的设备并且可被更新。主机设备可在其(例如,在售票处的)轮次到达或接近时通知所登记的设备。
除了成本节约之外,为对应的物理设备使用虚拟表示或虚拟对象也可通过用有吸引力的占位符(例如陶瓷对象)代替吸引力较低的物理设备(诸如灯开关)或者通过完全移除物理设备而允许环境更美观。这种方法还允许通过简单地重新限定与虚拟表示关联的位置来任意地移动虚拟表示。然后,当用户在将其电子设备例如无线通信设备110朝向新位置指向时执行意图手势和动作手势时,相关联的操作可被执行。
在一些实施方案中,用于控制相关联的物理设备的手势可以是隐式的。在此类实施方案中,通过无线测距确定的接近性可被用于接合可控设备,而没有相关联的意图和动作手势。例如,灯可以在用户走过与虚拟表示或虚拟对象相关联的预定义位置时打开(然后关闭)。类似地,门锁可以在用户设备接近门时解锁,交通信号灯可以在用户设备到达交叉路口时变绿(如果条件允许的话)等等。因此,所公开的技术可被用于基于接近性的控制。
此外,所公开的技术也可被用于提供协作态势感知,诸如当在行进方向前面的电子设备经历事件,例如经历突然减速时。电子设备可例如通过广播消息向其他电子设备通知潜在的危险情况。
在一些实施方案中,所公开的技术由环境108(图1)中的一个或多个任选标签诸如任选标签128(图1)提供便利。例如,标签可以是从射频能量采集功率和/或具有相关联的电源的低成本片上***。标签128可例如响应于所接收的命令而输出一个或多个信号。例如,标签128可输出RF信号和/或声学信号(诸如“调频信号”)。
在一些实施方案中,环境108中的标签128(图1)空中地采集功率(例如,其可接收24GHz信号形式的功率)并且通过短暂信号或啁啾信号(例如,通过发射60GHz的信号)进行通信。该通信可具有直至例如100英尺的范围,并且可为定向的。在一些具体实施中,24GHz功率信号可具有编码在信号中的标识符。在此类具体实施中,如果标签不识别标识符,则其可以不响应。用于标签对启动脉冲进行响应的时间段(例如,一旦其已经指示其被供电且操作)可以是已知的。需注意,无线通信设备可测量到达的相位和角度以确定方向,并且可使用到达时间或飞行时间来确定无线通信设备与标签之间的距离。因此,标签128可被用于生成或补充无线测距计算。
图6为示出用于利用无线通信设备诸如图1中的无线通信设备110来控制对象的方法600的示例的流程图。在操作期间,无线通信设备标识所接收的意图手势(操作610),该意图手势指示用于控制被定位成接近无线通信设备的对象的意图。然后,无线通信设备确定与意图手势相关联的对象(操作612)。例如,无线通信设备例如至少部分地基于意图手势,使用无线测距来确定范围内的也位于对应于无线通信设备的位置和/或取向的方向和/或高度中的对象。此外,无线通信设备访问与无线通信设备的一个或多个传感器相关联的传感器数据(操作614)并解释传感器数据以确定命令值(操作616)。例如,无线通信设备(例如,基于存储在无线通信设备上的动作手势配置文件)将传感器数据与一个或多个动作手势进行比较以标识一个或多个预期命令。无线通信设备于是生成并且例如利用一个或多个消息传输命令值,以控制对象(操作618)。在一些具体实施中,所述一个或多个消息可基于对象所通告的或者以其他方式与对象相关联的标识符而被传输给对象。
在方法600的一些实施方案中,可以有附加的、不同的、和/或更少的操作。此外,操作的顺序可改变,和/或两个或更多个操作可合并为单个操作或者并行执行。
用户界面技术的实施方案在图7中进一步例示,图7示出例示无线通信设备110和物理(或电子)设备112之间的通信的图示700(其被用作示例性示例)。用户可例如通过将无线通信设备110朝物理设备112指向或取向而执行意图手势708。在一些具体实施中,意图手势708可包括取向分量和运动分量,诸如将无线通信设备110朝物理设备112推进的运动。无线通信设备110中的处理器714可例如基于由一个或多个传感器712(例如,陀螺仪、加速度计和/或罗盘)测量的取向710和任何其他相关联运动来标识意图手势708。意图手势708可被解释为用于控制物理设备112的用户意图。
无线通信设备110中的接口电路718接收由物理设备112中的接口电路716传输的分组720(或帧)。分组720包括与物理设备112相关联的标识符722。另外,分组720可包括指定分组720的传输时间的信息。结合所确定的分组720的到达时间(基于传送分组720的无线信号的传播速度),接口电路718(或处理器714)可确定与物理设备112的距离724。除此之外或另选地,无线通信设备110可与物理设备112通信一个或多个其他分组以执行无线测距操作。基于标识符722和/或距离724,处理器714可标识物理设备112。
此外,动作手势可对应于命令或命令值在无线通信设备110处被执行。传感器712中的一者或多者测量动作手势期间的传感器数据726并且可将所测量的传感器数据存储在存储器728中。处理器714可访问传感器数据726(例如,通过从传感器712进行接收和/或从存储器728进行检索),并且解释传感器数据726以确定对应于动作手势的命令值730。另外,接口电路718可将包括命令值730的分组732传输给接口电路716。在接收到分组732时,物理设备112可实施命令值730。
增强现实
图8示出例示利用无线测距在环境中定位对象的示例的图示800。具体地,图1中环境108中接近无线通信设备110的物理设备112可传输具有与物理设备112相关联的标识符的分组(或帧)。于是,无线通信设备110可接收这个包括标识符的传输。
例如,标识符可以是物理设备112的通用标识符或唯一标识符(因此,是物理设备112的用户的通用标识符或唯一标识符)。另选地,标识符可与对应于物理设备112的资源类相关联,诸如:运输资源、共享计算资源(例如打印机)、医疗资源、显示资源、保安资源、可达性资源或安全资源。需注意,标识符可能已经结合搜索结果或期望的金融交易(诸如当用户想要购买与物理设备112接近或相关联可获得的特定物品时)被接收。具体地讲,如果无线通信设备110的用户对资源类执行搜索(例如,利用搜索引擎)并且传输被接收,则无线通信设备110可如下文进一步所述,显示在标识符被接收时与物理设备112相关的位置信息。另选地或除此之外,标识符可对应于无线通信设备110的用户的联系人,诸如用户的朋友或同事(即,用户已经认识的人),或者用户在图1中的环境108中要遇见的人(用户可能认识或者可能不认识)。例如,为了便于会面,任一方或双方可预先提供标识符,于是,可对于其监视相应的设备。
在一些实施方案中,标识符可与存储在无线通信设备110上的(或者可在远程存储的数据结构中访问的)(例如,与物理设备112相关联的)另一个人的持久性联系信息相关联。于是,当该标识符被无线通信设备110检测到时,指示符可被提供,从而以信号告知对应于标识符的人的存在和身份。另选地,标识符可以是瞬时性的或临时性的,诸如由在无线通信设备110或物理设备112上执行的应用程序分配的标识符。例如,搭乘共享应用程序可临时地分配标识符给无线通信设备110,其于是可将其进行广播。另外,搭乘共享应用程序可提供瞬时性标识符给对应于所分配的驾驶者的设备(例如,物理设备112)以便于接载。类似地,对应于驾驶者的设备的(持久性或瞬时性)标识符可被提供给无线通信设备110以验证驾驶者。瞬时性标识符可在预先确定的时间量(诸如一小时)之后或者在交易完成时失效。任意数量的持久性和瞬时性标识符可与设备或对象相关联,例如,以便于跨多种场景的标识。
此外,标识符可随时间推移而改变以保护用户的隐私以及提供安全性。具体地讲,标识符可由基于云的服务器126经由图1中的网络124(诸如互联网)分配,并且可周期性地(诸如在时间间隔例如5分钟已经经过之后)更新或者可以是一次性标识符,例如与交易相关联。在一些实施方案中,标识符是可持久性地被分配给例如物理设备112的匿名标识符。然而,匿名标识符可以是一个或多个联系人已知的,这些联系人可例如基于本地存储的关联来解析匿名标识符。需注意,电子设备可被配置有若干标识符,它们可被周期性地传输。这最后一个能力可在前述实施方案中的一者或多者中使用。
响应于接收标识符,无线通信设备110可将标识符与本地(或远程)存储器中的一个或多个所存储的目标标识符进行比较以确定匹配。于是,利用无线测距,无线通信设备110可确定物理设备112相对于无线通信设备110的范围(或距离)810和/或到物理设备112的方向812。另选地或除此之外,无线通信设备110可基于量度(诸如RSSI)和/或无线通信设备110的取向来确定范围810和/或方向812。需注意,无线测距可在一个或多个频带处或中执行,诸如在以下频带处或中:2GHz无线频带、5GHz无线频带、ISM频带、60GHz无线频带、超宽频带等。
为了降低功率消耗,无线通信设备110和/或物理设备112可以只在它们接近时(诸如当它们二者处于图1中的环境108中时(并且更一般性地,当它们处于地理围栏区域内时))和/或基于无线通信设备110和/或物理设备112的用户之间的约会或会面的时间才传输唯一或通用标识符或者尝试接收唯一或通用标识符。例如,蓝牙低功耗接收器可被用于接收包括来自例如物理设备112的标识符的消息。基于接收该消息,无线通信设备110可唤醒一个或多个接收器并发起无线测距,使得无线通信设备110可确定到物理设备112的范围810和/或方向812。在一些具体实施中,无线通信设备110还可接收具有来自物理设备112的唯一标识符的消息。
然后,如下文参考图9-图15进一步所述,无线通信设备110可呈现指示到对象诸如物理设备112的范围和/或方向的输出信息。
在一些实施方案中,环境声音可被无线通信设备110用于确定物理设备112是否与无线通信设备110处于相同的环境108(图1)中,诸如在同一房间中(而不是邻近或相邻房间)。例如,经由无线通信信道(诸如WLAN)与无线通信设备110共享的由物理设备112记录的环境声音可与由无线通信设备110测量的环境声音进行比较。如果环境声音测量比较顺利,则无线通信设备110和物理设备112可被确定为处于同一房间中。另选地或除此之外,无线通信设备110可输出一个或多个声学调频信号或声音(其可位于人类听觉范围之外的频带处或中),所述一个或多个声学调频信号或声音可由物理设备112检测、监视、和/或记录。
更一般地,无线通信设备110所执行的一个或多个测量可被用于将环境108(图1)中的一个或多个潜在目标设备消除歧义,诸如将物理设备112与一个或多个其他设备区分开。例如,面向无线通信设备110的用户的目标设备可具有相同的取向、不同的高度、和/或相同或不同的RSSI。结合标识符和/或范围310,所述一个或多个测量可被用于标识物理设备112。此外,如前所述,潜在目标设备可基于环境声音而被排除,环境声音可指示其在某个人的口袋中,因此不太可能对于配对或信息共享是感兴趣的。
高度计或到达角信息也可被用于排除可能感兴趣的区域之外的潜在目标设备,例如低于台桌或者在口袋/袋子中,当它们不可能是要定位的候选方时。又如,超声调频信号或60GHz传输可被用于排除在主无线电范围或无线接近性内、但位于相关物理空间或物理接近性之外的潜在目标设备(例如,被排除的潜在目标设备可位于另一房间中)。
然而,如果多个潜在目标设备不能以这些方式中的一者或多者来分开,则无线通信设备110的用户可被要求在一组被标识的潜在目标设备中进行选择。例如,具有潜在目标设备列表的用户界面可被呈现在无线通信设备110的显示器上,并且设备可通过用户输入而被选择。
虽然物理设备112在前述讨论中被用作示例性示例,但在其他实施方案中,环境108中的对象(图1)可为虚拟表示,诸如图1中的物理设备118的虚拟表示114。例如,虚拟表示可以是物理设备的在图1中的房间或环境108中的预定义物理位置(诸如图1中的物理位置116)处的代理。需注意,所述预定义物理位置(并且,更一般性地,三维空间中的预定义物理位置)可以已经由用户例如在训练过程期间通过无线通信设备110指定,诸如通过使无线通信设备110接近物理位置或触摸物理位置并且激活无线通信设备110上的触敏显示器上所显示的用户界面中的虚拟命令图标,或者通过将无线通信设备110触摸到物理位置并口头说出被无线通信设备110监视并利用语音识别技术来解释的命令或指令。
我们现在描述基于环境中对象(诸如物理设备112)的所确定的位置的所显示信息的示例。图9呈现示出显示器908上的用户界面900的示例的图示,该用户界面显示环境中接近区域的地图910(并且更一般地讲,环境的图形表示)。当用户将无线通信设备110握持在其手掌中时,地图910可被显示。地图910可包括表示对象诸如物理设备112的位置的指示符912。在一些具体实施中,指示符912的位置单独就可传递所确定的到对应对象的范围和/或方向。在一些其他具体实施中,表示所确定的范围和/或距离的附加信息也可结合地图910被呈现。
需注意,地图910可提供关于对象(诸如物理设备112)及其在无线通信设备110周围环境中的相对位置的直观态势感知。例如,用户界面技术可允许用户标识环境中资源的位置,诸如灭火器、急救箱、自动体外除颤器、出口和/或具有医学训练的人。另选地或除此之外,用户界面技术可提供关于接近对象的动态位置信息,诸如在行进路径上前面的电子设备经历事件(例如,突然减速)时。可向例如行进路径上接近该电子设备的一个或多个电子设备通知所述事件。
图10呈现示出用户界面1000的示例的图示。用户界面1000被呈现在无线通信设备110的显示器908上,并且可显示由无线通信设备110的图像传感器(诸如CMOS或CCD成像传感器,并且更一般性地,相机)捕获的接近区域的图像1010。无线通信设备110也可显示图像1010上叠置的注释或指示符1012(其可以与图9中的指示符912相同或不同),表示对象,例如物理设备112。对象可以由于无线通信设备110在无线传输中接收标识符而已经被标识。需注意,指示符1012(和/或图9中的指示符912)可被显示,而不管对应的对象是否在无线通信设备110的视觉范围内或者换句话讲对无线通信设备110是可见的。例如,指示符1012可被呈现以帮助无线通信设备110的用户定位难以看到或还无法看到的对象。
因此,用户界面技术可包括或可使用增强现实。具体地讲,利用无线测距确定的位置信息(诸如范围和/或方向)可被叠置在周围环境的图像上。这个增强现实可提供添加的智能来帮助无线通信设备110的用户标识附近的事物、位置、资源和/或人员。例如,此方法可被用于辅助用户:定位其要会面的人(基于人)、定位资源诸如急救或无线覆盖(基于资源)、和/或查找基于位置的搜索的结果诸如建筑物或街道(基于搜索)。无线通信设备110上的显示器可包括被增强以显示感兴趣项目的相机输入。
因此,如果用户处于拥挤环境中并且他们举起无线通信设备110,则其正在寻找的人的图像在无线通信设备110朝该人(或其相关联的电子设备,诸如物理设备112)取向或指向时可被显示在环境的图像上。此外,如下文参考图16进一步所述,当用户旋转或转动(例如,基于所测量的无线通信设备110的取向)时,其相关联的智能手表或其他此类可穿戴设备在其正面向正确方向-例如,其正在寻找的人、对象或资源的方向时可提供触觉反馈,例如“轻击”(或另一类型的反馈,诸如音频输出)。因此,用户界面技术可便于社交交互和会面,即使在拥挤的环境中以及即使在用户之前还没有见过其正在寻找的人时也是如此。
在一些实施方案中,无线通信设备110自动地在不同用户界面模式之间来回切换或转换。这在图11中示出,图11呈现例示基于无线通信设备110的取向的用户界面的不同模式的示例的图示。具体地讲,当无线通信设备110的用户改变设备取向时,陀螺仪或加速度计可测量取向值的变化。然后,基于所测量的取向值,无线通信设备110可选择性地在显示地图910(图9)和显示图像1010(图10)之间进行转变。因此,当无线通信设备110水平取向,例如在用户手掌中时,显示地图910(图9)的地图视图1110可被显示。当无线通信设备110竖直取向,例如面向物理设备112的方向时,显示图像1010(图10)的相机视图1112可被显示。地图视图1110和相机视图1112界面模式之间的转变可在一个或多个传感器输入指示超过阈值量的取向变化时被发起。另选地或除此之外,地图视图1110可在物理设备112在用户的视觉范围之外时被显示,并且“相机视图”1112可在物理设备112处于视觉范围中时被显示。这样,用户可通过改变无线通信设备110的取向来直观地在这两个用户界面模式之间来回切换或转变。
另选地,在一些实施方案中,无线通信设备110的用户可手动选择或指定用户界面模式。这在图12中示出,图12呈现例示用户界面1200的不同模式的示例的图示。例如,通过在虚拟图标708的敲击区域内提供触摸输入给无线通信设备110的触敏显示器,用户可选择具有显示例如无线通信设备110周围360°视角的地图1210的地图视图。地图1210可示出在不同范围和方向(诸如范围1212和方向1214)处的一个或多个对象(诸如物理设备112),它们由指示符(诸如指示符1216)表示,例如,以下中的任何/所有:文本、缩略图、符号、表情符号或图形图标。此外,当无线通信设备110竖直取向并且正面向朝向物理设备112的方向1214时,用户可选择图像视图,其中图像诸如图像1010(图10)被显示,并且物理设备112由指示符1012(例如,以下中的任何/所有:文本、缩略图、符号、表情符号或图形图标)表示。
在一些实施方案中,用户界面技术可包括增强现实上的附加变型形式。例如,如图13所示,其呈现例示用户界面1310中的增强现实的示例的图示,无线通信设备110上的前向相机可捕获无线通信设备110前面的环境的图像(或视频)。当无线通信设备110正面向对象的方向时,图像(诸如图像1312)可与表示对象(诸如物理设备112)的一个或多个指示符1314一起被显示在无线通信设备110上。因此,无线通信设备110以增强有附加信息的方式呈现用户前面的环境。需注意,指示符1314可在图像1312中被定位成使得它们表示其对应对象在环境108中的相应位置。另外,指示符1314的尺寸可被设定为提供具有关于到对应对象的相对范围的直观信息的透视图。因此,离无线通信设备110(并且因此离用户)越远的对象与更靠近无线通信设备110的对象相比可由更小的指示符来表示。
图14呈现例示关于环境中对象的扩展态势感知的示例的图示,包括描绘可位于视线之外的对象。具体地讲,当对象例如物理设备112位于不透明屏障诸如墙壁的另一侧时,一个或多个图像1410可被显示在无线通信设备110的用户界面1400中,以允许用户看到物理设备112,就好像不透明屏障不在那里一样(或者就好像用户能看穿不透明屏障一样)。例如,如果用户正在寻找另一房间中的资源(诸如打印机),则当用户将无线通信设备110指向资源的方向时,示出该资源的图像1410可被显示在用户界面1400中。在一些具体实施中,图像1410可包括关于资源(例如物理设备112)的附加信息。例如,附加信息可允许用户物理地或虚拟地访问该资源。
因此,用户界面可包括关于如何到达该资源的指令(并且任选地还包括地图)。显示器可呈现指示所请求的对象位于何处的地图,例如,基于从对象接收标识符以及确定范围和/或方向。另选地或除此之外,位置信息可通过搜索来获取。例如,当所请求的对象在视觉范围之外时,该方法可被用于将用户引导至对象,例如显示通过机场到地面交通、海关等的路线。类似地,通过对地图或显示增强以到例如所期望的对象、资源或位置的方向,该方法可被用于帮助用户移动通过购物中心或商店。此外,增强现实方法可注释具有Wi-Fi覆盖的区域,诸如由特定运营商或服务提供方提供的覆盖。需注意,增强信息可以个体为基础来应用(例如,会见用户对其具有标识信息诸如电话号码的另一个人);以搜索为基础来应用(例如,用户搜索并获取场所/事物的坐标);以资源为基础来应用(例如,急救、保安、卫生间可通告其位置、出租车或餐厅的位置),或它们的组合。
另选地或除此之外,通过轻击在无线通信设备110上显示的用户界面1400中与物理设备112相关联的图标,用户可指示无线通信设备110与物理设备112配对或连接。这个直观的配对可允许这些设备后续彼此通信。因此,资源(诸如拥挤工作区中的计算机)可通过对用户界面1400的触摸输入来选择。
当这些操作被执行时,无线通信设备110和/或物理设备112可在用户界面1400中显示消息,这允许无线通信设备110和/或物理设备112的用户中任一者或两者确认配对。此外,与物理设备112的配对可被进行持续指定的时间间隔,例如10分钟或一小时,在此之后,配对可被中断。这样,用户和/或资源可保持对配对过程的控制,通过确认配对是与处于同一环境(例如同一房间)中的物理设备,这也可帮助确保配对是安全的。这样,用户可避免无意地与正在欺骗或以其他方式模拟另一设备的附近设备配对。此方法还可帮助降低共享信息和/或配对的复杂性。例如,在配对过程期间可以不需要密码。在一些实施方案中,在上述虚拟配对操作之后,设备诸如无线通信设备110和物理设备112可交换加密密钥。
在另一示例中,无线通信设备110可指向要与之配对的对象的方向。无线通信设备110的相机可捕获该方向上所有对象的图像,并且可提供显示配对候选者的可选择的屏幕上指示符。例如,对象可至少部分地基于相关联的无线传输的标识符和一个或多个测距操作来确定。用户于是可利用屏幕上指示符选择要与之配对的项目(和协议)。
如图15所示,用户界面技术也可被用于提供提醒和/或跟踪环境中的对象。例如,用户界面技术可允许用户跟踪环境中对象(诸如物理设备112)的位置,或者获取关于环境中相关对象组的提醒。这样,父母可保持跟踪孩子或者个人可确保不忘记一个或多个对象。
在一些实施方案中,用户捆绑一组加标签的相关项目(诸如帐篷和相关联的帐篷杆)。如果并非所有项目都在组中,例如,如果用户忘记了项目,则反馈诸如警示被提供给用户。此外,用户界面技术可被用于跟踪加有唯一标识符标签的项目。例如,相机可被配置为在表演期间跟踪舞台上的孩子。类似地,用户界面技术可被用于提醒用户在离开区域时不遗留被跟踪/加标签的项目。例如,如果雨伞在超过阈值距离之外,则可发出提醒。另外,这些技术可被用于跟踪区域中项目的位置/移动、为了游戏目的跟踪用户(例如,虚拟彩弹)等。例如,如果用户相对于加标签的项目移动超过预定义距离,则其可接收提醒。更一般地讲,这些技术可涉及使用增强现实来向用户提醒他们看到的事情或他们需要做的事情,诸如名称、差事等。
如前所述,提醒功能可由环境108中的一个或多个任选标签诸如任选标签1510来促进,该环境108被包括在感兴趣的对象(诸如物理设备118)中或接近该感兴趣的对象。具体地讲,任选标签1510可空中地收集功率(例如,它可接收24GHz的信号)并且可通过啁啾信号或短传输(例如60GHz)进行通信。该通信可具有直至例如100英尺的范围,并且可为定向的。24GHz功率信号也可包括编码在信号上的标识符。如果任选标签1510没有识别信号,则它可以不响应。用于任选标签1510对启动脉冲进行响应的时间段(例如,一旦其已经指示其被供电且操作)可以是已知的。需注意,接收来自标签1510的信号的无线通信设备110可测量到达的相位和角度以确定方向的测量,并且可基于已知响应时间而使用到达时间或飞行时间来确定无线通信设备110与标签1510之间的范围。
多种反馈可利用用户界面技术而被提供给环境中的用户或其他个体。这在图16中示出,图16呈现示出与用户界面相关联的不同类型的反馈的示例的图示。具体地讲,除了所确定的位置信息的视觉显示之外,无线通信设备110可提供其他类型的反馈给用户。例如,无线通信设备110可直接地通过无线通信设备110或间接地通过另一电子设备(诸如用户的智能手表)提供触觉反馈。具体地讲,无线通信设备110可指示智能手表1610经由换能器(trans.)1612来提供触觉反馈。以此方式,用户可在正面向被追寻对象诸如物理设备112的方向时接收反馈。
另外,无线通信设备110可向物理设备112传输消息,诸如文本或音频消息。例如,消息可包括音频消息,该音频消息作为基本上仅在对应于物理设备112的位置能感知的波束成形的音频消息1614进行传输。这样,无线通信设备110的用户可向范围内的另一个体(例如,其能看到的人)发送私人消息,即使在用户不具有与该人相关联的电子设备的常规联系信息(诸如电话号码或电子邮件地址)时也如此。例如,消息可基于例如在通告信标中从目标设备接收的标识符(例如,匿名标识符)而被引导到目标设备。因此,这种定向通信可以是匿名的。在一些实施方案中,波束成形的音频1614消息可经由建筑物或结构中的基础设施传输。
另选地或除此之外,无线通信设备110可向无线通信设备110的用户传输具有有用信息的波束成形的音频消息,有用信息诸如是:环境中的人的姓名、要进行的差事、即将到来的预约等。因此,增强现实可利用定向通信例如通过只能被无线通信设备110的用户感知的视觉队列和波束成形音频消息向用户提醒环境中的事物而被实现。
需注意,触觉反馈和/或消息可通过确认方向性来增强搜索功能,例如,当无线通信设备110被指向正确方向时,无线通信设备110可发出蜂鸣声和/或嗡鸣声。另选地或除此之外,触觉反馈可来自第二设备,例如相关联的智能手表。第二设备可输出触觉反馈以向用户通知状况或事件,诸如在以下情况的时候:无线通信设备110被指向所追寻的资源的方向;被示意停下的车辆正在靠近;为了突出难以看到的标志/地址;为了指示公交车/火车是用户所需要的、正在前往用户想要去的地方、等等。
在一些实施方案中,用户界面技术被用于提供附加特征,诸如:基于位置的匿名聊天室;可对搜索进行响应或读取电子邮件使得仅设备用户能感知(例如,听到)响应的电子助理;为了确定用户是否有朋友在房间中;等。
图17为示出用于利用无线通信设备诸如图1中的无线通信设备110来定位对象的方法1700的示例的流程图。在操作期间,无线通信设备接收具有与被定位成接近无线通信设备的对象相关联的标识符的传输(操作1710)。在一些实施方案中,无线通信设备任选地将所接收的标识符与一个或多个所存储的目标标识符进行比较以确定是否存在匹配(操作1712)。
无线通信设备确定从无线通信设备到对象的范围和/或方向(操作1714)。范围、方向或这两者是至少部分地利用一种或多种无线测距技术来确定的。然后,无线通信设备呈现指示对象相对于无线通信设备的范围和/或方向的输出信息(操作1716)。例如,无线通信设备可:显示具有表示对象的第一指示符的地图或显示具有表示对象的第二指示符的图像。在一些具体实施中,无线通信设备可例如利用包括在来自对象的传输中的标识符将消息传输给对象。
在方法1700的一些实施方案中,可存在附加的或更少的操作。例如,在一些实施方案中,无线通信设备不接收具有标识符的传输(操作1710)。此外,操作的顺序可改变,和/或两个或更多个操作可合并为单个操作或者并行执行。
用户界面技术的实施方案在图18中进一步例示,图18呈现例示无线通信设备110和物理设备112之间的通信的图示(其被用作示例性示例)。无线通信设备110中的接口电路(I.C.)1812可接收来自物理设备112中的接口电路1808的消息1810。该消息可包括与物理设备112和/或物理设备112的用户相关联的标识符1814。标识符1814被提供给处理器1818。在一些实施方案中,处理器1818任选地访问存储器1822中的一个或多个所存储的目标标识符1820,并且任选地将标识符1814与所述一个或多个所存储的目标标识符1820进行比较以确定是否存在匹配1824。
然后,接口电路1812可利用一个或多个无线测距和/或到达角技术来确定相对于物理设备112的范围1826和/或方向1828。范围1826和方向1828被提供给处理器1818。
然后,处理器1818可呈现指示范围1826和/或方向1828的输出信息。例如,处理器1818可在显示器1832上显示信息1830或提供显示指令给显示器1832,诸如具有表示物理设备112的第一指示符的地图或具有表示物理设备112的第二指示符的图像。另选地或除此之外,处理器1818可任选地提供另一类型的反馈,诸如通过将触觉反馈信息1834发送给换能器1836以生成触觉反馈1838。在一些实施方案中,处理器1818提供一个或多个指令1840给接口电路1812,该接口电路基于标识符1814传输消息1842(例如,文本消息)给物理设备112。消息1842可包括一个或多个信息项,包括范围1826和/或方向1828中的任一者或两者。
代表性实施方案
在一些实施方案中,一种无线通信设备实施的用于控制对象的方法包括:(i)由所述无线通信设备标识指示用于控制所述对象的意图的意图手势,其中所述对象被定位成接近所述无线通信设备;(ii)所述无线通信设备至少部分地基于无线测距操作确定与所述意图手势相关联的所述对象;(iii)访问由与所述无线通信设备相关联的一个或多个传感器生成的传感器数据;(iv)解释所述传感器数据以确定命令值;以及(v)传输所述命令值以控制所述对象。
在一些实施方案中,所述对象包含物理对象。在一些实施方案中,所述物理对象包括计算设备、显示器、打印机、通信设备、音频设备、电器、可穿戴设备、家庭自动化设备、环境控制器、或附件。在一些实施方案中,所述对象包含虚拟对象。在一些实施方案中,所述虚拟对象包括物理对象在不同位置处的代理。在一些实施方案中,所述无线测距操作包括使用无线传输特性来确定所述无线通信设备与所述对象之间的距离。在一些实施方案中,所访问的传感器数据包括对应于所述无线通信设备的取向值,所述取向值是利用罗盘、加速度计或陀螺仪中至少一者来确定的。在一些实施方案中,所述命令值包括用于将所述无线通信设备与所述对象配对的命令。在一些实施方案中,所述命令值包括用于改变所述对象的操作设置的命令。在一些实施方案中,所述命令值包括用于执行功能的命令。在一些实施方案中,所述方法还包括使用超声啁啾信号来确定所述对象的接近性。在一些实施方案中,所述方法还包括响应于所述命令值而从所述对象接收包括传感器值的响应。在一些实施方案中,所述命令值包括针对访问资源的请求。
在一些实施方案中,一种无线通信设备包括:(i)被配置为使用至少一个无线通信协议与对象无线地通信的接口电路;(ii)被配置为测量传感器数据的一个或多个传感器;(iii)通信地耦接到所述接口电路和所述一个或多个传感器的处理器,所述处理器被配置为执行程序模块;和(iv)通信地耦接到所述处理器的存储器,所述存储器被配置为存储所述程序模块,所述程序模块包括用于以下操作的指令:由所述无线通信设备标识指示用于控制所述对象的意图的意图手势,其中所述对象被定位成接近所述无线通信设备;至少部分地基于无线测距来确定与所述意图手势相关联的所述对象;访问由所述一个或多个传感器生成的传感器数据;解释所访问的传感器数据以标识动作手势;以及利用所述接口电路传输对应于所述动作手势的命令值以控制所述对象。
在一些实施方案中,所述动作手势包括复合手势。在一些实施方案中,确定所述对象还至少部分地基于接收与所述对象相关联的标识符。在一些实施方案中,所述程序模块还包括用于发起与所述对象的配对操作的指令。
在一些实施方案中,一种用于与无线通信设备结合使用的计算机程序产品包括非暂态计算机可读存储介质和嵌入在其中的用于控制对象的计算机程序机制,所述计算机程序机制包括:(i)用于由所述无线通信设备标识指示用于控制所述对象的意图的意图手势的指令,其中所述对象被定位成接近所述无线通信设备;(ii)用于由所述无线通信设备至少部分地基于无线测距来确定与所述意图手势相关联的所述对象的指令;(iii)用于由所述无线通信设备访问由与所述无线通信设备相关联的一个或多个传感器生成的传感器数据的指令;(iv)用于解释所访问的传感器数据以确定动作手势的指令;以及(v)用于传输对应于所述动作手势的命令以控制所述对象的指令。
在一些实施方案中,所述用于确定所述对象的指令还包括用于至少部分地基于由与所述无线通信设备相关联的所述一个或多个传感器生成的传感器数据来确定所述无线通信设备的取向的指令。在一些实施方案中,所述用于确定所述对象的指令还包括用于至少部分地基于所述无线通信设备的取向和所述无线测距而忽略另一对象的指令。
在一些实施方案中,一种无线通信设备实施的用于定位对象的方法包括所述无线通信设备:(i)接收包括与被定位成接近所述无线通信设备的对象相关联的匿名标识符的传输;(ii)确定所述对象相对于所述无线通信设备的范围和方向,其中所述范围和所述方向是至少部分地利用无线测距操作来确定的;以及(iii)呈现至少部分地基于所述范围和所述方向指示所述对象的位置的输出信息。
在一些实施方案中,呈现所述输出信息包括:在所述无线通信设备的显示器上显示接近区域的地图;以及在所述地图上显示表示所述对象的位置的指示符。在一些实施方案中,不管所述对象是否在所述无线通信设备的视觉范围内,所述指示符都被显示。在一些实施方案中,呈现所述输出信息包括:在所述无线通信设备的显示器上显示由所述无线通信设备的图像传感器捕获的接近区域的图像;以及在所述图像上显示表示所述对象的位置的指示符。在一些实施方案中,不管所述对象是否在所述无线通信设备的视觉范围内,所述指示符都被显示。在一些实施方案中,与所述对象相关联的所述匿名标识符包括瞬态标识符。在一些实施方案中,与所述对象相关联的所述匿名标识符标识对应于所述对象的资源类。在一些实施方案中,所述方法还包括将所接收的匿名标识符与一个或多个所存储的目标标识符进行比较以确定匹配。在一些实施方案中,所述一个或多个所存储的目标标识符与搜索结果一起被接收。在一些实施方案中,所述一个或多个存储的目标标识符中的至少一个目标标识符对应于存储在所述无线通信设备处的联系人。在一些实施方案中,呈现所述输出信息还包括:基于所述无线通信设备的取向来在显示接近区域的包括表示所述对象的第一指示符的地图和显示所述接近区域的包括对应于所述对象的第二指示符的相机所捕获的图像之间进行转变。在一些实施方案中,所述指示符根据所述范围来进行尺寸设定。在一些实施方案中,所述方法还包括利用所述匿名标识符向所述对象传输消息。在一些实施方案中,所述消息包括作为基本上仅在对应于所述对象的位置处能感知的波束成形的音频消息被传输的音频消息,其中所述位置是至少部分地基于所述范围和所述方向来确定的。在一些实施方案中,所述输出信息包括触觉输出。在一些实施方案中,所述触觉输出由与所述无线通信设备相关联的设备来呈现。
在一些实施方案中,一种无线通信设备包括:(i)被配置为利用至少一个无线通信协议与对象无线地通信的接口电路;(ii)通信地耦接到所述接口电路的处理器,所述处理器被配置为执行程序模块;和(iii)通信地耦接到所述处理器的存储器,所述存储器被配置为存储所述程序模块,所述程序模块包括用于以下操作的指令:经由所述接口电路接收包括与被定位成接近所述无线通信设备的对象相关联的匿名标识符的传输;经由所述接口电路确定所述对象相对于所述无线通信设备的范围和方向,其中所述范围和所述方向是至少部分地利用无线测距操作来确定的;以及呈现指示所述对象相对于所述无线通信设备的所述范围和所述方向的输出信息。
在一些实施方案中,所述用于呈现输出信息的指令还包括用于呈现包括表示所述对象的位置指示符的地图的指令。
在一些实施方案中,一种用于与无线通信设备结合使用的计算机程序产品包括非暂态计算机可读存储介质和嵌入在其中的用于定位对象的计算机程序机制,所述计算机程序机制包括:(i)用于由所述无线通信设备接收包括与被定位成接近所述无线通信设备的对象相关联的匿名标识符的传输的指令;(ii)用于由所述无线通信设备确定所述对象相对于所述无线通信设备的范围和方向的指令,其中所述范围和所述方向是至少部分地利用无线测距操作来确定的;以及(iii)用于呈现指示所述对象相对于所述无线通信设备的所述范围和所述方向的输出信息的指令。
在一些实施方案中,所述用于呈现的指令还包括用于以下操作的指令:基于所述无线通信设备的取向来在显示接近区域的包括表示所述对象的第一指示符的地图和显示所述接近区域的包括对应于所述对象的第二指示符的相机所捕获的图像之间进行转变。
在前面的描述中提到过“一些实施方案”。需注意,“一些实施方案”描述所有可能实施方案的子集,但并非始终指定实施方案的相同子集。
前述描述旨在使得任何本领域的技术人员能够实现和使用本公开内容,并且是在特定应用及其要求的上下文中提供。此外,仅出于例证和描述的目的,呈现本公开的实施方案的前述描述。它们并非旨在为穷尽的或将本公开限制于所公开的形式。因此,许多修改和变型对于本领域熟练的从业者将显而易见,并且本文所定义的一般性原理可在不脱离本公开的实质和范围的前提下应用于其他实施方案和应用。此外,前述实施方案的论述并非旨在限制本公开。因此,本公开并非旨在限于所示出的实施方案,而是将被赋予与本文所公开的原理和特征一致的最宽范围。
Claims (20)
1.一种用于由无线设备控制对象的方法,所述方法包括:
由所述无线设备:
解释第一组数据以检测指示控制所述对象的意图的意图手势,其中所述对象在所述无线设备的无线范围内;
执行无线测距操作以识别要控制的对象;
解释第二组数据以确定动作手势,所述动作手势指示用于控制由所述无线测距操作识别的所述对象的命令;以及
发送与所述命令对应的命令值以控制所述对象。
2.根据权利要求1所述的方法,其中解释第一组数据包括测量所述无线设备相对于所述对象的位置的取向。
3.根据权利要求1所述的方法,其中解释第二组数据包括确定所述无线设备沿两个或三个维度的移动。
4.根据权利要求1所述的方法,其中:
第一组数据包括来自所述无线设备中的一个或多个传感器中的至少一个的第一输出;并且
第二组数据包括来自所述无线设备中的所述一个或多个传感器中的至少一个的第二输出。
5.根据权利要求1所述的方法,其中所述无线测距操作包括向所述对象发射无线信号和/或从所述对象接收无线信号。
6.根据权利要求1所述的方法,其中执行所述无线测距操作包括解释所接收无线信号的特性来确定所述对象相对于所述无线设备的距离和/或方向。
7.根据权利要求1所述的方法,其中所述对象包括物理对象。
8.根据权利要求1所述的方法,其中所述对象包括虚拟对象,所述虚拟对象包括物理对象在一不同位置处的代理。
9.根据权利要求1所述的方法,其中控制所述对象包括将所述无线设备与所述对象关联。
10.根据权利要求1所述的方法,其中控制所述对象包括改变所述对象的操作设置。
11.一种无线设备,包括:
接口电路,所述接口电路被配置为与对象无线地通信;
一个或多个传感器,所述一个或多个传感器被配置为测量传感器数据;
处理器,所述处理器通信地耦接到所述接口电路和所述一个或多个传感器,并且被配置为执行用于控制所述对象的程序模块;和
存储器,所述存储器通信地耦接到所述处理器,并且被配置为存储所述程序模块,其中所述程序模块包括用于以下操作的指令:
解释第一组传感器数据以检测指示控制所述对象的意图的意图手势,其中所述对象在所述无线设备的无线范围内;
执行无线测距操作以识别所述对象;
解释第二组传感器数据以确定动作手势,所述动作手势指示用于控制由所述无线测距操作识别的所述对象的命令;以及
发送与所述命令对应的命令值以控制所述对象。
12.根据权利要求11所述的无线设备,其中解释第一组数据包括测量所述无线设备相对于所述对象的位置的取向。
13.根据权利要求11所述的无线设备,其中解释第二组数据包括确定所述无线设备沿两个或三个维度的移动。
14.根据权利要求11所述的无线设备,其中:
第一组数据包括来自所述无线设备中的一个或多个传感器中的至少一个的第一输出;并且
第二组数据包括来自所述无线设备中的所述一个或多个传感器中的至少一个的第二输出。
15.根据权利要求11所述的无线设备,其中所述无线测距操作包括向所述对象发射无线信号和/或从所述对象接收无线信号。
16.根据权利要求11所述的无线设备,其中执行所述无线测距操作包括解释所接收无线信号的特性来确定所述对象相对于所述无线设备的距离和/或方向。
17.根据权利要求11所述的无线设备,其中所述对象包括物理对象。
18.根据权利要求11所述的无线设备,其中所述对象包括虚拟对象,所述虚拟对象包括物理对象在一不同位置处的代理。
19.根据权利要求11所述的无线设备,其中控制所述对象包括:
将所述无线设备与所述对象关联;或者
改变所述对象的操作设置。
20.一种与无线设备结合使用的计算机程序产品,所述计算机程序产品包括非暂态计算机可读存储介质和嵌入在其中用于控制对象的计算机程序机构,所述计算机程序机构包括用于执行以下操作的指令:
解释第一组数据以检测指示控制所述对象的意图的意图手势,其中所述对象在所述无线设备的无线范围内;
执行无线测距操作以识别所述对象;
解释第二组数据以确定动作手势,所述动作手势指示用于控制由所述无线测距操作识别的所述对象的命令;以及
发送与所述命令对应的命令值以控制所述对象。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662291504P | 2016-02-04 | 2016-02-04 | |
US62/291,504 | 2016-02-04 | ||
CN201780009457.0A CN108604129B (zh) | 2016-02-04 | 2017-02-03 | 基于无线测距来控制电子设备和显示信息 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780009457.0A Division CN108604129B (zh) | 2016-02-04 | 2017-02-03 | 基于无线测距来控制电子设备和显示信息 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114138116A true CN114138116A (zh) | 2022-03-04 |
Family
ID=59497838
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111466610.7A Pending CN114138116A (zh) | 2016-02-04 | 2017-02-03 | 基于无线测距来控制电子设备和显示信息 |
CN201780009457.0A Active CN108604129B (zh) | 2016-02-04 | 2017-02-03 | 基于无线测距来控制电子设备和显示信息 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780009457.0A Active CN108604129B (zh) | 2016-02-04 | 2017-02-03 | 基于无线测距来控制电子设备和显示信息 |
Country Status (7)
Country | Link |
---|---|
US (7) | US10602556B2 (zh) |
EP (2) | EP4328708A3 (zh) |
JP (3) | JP6810748B2 (zh) |
KR (5) | KR102515013B1 (zh) |
CN (2) | CN114138116A (zh) |
AU (3) | AU2017214547B2 (zh) |
WO (1) | WO2017136705A1 (zh) |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6008617B2 (ja) * | 2012-06-29 | 2016-10-19 | キヤノン株式会社 | 通信装置およびその制御方法、並びにプログラム |
US9779596B2 (en) | 2012-10-24 | 2017-10-03 | Apple Inc. | Devices and methods for locating accessories of an electronic device |
GB201410612D0 (en) * | 2014-06-13 | 2014-07-30 | Tomtom Int Bv | Methods and systems for generating route data |
US10291956B2 (en) | 2015-09-30 | 2019-05-14 | Sonifi Solutions, Inc. | Methods and systems for enabling communications between devices |
EP4328708A3 (en) | 2016-02-04 | 2024-06-05 | Apple Inc. | Controlling electronic devices and augmented reality based on wireless ranging |
US10327035B2 (en) * | 2016-03-15 | 2019-06-18 | Sonifi Solutions, Inc. | Systems and methods for associating communication devices with output devices |
US11047702B1 (en) * | 2016-09-16 | 2021-06-29 | Apple Inc. | Tracking systems for electronic devices |
BR112019006258A2 (pt) * | 2016-09-30 | 2019-06-25 | Huawei Tech Co Ltd | método e sistema de transferência, e aparelho |
EP3319361A1 (en) * | 2016-11-03 | 2018-05-09 | Alcatel Lucent | Method and apparatus for a radio communication network |
DE102016124275A1 (de) * | 2016-12-13 | 2018-06-14 | Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg | Verfahren zur Ansteuerung einer motorischen Verschlusselementanordnung eines Kraftfahrzeugs |
CN110574399B (zh) * | 2016-12-14 | 2021-06-25 | 株式会社电装 | 用于建立微定位区域的方法和*** |
US10602212B2 (en) | 2016-12-22 | 2020-03-24 | Sonifi Solutions, Inc. | Methods and systems for implementing legacy remote and keystroke redirection |
US10403276B2 (en) * | 2017-03-17 | 2019-09-03 | Microsoft Technology Licensing, Llc | Voice enabled features based on proximity |
US10600252B2 (en) | 2017-03-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
US10531065B2 (en) | 2017-03-30 | 2020-01-07 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
CN110800028A (zh) * | 2017-05-03 | 2020-02-14 | 开利公司 | 使用移动装置的按需访问控制授权 |
US11096850B2 (en) | 2017-06-27 | 2021-08-24 | Stryker Corporation | Patient support apparatus control systems |
US11337872B2 (en) | 2017-06-27 | 2022-05-24 | Stryker Corporation | Patient support systems and methods for assisting caregivers with patient care |
US11382812B2 (en) | 2017-06-27 | 2022-07-12 | Stryker Corporation | Patient support systems and methods for assisting caregivers with patient care |
US10811136B2 (en) | 2017-06-27 | 2020-10-20 | Stryker Corporation | Access systems for use with patient support apparatuses |
US11810667B2 (en) | 2017-06-27 | 2023-11-07 | Stryker Corporation | Patient support systems and methods for assisting caregivers with patient care |
US11484451B1 (en) | 2017-06-27 | 2022-11-01 | Stryker Corporation | Patient support apparatus user interfaces |
US11202729B2 (en) | 2017-06-27 | 2021-12-21 | Stryker Corporation | Patient support apparatus user interfaces |
US10733799B2 (en) * | 2017-07-26 | 2020-08-04 | Daqri, Llc | Augmented reality sensor |
EP3451572B1 (en) * | 2017-08-30 | 2021-09-29 | Rohde & Schwarz GmbH & Co. KG | Wireless communication device, wireless communication system and wireless communication method |
US10063303B1 (en) * | 2017-09-18 | 2018-08-28 | Integrated Device Technology, Inc. | Fast memory access control for phase and gain |
US11510097B2 (en) | 2017-11-16 | 2022-11-22 | Distech Controls Inc. | Environment control device and method for inferring an optimal wireless data transfer rate using a neural network |
US10616121B2 (en) * | 2017-11-16 | 2020-04-07 | Distech Controls Inc. | Inference server and environment control device for inferring an optimal wireless data transfer rate |
US11771283B2 (en) * | 2017-12-06 | 2023-10-03 | BISSELL , Inc. | Method and system for manual control of autonomous floor cleaner |
US10375504B2 (en) | 2017-12-13 | 2019-08-06 | Qualcomm Incorporated | Mechanism to output audio to trigger the natural instincts of a user |
CN108482276A (zh) * | 2018-02-02 | 2018-09-04 | 斑马网络技术有限公司 | 车辆屏幕信息显示方法及其*** |
US11102616B2 (en) * | 2018-08-31 | 2021-08-24 | Carrier Corporation | Method of tracking objects using thermostat |
US11641563B2 (en) | 2018-09-28 | 2023-05-02 | Apple Inc. | System and method for locating wireless accessories |
US20200126047A1 (en) * | 2018-10-17 | 2020-04-23 | Bank Of America Corporation | Digital Check Generation and Processing Platform |
US11023624B2 (en) * | 2018-10-31 | 2021-06-01 | Kyocera Document Solutions Inc. | Method and apparatus for locating tracked items using a multipart sensor |
KR102612414B1 (ko) | 2018-11-02 | 2023-12-08 | 아싸 아브로이 에이비 | 액세스 제어를 위한 시스템들, 방법들, 및 디바이스들 |
US11354728B2 (en) * | 2019-03-24 | 2022-06-07 | We.R Augmented Reality Cloud Ltd. | System, device, and method of augmented reality based mapping of a venue and navigation within a venue |
JP7241909B2 (ja) | 2019-03-25 | 2023-03-17 | アッサ アブロイ アーベー | アクセス制御読取機システム用の超広帯域装置 |
AU2020247109B2 (en) | 2019-03-25 | 2023-03-16 | Assa Abloy Ab | Physical access control systems with localization-based intent detection |
EP3957089A1 (en) * | 2019-04-17 | 2022-02-23 | Apple Inc. | Sharing keys for a wireless accessory |
US20220201429A1 (en) * | 2019-04-17 | 2022-06-23 | Apple Inc. | Location data harvesting and pruning for wireless accessory devices |
US11863671B1 (en) | 2019-04-17 | 2024-01-02 | Apple Inc. | Accessory assisted account recovery |
WO2020214708A1 (en) * | 2019-04-17 | 2020-10-22 | Prestacom Services Llc | Finding a target device using augmented reality |
US10735900B1 (en) * | 2019-05-06 | 2020-08-04 | Apple Inc. | Ranging measurements for spatially-aware user interface of a mobile device |
US11210932B2 (en) * | 2019-05-21 | 2021-12-28 | Apple Inc. | Discovery of and connection to remote devices |
EP3748646A1 (en) | 2019-06-04 | 2020-12-09 | Liko Research & Development AB | Wireless link pairing authentication |
KR102257994B1 (ko) * | 2019-09-02 | 2021-05-31 | 삼성전자주식회사 | 근접 여부를 판별하는 방법 및 디바이스 |
US11229002B2 (en) * | 2019-09-05 | 2022-01-18 | Apple Inc. | Ranging with a mobile cellular device |
WO2021050598A1 (en) * | 2019-09-09 | 2021-03-18 | Apple Inc. | Positional synchronization of virtual and physical cameras |
JP2022550106A (ja) | 2019-09-24 | 2022-11-30 | アーク, インコーポレイテッド | スマートリング |
WO2021062293A1 (en) | 2019-09-25 | 2021-04-01 | Noodle Technology Inc. | Augmenting reality by capturing signals using wireless radios |
KR102659976B1 (ko) | 2019-09-26 | 2024-04-22 | 아싸 아브로이 에이비 | 물리적 액세스 제어 시스템을 위한 초광대역 안테나 구성 |
US11448747B2 (en) * | 2019-09-26 | 2022-09-20 | Apple Inc. | Time-of-flight determination of user intent |
WO2021064102A1 (en) | 2019-10-01 | 2021-04-08 | Assa Abloy Ab | Connection and service discovery for fine ranging applications |
WO2021089195A1 (en) | 2019-11-07 | 2021-05-14 | Assa Abloy Ab | Upper layer device architecture for ultra-wide band enabled device |
KR20210079061A (ko) * | 2019-12-19 | 2021-06-29 | 엘지전자 주식회사 | 정보 처리 방법 및 정보 처리 장치 |
KR102404893B1 (ko) * | 2019-12-19 | 2022-06-02 | 경남대학교 산학협력단 | 기기 제어 장치 및 방법 |
US11012967B1 (en) * | 2020-01-31 | 2021-05-18 | Disney Enterprises, Inc. | System for determining precise location of a sought device by solving the last mile problem |
US11755111B2 (en) | 2020-03-16 | 2023-09-12 | Arkh, Inc. | Spatially aware computing hub and environment |
CN113447917A (zh) * | 2020-03-27 | 2021-09-28 | 苹果公司 | 使用物理响应器和虚拟响应器的无线测距 |
KR102258735B1 (ko) | 2020-05-11 | 2021-05-28 | 아주대학교산학협력단 | 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치 |
CN111917918B (zh) * | 2020-07-24 | 2021-09-21 | 腾讯科技(深圳)有限公司 | 基于增强现实的事件提醒管理方法、装置以及存储介质 |
CN114727220B (zh) | 2020-08-05 | 2022-12-27 | 华为技术有限公司 | 一种设备搜寻方法以及电子设备 |
US11889302B2 (en) | 2020-08-28 | 2024-01-30 | Apple Inc. | Maintenance of wireless devices |
KR20220053214A (ko) * | 2020-10-22 | 2022-04-29 | 삼성전자주식회사 | 줌 기능을 지원하는 전자 장치 및 방법 |
US11683584B2 (en) | 2020-10-22 | 2023-06-20 | Samsung Electronics Co., Ltd | Electronic device and method for supporting zoom functionality |
US20220137204A1 (en) | 2020-11-02 | 2022-05-05 | Samsung Electronics Co., Ltd. | Interactive control with ranging and gesturing between devices |
US12022537B2 (en) | 2020-11-06 | 2024-06-25 | Hill-Rom Services, Inc. | Wireless link pairing authentication |
CN112702725A (zh) * | 2020-11-27 | 2021-04-23 | 深圳市思讯通信技术有限公司 | 一种无线蓝牙可穿戴音频设备实际体验感数据化测试*** |
CN112492517A (zh) * | 2020-12-07 | 2021-03-12 | Oppo广东移动通信有限公司 | 基于uwb的交互方法及装置、设备、存储介质和*** |
US11979817B2 (en) * | 2020-12-08 | 2024-05-07 | Arris Enterprises Llc | Device and method for monitoring social distancing and contact tracing |
CN112784193A (zh) * | 2021-01-27 | 2021-05-11 | 维沃移动通信有限公司 | 配件信息显示方法、装置、电子设备及可读存储介质 |
US11893551B2 (en) | 2021-04-15 | 2024-02-06 | Bank Of America Corporation | Information security system and method for augmented reality check generation |
US11914093B2 (en) | 2021-12-07 | 2024-02-27 | Microsoft Technology Licensing, Llc | RF antenna scanning for human movement classification |
US20230337003A1 (en) * | 2022-04-19 | 2023-10-19 | Plantronics, Inc. | Speaker Identification Based Device Pairing |
US20240012766A1 (en) * | 2022-07-08 | 2024-01-11 | Dell Products, L.P. | Managing peripheral device connectivity based on context |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040203900A1 (en) * | 2000-06-06 | 2004-10-14 | Mats Cedervall | Anonymous positioning of a wireless unit for data network location-based services |
CN1969197A (zh) * | 2004-02-17 | 2007-05-23 | 加迪公司 | 具有移动基站的超宽带导航*** |
US20140028539A1 (en) * | 2012-07-29 | 2014-01-30 | Adam E. Newham | Anatomical gestures detection system using radio signals |
WO2015030520A1 (ko) * | 2013-08-30 | 2015-03-05 | 삼성전자주식회사 | 무선 통신시스템의 무선 기기 탐색 장치 및 방법 |
US20150071438A1 (en) * | 2013-09-10 | 2015-03-12 | Marvell World Trade Ltd. | Secure device bootstrap identity |
CN105278674A (zh) * | 2014-06-03 | 2016-01-27 | 谷歌公司 | 通过穿戴式设备的基于雷达的手势识别 |
Family Cites Families (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3804841A1 (de) | 1988-02-17 | 1989-08-31 | Hoechst Ag | Cephalosporinderivate und verfahren zu ihrer herstellung |
US5694335A (en) * | 1996-03-12 | 1997-12-02 | Hollenberg; Dennis D. | Secure personal applications network |
JPH10232757A (ja) | 1997-02-19 | 1998-09-02 | Sharp Corp | メディア選択装置 |
JPH11249778A (ja) | 1998-02-26 | 1999-09-17 | Hitachi Ltd | 移動体管理システム |
US6396523B1 (en) | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
US6791467B1 (en) | 2000-03-23 | 2004-09-14 | Flextronics Semiconductor, Inc. | Adaptive remote controller |
US7421466B2 (en) * | 2001-10-29 | 2008-09-02 | Hewlett-Packard Development Company, L.P. | Dynamic mapping of wireless network devices |
KR100878764B1 (ko) | 2002-07-06 | 2009-01-14 | 삼성전자주식회사 | 사용자의 익명성보장을 위한 무선 랜 시스템 및 사용자의익명성 보장방법 |
JP4281400B2 (ja) * | 2003-04-14 | 2009-06-17 | ソニー株式会社 | 通信装置、その表示方法、コンピュータプログラム、および通信方法 |
JP2007531113A (ja) | 2004-03-23 | 2007-11-01 | 富士通株式会社 | 携帯装置の傾斜及び並進運動成分の識別 |
US20050212760A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Gesture based user interface supporting preexisting symbols |
CN1939009A (zh) * | 2004-03-31 | 2007-03-28 | 皇家飞利浦电子股份有限公司 | 利用短程射频技术来定位无线医疗装置的方法 |
US7259671B2 (en) | 2004-06-21 | 2007-08-21 | Christine Ganley | Proximity aware personal alert system |
US8417215B2 (en) | 2004-07-28 | 2013-04-09 | Koninklijke Philips Electronics N.V. | Method for positioning of wireless medical devices with short-range radio frequency technology |
US20060265664A1 (en) | 2005-05-17 | 2006-11-23 | Hitachi, Ltd. | System, method and computer program product for user interface operations for ad-hoc sensor node tracking |
TWI316195B (en) | 2005-12-01 | 2009-10-21 | Ind Tech Res Inst | Input means for interactive devices |
WO2007123001A1 (ja) | 2006-04-17 | 2007-11-01 | Panasonic Corporation | Avシステム |
JP2008232907A (ja) * | 2007-03-22 | 2008-10-02 | Kyushu Ten:Kk | 測距システムおよびその測距方法 |
US9582937B2 (en) * | 2008-01-02 | 2017-02-28 | Nokia Technologies Oy | Method, apparatus and computer program product for displaying an indication of an object within a current field of view |
US8059111B2 (en) | 2008-01-21 | 2011-11-15 | Sony Computer Entertainment America Llc | Data transfer using hand-held device |
JP2009289192A (ja) | 2008-05-30 | 2009-12-10 | Aisin Aw Co Ltd | 相乗り乗車システム |
JP2011525074A (ja) | 2008-06-11 | 2011-09-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 無線遠隔制御装置選択システム及び方法 |
WO2010064167A2 (en) | 2008-12-04 | 2010-06-10 | Koninklijke Philips Electronics N.V. | Methods for selecting and controlling devices |
US20100171635A1 (en) | 2009-01-02 | 2010-07-08 | Ewig Industries Macao Commerical Offshore, Ltd. | System And Method For Motion-Sensitive Remote Control For Audio-Visual Entertainment System |
KR20100126628A (ko) * | 2009-05-24 | 2010-12-02 | 엘지전자 주식회사 | 펨토셀 타입을 고려한 펨토 기지국의 저부하 모드 동작 방법 |
JP5297900B2 (ja) | 2009-06-04 | 2013-09-25 | Kddi株式会社 | 位置情報管理システム、位置情報管理方法およびプログラム |
KR20100132427A (ko) * | 2009-06-09 | 2010-12-17 | 엘지전자 주식회사 | 펨토 기지국의 저부하 모드 동작 방법 |
US8738095B2 (en) * | 2009-07-02 | 2014-05-27 | Electronics And Telecommunications Research Institute | Method for operation of femto base station based on radio access system |
US9439736B2 (en) * | 2009-07-22 | 2016-09-13 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for controlling a remote medical device guidance system in three-dimensions using gestures |
US9571625B2 (en) | 2009-08-11 | 2017-02-14 | Lg Electronics Inc. | Electronic device and control method thereof |
US20110060652A1 (en) * | 2009-09-10 | 2011-03-10 | Morton Timothy B | System and method for the service of advertising content to a consumer based on the detection of zone events in a retail environment |
US8482678B2 (en) | 2009-09-10 | 2013-07-09 | AFA Micro Co. | Remote control and gesture-based input device |
US8593576B2 (en) | 2009-10-15 | 2013-11-26 | At&T Intellectual Property I, L.P. | Gesture-based remote control |
US8665075B2 (en) | 2009-10-26 | 2014-03-04 | At&T Intellectual Property I, L.P. | Gesture-initiated remote control programming |
US11042816B2 (en) | 2009-10-30 | 2021-06-22 | Getaround, Inc. | Vehicle access control services and platform |
CN102083236A (zh) * | 2009-11-27 | 2011-06-01 | 中国科学院自动化研究所 | 一种基于通信网络的井下定位与安全监控*** |
JP5219986B2 (ja) * | 2009-11-30 | 2013-06-26 | 株式会社エヌ・ティ・ティ・ドコモ | 位置推定システム、通信端末、および位置推定方法 |
KR101556796B1 (ko) * | 2009-12-22 | 2015-10-01 | 삼성전자주식회사 | 기지국의 휴면주기 관리 방법 및 시스템 |
US8756532B2 (en) | 2010-01-21 | 2014-06-17 | Cisco Technology, Inc. | Using a gesture to transfer an object across multiple multi-touch devices |
EP2534774A4 (en) * | 2010-02-09 | 2016-03-02 | Nokia Technologies Oy | METHOD AND DEVICE FOR SENDING CONTENT PACKAGES |
US8837307B2 (en) | 2010-05-26 | 2014-09-16 | Qualcomm Incorporated | Two-way ranging messaging scheme |
US8150384B2 (en) | 2010-06-16 | 2012-04-03 | Qualcomm Incorporated | Methods and apparatuses for gesture based remote control |
US9684989B2 (en) | 2010-06-16 | 2017-06-20 | Qualcomm Incorporated | User interface transition between camera view and map view |
JP4857406B1 (ja) | 2010-06-25 | 2012-01-18 | パナソニック株式会社 | 制御装置およびスクリプト変換方法 |
US20120000431A1 (en) * | 2010-07-05 | 2012-01-05 | Kamran Khoshkish | Electronic Pet Containment System |
US8464184B1 (en) * | 2010-11-30 | 2013-06-11 | Symantec Corporation | Systems and methods for gesture-based distribution of files |
KR101744723B1 (ko) * | 2010-12-20 | 2017-06-20 | 한국전자통신연구원 | 실내 위치 인식 시스템 및 이를 이용한 실내 위치 인식 방법 |
EP2659366A1 (en) * | 2010-12-30 | 2013-11-06 | Ambientz | Information processing using a population of data acquisition devices |
US20120293630A1 (en) * | 2011-05-19 | 2012-11-22 | Qualcomm Incorporated | Method and apparatus for multi-camera motion capture enhancement using proximity sensors |
US20130033418A1 (en) * | 2011-08-05 | 2013-02-07 | Qualcomm Incorporated | Gesture detection using proximity or light sensors |
JP6035014B2 (ja) | 2011-08-31 | 2016-11-30 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 無線操作装置、無線操作システム及び無線操作方法 |
KR101343587B1 (ko) * | 2011-10-13 | 2013-12-19 | 엘지전자 주식회사 | 방향 정보를 이용한 데이터 전송 방법 및 상기 방법을 채용한 휴대 전자 기기 |
EP2602691A1 (en) * | 2011-12-05 | 2013-06-12 | Alcatel Lucent | Method for gesture control, gesture server device and sensor input device |
US8704657B2 (en) | 2012-02-21 | 2014-04-22 | Htc Corporation | Method for reminding objects being away and communication device and computer readable medium using the same method |
US8981938B2 (en) | 2012-03-08 | 2015-03-17 | Linquet Technologies, Inc. | Comprehensive system and method of universal real-time linking of real objects to a machine, network, internet, or software service |
EP2837167B1 (en) * | 2012-04-12 | 2018-12-19 | Telefonaktiebolaget LM Ericsson (publ) | Pairing a mobile terminal with a wireless device |
CN103379431B (zh) | 2012-04-19 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种账户安全的保护方法和装置 |
US9031543B2 (en) | 2012-06-06 | 2015-05-12 | Qualcomm Incorporated | Visualization of network members based on location and direction |
US9041622B2 (en) * | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
US9031283B2 (en) * | 2012-07-12 | 2015-05-12 | Qualcomm Incorporated | Sensor-aided wide-area localization on mobile devices |
EP2699022A1 (en) | 2012-08-16 | 2014-02-19 | Alcatel Lucent | Method for provisioning a person with information associated with an event |
US8823507B1 (en) | 2012-09-19 | 2014-09-02 | Amazon Technologies, Inc. | Variable notification alerts |
US20140363168A1 (en) * | 2012-10-24 | 2014-12-11 | Google Inc. | Use of visible connection between devices to represent connections and interactions between the devices |
JP6260079B2 (ja) | 2012-12-21 | 2018-01-17 | 沖電気工業株式会社 | 通信制御装置、端末装置、プログラム及び通信制御方法 |
JP5469764B1 (ja) * | 2013-03-26 | 2014-04-16 | 三菱電機インフォメーションシステムズ株式会社 | 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム |
US9453904B2 (en) * | 2013-07-18 | 2016-09-27 | Golba Llc | Hybrid multi-camera based positioning |
KR20150032101A (ko) | 2013-09-17 | 2015-03-25 | 삼성전자주식회사 | 영상표시장치 및 영상표시방법 |
EP3050260A2 (en) * | 2013-09-24 | 2016-08-03 | Fibar Group S.A. | Touch-less swipe control |
JP6446967B2 (ja) | 2013-11-13 | 2019-01-09 | 沖電気工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10339795B2 (en) | 2013-12-24 | 2019-07-02 | Lutron Technology Company Llc | Wireless communication diagnostics |
JP2015179493A (ja) | 2014-02-27 | 2015-10-08 | 株式会社ログバー | ジェスチャ入力システム |
CN103813449B (zh) * | 2014-03-03 | 2017-12-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种无线通讯快速接入的方法及相关设备 |
EP3123751B1 (en) | 2014-03-28 | 2019-11-06 | AutoGraph, Inc. | Beacon based privacy centric network communication, sharing, relevancy tools and other tools |
JP6366093B2 (ja) | 2014-06-20 | 2018-08-01 | 日本電気通信システム株式会社 | 近距離通信システム、近距離通信方法、通信処理装置、通信処理装置の制御プログラムおよび携帯端末のアプリケーションプログラム |
US9900091B2 (en) * | 2014-06-24 | 2018-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for pairing electronic device and lighting device |
WO2016005649A1 (en) | 2014-07-09 | 2016-01-14 | Nokia Technologies Oy | Device control |
ES2762684T3 (es) | 2014-07-22 | 2020-05-25 | Danielles Buddy Inc | Sistema de percepción y ubicación posicional mejorado para personas con deterioro cognitivo y sus cuidadores |
US9392398B2 (en) * | 2014-09-30 | 2016-07-12 | Apple Inc. | Wireless proximity pairing of user-interface devices |
US20160187995A1 (en) * | 2014-12-30 | 2016-06-30 | Tyco Fire & Security Gmbh | Contextual Based Gesture Recognition And Control |
US10484827B2 (en) * | 2015-01-30 | 2019-11-19 | Lutron Technology Company Llc | Gesture-based load control via wearable devices |
US11238397B2 (en) | 2015-02-09 | 2022-02-01 | Fedex Corporate Services, Inc. | Methods, apparatus, and systems for generating a corrective pickup notification for a shipped item using a mobile master node |
US9756387B2 (en) * | 2015-02-13 | 2017-09-05 | Google Inc. | Systems and methods for using a remote control for presence detection |
KR20160133305A (ko) * | 2015-05-12 | 2016-11-22 | 삼성전자주식회사 | 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치 |
US9536421B2 (en) | 2015-06-02 | 2017-01-03 | Qualcomm Technologies International, Ltd. | Intuitive way to point, access and control appliances and other objects in building interiors |
US10215574B2 (en) * | 2015-08-06 | 2019-02-26 | Uber Technologies, Inc. | Facilitating rider pick-up for a transport service |
US9525971B1 (en) | 2015-11-11 | 2016-12-20 | Tile, Inc. | Leash notification for tracking device |
US9739617B2 (en) | 2015-11-23 | 2017-08-22 | Telenav, Inc. | Navigation system with prompt mechanism and method of operation thereof |
US11023049B2 (en) * | 2015-11-24 | 2021-06-01 | Ford Global Technologies, Llc | Methods and systems for enabling gesture control for a vehicle feature |
EP4328708A3 (en) | 2016-02-04 | 2024-06-05 | Apple Inc. | Controlling electronic devices and augmented reality based on wireless ranging |
-
2017
- 2017-02-03 EP EP24150583.3A patent/EP4328708A3/en active Pending
- 2017-02-03 EP EP17748261.9A patent/EP3398038B1/en active Active
- 2017-02-03 AU AU2017214547A patent/AU2017214547B2/en active Active
- 2017-02-03 KR KR1020227019017A patent/KR102515013B1/ko active IP Right Grant
- 2017-02-03 JP JP2018539298A patent/JP6810748B2/ja active Active
- 2017-02-03 KR KR1020217024715A patent/KR102407613B1/ko active IP Right Grant
- 2017-02-03 KR KR1020207027200A patent/KR102288504B1/ko active IP Right Grant
- 2017-02-03 KR KR1020237010046A patent/KR102603634B1/ko active IP Right Grant
- 2017-02-03 CN CN202111466610.7A patent/CN114138116A/zh active Pending
- 2017-02-03 US US15/424,408 patent/US10602556B2/en active Active
- 2017-02-03 CN CN201780009457.0A patent/CN108604129B/zh active Active
- 2017-02-03 KR KR1020187021505A patent/KR20180089907A/ko not_active Application Discontinuation
- 2017-02-03 WO PCT/US2017/016478 patent/WO2017136705A1/en active Application Filing
- 2017-02-03 US US15/424,394 patent/US10368378B2/en active Active
-
2019
- 2019-07-29 US US16/525,408 patent/US10912136B2/en active Active
-
2020
- 2020-03-23 US US16/827,610 patent/US11601993B2/en active Active
- 2020-05-06 AU AU2020203003A patent/AU2020203003B2/en active Active
- 2020-09-18 JP JP2020157320A patent/JP7082651B2/ja active Active
-
2021
- 2021-01-05 US US17/142,171 patent/US11425767B2/en active Active
-
2022
- 2022-05-27 JP JP2022086623A patent/JP7382448B2/ja active Active
- 2022-07-13 AU AU2022205199A patent/AU2022205199B2/en active Active
- 2022-08-22 US US17/821,460 patent/US20230121160A1/en active Pending
-
2023
- 2023-03-06 US US18/179,252 patent/US20230319914A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040203900A1 (en) * | 2000-06-06 | 2004-10-14 | Mats Cedervall | Anonymous positioning of a wireless unit for data network location-based services |
CN1969197A (zh) * | 2004-02-17 | 2007-05-23 | 加迪公司 | 具有移动基站的超宽带导航*** |
US20140028539A1 (en) * | 2012-07-29 | 2014-01-30 | Adam E. Newham | Anatomical gestures detection system using radio signals |
WO2015030520A1 (ko) * | 2013-08-30 | 2015-03-05 | 삼성전자주식회사 | 무선 통신시스템의 무선 기기 탐색 장치 및 방법 |
US20150071438A1 (en) * | 2013-09-10 | 2015-03-12 | Marvell World Trade Ltd. | Secure device bootstrap identity |
CN105278674A (zh) * | 2014-06-03 | 2016-01-27 | 谷歌公司 | 通过穿戴式设备的基于雷达的手势识别 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022205199B2 (en) | Controlling electronic devices and displaying information based on wireless ranging | |
US9462108B2 (en) | Mobile terminal and method for controlling the mobile terminal | |
CN107851351B (zh) | 通知装置及其物***置通知方法 | |
AU2013263755B2 (en) | Information providing method and mobile terminal therefor | |
CN111896940A (zh) | 针对移动设备的空间感知用户界面的测距测量 | |
KR20150129592A (ko) | 이동 단말기 및 이동 단말기의 제어방법 | |
KR101556179B1 (ko) | 이동 단말기 및 이동 단말기의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |