CN116027692A - 一种基于人体感知的自动控制方法、电子设备及*** - Google Patents
一种基于人体感知的自动控制方法、电子设备及*** Download PDFInfo
- Publication number
- CN116027692A CN116027692A CN202111241608.XA CN202111241608A CN116027692A CN 116027692 A CN116027692 A CN 116027692A CN 202111241608 A CN202111241608 A CN 202111241608A CN 116027692 A CN116027692 A CN 116027692A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- user
- scene
- coordinate system
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 230000008447 perception Effects 0.000 title claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 119
- 238000010586 diagram Methods 0.000 claims description 99
- 238000004891 communication Methods 0.000 claims description 84
- 230000004044 response Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007619 statistical method Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 65
- 230000033001 locomotion Effects 0.000 description 48
- 238000012545 processing Methods 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 34
- 230000007958 sleep Effects 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 28
- 238000009434 installation Methods 0.000 description 28
- 239000013598 vector Substances 0.000 description 28
- 238000001514 detection method Methods 0.000 description 27
- 238000004378 air conditioning Methods 0.000 description 24
- 238000012937 correction Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 230000001121 heart beat frequency Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 210000003811 finger Anatomy 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 230000036387 respiratory rate Effects 0.000 description 9
- 229920001940 conductive polymer Polymers 0.000 description 8
- 230000005484 gravity Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 230000035565 breathing frequency Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 241001669679 Eleotris Species 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000004146 energy storage Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000036391 respiratory frequency Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229940060587 alpha e Drugs 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Alarm Systems (AREA)
- Selective Calling Equipment (AREA)
Abstract
本申请提供一种基于人体感知的自动控制方法、电子设备及***,使得用户靠近IoT设备时,IoT设备自动进行某项操作,提升了用户体验。该***包括中枢设备、第一电子设备和第二电子设备,其中第一电子设备包括超宽带模块和毫米波雷达模块,用于测量屋内人***置以及第二电子设备的位置,以确定屋内当前所处的场景。当第一电子设备检测到多场景时,且多场景中存在冲突任务时,中枢设备根据各个场景的优先级确定执行的任务;中枢设备还可以基于第一电子设备检测到的人***置统计用户在屋内各个房间/区域的活动轨迹以及活动时长等。
Description
技术领域
本申请涉及自动控制领域,尤其涉及一种基于人体感知的自动控制方法、电子设备及***。
背景技术
随着智能家居的快速发展,越来越多的用户在诸如家或办公室等场所中安装物联网(Internet of Things,IoT)设备(也可称为IoT设备、智能设备等),甚至全屋安装IoT设备(也称为全屋智能、全屋智能家居、智能管家等)。用户可以感受到IoT设备所带来的便捷的用户体验。不过,现有技术中对IoT设备的自动控制,需要用户随身携带移动设备(比如,智能手机、可穿戴设备等),通过移动设备与IoT设备的通信感知等来实现。用户在诸如家或办公室等场所中,有时忘记携带移动设备,无法实现对IoT设备的自动控制,从而给用户带来不便,影响用户体验。
发明内容
基于上述背景技术,如何使得用户对IoT设备的自动控制更为方便,进一步提升用户体验,成为我们需要考虑的问题。
为了解决上述的技术问题,本申请提供了一种基于人体感知的自动控制方法、电子设备及***。本申请的技术方案,能够使得用户在靠近IoT设备时,IoT设备自动进行某项操作,无需用户做任何操作,也无需用户携带任何电子设备,较大地提升了用户体验。另外,IoT设备也无需做硬件上的改动。比如,智能音箱一般没有摄像头,不需要额外安装摄像头。
第一方面,本申请提供了一种基于人体感知的智能设备间的联动***,包括中枢设备、第一电子设备和R个第二电子设备;中枢设备、第一电子设备和R个第二电子设备中的任意一个第二电子设备三者中的任意两者以有线通信或无线通信的方式通信;第一电子设备包括超宽带模块和毫米波雷达模块,用于测量人***置和R个第二电子设备的位置;R个第二电子设备包括第一设备,R为大于或等于1的正整数;第一电子设备向中枢设备发送第一场景数据;中枢设备基于第一场景数据确定当前处于第一场景,且确定第一场景对应第一联动规则,第一联动规则包括第一设备执行第一任务;中枢设备向第一设备发送执行第一任务的第一消息;响应于接收到第一消息,第一设备执行第一任务;第一电子设备向中枢设备发送第二场景数据;中枢设备基于第二场景数据确定当前处于第二场景和第一场景,且确定第二场景对应第二联动规则,第二联动规则包括第一设备执行第二任务;第二任务与第一任务不同;中枢设备确定第一场景的优先级高于第二场景的优先级,中枢设备确定第一设备执行第一任务。
需要说明的是,基于第一电子设备检测的人***置以及R个第二电子设备的位置可以感知更加细化的场景,从而能够识别出屋内多场景(例如第一场景和第二场景的同时存在)的情形。进一步的,当屋内多场景对应的IFTTT规则中的任务出现冲突(如第一任务和第二任务冲突)时,还可以基于场景的优先级,决策出冲突的智能设备具体执行的任务,满足用户在多场景下的智能设备联动需求,提升使用体验。
根据第一方面,第一场景数据包括第一电子设备在第一时刻或第一时间段内检测到数据,和/或,R个第二电子设备中任一个或任几个设备在第一时刻或第一时间段内的状态信息;其中,第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
在一些示例中,全屋感知***中的各个第一电子设备不具备一定存储能力和处理能力,那么全屋感知***将第一电子设备检测到数据发送给中枢设备,由中枢设备对接收到的数据进行综合分析,以识别出当前所处的场景为第一场景。在该示例中,第一场景数据为各个第一电子设备在当前时刻或当前时间段(例如时刻1或时间段2)内检测到的数据。
根据第一方面,或者以上第一方面的任意一种实施方式,第一场景数据指示在第一时刻或第一时间段内屋内处于第一场景。
在一些示例中,全屋感知***中的各个第一电子设备具备一定存储能力和处理能力,可以对全屋感知***中的各个第一电子设备采集的数据或者简单处理后的数据进行综合分析,识别出当前全屋内处于第一场景,为智能场景的IFTTT规则中相应的场景。其中,第一场景例如可以为夜晚回家场景、白天回家场景、外人入侵场景、客厅娱乐场景、卧室娱乐场景、客厅睡觉场景、卧室睡觉场景、夜晚下雨场景、白天外出场景、夜晚外出场景等中的任一项或任几项。而后,全屋感知***向全屋内的中枢设备发送第一场景数据。在该示例中,第一场景数据可以为直接指示屋内处于第一场景的数据。
根据第一方面,或者以上第一方面的任意一种实施方式,第二场景数据包括第一电子设备在第二时刻或第二时间段内检测到数据,和/或,R个第二电子设备中任一个或任几个设备在第二时刻或第二时间段的状态信息;其中,第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
根据第一方面,或者以上第一方面的任意一种实施方式,第二场景数据指示在第二时刻或第二时间段内屋内处于第二场景和第一场景。
根据第一方面,或者以上第一方面的任意一种实施方式,R个第二电子设备还包括第二设备;第二联动规则中还包括第二设备执行第三任务,且第一联动规则中不包括第二设备,中枢设备确定第一设备执行第一任务之后,中枢设备还向第二设备发送执行第三任务的第二消息;响应于接收到第二消息,第二设备执行第三任务。
也就是说,第二联动规则还包括与第一联动规则不冲突的任务时,中枢设备继续执行第二联动规则中与第一联动规则不冲突的其他任务。
根据第一方面,或者以上第一方面的任意一种实施方式,中枢设备分别统计第一电子设备检测的各个场景下R个第二电子设备的状态变化和/或经中枢设备发送的R个第二电子设备的控制命令,学习出各个场景对应的联动规则。
具体的,中枢设备可以收集各个智能设备的变化状态或经通过智能家居应用发送的各个智能设备的控制命令等。可以理解的是,用户可以通过智能家居应用向智能设备发送控制命令,那么中枢设备可以通过收集智能家居应用转发的各个智能设备的控制命令的方式获取到各个智能设备执行的任务。用户还可以通过直接操作智能设备的面板或按钮触发智能设备执行相应任务,那么中枢设备可以通过收集各个智能设备的状态变化来获取各个智能设备执行的任务。总之,本申请实施例对中枢设备获取全屋内各个智能设备执行的任务的方法不再限定。
根据第一方面,或者以上第一方面的任意一种实施方式,中枢设备实时地或周期性地或在特定条件下更新各个场景对应的联动规则。
在具体实现中,中枢设备可以实时地或周期性地(例如,每天,每7天,每月)或在特定条件(例如开机后的每5分钟)下触发用户的行为习惯的统计,遍历每一种场景,并获取同一场景下智能设备的执行任务的情况。比如,获取全屋感知***检测到某个场景前后的预设时长(例如5分钟)内智能设备的执行任务的情况。当统计到在某个场景下某个或某些智能设备连续M1天(例如7天)或者连续M2次(例如7次)执行相同的任务,则生成该场景下的IFTTT规则。
还需要说明的是,在其他一些实施例中,中枢设备还预定义了用户偏好设置项(例如睡眠时空调温度、喜爱的音乐类型、观影时照明灯的灯光亮度等),且学习到或接收到用户设置的用户偏好值,那么在中枢设备执行IFTTT规则时,优先按照用户偏好值来执行任务。当屋内存在多场景时,在解决冲突任务时,也优先按照用户偏好值来执行任务。
第二方面,本身提供了一种基于人体感知的智能设备间的联动方法,应用于中枢设备,中枢设备分别与第一电子设备和R个第二电子设备中的任意一个第二电子设备以有线通信或无线通信的方式通信;第一电子设备包括超宽带模块和毫米波雷达模块,用于测量人***置和R个第二电子设备的位置;R个第二电子设备包括第一设备,R为大于或等于1的正整数;中枢设备接收第一电子设备发送的第一场景数据;中枢设备基于第一场景数据确定当前处于第一场景,且确定第一场景对应第一联动规则,第一联动规则包括第一设备执行第一任务;中枢设备向第一设备发送执行第一任务的第一消息;中枢设备接收到第一电子设备发送的第二场景数据;中枢设备基于第二场景数据确定当前处于第二场景和第一场景,且确定第二场景对应第二联动规则,第二联动规则包括第一设备执行第二任务;第二任务与第一任务不同;中枢设备确定第一场景的优先级高于第二场景的优先级,中枢设备确定第一设备执行第一任务。
根据第二方面,第一场景数据包括第一电子设备在第一时刻或第一时间段内检测到数据,和/或,R个第二电子设备中任一个或任几个设备在第一时刻或第一时间段内的状态信息;其中,第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
根据第二方面,或者以上第二方面的任意一种实施方式,第一场景数据指示在第一时刻或第一时间段内屋内处于第一场景。
根据第二方面,或者以上第二方面的任意一种实施方式,第二场景数据包括第一电子设备在第二时刻或第二时间段内检测到数据,和/或,R个第二电子设备中任一个或任几个设备在第二时刻或第二时间段的状态信息;其中,第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
根据第二方面,或者以上第二方面的任意一种实施方式,第二场景数据指示在第二时刻或第二时间段内屋内处于第二场景和第一场景。
根据第二方面,或者以上第二方面的任意一种实施方式,R个第二电子设备还包括第二设备;第二联动规则中还包括第二设备执行第三任务,且第一联动规则中不包括第二设备,中枢设备确定第一设备执行第一任务之后,中枢设备还向第二设备发送执行第三任务的第二消息;响应于接收到第二消息,第二设备执行第三任务。
根据第二方面,或者以上第二方面的任意一种实施方式,中枢设备分别统计第一电子设备检测的各个场景下R个第二电子设备的状态变化和/或经中枢设备发送的R个第二电子设备的控制命令,学习出各个场景对应的联动规则。
根据第二方面,或者以上第二方面的任意一种实施方式,中枢设备实时地或周期性地或在特定条件下更新各个场景对应的联动规则。
上述第二方面以及第二方面中任意一种实施方式所能达到的技术效果,均可以上述第一方面以及第一方面中任意一种实施方式中关于技术效果的描述,这里不再赘述。
第三方面,本申请提供了一种基于人体感知的屋内用户活动情况的统计***,包括中枢设备、第一电子设备和第二电子设备;中枢设备、第一电子设备和第二电子设备三者中的任意两者以有线通信或无线通信的方式通信;第一电子设备包括毫米波雷达模块,用于测量人***置;中枢设备基于第一电子设备实时检测的人***置生成用户在屋内活动的数据,用户在屋内活动的数据包括用户在屋内的移动轨迹和/或用户在屋内各个房间/区间的活动时长;响应于接收到查看用户在屋内活动的数据的第一操作,第二电子设备向中枢设备发送第一请求,第一请求用于请求用户在屋内活动的数据;响应于接收到第一请求,中枢设备向第二电子设备返回用户在屋内活动的数据;第二电子设备根据用户在屋内活动的数据展示用户在屋内的轨迹图和/或用户在屋内活动的热力图。
可见,基于第一电子设备实时检测到的全屋内人***置,可以自动跟踪用户在屋内的活动轨迹,自动统计用户在屋内各个房间或区域中的时长,有利于对用户的活动习惯进行改进。
根据第三方面,中枢设备基于第一电子设备实时检测的人***置生成用户在屋内活动的数据,包括:中枢设备根据用户输入的全屋的户型图,生成全屋的栅格图,全屋的栅格图中每个网格对应全屋内的一个空间范围;中枢设备根据第一电子设备实时检测的人***置和全屋的栅格图生成用户在屋内活动的数据。
根据第三方面,或者以上第三方面的任意一种实施方式,中枢设备根据第一电子设备实时检测的人***置和全屋的栅格图生成用户在屋内活动的数据,包括:中枢设备将第一电子设备实时检测到的在第一坐标系下的人***置转换为在第二坐标系下人***置,第一坐标系为第一电子设备建立的坐标系,第二坐标系为中枢设备建立的全屋坐标系;中枢设备根据第二坐标系下的人***置和全屋的栅格图生成用户在屋内活动的数据。
也就是说,中枢设备将全屋的户型图栅格化生成全屋的栅格图,即将全屋的户型图划分一定数量的网格,其中每一个网络对应于屋内的一个空间范围。在具体实现中,网格的数量和网格的大小可以根据实际需求进行设计。例如,全屋所有房间被划分为相同大小的网格。或者,全屋中不同的房间被划分为不同大小的网格,同一房间被划分为相同大小的网格。又或者,同一个房间的不同区域被划分为不同大小的网格,同一个区域被划分为相同大小的网格。又或者,全屋所有房间被划分为一个网格,或全屋内中一个房间被划分为一个网格,或全屋中一个房间被划分为多个网格。另外,本申请对网格的形状也不做具体限定,网格的形状可以是正方形、长方形、六边形、三角形等任意形状。
由此可见,可以通过调整网格的大小来改变统计的活动范围大小,达到提升用户活动情况统计的精细程度,满足不同的统计需求。
根据第三方面,或者以上第三方面的任意一种实施方式,用户在屋内的轨迹图包括屋内一个或多个用户在屋内一个或多个房间/区域的轨迹图。
也就是说,由于第一电子设备实时检测了用户的位置,中枢设备获取到用户实时的位置,即可以在全屋的栅格图中确定用户在屋内的移动轨迹。在具体实现中,中枢设备可以全屋为单位,统计用户在全屋内的移动轨迹。或者,中枢设备可以以房间为单位,统计用户在每个房间中移动轨迹。又或者,中枢设备可以以区域为单位,统计用户在各个区域中移动轨迹。这里的一个区域可以是一个房间中的部分空间,也可以是不同房间的部分空间,本申请实施例对区域的含义不做具体限定。
另外,全屋感知***还可以检测出用户的身份(例如检测用户的身高特征,根据用户身高特征可以区分用户的身份),那么中枢设备还可以统计不同用户在屋内的移动轨迹以及用户在屋内的活动时长等。
根据第三方面,或者以上第三方面的任意一种实施方式,用户在屋内活动的热力图包括屋内一个或多个用户在屋内一个或多个房间/区域的热力图。
根据第三方面,或者以上第三方面的任意一种实施方式,中枢设备还可以根据用户在屋内活动的数据,生成用户的活动分析报告和/或活动建议;中枢设备向第二电子设备发送用户的活动分析报告和/或活动建议。
例如,中枢设备还可以根据统计出的用户在屋内的移动轨迹以及用户在屋内的活动时长等分析用户的行为习惯,后续中枢设备可以结合用户的行为习惯给出相应的建议。例如,分析出用户在屋内的时长较长时,可以建议用户增加外出活动时长。或者,当用户为独居老人时,当分析出老人在卧室的时长较长时,可以提示老人的照顾者关注老人的身体健康。又或者,分析出用户在娱乐区的时长较长时,可以建议用户适当增加学习时间。又或者,分析出用户在沙发区的时长较长时,提示用户起身活动。又或者,当用户为孩子时,分析出孩子在屋内的轨迹接近厨房等危险区时,可以提示用户远离危险区等。
第四方面,本申请提供了一种基于人体感知的屋内用户活动情况的统计方法,应用于中枢设备,中枢设备分别与第一电子设备和第二电子设备以有线通信或无线通信的方式通信;第一电子设备包括毫米波雷达模块,用于测量人***置;中枢设备基于第一电子设备实时检测的人***置生成用户在屋内活动的数据,用户在屋内活动的数据包括用户在屋内的移动轨迹和/或用户在屋内各个房间/区间的活动时长;响应于接收到第二电子设备发送的第一请求,第一请求用于请求用户在屋内活动的数据,中枢设备向第二电子设备返回用户在屋内活动的数据。
根据第四方面,中枢设备基于第一电子设备实时检测的人***置生成用户在屋内活动的数据,包括:中枢设备根据用户输入的全屋的户型图,生成全屋的栅格图,全屋的栅格图中每个网格对应全屋内的一个空间范围;中枢设备根据第一电子设备实时检测的人***置和全屋的栅格图生成用户在屋内活动的数据。
根据第四方面,或者以上第四方面的任意一种实施方式,中枢设备根据第一电子设备实时检测的人***置和全屋的栅格图生成用户在屋内活动的数据,包括:中枢设备将第一电子设备实时检测到的在第一坐标系下的人***置转换为在第二坐标系下人***置,第一坐标系为第一电子设备建立的坐标系,第二坐标系为中枢设备建立的全屋坐标系;中枢设备根据第二坐标系下的人***置和全屋的栅格图生成用户在屋内活动的数据。
根据第四方面,或者以上第四方面的任意一种实施方式,用户在屋内的轨迹图包括屋内一个或多个用户在屋内一个或多个房间/区域的轨迹图。
根据第四方面,或者以上第四方面的任意一种实施方式,用户在屋内活动的热力图包括屋内一个或多个用户在屋内一个或多个房间/区域的热力图。
根据第四方面,或者以上第四方面的任意一种实施方式,中枢设备还可以根据用户在屋内活动的数据,生成用户的活动分析报告和/或活动建议。
上述第四方面以及第四方面中任意一种实施方式所能达到的技术效果,均可以上述第三方面以及第三方面中任意一种实施方式中关于技术效果的描述,这里不再赘述。
第五方面,本申请提供了一种电子设备,包括:处理器、存储器和通信模块,存储器、通信模块与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当处理器从存储器中读取计算机指令,以使得电子设备执行上述第二方面、第四方面以及各个方面中任意一种实施方式中方法。
第六方面,本申请提供了一种计算机可读存储介质。计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行上述第二方面、第四方面以及各个方面中任意一种实施方式中方法。
第七方面,本申请提供了一种计算机程序产品。当计算机程序产品在电子设备上运行时,使得电子设备执行上述第二方面、第四方面以及各个方面中任意一种实施方式中方法。
上述第五方面至第七方面提供的电子设备、计算机可读介质以及计算机程序产品所能达到的技术效果,可参考上述第二方面、第四方面以及各个方面中任意一种实施方式中关于技术效果的描述,这里不再赘述。
附图说明
图1为本申请实施例提供的基于人体感知的自动控制方法的一种场景示意图;
图2为本申请实施例提供的自动控制方法中第一电子设备的结构示意图;
图3为本申请实施例提供的自动控制方法中中枢设备的结构示意图;
图4为本申请实施例提供的自动控制方法中第二电子设备的结构示意图;
图5A为本申请提供的第一电子设备中超宽带(Ultra-Wide Band,UWB)模块的结构示意图;
图5B为本申请实施例提供的第一电子设备中毫米波雷达模块的结构示意图;
图6为本申请实施例提供的第二电子设备中UWB模块的结构示意图;
图7为本申请实施例提供的第一电子设备中UWB模块的数种天线分布示意图;
图8为本申请实施例提供的第一电子设备中毫米波雷达模块的数种天线分布示意图;
图9为本申请实施例提供的在第一电子设备的UWB模块包括三个天线的情形下,第一坐标系的数种建立方式示意图;
图10为本申请实施例提供的第二坐标系的一种建立方式的示意图;
图11为本申请实施例提供的第三坐标系的一种建立方式的示意图;
图12为本申请实施例提供的在第一坐标系下,第二电子设备的坐标计算的原理示意图;
图13为本申请实施例提供的对第二电子设备的数种标记方式的示意图;
图14为本申请实施例提供的对空间区域的标记方式的示意图;
图17为本申请实施例提供的第四坐标系的一种建立方式的示意图;
图18为本申请实施例提供的毫米波雷达确定反射点的距离和径向速度的原理示意图;
图19为本申请实施例提供的毫米波雷达确定反射点的反射信号的信号来向的原理示意图;
图20为本申请实施例提供的在第四坐标系下,第一电子设备确定用户的坐标的原理示意图;
图21为本申请实施例提供的在第四坐标系下,第一电子设备确定用户的坐标的方法示意图;
图22为本申请实施例提供的一种毫米波雷达获取用户的呼吸频率和心跳频率的方法示意图;
图23为本申请实施例提供的一种毫米波雷达确定用户的人体姿态的一种方法示意图;
图24为本申请实施例提供的第一电子设备中第一坐标系和第四坐标系的转换示意图;
图25为本申请实施例提供的建立全屋坐标系(第五坐标系)、第一坐标系与第六坐标系(地理坐标系)一种示例的示意图;
图26为本申请实施例提供的全屋场景下,基于人体感知的自动控制方法的流程及原理示意图;
图27为本申请实施例提供的一种校正第一电子设备安装误差的方法示意图;
图28为本申请实施例提供的一种ICP算法原理示意图;
图29为本申请实施例提供的区域划分及用户界面的示意图;
图30为本申请实施例提供的智能设备间的智能联动的方法涉及到的一些用户界面的示意图;
图31为本申请实施例提供的智能设备间的智能联动的方法涉及到的又一些用户界面的示意图;
图32为本申请实施例提供的智能设备间的智能联动的方法涉及到的又一些用户界面的示意图;
图33为本申请实施例提供的智能设备间的智能联动的方法涉及到的用户界面的示意图;
图34为本申请实施例提供的一种智能设备间的智能联动的方法的流程示意图;
图35为本申请实施例提供的一种统计用户在屋内活动情况的方法的流程示意图;
图36为本申请实施例提供的统计用户在屋内活动情况的方法涉及的一些用户界面的示意图;
图37为本申请实施例提供的统计用户在屋内活动情况的方法涉及的又一些用户界面的示意图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
一、整体场景介绍
示例性地,图1为本申请实施例提供的基于人体感知的自动控制方法的一种场景示意图。如图1的(a)所示,全屋包括入户过道、厨房、餐厅、客厅、阳台、主卧、次卧、卫生间等。全屋设置有至少一个第一电子设备。示例性地,每个房间或区域包括至少一个第一电子设备。全屋还设置有第二电子设备(比如,IoT设备)。具体来说,厨房设置有电饭煲或电压力锅、燃气设备等;客厅设置有音箱(比如,智能音箱)、电视(比如,智能电视,也称为智慧屏、大屏等)、路由设备等;阳台设置有晾衣架(比如,智能晾衣架等);餐厅设置有扫地机器人等;主卧设置有电视(比如,智能电视)、音箱(比如,智能音箱)、落地灯(比如,智能落地灯)、路由设备等;次卧设置有台灯(比如,智能台灯)、音箱(比如,智能音箱)等;卫生间设置有体脂秤等。
本申请实施例提供的基于人体感知的自动控制方法,包括全屋场景下的基于人体感知的自动控制方法,还包括单个房间或区域下的基于人体感知的自动控制方法。本申请实施例提供的基于人体感知的自动控制方法,应用于通信***。相应地,该通信***包括全屋场景下的基于人体感知的通信***(也可称为全屋智能***),以及单个房间或区域下的基于人体感知的通信***(也可称为房间智能***或区域智能***)。该通信***包括至少一个第一电子设备100,至少一个第二电子设备300。另外,该通信***还可包括中枢设备200。
第一电子设备100用于对第二电子设备300和/或用户进行定位。第一电子设备100可以包括传感器。在一种示例中,第一电子设备100包括超宽带(Ultra-Wide Band,UWB)模块和毫米波雷达模块。UWB模块用于对第二电子设备300进行定位,毫米波雷达模块用于对用户进行定位。
UWB技术是一种无线电通信技术,不使用载波调制信号,而是使用纳秒或微秒级以下的能量脉冲序列,并通过正交频分调制或直接排序将脉冲扩展到一个频率范围内。UWB具有频谱宽、精度高、低功耗、抗多径能力强、安全性高、***复杂度低等特点,多用于短距离、高速率的无线通信,尤其在室内定位领域具备巨大优势。一般来说,UWB***的定位精度可以达到厘米级别。UWB***包括UWB基站和UWB标签。UWB基站通过检测UWB标签与UWB基站之间的距离,以及UWB标签的信号来向,确定UWB标签的位置(坐标);即对UWB标签进行定位。其中,通过UWB定位是基于UWB坐标系(也称第一坐标系)来定位的。
在一种示例中,第二电子设备包括UWB模块。第一电子设备100的UWB模块实现UWB基站功能,第二电子设备的UWB模块实现UWB标签功能。通过第一电子设备100的UWB模块对第二电子设备的UWB模块定位,可以实现第一电子设备100对第二电子设备的定位。
在另一种示例中,有的第二电子设备不包括UWB模块。通常来说,包括UWB模块的第二电子设备为移动设备(比如,智能手机、遥控器等)。这样,可以利用包括UWB模块的第二电子设备对未包括UWB模块的第二电子设备进行标注,实现第一电子设备100对未包括UWB模块的第二电子设备的定位。具体的标注方法将在后面详细介绍。
毫米波雷达工作在毫米波(millimeter wave)波段,主要用于探测移动的物体,其工作频段分布于30~300GHz频域(波长为1~10mm)上。毫米波雷达在工作时持续发射(辐射)特定形式的无线电磁信号,并接收物体反射的电磁回波信号,通过比较发射信号与接收信号之间的差异确定物体的空间信息。毫米波雷达具有体积小和空间分辨率高的特点;部署在室内,可以用于检测人体(用户)在全屋内的位置、生理特征(比如,呼吸频率、心跳频率等)、身份类别(比如,成人、儿童等)和人体姿态(比如站立、坐、躺等)信息。这样,第一电子设备100可以通过集成的毫米波雷达模块,对用户定位,甚至检测用户的生理特征、身份类别和人体姿态等信息。具体方法在后面详细介绍。
其中,通过毫米波雷达定位是基于毫米波雷达坐标系(也称第二坐标系)来定位的。第二坐标系与第一坐标系两者分别定位的坐标,需要转换或统一到同一坐标系下。具体的坐标系转换方法在后面详细介绍。
需要说明的是,本申请实施例以一个第一电子设备100包括UWB模块和毫米波雷达为例进行介绍。在另一些实施例中,第一电子设备100可以仅包括UWB模块或毫米波雷达,包括UWB模块的第一电子设备100用于对第二电子设备300进行定位,包括毫米波雷达的第一电子设备100用于对用户进行定位。上述的两种类型的第一电子设备100相互配合,也能实现本申请实施例提供的基于人体感知的自动控制方法。本申请实施例对此并不限定。
第一电子设备100可以获取第二电子设备300的位置(即对第二电子设备进行定位),还可以获取房间或区域内用户的位置(即对用户进行定位)。全屋包括至少一个房间或区域,如果在全屋只设置一个第一电子设备的话,由于墙壁遮挡等原因可能导致信号衰减等,这样一个第一电子设备不能覆盖全屋所有区域。因此,一般在全屋设置有多个第一电子设备。比如,在全屋内每个相对独立的空间(比如,客厅、卧室、书房、阳台、卫生间、厨房、过道等)分别设置一个第一电子设备,用于对该独立空间内的第二电子设备和用户进行定位;这样,全屋内任意位置的第二电子设备或用户,都可以被第一电子设备检测到。
示例性地,如图1的(a)所示,入户过道设置的第一电子设备的收发信号范围可以覆盖入户过道。厨房设置的第一电子设备的收发信号范围可以覆盖厨房。客厅设置的第一电子设备的收发信号范围可以覆盖客厅。餐厅设置的第一电子设备的收发信号范围可以覆盖餐厅。阳台设置的第一电子设备的收发信号范围可以覆盖阳台。主卧设置的第一电子设备的收发信号范围可以覆盖主卧。卫生间设置的第一电子设备的收发信号范围可以覆盖卫生间。次卧设置的第一电子设备的收发信号范围可以覆盖次卧。在一种示例中,如图1的(b)所示,第一电子设备可以设置在房间或区域的墙壁上。在一种示例中,第一电子设备可以设置在房间或区域的天花板等。这样,可以减少全屋内家具等物对信号的遮挡,避免信号被遮挡降低第一电子设备检测准确性。在一种示例中,第一电子设备可以设置在房间或区域的地面等。可选地,第一电子设备100可以单独存在,也可以与第二电子设备集成。本申请对此不做限定。比如,第一电子设备100与智能空调集成为一个设备。
可选地,有的房间或区域可以无需设置第一电子设备;即并非所有的房间或区域均设置至少一个第一电子设备。比如,餐厅可以不设置第一电子设备。入户过道和餐厅可以共用一个第一电子设备,或者餐厅和客厅可以共用一个第一电子设备。
需要说明的是,虽然在图1的(a)中,第二电子设备300仅示出智能电视,但本领域技术人员应当知晓,第二电子设备300包括但不限于智能电视、智能音箱、智能灯具(如吸顶灯、智能台灯、香薰灯等)、扫地机器人、体脂秤、智能晾衣架、智能电饭煲、空气净化器、加湿器、台式电脑、路由设备、智能插座、饮水机、智能冰箱、智能空调、智能开关、智能门锁等。需要说明的是,第二电子设备300也可以不是智能家居设备,而是便携设备,比如个人电脑(person computer,PC)、平板电脑、手机、智能遥控器等。本申请实施例对第二电子设备300的具体形式不做限定。
第二电子设备300和第一电子设备100可以通过有线(比如,电力总线通信(powerline communication,PLC))和/或无线(比如,无线保真(wireless fidelity,Wi-Fi)、蓝牙等)方式与中枢设备200连接。可以理解的,第二电子设备300和第一电子设备100与中枢设备200连接的方式可以相同也可以不同。比如,第二电子设备300和第一电子设备100都通过无线方式与中枢设备200连接。或者,第二电子设备300通过无线方式与中枢设备200连接,第一电子设备100通过有线方式与中枢设备200连接。或者,第二电子设备300中智能音箱、智能电视、体脂称、扫地机器人等设备与中枢设备200通过无线(比如Wi-Fi)方式连接,第二电子设备300中智能台灯、智能晾衣架、智能门锁等设备通过有线方式(比如PLC)与中枢设备200连接。优选地,第一电子设备100与第二电子设备300通过无线方式通信。
在一种示例中,第一电子设备100可以将通过检测获取的第二电子设备300的位置信息,以及用户的位置、生理特征、身份类别和人体姿态等信息中的至少一项,通过有线或无线方式上传至中枢设备200。
中枢设备200,也称为中枢、中央控制***或主机等,用于接收第一电子设备100发送的信息。可选地,中枢设备200还用于构建全屋地图,建立全屋坐标系,将各个第一电子设备100获取到的位置信息统一到全屋坐标系下,统一衡量。这样,可以将各个第一电子设备100检测获取的第二电子设备300或用户的位置信息统一到全屋坐标系中,并确定第二电子设备300或用户在全屋内的具***置。中枢设备200还根据接收的信息(包括但不限于位置信息)通知或控制第二电子设备300。相应地,也涉及到各坐标系的转换,具体在后面详细介绍。
在一种实施方式中,中枢设备200接收第一电子设备100发送的信息,包括第二电子设备300的位置信息以及用户的位置、生理特征、身份类别和人体姿态等中的至少一项。中枢设备200根据第二电子设备300的位置信息,以及用户的位置、生理特征、身份类别和人体姿态等中的至少一项,通知或控制第二电子设备300执行预设指令。比如,当用户通过语音唤醒智能音箱时,中枢设备200根据全屋内多个智能音箱的位置,通知或控制距离用户最近的一个或多个智能音箱被唤醒。比如,当用户从全屋内一个房间移动至另一房间,中枢设备200控制用户离开的房间内的智能音箱停止播放音频,控制用户进入的房间内的智能音箱开始播放(比如,续播)音频。再比如,中枢设备200根据两个智能音箱(该两个智能音箱分别播放同一音频的左声道音频和右声道音频)与用户的距离,控制智能音箱的播放音量,使用户接收的左声道音频和右声道音频的音量一致。再比如,用户在一个房间通过智能电视观看视频(比如,视频包括暴力内容等),检测到儿童用户进入该房间,中枢设备200控制智能电视停止播放视频。再比如,中枢设备200根据用户相对于智能电视的位置(比如距离、方位等),通知或控制智能电视开始播放或停止播放视频。
可选地,如图1的(a)所示,全屋设置有至少一个中枢设备200。各房间或各区域的第一电子设备可将检测到的用户的位置信息、本房间或本区域内的一个或多个第二电子设备的位置信息,都发送至中枢设备200。中枢设备200获取到全屋各房间或各区域的检测数据(包括但不限于位置信息),从而可以在符合预设的条件时,通知或控制相应房间或相应区域的相应第二电子设备。
可选地,还可在全屋的各房间或各区域中设置有一个中枢设备(图中未示出)。各房间或各区域的第一电子设备可将检测到的用户的位置信息、本房间或本区域内的一个或多个第二电子设备的位置信息,发送至本房间或本区域的中枢设备。本房间或本区域的中枢设备,再发送给全屋的中枢设备200。全屋的中枢设备200获取到全屋各房间或各区域的检测数据,从而可以在符合预设的条件时,通知或控制相应房间或相应区域的中枢设备。相应房间或相应区域的中枢设备再通知或控制相应的第二电子设备。
可选地,各房间或各区域的中枢设备、全屋的中枢设备均可以单独存在,也可以与第一电子设备或第二电子设备集成为一个设备,还可以与第一电子设备和第二电子设备集成为一个设备。本申请对此不做限定。
可选地,有的房间或区域可以无需设置中枢设备;即并非所有的房间或区域均设置至少一个中枢设备。比如,餐厅可以不设置中枢设备。餐厅和入户过道共用一个中枢设备,或者,餐厅和客厅共用一个中枢设备。
可选地,全屋的中枢设备200还可以承担某个房间或区域的中枢设备的功能。比如,全屋的中枢设备200还可以承担客厅的中枢设备的功能。在一种示例中,对于某个房间或区域(比如,客厅)以外的各房间或各区域,设置有一个中枢设备。全屋的中枢设备200在向上述某个房间或区域(比如,客厅)以外的各房间或各区域的第二电子设备通信时,仍然通过各房间或各区域的中枢设备;而在向上述某个房间或区域(比如,客厅)的第二电子设备通信时,不再通过上述某个房间或区域(比如,客厅)的中枢设备进行通信。
在一种示例中,该通信***还包括路由设备(比如路由器)。路由设备用于连接局域网或因特网,使用特定协议选择和设定发送信号的路径。示例性地,全屋内部署一个或多个路由器,组成局域网,或者接入局域网或因特网。第二电子设备300或第一电子设备100接入路由器,通过路由器建立的Wi-Fi通道与局域网内的设备或互联网内的设备进行数据传输。在一种实施方式中,中枢设备200可以与路由设备集成为一个设备。比如,中枢设备200与路由设备集成为路由设备,即路由设备具有中枢设备200的功能。该路由设备可以为子母路由设备中的一个或多个路由设备,也可以为独立的路由设备。
在一种示例中,该通信***还包括网关(Gateway)。网关又称网间连接器、协议转换器。在一种实施方式中,网关用于将第一电子设备100的信息转发给路由设备或中枢设备200。在另一种实施方式中,中枢设备200的功能可以由网关实现。
在一种示例中,该通信***还包括服务器(比如,云服务器)。中枢设备200、路由设备或网关可以将接收到的来自第一电子设备100的信息发送至服务器。进一步地,中枢设备200、路由设备或网关还可以将中枢设备200对第二电子设备300的控制信息发送至服务器。进一步地,中枢设备200、路由设备或网关还可以将第二电子设备300运行过程中产生的各种信息上传至服务器,提供给用户查看。
在一种示例中,该通信***还包括一个或多个输入设备(比如,输入设备为控制面板)。示例性地,控制面板显示该通信***的人机交互界面。用户可以在人机交互界面查看通信***的信息(比如,通信***中各个设备的连接信息)、第二电子设备300的运行信息和/或中枢设备200对第二电子设备300的控制信息等。用户还可以在人机交互界面通过点击屏幕或语音等方式输入控制指令,控制通信***内的设备。
上述内容,仅是对本申请实施例提供的基于人体感知的自动控制方法的一些阐述。需要说明的是,在上述阐述的各示例或各可选地方式中,任意内容均可自由组合,组合后的内容也在本申请的范围之内。
二、涉及的电子设备的硬件结构介绍
示例性地,图2示出了一种第一电子设备100的结构示意图。
如图2所示,第一电子设备100可以包括处理器110,存储器120,电源管理模块130,电源131,无线通信模块140,UWB模块150,毫米波雷达模块160等。
可以理解的是,图2示意的结构并不构成对第一电子设备100的具体限定。在本申请另一些实施例中,第一电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。例如,处理器110是一个中央处理器(centralprocessing unit,CPU),也可以是特定集成电路(application specific integratedcircuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)。
存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。例如,存储器120还可以存储处理器110处理后的数据。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在存储器120的指令,和/或存储在设置于处理器中的存储器的指令,执行第一电子设备100的各种功能应用以及数据处理。
电源管理模块130用于接收电源131输入。其中,电源131可以是电池,也可以是市电。电源管理模块130接收电池和/或市电的供电,为第一电子设备100的各个部件,如处理器110、存储器120、无线通信模块140、UWB模块150、毫米波雷达模块160等供电。
无线通信模块140可以提供应用在第一电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),紫峰(ZigBee)等无线通信的解决方案。无线通信模块140可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块140经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块140还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。需要说明的是,图4中无线通信模块140、UWB模块150和毫米波雷达模块160的天线个数仅为示例性说明。可以理解的,通信模块140、UWB模块150和毫米波雷达模块160可以包括更多或更少的天线,本申请实施例对此并不进行限定。
UWB模块150可以提供应用在第一电子设备100上的基于UWB技术的无线通信的解决方案。示例性地,UWB模块150用于实现上述UWB基站的功能。本申请实施例中,UWB基站可以对UWB标签进行定位。具体的可以通过检测UWB信号,并结合某些定位算法来计算UWB信号在空中飞行的时长,该时长乘以UWB信号在空中传输的速率(例如光速)即得到UWB标签和UWB基站之间的距离。本申请实施例中,UWB基站还可以根据UWB标签发送的UWB信号到达UWB基站的不同天线的相位差,确定UWB标签相对于UWB基站的方向(即UWB标签的信号来向)。其中,信号来向包括水平来向和铅垂来向。
示例性地,图3示出了一种中枢设备200的结构示意图。
如图3所示,中枢设备200可以包括处理器210,存储器220,电源管理模块230,电源231,无线通信模块240等。
可以理解的是,图3示意的结构并不构成对中枢设备200的具体限定。在本申请另一些实施例中,中枢设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。例如,处理器210是一个中央处理器(centralprocessing unit,CPU),也可以是特定集成电路(application specific integratedcircuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)。
存储器220可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。例如,存储器220还可以存储处理器210处理后的数据。此外,存储器220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器210通过运行存储在存储器220的指令,和/或存储在设置于处理器中的存储器的指令,执行中枢设备200的各种功能应用以及数据处理。
电源管理模块230用于接收电源231输入。其中,电源231可以是电池,也可以是市电。电源管理模块230接收电池和/或市电的供电,为中枢设备200的各个部件,如处理器210、存储器220、无线通信模块240等供电。
无线通信模块240可以提供应用在中枢设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),紫峰(ZigBee)等无线通信的解决方案。无线通信模块240可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块240经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块240还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
示例性地,图4示出了一种第二电子设备300的结构示意图。
如图4所示,第二电子设备300可以包括处理器310,存储器320,通用串行总线(universal serial bus,USB)接口330,电源模块340,UWB模块350,无线通信模块360等。可选地,第二电子设备300还可以包括音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,显示屏380,传感器模块390等。
可以理解的是,图4示意的结构并不构成对第二电子设备300的具体限定。在本申请另一些实施例中,第二电子设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。另外,图4示意的各模块间的接口连接关系,只是示意性说明,并不构成对第二电子设备300的结构限定。在本申请另一些实施例中,第二电子设备300也可以采用与图4不同的接口连接方式,或多种接口连接方式的组合。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),视频编解码器,数字信号处理器(digital signal processor,DSP)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
存储器320可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。例如,存储器320还可以存储处理器310处理后的数据。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器310通过运行存储在存储器320的指令,和/或存储在设置于处理器中的存储器的指令,执行第二电子设备300的各种功能应用以及数据处理。
USB接口330是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口330可以用于连接充电器为第二电子设备300充电,也可以用于第二电子设备300与***设备之间传输数据。
电源模块340用于为第二电子设备300的各个部件,如处理器310、存储器320等供电。
UWB模块350可以提供应用在第二电子设备300上的基于UWB技术的无线通信的解决方案。示例性地,UWB模块350用于实现上述UWB标签的功能。
无线通信模块360可以提供应用在第二电子设备300上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),紫峰(ZigBee)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。无线通信模块360可以与UWB模块350集成在一起或者分开设置,本申请不做限定。
第二电子设备300可以通过音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,以及应用处理器等实现音频功能。例如音频播放,录音等。
音频模块370用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中,音频模块370可以设置于处理器310中,或将音频模块370的部分功能模块设置于处理器310中。
扬声器370A,也称“喇叭”,用于将音频电信号转换为声音信号。第二电子设备300可以通过扬声器370A收听音频。
受话器370B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风370C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。用户可以通过人嘴靠近麦克风370C发声,将声音信号输入到麦克风370C。
耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
显示屏380用于显示图像,视频等。显示屏380包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flexible light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
可选地,传感器模块390包括惯性测量单元(inertial measurement unit,IMU)模块等。IMU模块可以包括陀螺仪,加速度计等。陀螺仪和加速度计可以用于确定第二电子设备300的运动姿态。在一些实施例中,可以通过陀螺仪确定第二电子设备300围绕三个轴的角速度。加速度计可以用于检测第二电子设备300在各个方向上(一般为三轴)加速度的大小。当第二电子设备300静止时可检测出重力的大小及方向。本申请实施例中,可以根据IMU模块测量到的角速度和加速度,获取第二电子设备300的设备姿态。可选地,有的第二电子设备可以包括IMU模块,有的第二电子设备不包括IMU模块。
可选地,第二电子设备300还包括滤波器(比如,卡尔曼滤波器)。示例性地,IMU模块的输出和UWB模块350的输出两者可以叠加,两者叠加后的信号可以输入至卡尔曼滤波器进行滤波,从而减少误差。
示例性地,图5A示出了本申请实施例提供的第一电子设备中UWB模块的结构。如图5A所示,UWB模块150包括发射机1501和接收机1502。发射机1501和接收机1502可以独立运行。发射机1501包括数据信号产生器,脉冲发生器,调制器,数模转换器,功率放大器和发射天线等。数据信号产生器用于产生数据信号,还用于在开始启动产生数据信号时,向接收机1502发送计时开始指示信息。脉冲发生器用于产生周期性的脉冲信号。数模转换器用于将数字信号转换为模拟信号。需要发送的数据信号经调制器调制到脉冲发生器产生的脉冲信号上,并经过功率放大器的功率放大后,通过发射天线将UWB信号发射出去。接收机1502包括接收天线,混频器,滤波器,采样模块,第一处理模块等。任意一个接收天线接收到UWB信号(比如,脉冲序列的形式),将接收的UWB信号经混频器混频、滤波器滤波放大后,通过采样模块进行模数转换,得到基带数字信号。第一处理模块用于对基带数字信号进行处理,实现对UWB信号的检测。比如,第一处理模块根据计时开始指示信息和接收到脉冲序列的时刻,计算UWB信号的信号飞行时间(time of flight,ToF),根据ToF和UWB信号在空中传输的速率(例如光速)计算第一电子设备100与包含UWB模块350的第二电子设备300之间的距离。再比如,第一处理模块根据多个接收天线接收的脉冲序列的相位差计算包含UWB模块350的第二电子设备300的信号来向。需要说明的是,图5A中每个接收天线接收的脉冲序列经过一组功率放大器、混频器、滤波器和采样模块,是表示对脉冲序列的处理流程。可选地,接收机1502可以只包括一组功率放大器、混频器、滤波器和采样模块。在一种实施方式中,可以由一个天线实现发射机1501中一个发射天线和接收机1502中一个接收天线的功能,即将发射天线和接收天线集成为同一天线。
示例性地,图5B示出了本申请实施例提供的第一电子设备中毫米波雷达模块的结构。如图5B所示,毫米波雷达模块160包括发射天线,继电器开关,接收天线,波形产生器,混频器,滤波器和第二处理模块等。波形产生器用于产生发射信号,比如发射信号为线性调频连续信号(linear frequency-modulation continuous wave,LFMCW)。发射信号通过功分器后,一部分经功率放大器功率放大后由继电器开关选择一个发射天线将毫米波信号发射出去;另一部分作为本振,通过混频器与接收天线接收的毫米波信号通过混频器混频。混频器输出的信号为差频信号,差频信号经过滤波器滤波放大和采样模块进行模数转换(采样)成为数字差频信号。第二处理模块通过对数字差频信号进行处理实现对目标的检测,并获取目标的距离、信号来向等信息。在图5B中,n和m为大于或等于1的正整数。
示例性地,图6示出了第二电子设备中UWB模块的结构。如图6所示,UWB模块350包括发射机3501和接收机3502。发射机3501和接收机3502可以独立运行。发射机3501包括数据信号产生器,脉冲发生器,调制器,数模转换器,功率放大器和发射天线等。数据信号产生器用于产生数据信号。脉冲发生器用于产生周期性的脉冲信号。数模转换器用于将数字信号转换为模拟信号。需要发送的数据信号经调制器调制到脉冲发生器产生的脉冲信号上,并经过功率放大器的功率放大后,通过发射天线将UWB信号发射出去。接收机3502包括接收天线,混频器,滤波器,采样模块,处理模块等。接收天线接收到UWB信号(比如,以脉冲序列的形式),将接收的UWB信号经混频器混频、滤波器滤波放大后,通过采样模块进行模数转换,得到基带数字信号。处理模块用于对基带数字信号进行处理,实现对UWB信号的检测。在一种实施方式中,发射机3501中的发射天线和接收机3502中的接收天线可以集成为同一天线。
示例性地,图7示出了本申请实施例提供的第一电子设备中UWB模块的数种天线分布。其中,图7的(a)示例性地示出了两种两天线结构。一种为横向型(比如,水平型)天线结构,一种为纵向型(比如,垂直型)天线结构。优选地,天线0和天线1间的距离为λ/2,λ为UWB信号的波长。横向型天线结构可以用于测量UWB信号的横向来向(比如,水平来向),纵向型天线结构可以用于测量UWB信号的纵向来向(比如,铅垂来向)。在一种实施方式中,可以通过图7的(a)所示的左侧的第一电子设备与右侧的第一电子设备相互配合(比如,按照一定角度设置上述的两个第一电子设备),来检测包含UWB模块的第二电子设备的信号来向。
图7的(b)和图7的(c)示例性地示出了三天线结构。如图7的(b)和图7的(c)所示,三个天线呈现L形(或称为直角三角形)的结构关系。其中,如图7的(b)所示,天线0和天线1在横向方向(比如,水平方向)对齐,天线0和天线2在纵向方向(比如,铅垂方向)上对齐,即天线0、天线1和天线2所在的平面为纵向面(比如,纵向面),且在纵向面上呈现L形的分布关系。如图7的(c)所示,天线0、天线1和天线2所在的平面为横向面(比如,水平面),且天线0和天线1的连线(假设天线0和天线1有连线的话),垂直于天线0和天线2的连线(假设天线0和天线2有连线的话)。即天线0、天线1和天线2在横向面上呈现L形的分布关系。示例性地,当天线0、天线1和天线2呈L形的分布时,天线0与天线1,以及天线0与天线2之间的距离可以小于或等于λ/2;其中,λ为UWB信号的波长。天线0与天线1,以及天线0与天线2之间的距离可以相同,也可以不同。
图7的(d)示例性地示出了另外一些三天线结构。如图7的(d)所示,三个天线呈现三角形(如等边三角形、等腰三角形)的结构关系。例如,天线0、天线1和天线2所在的平面为纵向面(比如,铅垂面),且在纵向面上呈现三角形的分布。又例如,天线0、天线1和天线2在横向面(比如,水平面)上呈现三角形的分布。示例性地,当天线0、天线1和天线2呈三角形的分布,天线0、天线1和天线2中任意两个天线之间的距离可以小于或等于λ/2;其中,λ为UWB信号的波长。并且,天线0、天线1和天线2中任意两个天线之间的距离可以相同,也可以不同。例如,天线0与天线1之间的距离为λ/2;天线0与天线2之间的距离为
可以理解的是,多于三个天线的情况也在本申请的范围之内。例如,如图7的(e)所示,天线0、天线1、天线2和天线3四个天线成矩形分布。其中,该四个天线中的任意三个天线呈前文所述的L形分布或三角形分布。
示例性地,第一电子设备100根据来自第二电子设备300的UWB信号到达UWB模块150两个横向分布天线的相位差,获取UWB信号的横向来向;根据来自第二电子设备300的UWB信号到达UWB模块150两个纵向分布天线的相位差,获取UWB信号的纵向来向。进而,第一电子设备100根据横向来向和纵向来向获取UWB信号的来向。
在另一些示例中,第一电子设备100的UWB模块150可以只包括一根天线。此时,需要使用三个以上的第一电子设备100,将三个以上的第一电子设备100分布为L形或三角形,共同配合来获取UWB信号的来向。具体的原理,与上述类似,此处不再赘述。
本申请实施例对第一电子设备100的UWB模块中天线的数量和分布不做限定,只要能获取UWB信号的来向即可。
示例性地,图8示出了本申请实施例提供的第一电子设备中毫米波雷达模块的数种天线分布。示例性地,发射天线包括发射天线0、发射天线1和发射天线2。接收天线包括接收天线0、接收天线1、接收天线2和接收天线3。发射天线0、发射天线1和发射天线2,以及接收天线0、接收天线1、接收天线2和接收天线3的分布,可以如图8的(a)或(b)所示。其中,发射天线用于发射工作在毫米波波段的电磁信号(比如LFMCW),接收天线用于接收该工作在毫米波波段的电磁信号经反射物(物体或人体)反射的信号。毫米波雷达模块160根据发射信号与接收信号得到差频信号,并根据差频信号,确定物体或人体的位置。
如图8所示,三个发射天线和四个接收天线位于同一纵向面(比如,铅垂面),三个发射天线在纵向面上呈现三角形的分布。在一种示例中,如图8的(a)所示,发射天线0和发射天线2位于同一横向面(比如,水平面),四个接收天线位于同一横向线(比如,水平线)上。示例性地,任意两个接收天线之间的距离都相等(例如,都为λL/2);发射天线0和发射天线2之间的距离都相等(例如,都为2λL);发射天线1与发射天线0,以及发射天线1与发射天线2,在纵向上的距离都相等(例如,都为λL/2)。λL为线性调频连续信号最高频率的波长。在另一种示例中,如图8的(b)所示,发射天线0和发射天线2位于同一纵向线(比如,铅垂线)上;四个接收天线位于同一纵向线(比如,铅垂线)上。任意两个接收天线之间的距离都相等(例如为λL/2);发射天线0和发射天线2之间的距离都相等(例如,都为2λL);发射天线1与发射天线0,以及发射天线1与发射天线2,在横向上的距离都相等(例如,都为λL/2)。可以理解的,发射天线和/或接收天线的个数以及分布可以是其他形式。本申请实施例对此并不限定。
多发射天线和多接收天线用于准确测量反射信号的方向,即反射信号的来向,包括横向来向(比如,水平来向)和纵向来向(比如,铅垂来向),且尽可能增大毫米波雷达接收口径。毫米波雷达模块160可以根据反射信号在横向(比如,水平方向)上的多个接收天线的相位差,计算目标的横向来向;根据反射信号在纵向(比如,铅垂方向)上的多个接收天线的相位差,计算目标的纵向来向。
可选地,发射天线的数量可以多于或少于3。可选地,接收天线的数量可以多于4或少于4。本申请对此不做限定。在一种实施方式中,发射天线的数量至少为一个,接收天线的数量至少为三个。
在一种实施方式中,发射天线的数量为一个,接收天线的数量为三个。其中,三个接收天线——接收天线0、接收天线1和接收天线2呈三角形分布。为了便于介绍,假设接收天线0与接收天线1之间的连线(实际上没有连线)位于横向方向上,接收天线0与接收天线2之间的连线(实际上没有连线)位于纵向方向上。这样,发射天线的发射信号经反射物(物体或人体)反射后,三个接收天线分别接收到反射信号。毫米波雷达模块160可以根据接收天线0和接收天线1两者分别接收到的反射信号之间的相位差,获取反射信号的横向来向(比如,水平来向),根据接收天线0和接收天线2两者分别接收到的反射信号之间的相位差,获取反射信号的纵向来向(比如,铅垂来向)。进而,可以根据横向来向和纵向来向,确定出反射信号的来向。
在另一种实施方式中,发射天线的数量至少为两个,接收天线的数量至少为两个。以两个发射天线——发射天线0和发射天线1,两个接收天线——接收天线0和接收天线1为例。假设发射天线0与发射天线1之间的连线(实际上没有连线)位于横向方向上,接收天线0与接收天线1之间的连线(实际上没有连线)位于纵向方向上。发射天线0与发射天线1两者各自的发射信号分别经反射物(物体或人体)反射后,至少一个接收天线接收到反射信号。毫米波雷达模块160可以根据发射天线0和发射天线1两者分别发射的信号到达同一接收天线的相位差来计算发射信号经反射后信号(此时,也可称为反射信号)的横向来向(比如,水平来向)。发射天线的发射信号经反射物(物体或人体)反射后,两个接收天线分别接收反射信号;根据接收天线0和接收天线1两者分别接收到的反射信号之间的相位差,获取反射信号的纵向来向(比如,铅垂来向)。进而,可以根据横向来向和纵向来向,确定出反射信号的来向。
在另一种实施方式中,发射天线的数量至少为两个,接收天线的数量至少为两个。以两个发射天线——发射天线0和发射天线1,两个接收天线——接收天线0和接收天线1为例。假设发射天线0与发射天线1之间的连线(实际上没有连线)位于纵向方向上,接收天线0与接收天线1之间的连线(实际上没有连线)位于横向方向上。两个发射天线的发射信号分别经反射物(物体或人体)反射后,至少一个接收天线接收到反射信号。毫米波雷达模块160可以根据发射天线0和发射天线1两者分别发射的信号到达同一接收天线的相位差来计算发射信号经反射后信号(此时,也可称为反射信号)的纵向来向(比如,水平来向);根据接收天线0和接收天线1两者分别接收到的反射信号之间的相位差,获取反射信号的横向来向(比如,水平来向)。进而,可以根据横向来向和纵向来向,确定出反射信号的来向。
在另一种实施方式中,发射天线的数量至少为三个,接收天线的数量至少为一个。以三个发射天线——发射天线0、发射天线1和发射天线2,一个接收天线——接收天线0为例。发射天线0、发射天线1和发射天线2呈三角形分布。假设发射天线0与发射天线1之间的连线(实际上没有连线)位于横向方向(比如,水平方向)上,发射天线0与发射天线2之间的连线(实际上没有连线)位于纵向方向上。发射天线0、发射天线1和发射天线2的发射信号分别经反射物(物体或人体)反射后,接收天线0接收到反射信号。毫米波雷达模块160可以根据发射天线0和发射天线1两者分别发射的信号到达同一接收天线的相位差来计算发射信号经反射后信号(此时,也可称为反射信号)的横向来向(比如,水平来向);根据发射天线0和发射天线2两者分别发射的信号到达同一接收天线的相位差来计算发射信号经反射后信号(此时,也可称为反射信号)的纵向来向(比如,铅垂来向)。
三、定位原理介绍
为了便于说明,下面以第一电子设备100包括UWB模块150和毫米波雷达模块160为例,详细介绍具体的定位原理。
需要说明的是,定位即获取位置。本申请实施例中,以坐标系中的坐标来表示位置。比如,以第一电子设备的坐标表示第一电子设备的位置,以第二电子设备的坐标表示第二电子设备的位置,以用户的坐标表示用户的位置。可以理解的,在另一些实施例中,可以其他方式表示位置。本申请实施例对此并不进行限定。
(一)第一坐标系(第一电子设备坐标系)的建立
UWB模块150为了能够准确定位,需要建立第一坐标系,通过在第一坐标系下的坐标来具体定位。下面结合图9,具体说明第一坐标系的建立过程。以图9的(a)和(b)中一个UWB模块包括三个天线为例。天线0与天线1之间的距离、天线0与天线2之间的距离都为预设的距离。设天线0上的一点(比如中心点、一头的端点等)为坐标原点Oe。以天线0和天线1的连线作为Xe轴,且天线1指向天线0的方向为Xe轴的正向。在天线0、天线1和天线2所在的平面内,以垂直于Xe轴的直线为Ze轴,且天线2在Ze轴上的投影位于Ze轴的正向,据此可以确定Ze轴的正向。在图9的(a)中,天线2位于Ze轴的正向上;在图9的(b)中,天线2在Ze轴上的投影位于Ze轴的正向上。最后,根据Xe轴和Ze轴的方向,基于右手直角坐标系的规则,确定Ye轴的方向。其中,右手直角坐标系可以简称为右手系,是在空间中规定直角坐标系的方法之一。如图9的(c)所示,右手直角坐标系中Xe轴,Ye轴和Ze轴的正向是如下规定的:把右手放在原点的位置,使大姆指,食指和中指互成直角,大姆指和食指在同一平面内,把大姆指指向Xe轴的正向,中指指向Ze轴的正向时,食指所指的方向就是Ye轴的正向。
在一些示例中,为了计算方便和减小计算误差,可以将Ze轴设置在铅垂面,且Ze轴的正向与重力方向相反。可选地,第一电子设备100的外表面可以标注提示信息,用于提示正确的安装方式或放置方式,以使得第一坐标系的Ze轴位于铅垂面,且Ze轴的正向与重力方向相反。示例性地,如图9的(a)或图9的(b)所示,UWB基站外表面标注一个箭头,用于提示按照箭头指示方向(箭头方向朝上)安装或放置第一电子设备100,以使第一坐标系的Ze轴位于铅垂面,且Ze轴的正向与重力方向相反。比如,用户可以在安装第一电子设备时,将第一电子设备外表面的箭头与墙面平行,且箭头方向朝上,以使得第一坐标系的Ze轴位于铅垂面,且Ze轴的正向与重力方向相反。比如,用户可以在安装第一电子设备时,使用铅垂仪等仪器,将第一电子设备外表面的箭头与铅垂仪确定的铅垂线平行,且箭头方向朝上,以使得第一坐标系的Ze轴位于铅垂面,且Ze轴的正向与重力方向相反。
可替换地,第一电子设备100可以仅包括一个UWB模块,而UWB模块150可以仅包括一个天线。这样,需要三个第一电子设备100互相配合,来建立第一坐标系。该情形下第一坐标系建立的详细过程,可以参见申请号为202110872916.6的中国发明专利申请。此处不再赘述。需要指出的是,申请号为202110872916.6的中国发明专利申请的全部内容均引入至本申请中,都在本申请的范围之内。
示例性地,也根据Xe轴和Ze轴的方向,基于左手直角坐标系的规则,确定Ye轴的正向。其中,左手直角坐标系可以简称为左手系,是在空间中规定直角坐标系的方法之一。其中,左手直角坐标系中Xe轴,Ye轴和Ze轴的正向是如下规定的:把左手放在原点的位置,使大姆指,食指和中指互成直角,大姆指和食指在同一平面内,把大姆指指向Xe轴的正向,中指指向Ze轴的正向时,食指所指的方向就是Ye轴的正向。
为了便于说明,本申请实施例中,都是以右手直角坐标系的规则,来确定Ye轴、Yb轴、Yt轴及Ye轴、Yb轴、Yt轴的正向。本领域技术人员应当理解的是,以左手直角坐标系的规则或者以其他方式,来确定Ye轴、Yb轴、Yt轴及Ye轴、Yb轴、Yt轴的正向,也在本申请的范围之内。另外,只要符合上述的规则或方式,第一坐标系、第二坐标系和第三坐标系中任意一个坐标系的任意两个以上轴的名称都可切换。当然,第一坐标系中三轴的正向,也可采用其他的规则,此处不再赘述。
可选地,第一坐标系可以是在接收到特定输入后自动建立的,也可以是预先建立好的。
示例性地,在按照提示信息的要求,安装好第一电子设备100后,在第一电子设备100接收到特定输入时,第一电子设备100自动建立第一坐标系。其中,特定输入可以为用户输入,还可以为非用户输入(比如,接收到诸如遥控器的另一设备的指令消息)。
示例性地,在按照提示信息的要求,安装好第一电子设备100后,在第一电子设备100接收到特定输入时,第一电子设备100自动从本地或服务器中调取相关信息,从而调出预先建立好的第一坐标系。在没有特别说明的情况下,本申请中的服务器可以为家庭的中枢设备,也可以为云服务器。
需要说明的是,上述都是以天线0上的一点为第一坐标系的原点。这仅为示例性地,其他天线(比如,天线1)上的一点也可以为第一坐标系的原点。
(二)第二坐标系的建立
示例性地,图10示出了本申请实施例提供的第二坐标系的建立过程。如图10的(a)所示,第二电子设备的边缘轮廓包括四条边:两条竖边和两条横边。Ob为第二电子设备的重心或中心,包含Ob点且平行于第二电子设备的横边的轴为Xb轴,Xb轴的正向指向第二电子设备的右侧;包含Ob点且平行于第二电子设备的竖边的轴为Yb轴,Yb轴的正向指向第二电子设备的上侧,第二电子设备的指向为Yb轴的正向;Zb轴垂直于Xb轴和Yb轴所在的平面,根据右手直角坐标坐标系的规则,确定出Zb轴的正向。可选地,Ob可以为第二电子设备的中心,或者Ob可以为第二电子设备的IMU模块的中心(在第二电子设备包括IMU模块的前提下)。图10的(b)为图10的(a)中第二电子设备的立体图。
需要说明的是,图10仅示意性地介绍了第二坐标系。第二坐标系还可以根据其他规则定义。例如,坐标原点Ob还可以为第二电子设备上的任意一点,或者第二电子设备外的任意一点。另外,第二坐标系的三轴方向不限于图10中的(a)或(b)所示的Xb轴,Yb轴和Zb轴的正向。
可选地,第二坐标系可以预先建立好。比如,在第二电子设备出厂时,即已经建立好,并将第二坐标系的相关信息保存在本地或者服务器;在第二电子设备启动时,或者,第一电子设备接收到特定输入时,第二电子设备从本地或服务器调用第二坐标系的相关信息。
(三)第三坐标系的建立
示例性地,图11示出了本申请实施例提供的第三坐标系的建立过程。如图11所示,第二电子设备的边缘轮廓包括四条边:第一边A0A1,第二边A1A2,第三边A2A3和第四边A3A0。其中,第一边A0A1和第三边A2A3为竖边,第二边A1A2和第四边A3A0为横边。可选地,以第二电子设备的显示区域的最左边与第二电子设备的显示区域的最下边交汇的交点(即第二电子设备的显示区域的左下角)为坐标原点Ot。以包含Ot点且平行于A3A0的轴为Xt轴,且Xt轴的正向为A0点到A3点的指向;以包含Ot点且平行于A0A1的轴为Yt轴,且Yt轴的正向为A0点到A1点的指向;Zt轴垂直于Xt轴和Yt轴所在的平面,根据右手直角坐标坐标系的规则,确定出Zt轴的正向。
需要说明的是,图11仅示意性地介绍了第三坐标系。第三坐标系还可以根据其他规则定义。可选地,Ot可以为第二电子设备的显示区域的中心,或者第二电子设备的显示区域的任意一点。另外,第三坐标系的三轴正向不限于图11中所示的Xt轴,Yt轴和Zt轴所指示的正向。
需要说明的是,在第二电子设备的显示区域的边缘轮廓为第二电子设备的边缘轮廓时,第二电子设备的A0点与Ot点重合;在第二电子设备的显示区域的边缘轮廓不为第二电子设备的边缘轮廓时,比如,第二电子设备的显示区域之外还有边框时,第二电子设备的A0点不与Ot点重合。
可选地,第三坐标系可以预先建立好。比如,在第二电子设备出厂时,即第三坐标系已经建立好,并且第三坐标系的相关信息保存在本地或服务器;在第二电子设备启动时,或者,第二电子设备接收到触发时,第二电子设备从本地或服务器调用第三坐标系。
(四)第一坐标系下的坐标计算
下面结合图12,来具体说明在第一坐标系下,第一电子设备100对第二电子设备300的坐标进行定位的计算原理。在图12中,第二电子设备300包括UWB模块,且第二电子设备300以移动设备(比如,智能手机或遥控器)为例。如图12的(a)所示,第一电子设备100和第二电子设备300位于同一房间或区域。其中,第一电子设备100已经建立好第一坐标系,第二电子设备300已经建立好第二坐标系。如图12的(b)所示,第一电子设备100与第二电子设备300可以进行UWB通信,据此可以确定第二电子设备300与第一电子设备100之间的距离、第二电子设备300相对于第一电子设备100的方向,从而可以确定第二电子设备300在第一坐标系中的坐标。
1、测量第一电子设备与第二电子设备之间的距离L。
示例性地,如图12的(c)所示,第一电子设备与第二电子设备之间的距离L可以通过如下方式获取:
第一电子设备100可以采用双向测距法,测得第一电子设备100与第二电子设备300之间的距离L。其中,双向测距法包括单边双向测距(Single-sided Two-way Ranging,SS-TWR)和双边双向测距(Double-sided Two-way Ranging,DS-TWR)。此处以DS-TWR为例,对测距方法进行简单说明。
其中,DS-TWR方法中记录了两个第一电子设备100和第二电子设备300之间往返的时间戳,最后得到飞行时间。虽然DS-TWR方法增加了响应的时间,但会降低测距误差。双边双向测距根据发送消息个数不同,分为两种方法:4消息方式和3消息方式。
以3消息方式为例。第二电子设备300发送测距请求报文(即第一个报文),并记录发送时间Ts1。第一电子设备100接收到请求报文后,记录接收时间Tr1。其中,Tr1与Ts1的时间差t,为报文在两个设备之间的传输时间。第一电子设备100对请求报文进行处理,耗时Tre1。而后,第一电子设备100发送响应报文(即第二个报文),并记录发送时间Ts2,第二电子设备300接收到该响应报文后,并记录接收时间Tr2。其中,Tr2与Ts2的时间差为t。第二电子设备300从发生第一个报文到接收到第二个报文的时间差为Tro1。第二电子设备300对响应报文进行处理,耗时Tre2。第二电子设备300发送最后的报文(即第三个报文),记录发送时间Ts3。第一电子设备100接收到第三个报文,并记录接收时间Tr3。其中,Tr3与Ts3的时间差为t。并且,第一电子设备100从开始发送第二个报文到接收到第三个报文的时间差为Tro2。于是,可采用下列公式(1)计算报文在两个设备之间的传输时间t,并根据公式(2)计算第一电子设备100与第二电子设备300之间的距离L
L=c×t公式(2)
其中,c为UWB信号在介质中的传输速率。c一般选取为光速。
可选地,测距请求报文也可以由第一电子设备100发送;相应地,响应报文也可以由第二电子设备300发送;相应地,最后的报文也可以由第一电子设备100发送。第一电子设备100或第二电子设备300可以根据公式(1)和公式(2)来计算L。
需要说明的是,第一电子设备100与第二电子设备300之间的距离L也可通过其他方式计算得到,不限于上述列出的方式。
2、确定第二电子设备的信号来向。
第二电子设备200的方向可通过第一电子设备100测量到第二电子设备200发射信号的来向来表示。在本申请中,可以用两个角度α和β来表示第二电子设备200发射信号的来向。示例性地,如图12的(d)所示,α为第二电子设备发射的UWB信号在第一坐标系的XeOeYe平面上的分量与Xe轴负轴的夹角,通常α∈[0,π]。α也可理解为:假设第二电子设备的UWB模块至第一电子设备的UWB模块形成一个矢量,该矢量在XeOeYe平面上的分量与Xe轴负轴的夹角。β为第二电子设备发射的UWB信号与第一坐标系的Ze轴正轴的夹角,通常β∈[0,π]。β也可理解为:假设第二电子设备的UWB模块至第一电子设备的UWB模块形成一个矢量,该矢量与Ze轴正轴的夹角。
下面以三天线为例,结合第一电子设备的UWB模块中两种天线分布类型——L形和三角形,来具体阐述α和β的求解过程。
在一种示例中,在图12的(e)中,第一电子设备的UWB模块采用L形的三天线结构,第一电子设备可以根据天线1接收到的UWB信号确定夹角α;可以根据天线2接收到的UWB信号确定夹角β。通常来说,L1、L2远远小于第二电子设备与第一电子设备之间的距离L,所以UWB信号在到达第一电子设备的UWB模块时可以看作平行的;同样地,UWB信号在到达第一电子设备的UWB模块时,在XeOeYe平面上的分量也可以看作是平行的。如图12的(e)所示,UWB信号通过两条平行的实线表示,UWB信号在XeOeYe平面上的分量通过两条平行的虚线表示;天线0与天线1之间的距离为L1,天线0与天线2之间的距离为L2;过点Oe作OeM1垂直于M1N1所在的直线,过点Oe作OeM2垂直于M2N2所在的直线;其中,N1为UWB信号在XeOeYe平面上的分量所在直线与Xe轴的交点,N2为UWB信号所在直线与Ze轴的交点。UWB信号与Ze轴正轴的夹角为β,UWB信号在XeOeYe平面上的分量与Xe轴正轴的夹角为α。优选地,L1和L2都为λ/2。其中,λ为UWB信号的波长。天线0、天线1和天线2测量到的同一UWB信号的相位分别为和天线1与天线0之间的相位差为天线2与天线0之间的相位差为由于和均已经测量得到,故均可计算得到。由于λ/2对应相位差π,所以结合余弦公式、d1、d2、L1和L2,根据公式(3)和公式(4)可以计算得到α和β。
在一种示例中,如图12的(f)所示,第一电子设备的UWB模块采用三角形的三天线结构。与有关对图12的(e)的介绍相同的,UWB信号在到达第一电子设备的UWB模块时可以看作平行的;同样地,UWB信号在到达第一电子设备的UWB模块时,在XeOeYe平面上的分量也可以看作是平行的。如图12的(f)所示,UWB信号通过两条平行的实线表示,UWB信号在XeOeYe平面上的分量通过两条平行的虚线表示;天线0与天线1之间的距离为L1,天线0与天线2两者在Ze轴上的投影之间的距离为L2;点N0为天线1与天线0在Xe轴上的中心点。过点Oe作OeM1垂直于M1N1所在的直线,过点N0作N0M2垂直于M2N2所在的直线;其中,N1为UWB信号在XeOeYe平面上的分量所在直线与Xe轴的交点,N2为UWB信号所在直线与Ze轴的交点。
UWB信号与Ze轴正轴的夹角为β,UWB信号在XeOeYe平面上的分量与Xe轴负轴的夹角为α。优选地,L1和L2都为λ/2。其中,λ为UWB信号的波长。
再采用公式(5),计算出到达N0与到达天线2的波程差d2,而后采用公式(6)计算得到β,如下:
3、根据第二电子设备与第一电子设备之间的距离L,以及第二电子设备的信号来向,计算第二电子设备在第一坐标系中的坐标。
如图12的(d)所示,第一电子设备可以根据第二电子设备与第一电子设备之间的距离L,以及第二电子设备的信号来向(角度α和角度β),采用公式(7)计算第二电子设备在第一电子设备建立的第一坐标系中的坐标(xe,ye,ze),如下:
第一电子设备100与第二电子设备300之间通过诸如图12的(c)示出的通信交互,可以获取到第一电子设备100与第二电子设备300之间的距离L,并且第一电子设备100可以根据接收到的UWB信号,来确定UWB信号的来向。从而,第一电子设备100可以获取到第二案子设备300相对于第一电子设备100的方向、距离,从而在第一坐标系中获取到第二电子设备300的坐标。
对于有的第二电子设备包含UWB模块的情形,通过第二电子设备与第一电子设备之间的UWB信号的通信,可以实时地或周期性地获取到第二电子设备在第一坐标系下的坐标。
对于有的第二电子设备没有包含UWB模块的情形,比如智能手机包含UWB模块,智能音箱没有包含UWB模块,或者智能空调没有包含UWB模块,此时可以存在两种标记方式。
标记方式一、如图13的(a)所示,智能手机移动至智能音箱处,通过智能手机与第一电子设备之间的UWB信号的通信,获取到智能手机在第一坐标系下的坐标,将该坐标标记为智能音箱在第一坐标系下的坐标。
标记方式二、如图13的(b)所示,先使用智能手机在位置1指向智能空调,使第二坐标系的Yb轴正向对着智能空调上的第一点(比如开关按钮处)。通过智能手机与第一电子设备之间的UWB信号的通信,获取到位置1在第一坐标系中的坐标1。智能手机还包括IMU模块,通过IMU模块确定智能手机在位置1时的姿态角1。根据坐标1和姿态角1可以确定智能手机在位置1指向智能空调的第一点所确立的直线1。然后使用智能手机在位置2指向智能空调,使第二坐标系的Yb轴正向对着智能空调上的第一点。通过智能手机与第一电子设备之间的UWB信号的通信,获取到位置2在第一坐标系中的坐标2。通过IMU模块确定智能手机在位置2时的姿态角2。根据坐标2和姿态角2可以确定智能手机在位置2指向智能空调的第二点所确立的直线2。计算直线1和直线2交点的坐标,即智能空调在第一坐标系中的坐标。
需要说明的是,智能音箱或智能空调仅为示意性举例,智能音箱用于代表容易被用户持诸如智能手机的移动设备触碰的第二电子设备,智能空调用于代表不容易被用户持诸如智能手机的移动设备触碰的第二电子设备。
对于有的第二电子设备没有包含UWB模块的情形,比如智能手机包含UWB模块,智能电视没有包含UWB模块,则可以利用包含UWB模块的智能手机对智能电视进行多次标记。如图13的(c)所示,智能手机移动至智能电视的点A0进行位置标记,第一电子设备获取到智能电视的左下角轮廓点的坐标。相应地,按照上述方式,第一电子设备可以获取到智能电视的多个轮廓点(比如,左下角、左上角和右下角三个轮廓点等)坐标。如果标记A0、A1、A2和A3,第一电子设备可以获取到四个角轮廓点的坐标。如果标记A0、A1和A2,第一电子设备可以获取到三个角轮廓点的坐标。如果标记A0和A2,第一电子设备可以获取到两个角轮廓点的坐标。本申请对四个角轮廓点中的选取哪几个角轮廓点不做限制,只要最终能够获取到智能电视的轮廓范围即可。可选地,上述的轮廓范围可以指智能电视的显示区域的轮廓范围。可选地,上述的显示区域可以包括智能电视的显示屏的边框,也可以不包括智能电视的显示屏的边框。
优选地,智能手机可移动至智能电视的显示区域的三个以上不同位置,在移动至智能电视的显示区域的一个位置时,基于用户的输入,将此时智能手机的坐标标记为智能电视的显示区域的一个位置的坐标;如此循环,可以标记智能电视的显示区域的三个以上不同位置的坐标。可选地,标记智能电视的显示区域的三个位置的坐标。同理,可以标记智能电视正面区域的一个位置的坐标。在对智能电视的显示区域的三个以上不同位置进行标记的过程中,并不要求智能手机在三个以上的不同位置的指向、朝向等保持一致,即在标记中智能电视的朝向、指向等不做限定。
可选地,智能电视的显示区域的三个以上位置可以为智能电视的显示区域的边缘轮廓(比如,显示区域的横边轮廓或竖边轮廓)的三个以上位置(比如,1/2处、1/3处等),也可以为智能电视的显示区域的中心部位的三个以上位置。
可选地,包含UWB模块的第二电子设备不仅可以标记不包含UWB模块的第二电子设备,还可以标记空间区域。比如,标记一个三维空间区域的范围。下面以包含UWB模块的智能手机为例。
示例性地,如图14的(a)所示,将智能手机分别放置在A、B、C、D四个位置,基于上述的原理,第一电子设备100分别获取到A、B、C和D四个位置在第一坐标系中的坐标和经过位置A的铅垂线经过位置B的铅垂线经过位置C的铅垂线和经过位置D的铅垂线围成一个三维区域。其中ze可为预先设定的值,也可为该房间或该区域的高度。
在另一示例中,如图14的(b)所示,智能手机分别放置在三维空间区域的八个顶点位置,基于上述的原理,第一电子设备100分别获取到八个顶点位置在第一坐标系中的坐标,从而可以获取到该三维空间区域的坐标范围。比如,该三维空间区域是一个房间,即获取到该房间在第一坐标系的坐标范围。以上仅以顶点位置来示例,实际的区域可以根据智能手机放置的位置来确定。比如,智能手机可以不放置在顶点位置上,这样确定的区域即为小于该房间全部区域的一个区域。
(五)基于UWB的不同坐标系的转换
在本申请中,有关不同坐标系下的坐标转换,可以通过向量的方式进行转换。具体来说,两个点之间的距离在不同坐标系下是相同的,但两个点所形成的向量在不同坐标系下的方向表示可能是不同的。比如,要将Oe点在第一坐标系下的坐标转换为Oe点在第二坐标系下的坐标,可以通过向量的方式进行转换。示例性地,以通过的方式进行转换为例,向量在第一坐标系下和第二坐标系下的距离(都是L)是相同的,但向量用第一坐标系表示的方向,与向量用第二坐标系表示的方向是不同的。通过获取到第一坐标系和第二坐标系之间的相对方向变化,在已知向量用第一坐标系表示的方向,可以获知向量用第二坐标系表示的方向;再结合Oe点、Ob点在第一坐标系下的坐标,以及Ob点在第二坐标系下的坐标,便可求得Oe点在第二坐标系下的坐标。
上述的同一点在不同坐标系下的坐标转换方式仅为示意性的,本申请对于坐标转换方式不做限定。
不同坐标系的相对方向变化,可以通过坐标系之间的俯仰角方位角(yaw)ψ和横滚角(roll)θ来表达。其中,方位角也可以称为偏航角或航向角。比如,第二坐标系相对于第一坐标系的俯仰角、方位角和横滚角,第三坐标系相对于第一坐标系的俯仰角、方位角和横滚角。为了便于求得三个坐标系之间的俯仰角、方位角和横滚角,需要先假想将上述三个坐标系的坐标原点都汇集到一个点上。比如,将UWB基站的坐标原点Oe平行移动至第二坐标系的坐标原点Ob。相应地,第一坐标系也随之移动。有关俯仰角、方位角和横滚角的定义为本领域技术人员公知的,此处不再赘述。
第二坐标系的坐标原点Ob与平行移动后的第一坐标系的坐标原点Oe重合,第二坐标系的三轴为Xb轴、Yb轴和Zb轴,第一坐标系的三轴为Xe轴、Ye轴和Ze轴。如图15的(a)所示,OeYb'(即ObYb')为Yb轴在第一坐标系的XeOeYe平面上的投影。如图15的(b)所示,OeZb'(即ObZb')为Zb轴在YbObZe平面上的投影。
第二坐标系相对于第一坐标系的俯仰角第二坐标系的Yb轴与第一坐标系的XeOeYe平面之间的夹角。也即ObYb'与Yb轴之间的夹角。当ObYb在Ze轴上的分量,位于Ze轴的正轴时,为正;当ObYb在Ze轴上的分量,位于Ze轴的负轴时,为负。
第二坐标系相对于第一坐标系的方位角第二坐标系的Yb轴在第一坐标系的XeOeYe平面上的投影,与第一坐标系的Ye轴之间的夹角。也即ObYb'与Ye轴之间的夹角。当ObYb'在Xe轴上的分量,位于Xe轴的正轴时,为正;当ObYb'在Xe轴上的分量,位于Xe轴的负轴时,为负。
第二坐标系相对于第一坐标系的横滚角第二坐标系的Zb轴与YbOeZe平面之间的夹角。也即ObZb'与Zb轴之间的夹角。当Zb轴正轴在YbOeZe平面上的投影在Xb轴上的分量,位于Xb轴的正轴时,为正;当Zb轴正轴在YbOeZe平面上的投影在Xb轴上的分量,位于Xb轴的负轴时,为负。
如图16所示,第三坐标系的坐标原点Ot与平行移动后的第一坐标系的坐标原点Oe重合,第三坐标系的三轴为Xt轴、Yt轴和Zt轴,第一坐标系的三轴为Xe轴、Ye轴和Ze轴。如图16的(a)所示,OeYt'(即OtYt')为Yt轴在第一坐标系的XeOeYe平面上的投影。如图16的(b)所示,OeZt'(即OtZt')为Zt轴在YtOeZe平面上的投影。
第三坐标系相对于第一坐标系的俯仰角第三坐标系的Yt轴与第一坐标系的XeOeYe平面的夹角。也即OeYt'(即OtYt')与Yt轴之间的夹角。当OeYt在Ze轴上的分量,位于Ze轴的正轴时,为正;当OeYt在Ze轴上的分量,位于Ze轴的负轴时,为负。
第三坐标系相对于第一坐标系的方位角第三坐标系的Yt轴在第一坐标系的XeOeYe平面上的投影,与第一坐标系的Ye轴之间的夹角。也即OeYt'(即OtYt')与Ye轴之间的夹角。当OeYt'在Xe轴上的分量,位于Xe轴的正轴时,为正;当OeYt'在Xe轴上的分量,位于Xe轴的负轴时,为负。
第三坐标系相对于第一坐标系的横滚角第三坐标系的Zt轴与YtOeZe平面之间的夹角。也即OtZt'与Zt轴之间的夹角。当Zt轴正轴在YtOeZe平面上的投影在Xt轴上的分量,位于Xt轴的正轴时,为正;当Zt轴正轴在YtOeZe平面上的投影在Xt轴上的分量,位于Xt轴的负轴时,为负。
姿态矩阵的上述公式(8)为现有技术,本领域技术人员可从现有技术中获取。比如,书籍《惯性导航》(北京:科学出版社,ISBN 7-03-016428-8,秦永元编著,2006年5月第一版,2006年5月第一次印刷)第一章1.2.1的姿态矩阵。
上述仅为示例性地示出了第二坐标系、第三坐标系相对于第一坐标系的转换,本领域技术人员应当明了的是,其他坐标系的转换也是基于上述的原理,采用相同的公式,只是更改对应的参数。
可选地,第二电子设备可以包括IMU模块。可选地,先对第二电子设备的IMU模块进行校准。即将第二电子设备的IMU模块输出的俯仰角、方位角和横滚角所基于的坐标系校准为第一坐标系,或者将第二电子设备的IMU模块输出的校准为这样,后续随着第二电子设备的移动,第二电子设备的IMU模块输出的俯仰角、方位角和横滚角即为第二坐标系相对于第一坐标系的俯仰角、方位角和横滚角;或者,第二电子设备的IMU模块输出的经过转置,即可反映出第二坐标系相对于第一坐标系的方向变化。
示例性地,可以将第二电子设备的第二坐标系平行于第一坐标系(比如,Xb轴平行于Xe轴,Yb轴平行于Ye轴,Zb轴平行于Ze轴),且两个坐标系的相应坐标轴正向都相同(比如,Xb轴正向与Xe轴正向相同,Yb轴正向与Ye轴正向相同,Zb轴正向与Ze轴正向相同),将此时第二电子设备的IMU模块输出的俯仰角、方位角和横滚角均置为0。
(六)第四坐标系(毫米波雷达坐标系)的建立
第一电子设备100的毫米波雷达模块160用于实现毫米波雷达功能。毫米波雷达中的多个天线在横向方向(比如,水平方向)和/或纵向方向(比如,铅垂方向)具有距离差,可利用天线之间的距离差,建立毫米波雷达的坐标系(第四坐标系)。
在一种示例中,毫米波雷达模块160包括三个发射天线和四个接收天线。示例性地,如图17所示,三个发射天线和四个接收天线位于同一纵向面(比如,铅垂面)。三个发射天线在纵向面上呈现三角形的分布。其中,发射天线0和发射天线2位于同一横向面;四个接收天线位于同一横向线(比如,水平线)上。在一种实施方式中,以接收天线0上的一点(比如,一侧的端点)为第四坐标系的原点Om,以接收天线0和接收天线1的连线为第四坐标系的Xm轴,且接收天线1指向接收天线0的方向为Xm轴的正向;以经过原点Om且垂直于Xm轴的直线为第四坐标系的Zm轴,且指向天顶方向为Zm轴正向;再结合右手直角坐标系定则,确定第四坐标系的Ym轴及Ym轴的正向。可选地,第一电子设备100外表面可以标注提示信息,用于提示正确的安装方式或正确的放置方式,以使得第一电子设备100中毫米波雷达模块160的三个发射天线和四个接收天线位于同一纵向面。
此处第四坐标系中三轴的命名,以及三轴的正向也可以采用其他的定义,此处不再赘述。本申请实施例以图17所示的第四坐标系中Xm轴、Ym轴和Zm轴为例进行介绍。
需要说明的是,上述以接收天线0上的一点为第四坐标系的原点,这仅为示例性地。其他天线(比如,接收天线1)上的一点也可以为第四坐标系的原点。
可选地,第四坐标系可以预先建立好。只需安装人员按照要求安装好第一电子设备100即可。比如,在第一电子设备100出厂之前,即已经建立好,并将第四坐标系的相关信息保存在本地或者服务器。在第一电子设备100启动时,或者,第一电子设备100接收到特定触发时,第一电子设备100从本地或服务器调用第四坐标系的相关信息。在没有特别说明的情况下,本申请中的服务器可以为家庭的中枢设备200,也可以为云服务器。
优选地,第一电子设备100的外表面可以仅有一个标注提示信息,该标注提示信息指示第一电子设备的安装。这样,毫米波雷达模块的发射天线和接收天线,以及UWB模块的天线都符合预设要求。
(七)第四坐标系下的坐标计算
1、确定反射点与毫米波雷达模块的距离,和反射点的径向速度。
(1)确定反射点与毫米波雷达模块的距离
毫米波雷达模块160的发射天线发射信号,信号经反射点反射后,被毫米波雷达模块160的接收天线接收。LFMCW毫米波雷达发射信号的频率随时间变化呈线性升高,此类信号称为线性调频脉冲(Chirp)信号。结合图5B,毫米波雷达模块160通过接收天线接收到Chirp信号,接收信号与本振信号通过混频器混频,输出差频信号,差频信号经过滤波器滤波放大和采样模块后,进行模数转换成为数字差频信号。
示例性地,图18示出了本申请实施例提供的毫米波雷达确定反射点的距离和径向速度的原理示意图。如图18的(a)所示,实线为毫米波雷达模块160的发射信号,虚线为毫米波雷达模块160的接收信号。Chirp信号的一个扫频周期Tc通常是微秒(us)级,调频率S0(即频率的变化率)达到1012的数量级(单位Hz/s)。在本申请实施例中,一个扫频周期Tc内的Chirp信号称为一个Chirp信号。通常认为目标在一个扫频周期Tc内的空间位置无变化。
如图18的(b)所示,在一个扫频周期Tc内,发射天线发射Chirp信号,经过时间τ后,接收天线接收到反射点反射回来的信号,接收信号和发射信号的频率差为τ*S0。接收信号和发射信号的频率差即差频信号的频率f0,也就是说f0=τ*S0。其中,τ=2d/c,d为反射点与毫米波雷达模块(也可看作与第一电子设备)之间的距离,c为Chirp信号在空中传输的速率,一般选择光速。因此,反射点的距离d与差频信号的频率f0的关系如公式(9)所示。
d=f0*c/(2*S0) 公式(9)
通过傅里叶变换,可以将时域信号转换为频域信号,时域中的正弦波在频域中对应产生一个峰值,该峰值对应差频信号的频率f0。示例性地,如图18的(c)所示,毫米波雷达模块的发射信号经3个反射点反射回来3个信号。毫米波雷达模块接收到3个接收信号,分别获取3个对应的差频信号。对3个差频信号进行快速傅里叶变换(fast fouriertransformation,FFT)以获取范围(range)曲线(称为范围FFT(range FFT)),可以产生一个具有3个不同分离峰值的频谱。其中,每个峰值表示对应处存在一个反射点。计算峰值对应频率即可获取差频信号的频率。可以通过检测差频信号的频率,获取反射点的距离。
类似地,对同一反射点不同扫频周期Tc的多个差频信号进行多普勒FFT(dopplerFFT),获取多个差频信号的相位差。通过检测多个差频信号的相位差,即可获取反射点的径向速度。详细原理可参考现有技术,此处不再赘述。
毫米波雷达模块接收到Chirp信号,将发射信号和接收信号经过混频、功率放大和滤波后得到差频信号,差频信号经模数转换为数字差频信号。通过检测数字差频信号可以获取反射点的距离和径向速度。
示例性地,如图18的(d)所示,毫米波雷达模块的一帧数据即一个雷达扫面周期内的数据,一个雷达扫面周期包括M个扫频周期Tc,在每个扫频周期Tc内有差频信号的N个采样点。
可以通过对一个扫频周期Tc内的数字差频信号进行一维range FFT,获取差频信号频率。这样可以根据差频信号频率计算反射点的距离。其中,range FFT的点数为该Chirp信号对应的差频信号的采样点数N。
可以通过对同一反射点在多个相邻扫频周期Tc内的数字差频信号进行一维doppler FFT,获取多个数字差频信号的相位差。这样可以根据多个差频信号的相位差计算反射点的径向速度。其中,doppler FFT的点数为一帧数据包括的扫频周期个数。
range FFT和doppler FFT的联合操作,可以认为是对一帧数据的二维FFT。本申请实施例中,经二维FFT处理后的一帧数据称为一帧二维FFT数据。示例性地,图18的(e)为毫米波雷达模块获取的一帧二维FFT数据的示意图。如图18的(e)所示,一帧二维FFT数据中存在多个峰值,每个峰值表示对应处存在一个反射点。一个反射点在距离维度或速度维度的取值即该反射点的距离或反射点的径向速度。
(2)确定反射点的反射信号的信号来向
反射信号的信号来向包括横向来向(比如,水平来向)和纵向来向(比如,铅垂来向)。可以用方位角表示信号的横向来向,用俯仰角表示信号的纵向来向。在一种实施方式中,可以通过毫米波雷达模块的多个接收天线的接收信号之间的相位差计算方位角和俯仰角。
示例性地,图19示出了本申请实施例提供的毫米波雷达确定反射点的反射信号的信号来向的原理示意图。如图19的(a)所示,毫米波雷达模块包括4个接收天线。同一发射天线发射信号经反射点反射后,到达任意两个不同接收天线的反射信号的相位差可被毫米波雷达模块用于测量反射信号的方位角。其中,毫米波雷达模块根据信号到达相邻两个接收天线的相位差,确定反射信号的横向来向的具体方式,可参考图12的(e)中角度α的计算方法。此处不再赘述。
在一种实施方式中,可以通过增加天线个数的方式提高测量信号来向的精度。在一种示例中,毫米波雷达模块的天线采用图8的(a)所示的分布结构。毫米波雷达模块在发射信号时,可以通过改变继电器开关的方式切换发射天线,实现接收天线对不同发射天线信号的分离。示例性地,如图19的(b)所示,当发射天线0和发送天线2交替进行信号发射时,根据天线位置差产生的相位差原理,可以实现两发四收天线等效为一发八收的效果。比如,图19的(b)中接收天线间的距离为λL/2,发射天线0和发射天线2之间的距离为2λL;其中,λL为毫米波的波长。发射天线2的发射信号到达接收天线0的信号可以等效为接收天线4的接收信号;发射天线2的发射信号到达接收天线1的信号可以等效为接收天线5的接收信号;发射天线2的发射信号到达接收天线2的信号可以等效为接收天线6的接收信号;发射天线2的发射信号到达接收天线3的信号可以等效为接收天线7的接收信号。示例性地,图19的(b)的一发八收示意图中接收天线4、接收天线5、接收天线6和接收天线7为等效得到的虚拟接收天线。
在纵向维度上存在距离的发射天线,发射出去的信号经反射点反射后到达接收天线的相位差,可被毫米波雷达模块用于测量反射信号的纵向来向(比如,通过俯仰角来揭示)。在一种示例中,毫米波雷达模块的天线采用图8的(a)所示结构。发射天线1与发射天线0在纵向维度上存在距离,发射天线1与发射天线2在纵向维度上存在距离,可以通过比较同一接收天线分别从发射天线1、发射天线0和发射天线2接收的信号来确定反射信号的俯仰角。示例性地,如图19的(c)所示,可以联合发射天线0发射,接收天线2和接收天线3接收的信号;发射天线2发射,接收天线0和接收天线1接收的信号;与发射天线1发射,接收天线0、接收天线1、接收天线2和接收天线3接收的信号;对纵向维度存在相位差的信号进行比较,计算出反射信号的纵向来向(比如,通过俯仰角来揭示)。比如,可以比较发射天线0发射接收天线2接收的信号,与发射天线1发射接收天线0接收的信号,获取二者的相位差,并根据该相位差计算俯仰角。根据接收信号相位差计算俯仰角的具体步骤,可参考图12的(f)中角度β的计算方法;此处不再赘述。
(3)确定反射点在第四坐标系下的坐标
第一电子设备可以根据反射点与毫米波雷达之间的距离,以及反射信号的信号来向(方位角和俯仰角),采用公式(7)计算反射点在第一电子设备建立的第四坐标系中的坐标。
(4)确定用户在第四坐标系下的坐标
在一些情况下,由于体积较大的人体的不同部位可能穿戴有不同的衣物、有不同的骨骼结构,这样可能会有不同的检测结果,从而导致对人体检测可能有多个反射点,甚至分布不太均匀。对于体积较大的物体来说,不同部位可能采用不同的材料、有不同的形状等,也导致对这样的物体检测可能有多个反射点,甚至分布不太均匀。对于人体来说,由于人体的头部、手部和脚等部分都会对毫米波雷达的发射信号产生反射,毫米波雷达在可侦测范围内会将一个人体检测为多个反射点。此时,可以对反射点的点云数据进行聚类处理,即将检测到的多个反射点汇聚成一个类,将该聚类确定为一个物体或人体。
示例性地,图20的(a)为对点云数据进行聚类处理的效果示意图。图20的(a)中的每个点表示毫米波雷达模块检测到的一个反射点,三个封闭曲线分别代表汇聚成的类,三个封闭曲线之外的点表示没有被汇聚到任何一个类别中的反射点。在一种示例中,毫米波雷达模块采用聚类算法将多个反射点聚类成一个物体或人体(用户),可以根据聚类后的多个反射点的坐标计算出物体或人体(用户)在第四坐标系下的坐标。示例性地,物体或人体(用户)在第四坐标系下的坐标,可以为物体或人体的重心在第四坐标系下的坐标。示例性地,如图20的(b)所示,图20的(b)中较小的点表示毫米波雷达检测到的反射点,最大的一个点为人体(用户)在第四坐标系下的坐标点。人体(用户)在第四坐标系下的坐标记为
进一步地,还可以根据第一电子设备距离地面的高度H、物体或人体(用户)在第四坐标系下的坐标,计算出物体的高度或人体(用户)的身高。示例性地,可以采用公式(10)计算人体(用户)的身高hm,如下:
示例性地,图21示出了本申请实施例提供的在第四坐标系下,第一电子设备确定用户的坐标的方法流程图。如图21所示,该方法可以包括:
S2100、毫米波雷达模块接收反射信号。
S2101、毫米波雷达模块对数字差频信号进行二维快速傅里叶变换。
毫米波雷达模块的接收天线接收到反射信号,根据反射信号获取数字差频信号,对取数字差频信号进行二维快速傅里叶变换,获取二维FFT数据。
S2102、毫米波雷达模块采用目标检测算法获取反射点与毫米波雷达的距离以及径向速度。
毫米波雷达可以采用目标检测算法对一帧二维FFT数据进行目标检测,获取目标的距离和径向速度。
需要说明的是,在室内环境中,会产生多径效应和杂波干扰,毫米波雷达接收的信号中包含目标反射信号、背景噪声以及杂波干扰等。比如,图18的(e)所示一帧二维FFT数据的测试环境中,分别在距离毫米波雷达1m、2m和4m处存在运动的人体,而从图18的(e)中可以看到,除了上述距离毫米波雷达1m、2m和4m处的3个峰值以外,还存在其他的反射信号引起的较大峰值(背景噪声以及杂波干扰等)。如果将背景噪声以及杂波干扰等引起的反射信号检测为反射点,则产生了虚警。在一种实现方法中,可以采用恒虚警(constant false-alarm rate,CFAR)目标检测算法获取反射点的距离和径向速度,以保持一个恒定的虚警率,提高目标检测精度。
需要说明的是,毫米波雷达模块可以根据需要,采用现有技术中的目标检测算法,根据二维FFT数据获取反射点的距离和径向速度,本申请实施例对使用的目标检测算法不做限定。目标检测算法的具体实现方法可以从现有技术中获取,此处不再赘述。
S2103、毫米波雷达模块确定反射信号的信号来向。
示例性地,可以采用相位差法、和差波束法、music法等算法估计方位角和俯仰角。相位差法、和差波束法、music法等算法可以从现有技术中获取,此处不再赘述。
S2104、毫米波雷达模块确定反射点在第四坐标系的坐标。
毫米波雷达根据反射点与毫米波雷达的距离,以及反射点的信号来向确定反射点在第四坐标系的坐标。
S2105、毫米波雷达模块确定智能设备或用户在第四坐标系的坐标。
在一种实施方式中,采用聚类算法对检测到的反射点进行聚类,将多个反射点聚类为智能设备或用户。聚类算法包括:基于划分的聚类方法,基于密度的划分方法,基于模型的划分方法,基于网络的划分方法等。比如,常见的聚类算法有具有噪声的基于密度的聚类方法(density-based spatial clustering of applications with noise,DBSCAN)、K-Means算法、Birch算法等。可以采用任意一种聚类算法进行聚类处理,本申请实施例对此并不进行限定。
可以根据聚类后的一个智能设备或用户的多个反射点的坐标平均值,计算出该智能设备或用户在第四坐标系下的坐标。
S2106、毫米波雷达模块对智能设备或用户进行跟踪。
毫米波雷达模块对接收到的每一帧数据进行目标检测。进一步地,使用目标检测算法和聚类算法将每一帧数据中的物体(智能设备)或人体检测出来后,还可以通过关联算法将当前帧中的检测结果与上一帧中的检测结果一一匹配,实现对物体或人体的跟踪(即获取随时间变化,物体或人体坐标值发生的变化)。示例性地,一种跟踪算法(前后帧关联算法)为,计算两帧中两个目标之间的欧式距离(空间两点之间的直线距离),将欧式距离最短的两个目标确定为同一个目标,然后通过匈牙利算法链接跟踪目标。
进一步地,在一种实施方式中,毫米波雷达模块可以根据目标跟踪结果确定目标是静止的或运动的。毫米波雷达模块还可以用于检测静止状态的目标的生理特征(比如呼吸频率、心跳频率)。如果确定目标的生理特征满足设定条件(比如,呼吸频率在预设范围内,心跳频率在预设范围内),则确定目标或聚类后的目标是人体(用户);并对用户进行跟踪。
(八)毫米波雷达模块对用户生理特征、身份类别和人体姿态等的检测
下面结合附图,详细介绍毫米波雷达模块检测用户的生理特征、身份类别和人体姿态等信息的具体方法。
(1)毫米波雷达模块检测用户的生理特征
用户的生理特征包括用户的呼吸频率、心跳频率等。用户静止(用户位置未发生变化)时,呼吸和心跳引起的用户身体的微小位移可以引起毫米波雷达模块反射信号的相位变化。可以通过检测用户静止时,毫米波雷达模块反射信号的相位变化,获取用户的呼吸频率和心跳频率。
在一种实施方式中,如图22所示,毫米波雷达模块获取用户的呼吸频率和心跳频率的方法可以包括:
S2201、提取相位信息。
上述S2201中,对毫米波雷达的每一帧数据进行Range FFT,根据Range FFT结果可以获取差频信号频率,即获取差频信号相位。上述S2206中,毫米波雷达对用户进行目标跟踪,可以获取随时间变化,用户位置发生的变化,即可以获取某一时刻的用户位置。
如果毫米波雷达根据目标跟踪结果确定用户静止(比如,在一段时间内,用户的坐标变化量小于设定值),对用户当前位置处的Range FFT结果进行相位提取,即提取差频信号相位信息。示例性地,雷达扫面周期为100ms,也就是说一帧数据的周期为100ms。对每一帧数据提取一次差频信号相位信息。连续提取多帧数据的相位信息,即可获取相位随帧数变化关系,即相位随时间变化的关系;记为振动信号v(j),其中,j为帧数。
S2202、相位解缠绕。
展开相位以获取实际的位移曲线。其中,规定相位值在[-π,π]之间。如果S2201中计算出的相位值大于π,通过从相位值中减去2π来执行相位展开;如果S2201中计算出的相位值小于-π,通过在相位值中加2π来执行相位展开。
S2203、计算相位差。
通过对连续的相位值进行相减,对展开的相位执行相位差运算,得到相位差Δv;这样可以增强心跳信号并消除任何相位漂移。其中,Δv(k)=v(k)-v(k-1)。
S2204、带通滤波。
分别根据心跳频率和呼吸频率,采用带通滤波器对相位值进行滤波以进行区分。示例性地,将带通滤波器的通带范围设置为0.8Hz-4Hz,对相位值进行滤波,可以检测出心跳;将带通滤波器的通带范围设置为0.1Hz-0.6Hz,对相位值进行滤波,可以检测出呼吸。
S2205、范围估计。
对相位差信号做FFT,依据峰值大小及谐波特征,获取N帧时间内的呼吸频率和心跳频率。
S2206、判决。
记录一段时间内的呼吸频率和心跳频率,根据预设的置信度指标(比如,准确率95%,虚警率5%)筛选获取的呼吸频率和心跳频率值,并输出呼吸频率和心跳频率随时间变化的关系。
(2)毫米波雷达模块检测用户的身份类别
毫米波雷达模块可以根据计算出的(用户)的身高hm确定用户的身份类别。用户身份类别包括成人、儿童等。
在一种实施方式中,当用户在毫米波雷达模块的检测范围内,如果用户被检测到处于运动状态,则毫米波雷达模块计算每一帧数据中检测到的用户的身高,记为hm(t),表示t时刻的身高值。还可以根据hm(t)计算用户身高的平均值Hm,并根据Hm确定用户的身份类别。示例性地,用户身高与用户身份类别的对应关系如表1所示。
表1
身份类别 | 身高 |
成人 | <![CDATA[H<sup>m</sup>>120厘米]]> |
儿童 | <![CDATA[120厘米≥H<sup>m</sup>>50厘米]]> |
宠物 | <![CDATA[H<sup>m</sup>≤50厘米]]> |
(3)毫米波雷达模块检测用户的人体姿态
毫米波雷达模块可以根据计算出的(用户)的身高hm的变化确定用户的人体姿态。人体姿态包括站立、坐、躺等。
在一种实施方式中,毫米波雷达模块对用户进行目标跟踪,如果确定用户的身高发生变化,且身高变化的值大于预设的高度差门限,且身高变化后维持时长大于预设时长,则确定用户的人体姿态发生变化。示例性地,如图23的(a)所示,毫米波雷达模块检测到用户的身高由175厘米变化为80厘米,且在80厘米保持一段时间,则确定用户由站立变为躺。毫米波雷达模块检测到用户的身高由175厘米变化为120厘米,且在120厘米保持一段时间,则确定用户由站立变为坐。
在一种示例中,毫米波雷达模块根据用户当前身高与站立时身高的高度差Δh确定用户的人体姿态。比如,Δh(t)可以通过公式(11)计算得到,Δh(t)表示用户t时刻的身高与用户站立时身高的高度差,如下:
Δh(t)=Hm-hm(t) 公式(11)
示例性地,如果毫米波雷达模块确定连续多个时刻(大于预设时长)的Δh满足预设的高度差门限,则确定用户的人体姿态发生变化。示例性地,高度差Δh与人体姿态的对应关系如表2所示。
表2
进一步地,毫米波雷达还可以通过监测用户身高的变化识别用户的跌倒行为。示例性地,图23的(b)示出了用户跌倒与正常躺下的身高变化。如图23的(b)所示,相比于正常躺下,跌倒时用户身高变化更快(即在相同时长内产生的身高差大),且跌倒后的身高更低。
在一种实施方式中,如果毫米波雷达模块确定用户当前身高与站立时身高的高度差Δh满足预设的跌倒高度门限,且用户从站立时身高变化为当前身高所用的时长Δt满足预设的跌倒时长门限,则确定用户跌倒。示例性地,Δh、Δt与用户跌倒的对应关系如表3所示。
表3
身份类别 | 状态 | 高度差Δh | Δt |
成人 | 跌倒 | 120厘米≤Δh | Δt≤0.3秒 |
儿童 | 跌倒 | 80厘米≤Δh | Δt≤0.3秒 |
(九)第一坐标系与第四坐标系的转换
第一电子设备100建立第一坐标系和第四坐标系后,为了便于协同,需要将第一坐标系下的坐标值与第四坐标系下的坐标值进行转换。比如,将第二电子设备300在第一坐标系中的坐标转换为第二电子设备300在第四坐标系中的坐标,或者,将用户在第四坐标系中的坐标转换为用户在第一坐标系中的坐标。因此,涉及到第一坐标系与第四坐标系的转换。
示例性地,第一电子设备100的UWB模块150和毫米波雷达模块160两者的天线分布可以按图24所示设置。其中,天线0、天线1和天线2在纵向面(比如,铅垂面)上呈现L形的分布。发射天线0、发射天线1和发射天线2在纵向面(比如,铅垂面)上呈现三角形的分布,接收天线0、接收天线1、接收天线2和接收天线3在纵向面(比如,铅垂面)上的同一水平线上,且三个发射天线和四个接收天线设置于同一纵向面。
示例性地,如图24所示,以天线0的末端端点(也可替换为中心点等)为第一坐标系的原点Oe;以天线0和天线1的连线为第一坐标系的Xe轴,且天线1指向天线0的方向为Xe轴正向。在天线0、天线1和天线2所在的平面内,以垂直于Xe轴的直线为第一坐标系的Ze轴,且天线2位于Ze轴的正向。再结合右手直角坐标系定则,确定第一坐标系的Ye轴,及Ye轴正向。以接收天线0的末端端点(也可替换为中心点等)为第四坐标系的原点Om;以接收天线0和接收天线1的连线为第四坐标系的Xm轴,且接收天线1指向接收天线0的方向为Xm轴正向;以经过原点Om的纵向线(比如,铅垂线)为第四坐标系的Zm轴,且指向天顶方向为Zm轴正向;再结合右手直角坐标系定则,确定第四坐标系的Ym轴及Ym轴正向。可以看出,Xe轴与Xm轴平行,Ye轴与Ym轴平行,Ze轴与Zm轴平行,第四坐标系和第一坐标系仅需通过平移就能实现互相转换。
示例性地,如图24所示,第一坐标系沿着平行于Xe轴方向移动距离dx,再沿着平行于Ye轴方向移动距离dy,再沿着平行于Ze轴方向移动距离dz,就与第四坐标系重合。比如,定义一点在第一坐标系下的坐标为(xe,ye,ze),该点在第四坐标系的坐标为(xm,ym,zm),那么[xm,ym,zm]T=[xe,ye,ze]T-[dx,dy,dz]T。
可以理解的,第一电子设备100的第一坐标系和第四坐标系的相对位置可以有其他的设置方式。可以采用类似的方法进行第四坐标系和第一坐标系的转换,此处不再赘述。
(十)第五坐标系(全屋坐标系)的建立及第五坐标系与第一坐标系的转换
在一种示例中,各房间或各区域设置有一个第一电子设备。第一电子设备通过包含UWB模块的第二电子设备对未包含UWB模块的第二电子设备的标记,以及与包含UWB模块的第二电子设备通信交互,获取到该房间或该区域中各设备、各设定区域的位置信息。第一电子设备通过毫米波雷达模块,获取用户在该房间或该区域的位置信息;并可以进一步地获取用户的生理特征、身份类别和人体姿态等信息。第一电子设备根据接收到的上述信息,控制或通知第二电子设备执行预设操作。该示例是以单独的房间或区域为例示意的。
在另一种示例中,比如全屋场景中,可以设置中枢设备。中枢设备、第一电子设备和第二电子设备等设备通过有线或无线方式组成全屋***。第一电子设备通过包含UWB模块的第二电子设备对未包含UWB模块的第二电子设备的标记,以及与包含UWB模块的第二电子设备通信交互,获取到该房间或该区域中各设备、各设定区域的位置信息。第一电子设备通过毫米波雷达模块,获取用户在该房间或该区域的位置信息,并获取用户的生理特征、身份类别和人体姿态等信息。第一电子设备将各设备、各设定区域的位置信息,以及用户的位置位置、生理特征、身份类别和人体姿态等信息中的至少一项,通过有线或无线方式发送至中枢设备。中枢设备根据接收到的上述信息,控制或通知第二电子设备执行预设操作。
可选地,中枢设备可以与某一个特定的第一电子设备(比如,客厅的第一电子设备)集成为一个设备。
对于全屋场景,就需要将各房间和/或各区域的上述信息,统一汇总。其中涉及到各房间下的不同坐标系的转换。比如,主卧房间下第一坐标系的位置信息、次卧房间下第一坐标系的位置信息等,都要统一到一个坐标系下。这样,才能从全屋的层面,统一控制或通知。因此,需要建立第五坐标系(也称全屋坐标系)。
示例性地,用户可以将全屋户型图、中枢设备的安装位置、中枢设备的安装位置在全屋户型图中的位置、全屋的高度信息等输入中枢设备。全屋户型图即房屋的平面空间布局图,是对全屋各个独立空间的使用功能、相对位置、大小等进行描述的图。中枢设备根据全屋户型图建立第五坐标系。
在一种示例中,如图25的(a)所示,全屋户型的最南点投影在水平面上的投影点为第一投影点,过第一投影点作平行于东西方向的第一直线;全屋户型的最西点投影在水平面上的投影点为第二投影点,过第二投影点作平行于南北方向的第二直线;第一直线和第二直线的交点作为第五坐标系的原点Oh。第一直线作为Xh轴,且正东方向为Xh轴正向。第二直线作为Yh轴,且正北方向为Yh轴正向。Zh轴垂直于水平面,且指向天空方向为Zh轴正向。可选地,第五坐标系中三轴的命名,以及三轴的正向也可以采用其他的方式确定,此处不再赘述。
可选地,第一电子设备包括IMU模块。示例性地,客厅里安装一个中枢设备,中枢设备与客厅中的第一电子设备两者平行地安装在墙壁或天花板等位置上。第一电子设备建立的第一坐标系与地理坐标系(第六坐标系)在三轴的全部或部分上可能存在夹角。该夹角可通过第一电子设备的IMU模块输出,或者可根据第一电子设备的IMU模块输出的结果经过解析得到,或者通过水平仪和/或铅垂仪等仪器的测量结果计算得到。示例性地,图25的(b)示出了Yg轴正向与Ye轴正向之间的夹角Δε。第六坐标系与第五坐标系两者之间的转换,为本领域技术人员所熟知的,此处不再赘述。在一种实施方式中,第六坐标系的三轴分别平行于第五坐标系的三轴。这样,就可以实现第一坐标系与第五坐标系的转换。
在另一种示例中,中枢设备建立第五坐标系时,使第五坐标系的三轴分别平行于第六坐标系的三轴,还可以根据图25的(a)所示方法确定第五坐标系的原点Oh。并且,第一电子设备安装时,采用水平仪和/或铅垂仪等仪器或包括IMU模块的设备辅助,使得第一电子设备建立的第一坐标系的三轴分别平行于第六坐标系的三轴。这样,第一坐标系的三轴分别平行于第五坐标系的三轴,第一坐标系与第五坐标系不需进行转换。
第一坐标系和第五坐标系两者的坐标原点的距离差值,可以通过同一中枢设备在第一坐标系和第五坐标系下的两个坐标值来获取。具体来说,中枢设备可以获取到在第五坐标系下,中枢设备的坐标信息。中枢设备在第一坐标系下的坐标信息,可以有两种方式获取到:(i)如果中枢设备包括UWB模块,通过中枢设备与第一电子设备之间的UWB通信,可以获取到中枢设备在第一坐标系下的坐标信息;(ii)如果中枢设备不包括UWB模块,可以通过包含UWB模块的第二电子设备对中枢设备标记,获取到中枢设备在第一坐标系下的坐标信息。通过同一中枢设备在第一坐标系和第五坐标系下的两个坐标值,可以实现第一坐标系和第五坐标系两者的坐标原点的距离差值。
四、基于人体感知的自动控制方法
如上文所述,全屋场景下,全部或部分房间中每个房间设置有一个第一电子设备,全部或部分区域设置有一个第一电子设备,单个房间中设置有一个或多个第二电子设备。示例性地,图26的(a)示出了基于人体感知的自动控制方法的总体步骤。如图26的(a)所示,该方法可以包括:
S1、第一电子设备建立第一坐标系和第四坐标系,第二电子设备建立第二坐标系,中枢设备建立第五坐标系;通过第一坐标系、第二坐标系、第三坐标系、第四坐标系至第五坐标系的转换,获取各设备、区域和用户的位置信息等在第五坐标系下的位置信息。
对S1的介绍,具体分为以下步骤来介绍。
(一)第一电子设备建立第一坐标系和第四坐标系,第二电子设备建立第二坐标系,中枢设备建立第五坐标系。
可选地,包括UWB模块的第二电子设备建立第二坐标系,不包含UWB模块的第二电子设备建立第三坐标系。
有关第一电子设备建立第一坐标系和第四坐标系,第二电子设备建立第二坐标系,中枢设备建立第五坐标系,可参见上文的原理,此处不再赘述。
(二)对第一电子设备的安装误差校正及通过对第一坐标系、第二坐标系、第三坐标系、第四坐标系至第五坐标系的转换,获取各设备、区域和用户的位置信息等在第五坐标系下的位置信息。
第一电子设备在安装中可能存在误差,导致第一电子设备对第二电子设备或用户的定位存在偏差。在一种实施方式中,可以在首次使用中,对第一电子设备进行校正,以减少甚至避免安装带来的误差。
第一电子设备存在安装误差可能会降低UWB***测量精度。例如,如图27的(a)所示,位于入户过道的第一电子设备①与位于客厅的第一电子设备③中的至少一个可能存在安装误差。对于同一个第二电子设备,第一电子设备①确定第二电子设备位于位置1,第一电子设备③确定该第二电子设备位于位置2。第一电子设备①和第一电子设备③根据该第二电子设备的标识,确定分别位于位置1与位置2的电子设备实际为同一个第二电子设备,从而表明存在安装误差,这样会降低测量精度。
第一电子设备包括UWB模块和毫米波雷达模块,可以对UWB模块和毫米波雷达模块分别进行安装误差校正。在一种实施方式中,如果第一电子设备100的UWB模块150与毫米波雷达模块160中的天线如图24所示分布。由于硬件设置保证第一电子设备内UWB模块和毫米波雷达的相对位置是确定的,可以仅对UWB模块或毫米波雷达模块进行安装误差校正。在另一种实施方式中,可以同时对第一电子设备的UWB模块和毫米波雷达模块进行安装误差校正,通过多次校正提高校正精度。
本申请实施例以校正第一电子设备的UWB模块为例进行介绍。可以理解的,对第一电子设备的毫米波雷达模块的校正与对第一电子设备的UWB模块的校正流程类似,此处不再赘述。如下的方法仅为示例性地,并非限制校正的方法。其他校正的方法也在本申请的范围之内。
步骤11、通过中枢设备,校正基准第一电子设备的安装误差,获取第一校正参数。
基准第一电子设备为多个第一电子设备中的一个第一电子设备。示例性地,比如中枢设备安装在客厅中,客厅中的第一电子设备可作为基准第一电子设备。基准第一电子设备的第一坐标系记为e1系。
可选地,中枢设备可以显示全屋地图。中枢设备可以指示用户持有包含UWB模块的一个第二电子设备,从一个已知且容易识别的位置1按第一轨迹移动至另一个已知且容易识别的位置2。基准第一电子设备检测到第二电子设备的移动轨迹(通过UWB模块)或用户的移动轨迹(通过毫米波雷达模块),以第二电子设备的移动轨迹为例,若检测到的第二电子设备的移动轨迹与第一轨迹之间存在偏差。
示例性地,如图27的(c)所示,中枢设备可以指示用户持有包含UWB模块的一个第二电子设备从已知坐标的位置一沿直线移动至已知坐标的位置二。第一电子设备①可以根据UWB模块的检测,获取到实际的第二电子设备移动轨迹。如图27的(c)所示,第一电子设备①检测到的用户移动轨迹与实际的用户移动轨迹存在一定偏差。
之后,可通过算法来计算出姿态误差旋转矩阵W和位置误差向量G。示例性地,算法可以采用如图28所示的ICP算法。通过ICP算法,可以计算出最优匹配姿态误差旋转矩阵W和位置误差向量G,使得误差函数最小。有关ICP算法的具体内容可以参考现有技术,此处不再展开。第一校正参数包括此时的最优匹配姿态误差旋转矩阵W和位置误差向量G。
在基准第一电子设备校正后,再以基准第一电子设备为基础,校正第一电子设备的安装误差。
步骤12、通过基准第一电子设备,校正第一电子设备的安装误差,获取第二校正参数。
在一种示例中,用户手持包含UWB模块的第二电子设备在全屋的各个房间移动,全屋的各个第一电子设备都对该第二电子设备进行定位。例如,如图27的(a)所示,第一电子设备①和第一电子设备③的信号覆盖区域存在交叠区域2701。用户在交叠区域2701移动时,如图27的(b)所示,第一电子设备①和第一电子设备③获取的第二电子设备移动轨迹存在一定偏差。第一电子设备①为基准第一电子设备。
在一种实施方式中,根据两个第一电子设备分别检测出的第二电子设备移动轨迹,对两个第一电子设备的安装误差进行校正。示例性地,校正参数包括姿态误差旋转矩阵W和位置误差向量G。比如,第一电子设备①获取第一电子设备①建立的第一坐标系(e1系)下,第二电子设备移动轨迹第一电子设备③获取第一电子设备③建立的第一坐标系(e3系)下,第二电子设备移动轨迹其中表示tn时刻第一电子设备①检测到的该第二电子设备在e1系下的坐标,表示tn时刻第一电子设备③检测到的第二电子设备在e3系下的坐标。通过后续的公式(13)可以将用户移动轨迹qe1和qe3转换到第五坐标系,分别记为qe1->h和qe3->h。
qe1->h和qe3->h为记录用户移动轨迹的点云,可以通过迭代最近点(iterativeclosest point,ICP)算法计算qe1->h和qe3->h两个点云之间的姿态误差旋转矩阵We3->e1和位置误差向量Ge3->e1,使qe1->h经过校正后与qe3->h两簇点云之间的三维空间误差最小。其中,ICP算法的基本原理如图28所示,通过在待匹配的目标点云qe3->h和基准点云qe1->h中,按照约束条件 找到最邻近点然后计算出最优匹配姿态误差旋转矩阵W和位置误差向量G,使得误差函数最小。ICP算法的具体步骤可以参考现有技术,本申请实施例不再赘述。第二校正参数包括此时的最优匹配姿态误差旋转矩阵W和位置误差向量G。
可选地,上述的步骤11和步骤12可以互换顺序。另外,上述的步骤11和步骤12仅为一种示例。在另外一种示例中,也可以无需通过基准第一电子设备,所有的第一电子设备都与中枢设备实现校正。
在用户未持有包含UWB模块的第二电子设备移动时,各个第一电子设备可以检测出用户的移动轨迹。有关方式与第二电子设备移动轨迹的处理方式类似,此处不再赘述。
步骤13、将第一电子设备计算出的第二电子设备在第一坐标系的坐标或用户在第四坐标系的坐标转换到第五坐标系的坐标。
在一种示例中,通过上述步骤11,获取基准第一电子设备相对于中枢设备的姿态误差旋转矩阵和位置误差向量。以第一电子设备①作为基准第一电子设备为例,第一电子设备①相对于中枢设备的姿态误差旋转矩阵和位置误差向量记为[We1->h,Ge1->h]。
通过上述步骤12,校正其他第一电子设备相对于基准第一电子设备的姿态误差旋转矩阵和位置误差向量。以第一电子设备①作为基准第一电子设备为例,其他第一电子设备相对于第一电子设备①的姿态误差旋转矩阵和位置误差向量记为[Wek->e1,Gek->e1],k∈2,…,n。
在一种示例中,以第一电子设备①作为基准第一电子设备为例。除基准第一电子设备外的第k个其他第一电子设备的第一坐标系的原点在第五坐标系的坐标表示为选取空间中的任意一点为点q,点q在第k个第一电子设备建立的第一坐标系的坐标表示为点q在第五坐标系的经过安装误差校正后的坐标表示为可以通过公式(12)将点q在第k个第一电子设备建立的第一坐标系的坐标经过安装误差校正后转换到第五坐标系,如下:
基准第一电子设备建立的第一坐标系的原点在第五坐标系的坐标表示为点q在基准第一电子设备建立的第一坐标系的坐标表示为点q在第五坐标系的经过安装误差校正后的坐标表示为可以通过公式(13)将点q在基准第一电子设备建立的第一坐标系的坐标经过安装误差校正后转换到第五坐标系,如下:
在另一种示例中,第一电子设备检测到的坐标不经过基准第一电子设备,而直接经过安装误差校正后转换到第五坐标系。示例性地,第一电子设备检测到的用户移动轨迹与实际的用户移动轨迹两个点云之间的姿态误差旋转矩阵记为We->h,位置误差向量记为Ge ->h。第一电子设备建立的第一坐标系的原点在第五坐标系的坐标表示为点q在第一电子设备建立的第一坐标系的坐标表示为点q在第五坐标系的经过安装误差校正后的坐标表示为可以通过公式(14)将点q在第一电子设备建立的第一坐标系的坐标经过安装误差校正后转换到第五坐标系,如下:
可以理解的,将第一电子设备检测到的用户在第四坐标系的坐标经过安装误差校正后转换到第五坐标系的方法与将第一电子设备检测到的用户在第一坐标系的坐标经过安装误差校正后转换到第五坐标系的方法类似,此处不再赘述。
在首次使用中,可以通过第一电子设备的UWB模块对全屋的第二电子设备进行定位。每个房间或区域内的第一电子设备可以确定该房间或该区域内的第二电子设备在该第一电子设备的第一坐标系下的坐标。可选地,对于信号覆盖区域存在交叠区域的多个第一电子设备,可以多个第一电子设备中的一个交叠区域内的第二电子设备定位。
进一步地,在一种实施方式中,全屋内每个第一电子设备将获取的一个或多个第二电子设备在第一坐标系的坐标转换到第五坐标系,并将一个或多个第二电子设备在第五坐标系的坐标发送给中枢设备。在另一种实施方式中,全屋内每个第一电子设备将获取的一个或多个第二电子设备在第一坐标系的坐标发送给中枢设备,中枢设备将从各个第一电子设备接收的第二电子设备在第一坐标系的坐标转换到第五坐标系。可选地,将第二电子设备在第一坐标系的坐标转换到第五坐标系,包括:将第二电子设备在第一坐标系的坐标经过安装误差校正后转换到第五坐标系。中枢设备可以保存获取到的第二电子设备在第五坐标系的坐标。
可选地,首次使用后,全屋可能新增或去除第二电子设备,或者第二电子设备的位置可能发生变化。在一种实施方式中,中枢设备周期性地通过各房间或各区域的第一电子设备对第二电子设备进行定位,并更新中枢设备保存的第二电子设备的坐标。在另一种实施方式中,中枢设备检测到全屋新增的第二电子设备,则触发通过第一电子设备对第二电子设备进行定位,并更新中枢设备保存的第二电子设备的坐标。比如,中枢设备保存全屋内全部第一电子设备和第二电子设备等设备的配置信息。第二电子设备接入中枢设备,并新增对应的配置信息;中枢设备根据配置信息确定新增第二电子设备,则触发第一电子设备对第二电子设备进行定位。在另一种实施方式中,全屋内新增或去除第二电子设备,或者第二电子设备的位置发生变化后,用户可以手动触发第一电子设备对第二电子设备进行定位,并更新中枢设备保存的第二电子设备的坐标。比如用户通过在控制面板显示的人机交互界面启动第一电子设备对第二电子设备定位。示例性地,如图29的(a)所示,控制面板显示定位中枢设备的界面2901,定位中枢设备的界面2901包括客厅、餐厅、厨房等房间选项。用户可以选择房间选项中一个或多个,并点击“确定”按钮2902,启动对应房间的第一电子设备对该房间内的中枢设备进行定位。定位中枢设备的界面2901还包括“取消”按钮2903,用于取消执行对IoT设备定位。可选地,定位IoT设备界面2901还包括“全选”按钮2904,用户可以点击“全选”按钮2904选中房屋内全部房间,并点击“确定”按钮2902,启动全屋内的第一电子设备分别进行第二电子设备定位。
可选地,首次使用后,可以周期性地通过各房间或各区域的第一电子设备对全屋内的用户进行定位,并跟踪每个用户的移动轨迹。比如,周期为1秒,第一电子设备以10Hz(赫兹)的频率(1秒10次)进行检测,并以1Hz的频率(1秒1次)将检测结果发送至中枢设备。其中,全屋内每个第一电子设备可以对该第一电子设备信号覆盖区域内的用户进行定位(获取用户在第四坐标系的坐标)和跟踪(获取用户在第四坐标系的移动轨迹)。可选地,对于信号覆盖区域存在交叠区域的多个第一电子设备,可以多个第一电子设备中的一个对交叠区域内用户定位和跟踪。进一步地,在一种实施方式中,全屋内每个第一电子设备将获取的一个或多个用户在第四坐标系的坐标或移动轨迹转换到第五坐标系的坐标或移动轨迹,并将一个或多个用户在第五坐标系的坐标或移动轨迹发送给中枢设备。在另一种实施方式中,全屋内每个第一电子设备将获取的一个或多个用户在第四坐标系的坐标或移动轨迹发送给中枢设备,中枢设备将从各个第一电子设备接收的用户在第四坐标系的坐标或移动轨迹转换到第五坐标系的坐标或移动轨迹。可选地,将用户在第四坐标系的坐标或移动轨迹转换到第五坐标系,包括:将用户在第四坐标系的坐标或移动轨迹经过安装误差校正后转换到第五坐标系的坐标或移动轨迹。中枢设备可以保存并周期性地更新获取到的用户的位置(比如,用户在第五坐标系的坐标)或移动轨迹(在第五坐标系的坐标轨迹)。
需要说明的是,步骤(二)并不是必需的,是可选地。比如,在刚开始安装时,需要校正一下。之后,一般不需要校正,或者在使用很长时间后再校正一次。在执行步骤(二)时,就无需再执行步骤(三)。在不执行步骤(二)时,执行步骤(三)。即步骤(二)和步骤(三)择一执行。
(三)通过第一坐标系、第二坐标系、第三坐标系、第四坐标系至第五坐标系的转换,获取各设备、区域和用户的位置信息等在第五坐标系下的位置信息。
第一坐标系、第二坐标系、第三坐标系、第四坐标系至第五坐标系的转换,具体可以为:第二坐标系、第三坐标系与第一坐标系的转换,可根据前述的原理得到来实现。第四坐标系与第一坐标系的转换,在前述原理部分已经阐明。在第二坐标系、第三坐标系、第四坐标系都转换至第一坐标系后,基于前述的原理,可得到进而实现第一坐标系至第五坐标系的转换。
其中,分别为第五坐标系相对于第一坐标系的航向角、俯仰角和横滚角。对于全屋空间中的任意一点q,其在第五坐标系下的坐标其在第一坐标系下的坐标第一坐标系的原点Oe在第五坐标系的坐标为可以通过公式(16)将点q在第一坐标系的坐标转换到第五坐标系。
可选地,第一电子设备可以将自身设备的第一坐标系或第四坐标系的坐标转换到第五坐标系。即第四坐标系的坐标无需先转换为第一坐标系的坐标,再将第一坐标系的坐标转换为第五坐标系的坐标;而是可以直接转换到第五坐标系的坐标。之后,再将转换后的第五坐标系的坐标发送至中枢设备。基于前述的原理,可得到Chm,进而实现第四坐标系至第五坐标系的转换。
其中,和分别为第五坐标系相对于第四坐标系的航向角、俯仰角和横滚角。对于全屋空间中的任意一点q,其在第五坐标系下的坐标其在第四坐标系下的坐标第四坐标系的原点Om在第五坐标系的坐标为可以通过公式(18)将点q在第一坐标系的坐标转换到第五坐标系。
可选地,上述转换由中枢设备执行。第一电子设备分别将自身设备的第一坐标系或第四坐标系的坐标发送至中枢设备,中枢设备将基于各个第一电子设备的第一坐标系或第四坐标系的坐标转换至第五坐标系的坐标。
可选地,在多个第一电子设备中设置一个基准第一电子设备。除基准第一电子设备之外的其他第一电子设备,分别将自身设备的第一坐标系或第四坐标系的坐标信息,发送给基准第一电子设备。基准第一电子设备将基于各个第一电子设备的第一坐标系或第四坐标系的坐标转换至第五坐标系的坐标,并将转换后的第五坐标系的坐标发送至中枢设备。
S2、根据用户的位置信息与第二电子设备的位置信息,第二电子设备执行预设的操作。
本申请实施例中,全屋内划分为一个或多个房间和/或一个或多个区域,彼此互不重叠。中枢设备可以通过第一电子设备对房间或区域定位,获取并保存每个房间或区域的坐标范围。比如,可以采用图14的(b)的方法获取每个房间或区域的坐标范围。
中枢设备可以确定每个第一电子设备、每个第二电子设备所在的房间或区域。在一种实施方式中,用户可以通过中枢设备来查询,比如,输入设备名称(第一电子设备名称、第二电子设备名称)、设备所在的房间或区域等。在一种实施方式中,每个房间或区域安装至少一个第一电子设备。中枢设备根据用户输入确定每个第一电子设备所在的房间或区域。在一种实施方式中,中枢设备根据第一电子设备或第二电子设备的坐标和全屋内每个房间或区域的坐标范围,确定每个第一电子设备或每个第二电子设备所在的房间或区域。
示例性地,如图29的(b)所示,对于一个水平方向是四边形的房间,可以采用图14的(a)所示的方法,将智能手机分别放置在房间内点A、点B、点C和点D四个位置,通过第一电子设备100分别获取点A、点B、点C和点D四个位置在第五坐标系中的坐标 和经过位置A的铅垂线、经过位置B的铅垂线、经过位置C的铅垂线和经过位置D的铅垂线可以确定该房间内划定的一个区域的区域范围。第二电子设备在第五坐标系的坐标为是第二电子设备在XhOhYh平面内的投影点Q的坐标。按照顺时针方向,沿着A、B、C、D的顺序连接成一个凸四边形。凸四边形的四个边分别为和如果确定点Q分别在 和四条边的右侧,则确定点Q位于点A、点B、点C和点D组成的凸四边形内,即确定第二电子设备位于该房间内。示例性地,如果点Q的坐标与点A、点B、点C、点D的坐标满足公式(19),则确定点Q位于点A、点B、点C和点D组成的区域范围内。
在一种示例中,中枢设备可以保存全屋内的设备信息表,设备信息表包括全屋内一个或多个设备(包括但不限于第一电子设备、第二电子设备等)的信息。比如,设备的信息包括设备名称,设备所在的房间或区域(房间)等;可选地,还可以包括设备的坐标(比如在第五坐标系的坐标)。示例性地,设备信息表如表4所示。
表4
中枢设备还可以确定用户所在的房间或区域。在一种实施方式中,每个房间或区域安装至少一个第一电子设备。中枢设备确定每个第一电子设备所在的房间或区域。每个第一电子设备所在的房间或区域即该第一电子设备能够检测到的用户所在的房间或区域。在一种实施方式中,中枢设备根据用户的坐标和全屋内每个房间或区域的坐标范围,确定每个用户所在的房间或区域。具体方法可以参考中枢设备根据第二电子设备的坐标和全屋内每个房间或区域的坐标范围,确定每个第二电子设备所在的房间或区域的方法。进一步地,中枢设备周期性地获取到用户的坐标,根据用户坐标确定用户所在的房间或区域。在另一种实施方式中,中枢设备根据全屋户型图、中枢设备的安装位置、中枢设备的安装位置在全屋户型图中的位置、全屋的高度信息等,获取到全屋及全屋内各房间或各区域的坐标范围;之后,中枢设备根据获取到的用户的坐标,经过比较即可得知用户位于全屋内的哪个房间或哪个区域内。中枢设备可以根据用户当前所在的房间或区域与上一周期所在的房间或区域确定用户由一个房间或区域进入另一个房间或区域,或者离开全屋,或者进入全屋等。
可选地,中枢设备还可从各房间或各区域的第一电子设备处获取到生理特征、身份类别和人体姿态等信息中的至少一项,进而后续可以根据位置信息、生理特征、身份类别和人体姿态等信息中的至少一项,通知或控制对应房间或对应区域的对应第二电子设备执行预设的操作。
有关S2的具体内容,可以在后续结合具体场景进一步说明。
示例性地,图26的(b)示出了本申请实施例提供的基于人体感知的自动控制方法的一种实施方式。如图26的(b)所示,第一电子设备的UWB模块对全屋内设备、房间、区域等进行定位,获取全屋内设备的坐标和所在房间或区域,并上报中枢设备。第一电子设备的毫米波雷达模块对全屋内用户进行目标跟踪,周期性地向中枢设备上报全屋内用户的坐标和所在房间或区域。中枢设备根据第二电子设备的坐标和用户的坐标,向第二电子设备发送对应的预设指令。在一种实施方式中,如果确定第一用户与第二电子设备之间的相对位置满足预设条件,控制第二电子设备执行预设指令。其中,第一用户的坐标可以是一个用户的坐标或多个用户的坐标的平均值。第二电子设备执行预设指令。这样,比如在用户靠近智能灯时,第二电子设备就可以通过图26的(b)示出的流程,执行预设指令,比如打开智能灯。
需要说明的是,本申请实施例提供的基于人体感知的自动控制方法,可以由中枢设备根据第二电子设备的坐标和用户的坐标确定第二电子设备执行预设指令;也可以由中枢设备之外的其他设备根据第二电子设备的坐标和用户的坐标确定第二电子设备执行预设指令;或中枢设备将第二电子设备的坐标和用户的坐标发送给第二电子设备,第二电子设备据此确定执行预设指令。可以理解的,本申请实施例对基于人体感知的自动控制方法的执行主体并不进行限定。
五、具体实施例介绍
在阐述完上述的整体场景、涉及的电子设备的硬件结构、定位原理和基于人体感知的自动控制方法的总体介绍后,下面结合附图和具体场景,以多个实施例的方式,进一步说明基于人体感知的自动控制方法,从而更为清楚地说明本申请实施例提供的技术方案是如何让用户对IoT设备的自动控制更为便捷,进一步提升用户体验,该过程中用户无需携带任何电子设备。
需要说明的是,有些实施例涉及到多个不同的第二电子设备与中枢设备之间的通信交互,甚至还涉及多个不同的第二电子设备之间的通信交互。为了便于后续的说明,下面采用第一设备、第二设备、第三设备等表示不同的第二电子设备来进行说明。
需要说明的是,本申请实施例提供的基于人体感知的自动控制方法,可以在具体的实施例中,分别细化为基于人体感知的设备间的智能联动方法、基于人体感知的统计屋内用户的活动情况的方法等。下面结合具体的实施例,具体介绍说明。
实施例一、智能设备间的智能联动
在本申请实施例中,智能设备例如可以具体为上述图1中(a)中的第二电子设备300。智能设备间的智能联动,例如可以为两个或两个以上的第二电子设备300间的智能联动。
在智能家居***中,各个智能设备能够基于IFTTT(if this then that的缩写)规则进行智能设备与智能设备之间的联动和控制。其中,this是触发条件,that是智能设备的执行任务,也可称为执行操作或执行事件。例如:如果检测到用户在手机的智能家居应用上点击睡觉场景的控件,则卧室的照明灯熄灭,且空调的温度自动调至26度。又例如:如果智能门锁检测到用户从门外开锁,则玄关和客厅的照明灯自动亮起。又例如:如果智能门锁检测到用户外出,则家中的全部照明灯自动熄灭。
需要说明的是,现有的IFTTT规则是基于单一业务场景下的条件触发相应的动作。例如:睡觉场景、回家场景、离家场景。然而,实际的生活场景往往更加错综复杂。例如,有家庭成员刚从外回家(回家场景),此时也有家庭成员在睡觉(睡觉场景)。又例如,有家庭成员从家外出(离家场景),而又与家庭成员留在家中(居家场景)。因此,仅基于IFTTT规则中单一场景下的条件触发相应的动作,常常出现问题。例如:IFTTT规则为:如果智能门锁检测到用户外出,则家中的全部照明灯自动熄灭。若实际的场景是:此时仅其中一名家庭成员外出,而家中还有其他家庭成员。那么,基于该IFTTT规则家中的全部照明灯自动熄灭会给家中的其他成员造成不便。又例如:IFTTT规则为:如果智能门锁检测到用户从门外开锁,则玄关和客厅的照明灯自动亮起。若实际的场景是:此时客厅中有其他的家庭成员在客厅沙发上睡着了,基于该IFTTT规则客厅的照明灯自动亮起,可能会打扰到该正在睡觉的家庭成员。
为此,本申请实施例基于全屋感知***能够检测到全屋场景下各个家庭成员所处的业务场景(即多业务场景),而后基于每个业务场景对应的IFTTT规则确定各个联动设备执行的动作。在一些实施例中,不同业务场景对应的IFTTT规则中,同一个设备对应的执行任务可能出现冲突,基于本申请实施例提供的冲突解决机制可以决策该设备执行的具体任务。以下详细说明本申请实施例提供的技术方案。
1)基于全屋感知***设置智能场景触发的IFTTT规则。
其中,全屋感知***包括上述图1中(a)中的第一电子设备100,用于对用户进行定位和/或获取全屋中各个智能设备(如第二电子设备300)的位置等。如前文介绍,一些第一电子设备100配置有UWB模块,可利用UWB模块检测出全屋中各个房间的智能设备的位置,智能设备之间的方位和距离,显示类智能设备(例如大屏设备)的显示区域,以及音频播放类智能设备(例如智能音箱)的音频播放区域等信息。一些第一电子设备100配置有毫米波雷达,还可以利用毫米波雷达检测出人体在全屋中任一房间中的位置,人体在全屋内的运动轨迹,以及人体与终端间的距离和方位等。在本申请实施例中,可以基于第一电子设备100检测到的用户位置和/或获取全屋中各个智能设备的位置等智能确定当前所处的场景,基于该场景实现智能设备间的智能联动,例如实现两个或两个以上的第二电子设备300的智能联动。下面进行详述。
在一些实施例中,用户可以手动设置智能场景触发的IFTTT规则。例如,用户利用智能设备的控制设备上搭载的智能家居应用设置智能场景触发的IFTTT规则。在一个示例中,以手机作为智能设备的控制设备为例进行说明。用户在手机上启动智能家居应用,并进入如图30中(1)所示的“场景”的设置界面3701。响应于用户在“场景”的设置界面3701中操作添加场景的控件3702,手机显示如图30中(2)所示的创建界面3703。创建界面3703中包括“一键控制”的选项以及“智能编排”的选项3704。“一键控制”的选项用于创建手动一键控制多个智能设备的IFTTT规则。“智能编排”的选项3704用于创建当达到触发条件后自动执行智能任务的IFTTT规则。可选的,创建界面3703中还可以包括取消控件,用于退出该创建界面3703。
响应于用户在该创建界面3703中操作“智能编排”的选项3704,手机显示如图31中(1)所示的界面3705。该界面3705包括名称编辑控件3706、添加条件控件3707、以及添加任务控件3708。用户可以通过名称编辑控件3706,编辑新增的IFTTT规则的名称,便于后续查看和管理等。用户可以通过添加条件控件3707,设置新增的IFTTT规则中的条件。例如,响应于用户在创建界面3705中操作添加条件控件3707,手机显示如图31中(2)所示的界面3709。界面3709中包括多个条件类型的选项,如特定时间类型的选项3710、智能设备触发类型的选项3711以及智能场景触发类型的选项3712等。其中,特定时间类型,是指触发任务的条件为某个具体时间。智能设备触发类型,是指触发任务的条件为某个或某些智能设备的某个特定状态(比如:照明灯处于开启状态或关闭状态)或者某个或某些智能设备检测到的数据满足特定条件(比如:温湿度传感器检测到温度大于28度,或者检测到湿度大于50%等)等。智能场景触发类型,是指触发任务的条件为检测到某个或某些场景(比如:全屋感知***检测到人体在房间内睡觉等)。
响应于检测到用户在界面3709中操作智能场景触发类型的选项3712,手机显示如图31中(3)所示的界面3713。界面3713中包括全屋感知***能够检测到的各种场景,例如夜晚回家场景、白天回家场景、外人入侵场景、客厅娱乐场景、卧室娱乐场景、客厅睡觉场景、卧室睡觉场景、夜晚下雨场景、白天外出场景、夜晚外出场景等。需要说明的是,这里的场景仅为示例,在实际场景中,可以根据全屋感知***中第一电子设备的检测能力,中枢设备的数据处理能力以及中枢设备中设置的具体算法等确定出不同的场景。再例如:中枢设备基于全屋感知***还可以检测出家中有人场景、家中无人场景、就餐场景、观影场景、阅读场景、烹饪场景等。
还需要说明的是,这里的中枢设备例如可以为上述图1中(a)中的中枢设备200,用于集中管理家庭网络中的各个智能设备。在一些示例中,可以选择长上电、且具备一定存储能力和计算能力的设备作为家庭网络的中枢设备,例如路由器、手机、智能音箱、机顶盒等。在其他一些实施例中,中枢设备也可以是某个或某几个第二电子设备300或者第一电子设备100。例如,某个或某几个第二电子设备300配置有中枢装置,该中枢装置用于集中管理家庭网络中的各个智能设备。或者,某个或某几个第一电子设备100配置有中枢装置,该中枢装置用于集中管理家庭网络中的各个智能设备。
当用户选择其中一个或多个场景后,可通过操作确定添加控件3714完成条件的添加。响应于检测到用户点击添加控件3714,手机显示如图31中(4)所示界面3715。在界面3715中,IFTTT规则的条件列表中显示有用户已添加的条件,如“夜晚回家”。
需要说明的是,在一个IFTTT规则中可以包括一个条件类型的条件,也可以包括多个条件类型的条件,本申请实施例对此不做限定。
进一步的,响应于用户在界面3715中操作添加任务控件3708,手机显示如图32中(1)所示的界面3717。界面3717中包括多个任务类型的选项,如智能设备类型的控件3718以及***功能类型的控件3719。其中,智能设备类型,是指由某个智能设备或某些智能设备执行任务。***功能类型,是指由执行手机某些***功能,例如:发送消息通知等。用户可以根据实际需求,通过智能设备类型的控件3718和/或***功能类型的控件3719添加相应的任务。例如,如图32中(2)所示,为用户针对该IFTTT规则添加的任务列表3720。而后,用户可通过操作确认添加3721完成任务的添加。由此,用户手动设置IFTTT规则的过程完成。需要说明的是,在一个IFTTT规则可以包括一个任务类型的任务,也可以包括多个任务类型的任务,本申请实施例对此不做限定。
可选的,在一些示例中,中枢设备可以预定义全屋感知***能够检测的场景的优先级顺序。或者,用户也可以手动设置全屋感知***中检测到的各个场景对应的IFTTT规则的优先级顺序。这样,当全屋感知***检测到多个场景时,且这多个场景对应的IFTTT规则中存在某个或某些智能设备执行的任务不同,中枢设备可以根据各个场景对应的IFTTT规则的优先级顺序,确定任务冲突的智能设备执行的任务。
例如:用户可以在设置了IFTTT规则之后,对各个IFTTT规则涉及到的各个场景的优先级顺序进行统一的设置。在一个示例中,场景的优先级顺序从高到低为:外人入侵场景>夜晚下雨场景>客厅睡觉场景/卧室睡觉场景>夜晚回家场景/夜晚外出场景/白天外出场景>客厅娱乐场景/卧室娱乐场景。或者,在用户设置IFTTT规则的过程中,当手机检测到有不同的IFTTT规则中包括冲突的任务时(例如,相同的智能设备执行不同的任务,或者相同房间类型相同的智能设备执行不同的任务),提示用户为冲突任务对应的场景设置优先级。例如,如图33所示界面3722,在设置IFTTT规则过程中,当检测到不同场景中均设置了空调的任务时,可以显示提示窗口3723,用于提示用户设置不同场景的优先级。
可选的,在又一些示例中,中枢设备还可以预定义用户偏好设置项,即中枢设备支持的用户画像标签的范围。这样,当用户手动设置IFTTT规则时,如果设置的IFTTT规则涉及到用户偏好设置项时,手机可以提示用户设置该用户偏好设置项对应的用户偏好值(即用户画像的标签)。例如,中枢设备预定义睡眠时的空调温度、喜爱的音乐类型、观影时照明灯的灯光亮度等为用户偏好设置项。那么,当用户开始创建IFTTT规则时或者用户第一次启动智能家居设备时或者其他时机,中枢设备可以提示用户设置特定智能设备的用户偏好值。例如,用户设置睡眠时空调温度对应的用户偏好值为24度,喜爱的音乐类型对应的用户偏好值为流行音乐,观影时照明灯的灯光亮度为15%。这样,后续当用户设置的某个场景的IFTTT规则中的特定智能设备执行任务时,可以优先按照用户设置的用户偏好值来执行任务。
需要说明的是,上述是以智能家居应用为例,说明用户手动设置IFTTT规则的过程的。可以理解的是,用户也可以采用其他的方式手动设置IFTTT规则,例如用户可以通过设备登入中枢设备的设置界面,在中枢设备的设置界面中设置IFTTT规则。在此,不一一赘述。
在其他一些实施例中,中枢设备可以收集全屋感知***检测出的场景,以及在各个场景下全屋内各个智能设备执行的任务。具体的,中枢设备可以收集各个智能设备的变化状态或经通过智能家居应用发送的各个智能设备的控制命令等。可以理解的是,用户可以通过智能家居应用向智能设备发送控制命令,那么中枢设备可以通过收集智能家居应用转发的各个智能设备的控制命令的方式获取到各个智能设备执行的任务。用户还可以通过直接操作智能设备的面板或按钮触发智能设备执行相应任务,那么中枢设备可以通过收集各个智能设备的状态变化来获取各个智能设备执行的任务。总之,本申请实施例对中枢设备获取全屋内各个智能设备执行的任务的方法不再限定。
而后,中枢设备根据收集到的各个场景下各个智能设备执行的任务,统计出用户的行为习惯,学习出各个场景下的IFTTT规则。在具体实现中,中枢设备可以实时地或周期性地(例如,每天,每7天,每月)或在特定条件(例如开机后的每5分钟)下触发用户的行为习惯的统计,遍历每一种场景,并获取同一场景下智能设备的执行任务的情况。比如,获取全屋感知***检测到某个场景前后的预设时长(例如5分钟)内智能设备的执行任务的情况。当统计到在某个场景下某个或某些智能设备连续M1天(例如7天)或者连续M2次(例如7次)执行相同的任务,则生成该场景下的IFTTT规则。
在又一些实施例中,中枢设备还可以根据收集到的各个场景下全屋内各个智能设备执行的任务,以及中枢设备预定义的用户偏好设置项,统计出用户的行为习惯,学习出特定智能设备的用户偏好值。
在又一些实施例中,中枢设备也可以将收集的各个场景下全屋内各个智能设备执行的任务等信息发送给其他智能设备或服务器,由其他智能设备或服务器学习出各个场景下的IFTTT规则和/或特定智能设备的用户偏好值,而后将学习到的各个场景下的IFTTT规则和/或特定智能设备的用户偏好值返回给中枢设备。
在又一些实施例中,也可以采用用户手动设置IFTTT规则和中枢设备学习IFTTT规则相结合的方式确定IFTTT规则的具体内容,本申请实施例对此不做具体限定。
可以理解的,相较于现有技术中IFTTT规则的触发条件为时间以及智能设备的状态。本申请实施例中IFTTT规则的触发条件还可以为基于全屋感知***检测出场景。由于全屋感知***能够检测出用户在屋内的位置,用户的姿势以及用户状态等,从而识别出更加细化的场景。基于更加细化的场景触发屋内其他智能设备的联动,能够满足用户更多智能设备的联动需求,以及提升智能设备联动的智能化。
2)基于全屋感知***检测的场景触发智能设备的联动过程。
如图34所示,为本申请实施例提供的基于全屋感知***实现智能设备联动的方法的流程图,该方法包括:
S3401、全屋感知***向中枢设备发送第一场景数据。
其中,全屋感知***包括上述图1中(a)中的第一电子设备100,用于对用户进行定位和/或获取全屋中各个智能设备(如第二电子设备300)的位置等。如前文介绍,一些第一电子设备100配置有毫米波雷达,还可以利用毫米波雷达检测全屋内用户所在位置(如:位于哪个房间)、用户的身份类别(如:成人、儿童等)、用户的姿态(如:站立、坐、躺卧)、用户的生理特征(如:可以根据检测到的呼吸频率、心跳频率等确定用户的睡觉状态)、用户的运动状态、以及用户的身高特征等。一些第一电子设备100还配置有UWB模块,可用于检测第二电子设备的位置。
其中,中枢设备例如可以为上述图1中(a)中的中枢设备200,用于集中管理家庭网络中的各个智能设备。在一些示例中,可以选择长上电、且具备一定存储能力和计算能力的设备作为家庭网络的中枢设备,例如路由器、手机、智能音箱、机顶盒等。
在一些示例中,全屋感知***中的各个第一电子设备100具备一定存储能力和处理能力,可以对全屋感知***中的各个第一电子设备100采集的数据或者简单处理后的数据进行综合分析,识别出当前全屋内处于场景1,为智能场景的IFTTT规则中相应的场景。其中,场景1例如可以为夜晚回家场景、白天回家场景、外人入侵场景、客厅娱乐场景、卧室娱乐场景、客厅睡觉场景、卧室睡觉场景、夜晚下雨场景、白天外出场景、夜晚外出场景等中的任一项或任几项。而后,全屋感知***向全屋内的中枢设备发送第一场景数据。在该示例中,第一场景数据可以为直接指示屋内处于场景1的数据。
在其他一些示例中,全屋感知***中的各个第一电子设备100不具备一定存储能力和处理能力,那么全屋感知***将第一电子设备100检测到数据发送给中枢设备,由中枢设备对接收到的数据进行综合分析,以识别出当前所处的场景为场景1。在该示例中,第一场景数据为各个第一电子设备100在当前时刻或当前时间段(例如时刻1或时间段2)内检测到的数据。
S3402、中枢设备根据第一场景数据确定场景1,并确定场景1对应IFTTT规则1,其中IFTTT规则1中包括第一设备执行任务1。
其中,中枢设备存储有用户设置的智能场景的IFTTT规则或者中枢设备学习的IFTTT规则。用户设置IFTTT规则的方法,以及中枢设备学习IFTTT规则的方法均可以参考前文描述,这里不再赘述。其中,IFTTT规则中包括触发条件以及智能设备的执行任务。
示例性的,中枢设备根据第一场景数据确定当前屋内处于场景1。需要说明的是,在一些场景中,中枢设备还可以接收到屋内其他智能设备(即其他第二电子设备)的状态信息。那么,中枢设备还可以根据第一场景数据和其他智能设备的状态信息(开机状态、关机状态、在线、离线等)确定当前屋内的场景。例如,第一场景数据包括:第一电子设备配置的毫米波雷达检测到用户位于客厅,且用户处于坐姿;第一电子设备配置的UWB模块检测电视1位于客厅。另外,中枢设备还接收到电视1处于开机状态。那么,中枢设备根据第一场景数据以及电视1的开机状态可以确定屋内处于客厅娱乐场景。当然,在其他一些实施例中,全屋感知***中的第一电子设备可以获取其他第二电子设备的状态信息,那么第一场景数据中还可以包括第二电子设备的状态信息。
在中枢设备确定当前屋内处于场景1后,中枢设备从存储的IFTTT规则中查找触发条件为场景1的IFTTT规则,即场景1对应IFTTT规则1。其中,IFTTT规则1中智能设备执行的任务包括第一设备执行任务1。可选的,IFTTT规则1还可以包括其他智能设备执行其他任务。
S3403、中枢设备向第一设备执行任务1的指示。
示例性的,中枢设备可以通过本地连接向第一设备发送执行任务1的指示,或者,中枢设备也可以通过服务器(例如智能家居应用对应的服务器)向第一设备发送执行任务1的指示。而后,第一设备接收到该指示后,执行任务1。
可选的,如果IFTTT规则1中还包括其他智能设备执行其他任务,则类似的,中枢设备向其他智能设备发送执行其他任务的指示。
S3404、全屋感知***向中枢设备发送第二场景数据。
与第一场景数据类似,第二场景数据包括全屋感知***中各个第一电子设备在当前时刻或时间段(例如时刻2或时间段2)检测到的数据,或者,第二场景数据为指示屋内处于场景2和场景1的数据。
例如,当检测到屋内处于场景2时,同时检测到屋内仍处于场景1。换言之,当前屋内处于场景2和场景1共同存在的情况。其中,场景2例如可以为夜晚回家场景、白天回家场景、外人入侵场景、客厅娱乐场景、卧室娱乐场景、客厅睡觉场景、卧室睡觉场景、夜晚下雨场景、白天外出场景、夜晚外出场景等中的任一项或任几项,且场景2与场景1不同。
可以理解的是,当屋内包括两个或两个以上的用户时,每个用户可能处于不同的场景。例如,用户1处于卧室睡眠场景,用户2处于夜晚回家场景等,即全屋感知***检测到多个场景共同存在的情况。当然,在其他一些情形中,屋内仅有一个用户时,也可能存在多个场景共同存在的情况。例如,夜晚睡觉场景与夜晚下雨场景。
其他内容请参考步骤S3401中相关内容的描述。
S3405、中枢设备根据第二场景数据确定场景2和场景1,且确定场景2对应IFTTT规则2。其中IFTTT规则2中包括第一设备执行任务2,且任务2与任务1不同。
也就是说,IFTTT规则2中第一设备执行的任务2,与IFTTT规则1中第一设备执行的任务1出现冲突。当然,在其他一些示例中,IFTTT规则2中还可以包括与IFTTT规则1中不冲突的智能设备的执行任务。
S3406、如果场景2的优先级高于场景1的优先级,则中枢设备确定第一设备执行任务2。
在一些实施例中,如前文已说明,中枢设备已预定义各个场景的优先级顺序,或者用户已手动设置各个场景的优先级顺序。各个场景的优先级顺序与各个场景对应的IFTTT规则中的任务的优先级顺序一致。换言之,某场景的优先级越高,该场景对应的IFTTT规则中的任务的优先级也越高。那么,当多场景同时存在时,选择执行优先级高的任务。因此,如果场景2的优先级高于场景1的优先级,则中枢设备确定第一设备执行任务2。
可选的,如果IFTTT规则2还包括与IFTTT规则1不冲突的其他任务,则中枢设备还继续执行其他任务。
例如:IFTTT规则2中包含IFTTT规则1中没有的任务。比如,IFTTT规则2还包括第二设备执行任务3,且IFTTT规则1不包含第二设备执行任务3,则中枢设备确定第二设备执行任务3。
又例如:IFTTT规则2包含与IFTTT规则1中相同的任务。比如,IFTTT规则2还包括智能设备3执行任务4,且IFTTT规则1也包含智能设备3执行任务4,则中枢设备确定智能设备3执行任务4。需要说明的是,中枢设备在执行IFTTT规则1时,已指示智能设备3执行任务4(图中未示出),此时中枢设备可以不向智能设备3发送执行任务4的指示。或者,中枢设备依旧向智能设备3发送执行任务4的指示,但由于智能设备3已执行过任务4,智能设备3无需再次执行。
S3407、中枢设备向第一设备发送执行任务2的指示。
S3408、中枢设备向第二设备发送执行任务3的指示。
可选的,如果IFTTT规则2中还包括第二设备执行任务3,则中枢设备还执行本步骤。如果IFTTT规则2中不包括第二设备执行任务3,则无需执行本步骤。
上述步骤S3406-步骤S3408,是以场景2的优先级大于场景1的优先级进行说明的。如果场景2的优先级小于场景1的优先级,则执行下述步骤S3409至步骤S3410。
S3409、如果场景2的优先级低于场景1的优先级,则中枢设备确定第一设备执行任务1。
当多场景同时存在时,场景2的优先级低于场景1的优先级,IFTTT规则2中任务2的优先级低于IFTTT规则1中任务1的优先级,因此中枢设备确定第一设备执行任务1。由于中枢设备在执行IFTTT规则1时,已经向第一设备发送执行任务1的指示,此时中枢设备无需再次向第一设备发送执行任务1的指示。或者,中枢设备可以依旧发送向第一设备发送执行任务1的指示,但由于第一设备已执行过任务1,因此第一设备无需再次执行。
可选的,如果IFTTT规则2还包括与IFTTT规则1不冲突的其他任务,则中枢设备还继续执行其他任务。
例如:IFTTT规则2中包含IFTTT规则1中没有的任务。比如,IFTTT规则2还包括第二设备执行任务3,且IFTTT规则1不包含第二设备执行任务3,则中枢设备确定第二设备执行任务3。
又例如:IFTTT规则2包含与IFTTT规则1中相同的任务。比如,IFTTT规则2还包括智能设备3执行任务4,且IFTTT规则1也包含智能设备3执行任务4,则中枢设备确定智能设备3执行任务4。需要说明的是,中枢设备在执行IFTTT规则1时,已指示智能设备3执行任务4(图中未示出),此时中枢设备可以不向智能设备3发送执行任务4的指示。或者,中枢设备依旧向智能设备3发送执行任务4的指示,但由于智能设备3已执行过任务4,智能设备3无需再次执行。
那么,当多场景同时存在时,选择执行优先级高的任务。因此,如果场景2的优先级高于场景1的优先级,则中枢设备确定第一设备执行任务2。
可选的,如果IFTTT规则2还包括与IFTTT规则1不冲突的其他任务,则中枢设备还继续执行其他任务。具体内容请参考S3408中相关内容的描述,这里不再重复赘述。
S3410、中枢设备向第二设备发送执行任务3的指示。
可选的,如果IFTTT规则2中还包括第二设备执行任务3,则中枢设备还执行本步骤。如果IFTTT规则2中不包括第二设备执行任务3,则无需执行本步骤。
可以理解的,由于全屋感知***能够感知更加细化的场景,从而能够识别出屋内多场景的情形。进一步的,当屋内多场景对应的IFTTT规则中的任务出现冲突时,还可以基于场景的优先级,决策出冲突的智能设备具体执行的任务,满足用户在多场景下的智能设备联动需求,提升使用体验。
还需要说明的是,在其他一些实施例中,中枢设备还预定义了用户偏好设置项(例如睡眠时空调温度、喜爱的音乐类型、观影时照明灯的灯光亮度等),且学习到或接收到用户设置的用户偏好值,那么在中枢设备执行IFTTT规则时,优先按照用户偏好值来执行任务。当屋内存在多场景时,在解决冲突任务时,也优先按照用户偏好值来执行任务。
示例性的,在检测到屋内处于场景1时,中枢设备确定场景1对应IFTTT规则1,且IFTTT规则1中包含与用户偏好值相关的任务时,优先按照用户偏好值来执行相关任务。在一个示例中,用户设置有睡眠时的空调温度为26度。如果场景1为睡眠场景,IFTTT规则1中包括设置空调温度为22度。那么,中枢设备在执行IFTTT规则1时,指示空调调整温度为26度。如果场景1不为睡眠场景,IFTTT规则1中包括设置空调温度为22度。那么,中枢设备在执行IFTTT规则1时,指示空调调整温度为22度。其他与用户偏好值无关的任务按照上述实施例提供的方法执行。
再示例性的,如果IFTTT规则2与IFTTT规则1冲突的任务包含与用户偏好设置项相关的任务时,中枢设备仍然优先按照用户偏好值执行相关任务。在一个示例中,用户设置有睡眠时的空调温度为26度。如果场景1为非睡眠场景,场景1对应的IFTTT规则1中包括设置空调温度为22度。那么,中枢设备在执行IFTTT规则1时,指示空调调整温度为22度。当场景2为睡眠场景,场景2对应的IFTTT规则2包括设置空调温度为26度。那么,即使场景2的优先级低于场景1的优先级,中枢设备也保持空调温度设置为26度。在另一个示例中,用户设置有睡眠时的空调温度为26度。如果场景1为睡眠场景,场景1对应的IFTTT规则1中包括设置空调温度为22度。那么,中枢设备在执行IFTTT规则1时,指示空调调整温度为26度。当场景2为非睡眠场景,场景2对应的IFTTT规则2包括设置空调温度为26度。那么,即使场景2的优先级高于场景1的优先级,中枢设备也保持空调温度设置为26度。其他与用户偏好值无关的任务按照上述实施例提供冲突解决的方法执行。
由此可见,当屋内多场景对应的IFTTT规则中的任务出现冲突时,还可以基于场景的优先级和/或用户偏好,决策出冲突的智能设备具体执行的任务,满足用户在多场景下的智能设备联动需求,提升使用体验。
以下结合一些具体的IFTTT规则说明本申请实施例提供的技术方案。
如表5所示,示例性地列出了中枢设备存储的IFTTT规则的列表以及场景的优先级顺序,如下:
表5
在一个示例中,晚上8时,家庭成员1在客厅观看电视。电视将开机状态发送中枢设备,中枢设备还基于毫米雷达波检测到用户位于客厅,且识别出用户处于坐姿。那么,中枢设备确定屋内处于客厅娱乐场景,且客厅娱乐场景对应表5所示的IFTTT规则4。其中,IFTTT规则4包含的智能设备执行任务有:客厅照明灯的灯光亮度设置为15%;客厅空调温度设置为22度。中枢设备执行IFTTT规则4。
晚上9时,家庭成员1躺在客厅的沙发上睡着了。中枢设备基于全屋感知***中的毫米波雷达,检测到用户位于客厅,且识别出用户处于躺卧姿势,并进一步根据检测到用户的呼吸频率和/或心跳频率确定该用户处于睡眠状态。那么,中枢设备确定屋内处于客厅睡眠场景,客厅睡眠场景对应表5所示IFTTT规则1。其中,IFTTT规则1包含的智能设备的执行任务有:关闭客厅照明灯,并将客厅空调的温度设置为24度,以及关闭客厅电视等。中枢设备执行IFTTT规则1。
晚上10时,家庭成员2从外回到家中,打开智能门锁。智能门锁将开锁信息发送给中枢设备,中枢设备确定屋内处于夜晚回家场景。中枢设备根据夜晚回家场景,确定夜晚回家场景对应表5所示IFTTT规则2。其中,IFTTT规则2包含的智能设备执行任务有:开启玄关灯、开启客厅照明灯、以及设置客厅空调温度为24度。
另外,中枢设备基于全屋感知***的毫米波雷达,还检测到有当前客厅中有用户,且该用户处于睡眠状态,即屋内还处于睡眠场景。即,此时,中枢设备基于全屋感知***检测到多个场景。那么,中枢设备执行IFTTT规则2中与IFTTT规则1不冲突的智能设备的任务,以及基于场景的优先级顺序执行冲突的智能设备的任务。
具体的,由于IFTTT规则1中不包括玄关灯的控制,那么IFTTT规则2中开启玄关灯与IFTTT规则1不冲突,那么中枢设备向玄关灯发送开启指示,玄关灯开启。
IFTTT规则2中开启客厅照明灯,与IFTTT规则1中关闭客厅照明灯相冲突。进一步的,中枢设备确定客厅睡眠场景的优先级高于夜晚回家场景,那么客厅照明灯按照IFTTT规则1执行,即仍然保持关闭客厅照明灯。此时,中枢设备可以不用向客厅照明灯发送关闭指示。或者,中枢设备也可以向客厅照明灯发送关闭指示,而此时客厅照明灯本就关闭,客厅照明灯无需执行关闭任务。
IFTTT规则2中设置客厅空调温度为24度,与IFTTT规则1中设置客厅空调温度为26为相同的任务。由于中枢设备之前在执行IFTTT规则1时已执行该任务,此时中枢设备可以不用向客厅空调发送设置温度的指示。或者,中枢设备依旧用向客厅空调发送设置温度的指示,但由于客厅空调温度本就设置为24度,无需调整。
晚上10点半,窗外的雨滴传感器检测到雨滴后,向中枢设备发送下雨事件,中枢设备确定当前处于夜晚下雨场景。中枢设备根据夜晚下雨场景,确定夜晚下雨场景对应表5所示的IFTTT规则3。其中,IFTTT规则3包含的智能设备执行任务有:客厅空调设置为28度。而后,根据IFTTT规则1和IFTTT规则3执行相关任务。
另外,中枢设备基于全屋感知***的毫米波雷达,还检测到有当前客厅中有用户,且该用户处于睡眠状态,即屋内还处于睡眠场景。需要说明的是,此时已不处于夜晚回家场景。那么,中枢设备执行IFTTT规则3中与IFTTT规则1不冲突的智能设备的任务,以及基于场景的优先级顺序执行冲突的智能设备的任务。
具体的,由于IFTTT规则3中的客厅空调设置为28度,与IFTTT规则1中的客厅空调设置为24度冲突。进一步的,中枢设备确定夜晚下雨场景的优先级高于客厅睡眠场景,那么客厅空调按照IFTTT规则2执行,即客厅空调设置为28度。
在另一个示例中,中枢设备还预定义了睡眠时的空调温度的用户偏好设置项。用户通过智能家居应用设置了睡眠时的空调温度的用户偏好值为24度,或者中枢设备学习到睡眠时的空调温度的用户偏好值为24度。那么,后续在执行IFTTT规则时,如果IFTTT规则中智能设备执行的任务与用户偏好冲突时,优先保证智能设备执行与用户偏好相符的任务。
例如:用户躺在客厅的沙发上睡觉。中枢设备基于全屋感知***中的毫米波雷达,检测到用户位于客厅,且识别出用户处于躺卧姿势,并进一步根据检测到用户的呼吸频率和/或心跳频率确定该用户处于睡眠状态。那么,中枢设备确定屋内处于客厅睡眠场景,客厅睡眠场景对应表5所示IFTTT规则1。其中,IFTTT规则1包含的智能设备的执行任务有:关闭客厅照明灯,并将客厅空调的温度设置为24度,以及关闭客厅电视等。中枢设备执行IFTTT规则1。
一段时间后,窗外的雨滴传感器检测到雨滴后,向中枢设备发送下雨事件,中枢设备确定当前处于夜晚下雨场景。中枢设备根据夜晚下雨场景,确定夜晚下雨场景对应表5所示的IFTTT规则3。其中,IFTTT规则3包含的智能设备执行任务有:客厅空调设置为28度。而后,根据IFTTT规则1和IFTTT规则3执行相关任务。
另外,中枢设备基于全屋感知***的毫米波雷达,还检测到有当前客厅中有用户,且该用户处于睡眠状态,即屋内还处于客厅睡眠场景。那么,中枢设备执行IFTTT规则3中与IFTTT规则1不冲突的智能设备的任务,基于场景的优先级顺序和用户偏好执行冲突的智能设备的任务。此外,中枢设备还要优先保证用户偏好。
具体的,由于IFTTT规则3中的客厅空调设置为28度,与IFTTT规则1中的客厅空调设置为24度冲突。但需要注意的是,睡眠时的空调温度的用户偏好值为24度。那么,虽然夜晚下雨场景的优先级高于客厅睡眠场景,但客厅空调的温度仍然设置为24度。
又例如:用户在客厅观看电视,中枢设备基于全屋感知***获知当前处于客厅娱乐场景,客厅娱乐场景对应表5所示的IFTTT规则4。其中,IFTTT规则4包含的智能设备执行任务有:客厅照明灯的灯光亮度设置为15%;客厅空调温度设置为22度。中枢设备执行IFTTT规则4。
一段时间后,窗外的雨滴传感器检测到雨滴后,向中枢设备发送下雨事件,中枢设备确定当前处于夜晚下雨场景。中枢设备根据夜晚下雨场景,确定夜晚下雨场景对应表5所示的IFTTT规则3。其中,IFTTT规则3包含的智能设备执行任务有:客厅空调设置为28度。而后,根据IFTTT规则1和IFTTT规则3执行相关任务。
另外,中枢设备基于全屋感知***检测到屋内仍处于客厅娱乐场景。那么,中枢设备执行IFTTT规则3中与IFTTT规则4不冲突的智能设备的任务,基于场景的优先级顺序和用户偏好执行冲突的智能设备的任务。
具体的,由于IFTTT规则3中的客厅空调设置为28度,与IFTTT规则4中的客厅空调设置为24度冲突。由此此时不涉及到睡眠时的空调温度的用户偏好。那么,由于夜晚下雨场景的优先级高于客厅娱乐场景,所以客厅空调的温度调整为28度。
还需要说明的是,上述实施例是以用户设置IFTTT规则或者中枢设备根据各个场景下屋内智能设备的任务记录和/或状态变化记录自动生成IFTTT规则,而后基于生成的IFTTT规则进行智能设备联动为例进行说明的。在一些实施例中,中枢设备可以预先根据各个场景下屋内智能设备的任务记录和/或状态变化记录统计出智能设备的联动规则。当用户触发智能推荐的功能(例如启动智能家居应用,或者用户靠近家庭的中控面板,或者用户任务智能推荐的控件等)后,中枢设备可以识别用户当前所处的场景,然后根据之前统计的联动规则,向用户推荐该场景下智能设备的联动建议。用户可以根据联动建议快速触发智能设备的联动。在其他一些实施例中,中枢设备还可以基于根据各个场景下屋内智能设备的任务记录和/或状态变化记录统计出智能设备的联动规则。当用户设置的IFTTT规则与中枢设备统计出的智能设备的联动规则相冲突时,中枢设备还可以提示用户,便于用户对设置的IFTTT规则进行修改或者中枢设备可以自动对用户设置的IFTTT规则进行修改。
实施例二、用户在屋内活动的轨迹图和热力图
随着房屋的面积越来越大,房间或区域的功能划分越来越明显,通过统计单个或多个用户在不同功能的房间或区域的活动情况,可以对用户的日常生活习惯进行监测和分析,以便调整和优化用户的生活习惯。为此,本申请实施例还提供一种统计用户在屋内活动情况的方法,能够自动跟踪用户在屋内的活动轨迹,自动统计用户在屋内各个房间或区域中的时长,还能自动分析用户在屋内的生活习惯,并智能地给出相应的建议,有利于用户调整和优化生活习惯。
如图35所示,为本申请实施例提供的一种统计用户在屋内活动情况的方法的流程示意图,该方法包括:
S3501、中枢设备基于全屋的户型图生成全屋的栅格图。
其中,中枢设备用于集中管理家庭网络中的各个智能设备,中枢设备也可以用于接收全屋感知***中各个第一电子设备发送的检测数据,并对检测数据进行处理。在一些示例中,可以选择长上电、且具备一定存储能力和计算能力的设备作为中枢设备,例如路由器、手机、智能音箱、机顶盒等。
其中,这里的中枢设备例如可以为上述图1中(a)中的中枢设备200,用于集中管理家庭网络中的各个智能设备。此外,中枢设备还用于接收全屋感知***中各个第一电子设备100发送的数据,并对数据进行处理。在一些示例中,可以选择长上电、且具备一定存储能力和计算能力的设备作为家庭网络的中枢设备,例如路由器、手机、智能音箱、机顶盒等。
在一些实施例中,用户向中枢设备输入全屋的户型图,户型图即房屋的平面空间布局图,是对全屋各个独立空间的使用功能、相对位置、大小等进行描述的图型。中枢设备将全屋的户型图栅格化生成全屋的栅格图,即将全屋的户型图划分一定数量的网格,其中每一个网络对应于屋内的一个空间范围。在具体实现中,网格的数量和网格的大小可以根据实际需求进行设计。例如,全屋所有房间被划分为相同大小的网格。或者,全屋中不同的房间被划分为不同大小的网格,同一房间被划分为相同大小的网格。又或者,同一个房间的不同区域被划分为不同大小的网格,同一个区域被划分为相同大小的网格。又或者,全屋所有房间被划分为一个网格,或全屋内中一个房间被划分为一个网格,或全屋中一个房间被划分为多个网格。另外,本申请对网格的形状也不做具体限定,网格的形状可以是正方形、长方形、六边形、三角形等任意形状。总之,本申请实施例对全屋内的网格划分方法不做具体的限定。
在另一些实施例中,如前文所述,在用户建立全屋感知***时,用户需向中枢设备输入全屋户型图输入中枢设备,用于建立全屋统一的坐标系。那么,中枢设备可以直接利用此时用户输入的全屋户型图生成全屋的栅格图。
S3502、全屋感知***实时检测用户的位置。
如前文介绍,全屋感知***包括上述图1中(a)中的第一电子设备100,用于对用户进行定位和/或获取全屋中各个智能设备(如第二电子设备300)的位置等。如前文介绍,一些第一电子设备100配置有毫米波雷达,还可以利用毫米波雷达检测全屋内用户所在位置(如:位于哪个房间)、用户的身份类别(如:成人、儿童等)、用户的姿态(如:站立、坐、躺卧)、用户的状态(如:可以根据检测到的呼吸频率、心跳频率等确定用户的睡觉状态、运动状态、静止状态等)、以及用户的身高特征等。一些第一电子设备100配置有UWB基站,可用于实时检测用户携带的UWB标签功能的第二电子设备300,用于检测第二电子设备300的位置。
S3503、全屋感知***将实时检测到的用户的位置发送给中枢设备。
在一些实施例中,全屋感知***可以将检测到的用户的位置(例如为各个第一电子设备自身建立的坐标系中的坐标)发送给中枢设备,由中枢设备将接收到的各个第一电子设备检测到的用户的位置转换为全屋统一坐标系下的位置(即坐标)。
在其他一些实施例中,全屋感知***可以将检测到的用户的位置转换为全屋统一坐标系下的位置后,发送给中枢设备。
S3504、中枢设备根据全屋的栅格图和用户的位置生成用户在屋内活动的数据。其中,用户在屋内活动的数据包括但不限于用户在屋内的移动轨迹、用户在屋内的活动时长等。
在一些实施例中,前文已说明,全屋的栅格图中每个网格对应屋内的一个空间范围。那么,相对应地,中枢设备可以根据接收的用户位置确定每个用户位置对应的空间范围,进而确定每个用户位置对应的全屋的栅格图中的网格。
由于全屋感知***实时检测了用户的位置,中枢设备获取到用户实时的位置,即可以在全屋的栅格图中确定用户在屋内的移动轨迹。在具体实现中,中枢设备可以全屋为单位,统计用户在全屋内的移动轨迹。或者,中枢设备可以以房间为单位,统计用户在每个房间中移动轨迹。又或者,中枢设备可以以区域为单位,统计用户在各个区域中移动轨迹。这里的一个区域可以是一个房间中的部分空间,也可以是不同房间的部分空间,本申请实施例对区域的含义不做具体限定。
另外,中枢设备还可以根据接收到的用户位置统计用户位于每个网格对应的空间范围内的时长,用于表征用户在屋内的活动的时长。在具体实现中,中枢设备可以全屋为单位,统计用户在全屋内的活动时长。或者,中枢设备可以以房间为单位,统计用户在每个房间中活动时长。又或者,中枢设备可以以区域为单位,统计用户在各个区域中的活动时长。这里的一个区域可以是一个房间中的部分空间,也可以是不同房间的部分空间,本申请实施例对区域的含义不做具体限定。
在其他一些实施例中,全屋感知***还可以检测出用户的身份(例如检测用户的身高特征,根据用户身高特征可以区分用户的身份),那么中枢设备还可以统计不同用户在屋内的移动轨迹以及用户在屋内的活动时长等。
在又一些实施例中,中枢设备还可以根据统计出的用户在屋内的移动轨迹以及用户在屋内的活动时长等分析用户的行为习惯,后续中枢设备可以结合用户的行为习惯给出相应的建议。例如,分析出用户在屋内的时长较长时,可以建议用户增加外出活动时长。或者,当用户为独居老人时,当分析出老人在卧室的时长较长时,可以提示老人的照顾者关注老人的身体健康。又或者,分析出用户在娱乐区的时长较长时,可以建议用户适当增加学习时间。又或者,分析出用户在沙发区的时长较长时,提示用户起身活动。又或者,当用户为孩子时,分析出孩子在屋内的轨迹接近厨房等危险区时,可以提示用户远离危险区等。
S3505、智能设备接收到用户启动查看用户在屋内活动数据的操作。
示例性的,用户可以通过与中枢设备通信连接的智能设备查看用户在屋内活动数据。在一个示例中,用户可以通过智能设备(例如手机)上的智能家居应用查看用户在屋内活动数据。例如,响应于检测到用户启动智能家居应用的操作,手机显示如图36中(1)所示的智能家居应用的首页4301,其中,首页4301中包括中枢设备的标识4302。响应于接收到用户操作中枢设备的标识4302,手机显示如图36中(2)所示的中枢设备的设置界面(或称为管理界面或控制界面)4303。当然用户也可以在智能家居应用的其他页面(例如智能设备列表页等)进入中枢设备的设置界面。其中,中枢设备的设置界面4303包括用户屋内活动数据的控件4304。响应于用户操作屋内活动数据的控件4304,手机向中枢设备请求用户在屋内活动数据,即执行步骤S4306。
在另一个示例中,用户也可以通过智能设备上网页浏览器通过网址的方式登入到中枢设备的设置界面,在中枢设备的设置界面中操作,触发查看用户在屋内活动数据的操作。这里不再一一说明。
S3506、智能设备向中枢设备发送用户在屋内活动数据的请求。
S3507、中枢设备向智能设备返回用户屋内活动数据。
其中,中枢设备返回的用户屋内活动数据包括但不限于用户在全屋中的移动轨迹数据,屋内用户在全屋中的时长等。
S3508、智能设备展示用户在屋内的轨迹图或用户在屋内活动的热力图。
例如,当手机接收到中枢设备返回的用户在屋内活动数据后,显示如图36中(3)所示界面4305,该界面4305可以包括时间控件4306、房间/区域控件4315、用户控件4310、轨迹图的标签页控件4307、热力图的标签页控件4308以及轨迹图4309。其中,时间控件4306用于用户选择展示哪个时间段的用户活动数据,例如可以查询某一天的,查询一天中的某个时间段的,查询最近M天,最近一个月的等。还需要说明的是,手机还可以展示实时的用户在屋内的活动数据。房间/区域控件4315,用于用户选择展示全屋内哪个房间或区域的用户活动数据,例如可以展示所有房间的用户活动数据(即全屋),也可以展示某个房间的用户活动数据,还可以展示某个区域的用户活动数据等。用户控件4310,用于用户选择展示屋内哪个用户的屋内活动数据,可以某个用户,也可以是全部用户。轨迹图的选择控件4307,可用于展示在特定条件下(例如特定时间段、特定房间、特定用户)的用户在屋内的移动轨迹。热力图的选择控件4308,可用于展示在特定条件下(例如特定时间段、特定房间、特定用户)的用户在屋内活动的热力图。其中热力图,用于展示用户在屋内各个区域内的活动时长。
其中,图36中(3)所示的界面4305中展示了所有用户(例如用户A和用户B)在当日9时至12时的全屋内的轨迹图。在一个示例中,轨迹图还可以展示用户轨迹的移动方向(如箭头所示的方向)。或者,轨迹图还可以展示部分位置的时刻,例如在用户所在的房间变化时,可以显示进入和退出某个房间的时间点等。
响应于用户在界面4305中选择查看单个用户的轨迹图时,手机显示如图36中(4)所示的界面4311,其中仅包括用户A的轨迹图。
另外,手机还可以展示中枢设备根据用户轨迹分析的用户的行为习惯,便于用户根据统计出的用户的行为习惯自行调整。在其他一些示例中,当中枢设备根据用户轨迹分析出用户已进入或即将进入某个特定区域,可以发送提醒通知。比如,当中枢设备分析出孩子即将进入厨房等危险区时,可以向孩子所在房间的智能设备(例如智能音箱)发送提醒通知,由智能设备提示孩子不要进入危险区。
再示例性的,响应于用户在如图36中(4)所示的界面4311中操作热力图的标签页控件4308,手机显示如图37中(1)所示的界面4312,界面4312中显示有用户A在屋内活动的热力图4313。在热力图中,手机使用不同的标记不同的网格,用于呈现用户在各个网格对应的空间范围内的活动时长。例如,手机可以使用不同的颜色进行标记网格,颜色的深浅表征了用户在相应网格对应的空间范围内活动时长的长短。颜色越深,用户在该网格对的空间范围内活动的时长越长。
与展示轨迹图类似的,用户也可以选择展示其他时间段内的热力图,选择展示所有房间(即全屋)的热力图,或某个房间/区域的热力图,选择展示所有用户的热力图,或某个用户的热力图等。具体内容可参考前文相关内容的描述,这里不再赘述。
例如,响应于用户在图37中(1)所示的界面4312中操作“主卧”对应的控件,手机显示如图37中(2)所示的界面4317,界面4317中包括用户A在主卧的热力图4318。热力图4318中以还详细标注了主卧中各个区域的具体功能,使得更能详细准确地分析用户的行为规格。
可选的,在界面4317中还可以包括活动分析控件4314,用于展示中枢设备根据用户热力图,对用户行为习惯的分析,以及结合用户的行为习惯给出相应的建议。例如,分析出用户在屋内的时长较长时,可以建议用户增加外出活动时长。或者,当用户为独居老人时,当分析出老人在卧室的时长较长时,可以提示老人的照顾者关注老人的身体健康。又或者,分析出用户在娱乐区的时长较长时,可以建议用户适当增加学习时间。又或者,分析出用户在沙发区的时长较长时,提示用户起身活动。
需要说明的是,本申请实施例各个实施例、实施方式以及各种示例中所述的方法,可以分别进行组合,组合后的实施例、实施方式或示例也属于本申请实施例保护的范围。本申请各个实施例中的步骤或技术特征可以任意组合,组合后的实施方式也属于本申请实施例保护的范围。
本申请实施例还提供一种装置,该装置包含在电子设备中,该装置具有实现上述实施例中任一方法中电子设备行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,检测模块或单元、显示模块或单元、确定模块或单元、以及计算模块或单元等。
本申请实施例还提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上述实施例中任一方法。
本申请实施例还提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述实施例中任一方法。
本申请实施例还提供一种电子设备上的图形用户界面,所述电子设备具有显示屏、摄像头、存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行如上述实施例中任一方法时显示的图形用户界面。
可以理解的是,上述设备等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
本申请实施例可以根据上述方法示例对上述设备等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (30)
1.一种基于人体感知的智能设备间的联动***,其特征在于,包括中枢设备、第一电子设备和R个第二电子设备;所述中枢设备、所述第一电子设备和所述R个第二电子设备中的任意一个第二电子设备三者中的任意两者以有线通信或无线通信的方式通信;所述第一电子设备包括超宽带模块和毫米波雷达模块,用于测量人***置和所述R个第二电子设备的位置;所述R个第二电子设备包括第一设备,所述R为大于或等于1的正整数;
所述第一电子设备向所述中枢设备发送第一场景数据;
所述中枢设备基于所述第一场景数据确定当前处于第一场景,且确定所述第一场景对应第一联动规则,所述第一联动规则包括所述第一设备执行第一任务;
所述中枢设备向所述第一设备发送执行所述第一任务的第一消息;
响应于接收到所述第一消息,所述第一设备执行所述第一任务;
所述第一电子设备向所述中枢设备发送第二场景数据;
所述中枢设备基于所述第二场景数据确定当前处于第二场景和所述第一场景,且确定所述第二场景对应第二联动规则,所述第二联动规则包括所述第一设备执行第二任务;所述第二任务与所述第一任务不同;
所述中枢设备确定所述第一场景的优先级高于所述第二场景的优先级,所述中枢设备确定所述第一设备执行所述第一任务。
2.根据权利要求1所述的***,其特征在于,所述第一场景数据包括所述第一电子设备在第一时刻或第一时间段内检测到数据,和/或,所述R个第二电子设备中任一个或任几个设备在第一时刻或第一时间段内的状态信息;
其中,所述第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、所述R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
3.根据权利要求1所述的***,其特征在于,第一场景数据指示在第一时刻或第一时间段内屋内处于第一场景。
4.根据权利要求1-3任一项所述的***,其特征在于,所述第二场景数据包括所述第一电子设备在第二时刻或第二时间段内检测到数据,和/或,所述R个第二电子设备中任一个或任几个设备在第二时刻或第二时间段的状态信息;
其中,所述第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、所述R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
5.根据权利要求1-3任一项所述的***,其特征在于,第二场景数据指示在第二时刻或第二时间段内屋内处于第二场景和第一场景。
6.根据权利要求1-5任一项所述的***,其特征在于,所述R个第二电子设备还包括第二设备;
所述第二联动规则中还包括所述第二设备执行第三任务,且所述第一联动规则中不包括所述第二设备,
所述中枢设备确定所述第一设备执行所述第一任务之后,所述中枢设备还向所述第二设备发送执行所述第三任务的第二消息;
响应于接收到所述第二消息,所述第二设备执行所述第三任务。
7.根据权利要求1-6任一项所述的***,其特征在于,
所述中枢设备分别统计所述第一电子设备检测的各个场景下所述R个第二电子设备的状态变化和/或经所述中枢设备发送的所述R个第二电子设备的控制命令,学习出各个场景对应的联动规则。
8.根据权利要求7所述的***,其特征在于,所述中枢设备实时地或周期性地或在特定条件下更新各个场景对应的联动规则。
9.一种基于人体感知的智能设备间的联动方法,其特征在于,应用于中枢设备,所述中枢设备分别与所述第一电子设备和所述R个第二电子设备中的任意一个第二电子设备以有线通信或无线通信的方式通信;所述第一电子设备包括超宽带模块和毫米波雷达模块,用于测量人***置和所述R个第二电子设备的位置;所述R个第二电子设备包括第一设备,所述R为大于或等于1的正整数;
所述中枢设备接收所述第一电子设备发送的第一场景数据;
所述中枢设备基于所述第一场景数据确定当前处于第一场景,且确定所述第一场景对应第一联动规则,所述第一联动规则包括所述第一设备执行第一任务;
所述中枢设备向所述第一设备发送执行所述第一任务的第一消息;
所述中枢设备接收到所述第一电子设备发送的第二场景数据;
所述中枢设备基于所述第二场景数据确定当前处于第二场景和所述第一场景,且确定所述第二场景对应第二联动规则,所述第二联动规则包括所述第一设备执行第二任务;所述第二任务与所述第一任务不同;
所述中枢设备确定所述第一场景的优先级高于所述第二场景的优先级,所述中枢设备确定所述第一设备执行所述第一任务。
10.根据权利要求9所述的方法,其特征在于,所述第一场景数据包括所述第一电子设备在第一时刻或第一时间段内检测到数据,和/或,所述R个第二电子设备中任一个或任几个设备在第一时刻或第一时间段内的状态信息;
其中,所述第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、所述R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
11.根据权利要求9所述的方法,其特征在于,第一场景数据指示在第一时刻或第一时间段内屋内处于第一场景。
12.根据权利要求9-11任一项所述的方法,其特征在于,所述第二场景数据包括所述第一电子设备在第二时刻或第二时间段内检测到数据,和/或,所述R个第二电子设备中任一个或任几个设备在第二时刻或第二时间段的状态信息;
其中,所述第一电子设备在第一时刻或第一时间段内检测到数据包括:人***置,人体的身份类别、人体的姿态、人体的身高特征、人体的生理特征、所述R个第二电子设备中任一个或任几个设备的位置中的一项或多项。
13.根据权利要求9-11任一项所述的方法,其特征在于,第二场景数据指示在第二时刻或第二时间段内屋内处于第二场景和第一场景。
14.根据权利要求9-13任一项所述的方法,其特征在于,所述R个第二电子设备还包括第二设备;
所述第二联动规则中还包括所述第二设备执行第三任务,且所述第一联动规则中不包括所述第二设备,
所述中枢设备确定所述第一设备执行所述第一任务之后,所述中枢设备还向所述第二设备发送执行所述第三任务的第二消息;
响应于接收到所述第二消息,所述第二设备执行所述第三任务。
15.根据权利要求9-14任一项所述的方法,其特征在于,
所述中枢设备分别统计所述第一电子设备检测的各个场景下所述R个第二电子设备的状态变化和/或经所述中枢设备发送的所述R个第二电子设备的控制命令,学习出各个场景对应的联动规则。
16.根据权利要求15所述的方法,其特征在于,所述中枢设备实时地或周期性地或在特定条件下更新各个场景对应的联动规则。
17.一种基于人体感知的屋内用户活动情况的统计***,其特征在于,包括中枢设备、第一电子设备和第二电子设备;所述中枢设备、所述第一电子设备和所述第二电子设备三者中的任意两者以有线通信或无线通信的方式通信;所述第一电子设备包括毫米波雷达模块,用于测量人***置;
所述中枢设备基于所述第一电子设备实时检测的人***置生成用户在屋内活动的数据,所述用户在屋内活动的数据包括用户在屋内的移动轨迹和/或用户在屋内各个房间/区间的活动时长;
响应于接收到查看用户在屋内活动的数据的第一操作,所述第二电子设备向所述中枢设备发送第一请求,所述第一请求用于请求用户在屋内活动的数据;
响应于接收到所述第一请求,所述中枢设备向所述第二电子设备返回所述用户在屋内活动的数据;
所述第二电子设备根据所述用户在屋内活动的数据展示用户在屋内的轨迹图和/或用户在屋内活动的热力图。
18.根据权利要求17所述的***,其特征在于,所述中枢设备基于所述第一电子设备实时检测的人***置生成用户在屋内活动的数据,包括:
所述中枢设备根据用户输入的全屋的户型图,生成全屋的栅格图,所述全屋的栅格图中每个网格对应所述全屋内的一个空间范围;
所述中枢设备根据所述第一电子设备实时检测的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据。
19.根据权利要求18所述的***,其特征在于,所述中枢设备根据所述第一电子设备实时检测的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据,包括:
所述中枢设备将所述第一电子设备实时检测到的在第一坐标系下的人***置转换为在第二坐标系下人***置,所述第一坐标系为所述第一电子设备建立的坐标系,所述第二坐标系为所述中枢设备建立的全屋坐标系;
所述中枢设备根据所述第二坐标系下的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据。
20.根据权利要求17-19任一项所述的***,其特征在于,所述用户在屋内的轨迹图包括屋内一个或多个用户在屋内一个或多个房间/区域的轨迹图。
21.根据权利要求17-19任一项所述的***,其特征在于,所述用户在屋内活动的热力图包括屋内一个或多个用户在屋内一个或多个房间/区域的热力图。
22.根据权利要求17-21任一项所述的***,其特征在于,
所述中枢设备还可以根据所述用户在屋内活动的数据,生成用户的活动分析报告和/或活动建议;
所述中枢设备向所述第二电子设备发送所述用户的活动分析报告和/或活动建议。
23.一种基于人体感知的屋内用户活动情况的统计方法,其特征在于,应用于中枢设备,所述中枢设备分别与第一电子设备和第二电子设备以有线通信或无线通信的方式通信;所述第一电子设备包括毫米波雷达模块,用于测量人***置;
所述中枢设备基于所述第一电子设备实时检测的人***置生成用户在屋内活动的数据,所述用户在屋内活动的数据包括用户在屋内的移动轨迹和/或用户在屋内各个房间/区间的活动时长;
响应于接收到所述第二电子设备发送的第一请求,所述第一请求用于请求用户在屋内活动的数据,所述中枢设备向所述第二电子设备返回所述用户在屋内活动的数据。
24.根据权利要求23所述的方法,其特征在于,所述中枢设备基于所述第一电子设备实时检测的人***置生成用户在屋内活动的数据,包括:
所述中枢设备根据用户输入的全屋的户型图,生成全屋的栅格图,所述全屋的栅格图中每个网格对应所述全屋内的一个空间范围;
所述中枢设备根据所述第一电子设备实时检测的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据。
25.根据权利要求24所述的方法,其特征在于,所述中枢设备根据所述第一电子设备实时检测的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据,包括:
所述中枢设备将所述第一电子设备实时检测到的在第一坐标系下的人***置转换为在第二坐标系下人***置,所述第一坐标系为所述第一电子设备建立的坐标系,所述第二坐标系为所述中枢设备建立的全屋坐标系;
所述中枢设备根据所述第二坐标系下的人***置和所述全屋的栅格图生成所述用户在屋内活动的数据。
26.根据权利要求23-25任一项所述的方法,其特征在于,所述用户在屋内的轨迹图包括屋内一个或多个用户在屋内一个或多个房间/区域的轨迹图。
27.根据权利要求23-26任一项所述的方法,其特征在于,所述用户在屋内活动的热力图包括屋内一个或多个用户在屋内一个或多个房间/区域的热力图。
28.根据权利要求23-27任一项所述的方法,其特征在于,
所述中枢设备还可以根据所述用户在屋内活动的数据,生成用户的活动分析报告和/或活动建议。
29.一种电子设备,其特征在于,包括:处理器、存储器和通信模块,所述存储器、所述通信模块与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器从所述存储器中读取所述计算机指令,以使得所述电子设备执行如权利要求9-16、23-28中任一项所述的方法。
30.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求9-16、23-28中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111241608.XA CN116027692A (zh) | 2021-10-25 | 2021-10-25 | 一种基于人体感知的自动控制方法、电子设备及*** |
PCT/CN2022/115151 WO2023071484A1 (zh) | 2021-10-25 | 2022-08-26 | 一种基于人体感知的自动控制方法、电子设备及*** |
EP22885381.8A EP4383031A1 (en) | 2021-10-25 | 2022-08-26 | Automatic control method based on human body sensing, and electronic device and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111241608.XA CN116027692A (zh) | 2021-10-25 | 2021-10-25 | 一种基于人体感知的自动控制方法、电子设备及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116027692A true CN116027692A (zh) | 2023-04-28 |
Family
ID=86069205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111241608.XA Pending CN116027692A (zh) | 2021-10-25 | 2021-10-25 | 一种基于人体感知的自动控制方法、电子设备及*** |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4383031A1 (zh) |
CN (1) | CN116027692A (zh) |
WO (1) | WO2023071484A1 (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105182777A (zh) * | 2015-09-18 | 2015-12-23 | 小米科技有限责任公司 | 设备控制方法及装置 |
CN106325250A (zh) * | 2016-09-12 | 2017-01-11 | 珠海格力电器股份有限公司 | 基于信息检测的电器联动控制方法及*** |
CN111614524A (zh) * | 2019-02-26 | 2020-09-01 | 华为技术有限公司 | 一种多智能设备联动控制的方法、设备及*** |
CN110196557B (zh) * | 2019-05-05 | 2023-09-26 | 深圳绿米联创科技有限公司 | 设备控制方法、装置、移动终端及存储介质 |
CN110824953B (zh) * | 2019-12-23 | 2020-11-27 | 珠海格力电器股份有限公司 | 智能家居设备的控制方法、装置及存储介质 |
CN115428413A (zh) * | 2020-02-19 | 2022-12-02 | 华为技术有限公司 | 一种通知处理方法、电子设备和*** |
CN112731839A (zh) * | 2020-12-25 | 2021-04-30 | 深圳市倍轻松科技股份有限公司 | 一种智能设备间的联动控制方法及***、计算机存储介质 |
CN112769658B (zh) * | 2020-12-31 | 2023-03-14 | 文思海辉元辉科技(无锡)有限公司 | 终端控制***、方法、装置、网关设备和存储介质 |
CN112363406B (zh) * | 2021-01-11 | 2021-04-30 | 武汉世聪智能科技有限公司 | 基于视觉传感器的智能控制方法 |
CN112904738A (zh) * | 2021-01-19 | 2021-06-04 | 珠海格力电器股份有限公司 | 一种设备联动控制方法、***、装置、存储介质以及设备 |
-
2021
- 2021-10-25 CN CN202111241608.XA patent/CN116027692A/zh active Pending
-
2022
- 2022-08-26 EP EP22885381.8A patent/EP4383031A1/en active Pending
- 2022-08-26 WO PCT/CN2022/115151 patent/WO2023071484A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023071484A1 (zh) | 2023-05-04 |
EP4383031A1 (en) | 2024-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7170821B2 (ja) | 室内位置およびベクトル追跡システムおよび方法 | |
CN108700645B (zh) | 用于随智能设备利用雷达的***、方法和设备 | |
US10687184B2 (en) | Systems, methods, and devices for utilizing radar-based touch interfaces | |
US10631123B2 (en) | System and method for user profile enabled smart building control | |
US11736555B2 (en) | IOT interaction system | |
KR102648291B1 (ko) | 위치 결정 시스템에서 사용하기 위한 전송 장치 | |
Lazaro et al. | Room-level localization system based on LoRa backscatters | |
CN116027674A (zh) | 一种基于人体感知的自动控制方法、电子设备及*** | |
CN116027692A (zh) | 一种基于人体感知的自动控制方法、电子设备及*** | |
CN111201441B (zh) | 检测网络中的位置 | |
WO2023071498A1 (zh) | 一种基于人体感知的自动控制方法、第一电子设备及*** | |
WO2023071547A1 (zh) | 一种基于人体感知的自动控制方法、第一电子设备及*** | |
WO2023071565A1 (zh) | 一种基于人体感知的自动控制方法、第一电子设备及*** | |
Moriya et al. | Indoor localization based on distance-illuminance model and active control of lighting devices | |
EP4062386B1 (en) | Allocating different tasks to a plurality of presence sensor systems | |
WO2022048123A1 (zh) | 一种物联网通信方法、装置、设备及计算机存储介质 | |
CN118294884A (zh) | 用于随智能设备利用雷达的***、方法和设备 | |
GALLO et al. | INDOOR LOCALIZATION USING COGNITIVE RADIOS AND SOFTWARE-DEFINED WIRELESS NETWORKS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |