CN117714593A - 屏幕状态的控制方法、电子设备及可读存储介质 - Google Patents
屏幕状态的控制方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117714593A CN117714593A CN202311068853.4A CN202311068853A CN117714593A CN 117714593 A CN117714593 A CN 117714593A CN 202311068853 A CN202311068853 A CN 202311068853A CN 117714593 A CN117714593 A CN 117714593A
- Authority
- CN
- China
- Prior art keywords
- frame
- angular velocity
- acceleration
- data
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000033001 locomotion Effects 0.000 claims abstract description 83
- 230000001133 acceleration Effects 0.000 claims description 351
- 230000008859 change Effects 0.000 claims description 31
- 230000001427 coherent effect Effects 0.000 claims description 21
- 230000003247 decreasing effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 83
- 230000004927 fusion Effects 0.000 description 53
- 230000008569 process Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 25
- 239000010410 layer Substances 0.000 description 21
- 238000013459 approach Methods 0.000 description 20
- 238000007726 management method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 230000001960 triggered effect Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008531 maintenance mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种屏幕状态的控制方法、电子设备及可读存储介质,属于终端技术领域。该方法包括:在电子设备处于通话状态的情况下,在电子设备的运动趋势是接近人脸的情况下,若电子设备的接听手势为接近人脸接听手势,且接近人脸接听手势有效,则控制电子设备的屏幕灭屏。电子设备灭屏后,在电子设备的运动趋势是远离人脸的情况下,若电子设备的接听手势为远离人脸接听手势,且远离人脸接听手势有效,则控制屏幕亮屏。本申请通过确定电子设备的运动趋势和接听手势,结合接听手势是否有效,确定是否控制屏幕灭屏或亮屏,提高了屏幕状态控制的准确性,避免出现误灭屏等现象。
Description
技术领域
本申请涉及终端技术领域,特别涉及一种屏幕状态的控制方法、电子设备及可读存储介质。
背景技术
在使用诸如手机之类的电子设备时,在一些应用场景中,通常需要电子设备能够自动感应自身是否在接近或远离人脸,以控制电子设备的屏幕亮屏或灭屏。譬如,在接打电话过程中,当感应到电子设备接近人脸时控制屏幕灭屏,当感应到电子设备远离人脸时控制屏幕亮屏。
在相关技术中,电子设备一般通过超声波信号进行感应。譬如在接打电话过程中,电子设备可以连续发射超声波信号,并接收超声波信号经人脸反射的回波信号。之后,基于回波信号,通过声波幅值检测法确定人脸与电子设备之间的距离,也即根据回波信号在介质中传输幅值的衰减程度判断人脸与电子设备之间的距离,从而根据该距离控制屏幕亮屏或灭屏。
然而,超声波信号的指向性较差,电子设备的超声波信号一般都是球形声场,使得任何方向的接近或远离都能够识别出。如此,在背部接近、侧边接近人脸时,容易导致误控制屏幕灭屏,也即容易出现异常灭屏等问题。
发明内容
本申请提供了一种屏幕状态的控制方法、电子设备及可读存储介质,可以解决相关技术中仅根据超声波信号控制屏幕容易导致误控的问题。所述技术方案如下:
第一方面,提供了一种屏幕状态的控制方法,应用于电子设备,所述电子设备处于通话状态,所述方法包括:
在所述电子设备的运动趋势是接近人脸的情况下,若所述电子设备的接听手势为接近人脸接听手势,且所述接近人脸接听手势有效,则控制所述电子设备的屏幕灭屏;
所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏。
如此,通过确定电子设备的运动趋势和接听手势,结合接听手势是否有效,确定是否控制屏幕灭屏或亮屏,提高了屏幕状态控制的准确性,避免出现误灭屏等现象。
作为本申请的一个示例,所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏,包括:
所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,如果状态持续时长大于第一时长阈值,则控制所述屏幕亮屏,其中,所述状态持续时长是当前时间点与上一次控制所述屏幕灭屏的时间点之间的时长。
如此,通过设置状态持续时长,可以避免控制屏幕频繁进行亮屏和灭屏切换,从而避免屏幕闪屏。
作为本申请的一个示例,所述电子设备配置有超声波传感器、加速度传感器和角速度传感器;所述在所述电子设备的运动趋势是接近人脸的情况下,若所述电子设备的接听手势为接近人脸接听手势,且所述接近人脸接听手势有效,则控制所述电子设备的屏幕灭屏之前,还包括:
分别通过所述超声波传感器、所述加速度传感器和所述角速度传感器持续进行数据采集;
根据连续采集的多帧第一超声波信号,确定所述电子设备的运动趋势是否是接近所述人脸;
在确定所述电子设备的运动趋势是接近所述人脸的情况下,经过第二时长阈值后,根据连续采集的多帧第一加速度数据和连续采集的多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势;
在确定所述电子设备的接听手势是所述接近人脸接听手势的情况下,根据所述多帧第一角速度数据确定所述接近人脸接听手势是否有效。
如此,通过采集多种传感器信号,并基于多种传感器信号分别确定电子设备的运动趋势、接听手势以及手势是否有效,从而根据识别结果进行屏幕状态控制,提高了屏幕状态控制的准确性。
作为本申请的一个示例,所述加速度传感器采集的每帧加速度数据包括第一加速度分量、第二加速度分量和第三加速度分量,其中,第一加速度分量是所述电子设备的空间坐标系中X坐标轴上的加速度分量,第二加速度分量是所述空间坐标系中Y坐标轴上的加速度分量,第三加速度分量是所述空间坐标系中Z坐标轴上的加速度分量;
所述根据连续采集的多帧第一加速度数据和连续采集的多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势,包括:
分别基于所述多帧第一加速度数据中每帧第一加速度数据包括的第一加速度分量、第二加速度分量和第三加速度分量进行计算,以确定所述每帧第一加速度数据对应的加速度模值;
基于所述每帧第一加速度数据对应的加速度模值,确定目标指示信息,所述目标指示信息用于指示所述电子设备的超重和失重情况,所述目标指示信息为第一数值时用于指示所述电子设备先超重后失重,所述目标指示信息为第二数值时用于指示所述电子设备先失重后超重;
根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势。
如此,根据连续采集的多帧第一加速度数据和连续采集的多帧第一角速度数据,确定电子设备的接听手势,可以提高接听手势识别的有效性和准确性。
作为本申请的一个示例,所述基于所述每帧第一加速度数据对应的加速度模值,确定目标指示信息,包括:
基于所述每帧第一加速度数据对应的加速度模值,按照所述每帧第一加速度数据的采集时间的先后顺序,进行波形绘制,得到加速度模值波形;
在所述加速度模值波形是先峰后谷的波形的情况下,若所述加速度模值波形的峰值大于第一阈值,所述加速度模值波形的谷值小于第二阈值,且所述峰值与所述谷值之间的时间间隔大于第三阈值,则确定所述目标指示信息为所述第一数值;
在所述加速度模值波形是先谷后峰的波形的情况下,若所述峰值小于第四阈值,所述谷值小于第五阈值,且所述峰值与所述谷值之间的时间间隔大于第六阈值,则确定所述目标指示信息为所述第二数值。
如此,通过确定目标指示信息,以确定电子设备的超重失重变化情况,从而可以确定电子设备的移动情况,进而便于后续可以根据目标指示信息,确定电子设备的接听手势。
作为本申请的一个示例,所述角速度传感器采集的每帧角速度数据包括第一角速度分量和第二角速度分量,第一角速度分量是所述空间坐标系中X坐标轴上的角速度分量,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量;
所述根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势,包括:
在根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据确定所述电子设备满足如下条件中的至少一项的情况下,确定所述电子设备的接听手势是所述接近人脸接听手势;
条件一:所述多帧第一角速度数据包括至少预设数量个第一角速度分量均大于第七阈值;
条件二:所述多帧第一角速度数据中的第二角速度分量呈减小趋势,且所述多帧第一角速度数据中包括至少所述预设数量个第二角速度分量均大于第八阈值,以及所述多帧第一加速度数据中的第一加速度分量呈增大趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第一加速度分量均大于第九阈值,以及所述目标指示信息为所述第一数值;
条件三:所述多帧第一角速度数据中的第二角速度分量呈增大趋势,且所述多帧第一角速度数据中包括至少所述预设数量个第二角速度分量均小于第十阈值,以及所述多帧第一加速度数据中的第一加速度分量呈减小趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第一加速度分量均小于第十一阈值,以及所述目标指示信息为所述第一数值;
条件四:所述多帧第一加速度数据中的第二加速度分量呈减小趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第二加速度分量均小于第十二阈值,以及所述目标指示信息为所述第二数值。
如此,根据目标指示信息,结合多帧第一加速度数据和多帧第一角速度数据确定电子设备的接听手势是否是接近人脸接听手势,可以提高判断的准确性。
作为本申请的一个示例,所述角速度传感器采集的每帧角速度数据包括第一角速度分量和第二角速度分量,第一角速度分量是所述空间坐标系中X坐标轴上的角速度分量,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量;
所述根据所述多帧第一角速度数据确定所述接近人脸接听手势是否有效,包括:
在所述多帧第一角速度数据中的第一角速度分量的均值的模值大于第十三阈值,和/或,所述多帧第一角速度数据中的第二角速度分量的均值的模值大于所述第十三阈值的情况下,确定所述接近人脸接听手势有效;
在所述多帧第一角速度数据中的第一角速度分量的均值的模值小于或等于所述第十三阈值,且所述多帧第一角速度数据中的第二角速度分量的均值的模值小于或等于所述第十三阈值的情况下,确定所述接近人脸接听手势无效。
如此,通过确定多帧第一角速度数据的第一角速度分量的均值的模值,根据第一角速度数据的均值的模值,确定电子设备的接听手势是否有效,进而便于后续可以根据识别结果确定电子设备是否是接近人脸,以便于准确控制屏幕的状态。
作为本申请的一个示例,所述根据连续采集的多帧第一超声波信号,确定所述电子设备的运动趋势是否是接近所述人脸,包括:
确定所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,有效信道基于所述超声波传感器发射的Chirp信号的带宽和信号传播速度、以及判定距离阈值确定;
根据所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,确定所述电子设备的运动趋势是否是接近所述人脸。
如此,通过确定有效信道的信号特征,并根据有效信道的信号特征确定电子设备的运动趋势是否是接近人脸。由于有效信道是基于Chirp信号的带宽和信号传播速度以及判定距离阈值确定,判定距离阈值用于电子设备识别接近状态或远离状态,也即选择能够代表检测感应区内有效距离的有效信道的信号特征进行分析,且由于信号特征与回波信号的幅值和相位变化信息均相关,所以可以提高运动趋势识别的准确性。
作为本申请的一个示例,所述超声波传感器采集的每帧超声波信号包括Chirp信号和回波信号,所述回波信号是所述电子设备发射的所述Chirp信号经所述人脸反射的信号;
所述确定所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,包括:
根据目标第一超声波信号中的Chirp信号对所述目标第一超声波信号中的回波信号进行相干解调,得到所述目标第一超声波信号对应的相干解调信号,所述目标第一超声波信号是所述多帧第一超声波信号中的任意一帧第一超声波信号;
确定所述目标第一超声波信号对应的相干解调信号的第一傅里叶变换结果;
获取所述第一傅里叶变换结果中有效信道的信道冲激响应CIR数据,得到第一CIR数据;
基于所述第一CIR数据与第二CIR数据,确定第三CIR数据,所述第三CIR数据表示有效信道当前时刻的动态信息,所述第二CIR数据是第二傅里叶变换结果中有效信道的CIR数据,所述第二傅里叶变换结果是所述目标第一超声波信号的上一帧第一超声波信号对应的相干解调信号的傅里叶变换结果;
基于所述第三CIR数据与第四CIR数据,确定相位变化信息,所述第四CIR数据是上一次确定的用于表示有效信道的动态信息的数据,所述相位变化信息用于指示所述第三CIR数据在复平面坐标系中相对于所述第四CIR数据的旋转方向;
基于所述相位变化信息、以及所述第三CIR数据对应的幅值,确定所述目标第一超声波信号的有效信道当前时刻的信号特征。
如此,基于有效信道的前后连续两帧CIR数据进行相位分析,并根据分析结果和第三CIR数据对应的幅值,确定有效信道当前时刻的信号特征,以便于可以根据信号特征确定电子设备的运动趋势。
作为本申请的一个示例,有效信道的数量为多个;
所述根据所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,确定所述电子设备的运动趋势是否是接近所述人脸,包括:
在多个有效信道中任意一个有效信道的信号特征之和大于第一特征阈值、所述多个有效信道的所有信号特征之和大于第二特征阈值、所述多个有效信道中每个有效信道对应的第一信号特征帧数大于第一帧数阈值、且所述多个有效信道中每个有效信道对应的第二信号特征帧数小于第二帧数阈值的情况下,确定所述电子设备的运动趋势为接近所述人脸,所述第一信号特征帧数是对应的有效信道内大于第三特征阈值的信号特征帧数,所述第二信号特征帧数是对应的有效信道内小于第四特征阈值的信号特征帧数;
在所述多个有效信道中任意一个有效信道的信号特征之和小于第五特征阈值、所述多个有效信道的所有信号特征之和小于第六特征阈值、所述多个有效信道中每个有效信道对应的第一信号特征帧数小于所述第二帧数阈值、且所述多个有效信道中每个有效信道对应的第二信号特征帧数大于所述第一帧数阈值的情况下,确定所述电子设备的运动趋势为远离所述人脸。
如此,通过多信道联合分析确定目标物体相对于电子设备的位移强度,从而确定是否发生了位移,可以提高运动趋势判断的准确性。另外在基于单个有效信道的信号特征进行判断时,还考虑了因小的抖动或摇晃引起的少数信号特征与实际运动趋势存在差异的情况,可以避免非遮挡摇晃场景、误触碰场景对屏幕状态误控的问题,提高识别精度。
作为本申请的一个示例,所述在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏之前,还包括:
在根据连续采集的多帧第二超声波信号确定所述电子设备的运动趋势是远离所述人脸的情况下,经过第二时长阈值后,根据连续采集的多帧第二加速度数据和连续采集的多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势;
在确定所述电子设备的接听手势是所述远离人脸接听手势的情况下,根据所述多帧第二角速度数据确定所述远离人脸接听手势是否有效。
如此,在根据多帧第二超声波信号确定电子设备的运动趋势是远离人脸的情况下,等待一段时间后,再根据此时接收的多帧第二加速度数据和多帧第二角速度数据确定接听手势是否是远离人脸接听手势,可以避免误判。
作为本申请的一个示例,所述根据连续采集的多帧第二加速度数据和连续采集的多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势,包括:
根据所述多帧第二加速度数据,确定目标指示信息,所述目标指示信息用于指示所述电子设备的超重和失重情况,所述目标指示信息为第一数值时用于指示所述电子设备先超重后失重,所述目标指示信息为第二数值时用于指示所述电子设备先失重后超重;
根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势。
如此,通过确定目标指示信息,以确定电子设备的超重和失重情况,在结合多帧第二加速度数据和多帧第二角速度数据确定电子设备的接听手势是否是远离人脸接听手势时,可以提高判断的准确性。
作为本申请的一个示例,所述根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势,包括:
在根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据确定所述电子设备满足如下条件中的至少一项的情况下,确定所述电子设备的接听手势是所述远离人脸接听手势;
条件五:所述多帧第二角速度数据中包括至少预设数量个第一角速度分量均小于第十四阈值,第一角度分量是所述电子设备的空间坐标系中X坐标轴上的角速度分量;
条件六:所述多帧第二角速度数据中的第二角速度分量呈增大趋势,且所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量均小于第十五阈值,以及所述多帧第二加速度数据中的第一加速度分量呈减小趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第一加速度分量均小于第十六阈值,以及所述目标指示信息为所述第二数值,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量,第一加速度分量是所述空间坐标系中X坐标轴上的加速度分量;
条件七:所述多帧第二角速度数据中的第二角速度分量呈减小趋势,且所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量均大于第十七阈值,以及所述多帧第二加速度数据中的第一加速度分量呈增大趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第一加速度分量均大于第十八阈值,以及所述目标指示信息为所述第二数值;
条件八:所述多帧第二加速度数据中的第二加速度分量呈增大趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第二加速度分量均大于第十九阈值,以及所述目标指示信息为所述第一数值,第二加速度分量是所述空间坐标系中Y坐标轴上的加速度分量;
条件九:所述多帧第二加速度数据中的第二加速度分量呈增大趋势,所述多帧第二加速度数据中的第三加速度分量呈增大趋势,以及所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量的模值均大于第二十阈值,第三加速度分量是所述空间坐标系中Z坐标轴上的加速度分量。
如此,根据目标指示信息,结合多帧第二加速度数据和多帧第二角速度数据确定电子设备的接听手势是否是远离人脸接听手势,可以提高判断的准确性。
第二方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的屏幕状态的控制方法。
第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的屏幕状态的控制方法。
第四方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的屏幕状态的控制方法。
上述第二方面、第三方面和第四方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是根据一示例性实施例示出的一种应用场景的示意图;
图2是根据另一示例性实施例示出的一种应用场景的示意图;
图3是根据另一示例性实施例示出的一种应用场景的示意图;
图4是根据一示例性实施例示出的一种电子设备的软件***的示意图;
图5是根据一示例性实施例示出的一种屏幕状态的控制方法的框架示意图;
图6是根据一示例性实施例示出的一种屏幕状态的控制方法的流程示意图;
图7是根据一示例性实施例示出的一种超声波信号的波形示意图;
图8是根据一示例性实施例示出的部分FFT后的信号数据的分布示意图;
图9是根据一示例性实施例示出的一种电子设备的空间坐标系的示意图;
图10是根据一示例性实施例示出的一种接近/远离判断的示意图;
图11是根据一示例性实施例示出的一种超重和失重对应的波形示意图;
图12是根据一示例性实施例示出的一种电子设备绕X坐标轴旋转的示意图;
图13是根据一示例性实施例示出的一种gyro数据的波形示意图;
图14是根据另一示例性实施例示出的一种应用场景的示意图;
图15是根据一示例性实施例示出的一种波形的分布规律示意图;
图16是根据另一示例性实施例示出的一种波形的分布规律示意图;
图17是根据另一示例性实施例示出的一种波形的分布规律示意图;
图18是根据另一示例性实施例示出的一种电子设备绕X坐标轴旋转的示意图;
图19是根据另一示例性实施例示出的一种应用场景的示意图;
图20是根据另一示例性实施例示出的一种波形的分布规律示意图;
图21是根据另一示例性实施例示出的一种波形的分布规律示意图;
图22是根据一示例性实施例示出的一种确定融合结果的方法的示意图;
图23是根据一示例性实施例示出的一种根据融合结果控制屏幕状态的方法的示意图;
图24是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在对本申请实施例提供的屏幕状态的控制方法进行介绍之前,先对本申请实施例涉及的术语和词汇进行说明。
Chirp信号:即线性调频脉冲信号,是一种超声波信号,其超声信号范围大于20kHz。Chirp信号需要在介质中传播,且在介质中传播时其指向性好,穿透力强,抗干扰能力强,可实现较短距离内受环境因素影响较低的高精度测距。作为示例而非限定,常用的Chirp信号的带宽包括3.4kHz、6.8kHz等。
相干解调:是指基于Chirp信号对回波信号进行去斜处理,回波信号是Chirp信号经目标物体(如人脸)反射后的信号,所以回波信号也是一种超声波信号。在运算中可以将Chirp信号与Chirp信号的回波信号进行共轭相乘,从而得到回波信号对应的相干解调信号。
单位频率分量:对超声波信号(如相干解调信号)进行快速傅里叶变换(fastFourier transform,FFT)后,傅里叶变换结果包括多个信道的信号数据,单个信道中的信号数据即为单位频率分量。其中,信道数量可以根据快速傅里叶变换需求进行自定义设置。
单位频率分量代表的有效距离:本申请实施例是指对相关解调信号进行FFT后,FFT观测窗口中单个信道的信号数据能够代表的有效距离。该有效距离与选用的Chirp信号的带宽和信号传播速度有关。经快速傅里叶变换后,FFT观测窗口中单位频率分量可以代表的有效距离其中,v为Chirp信号的信号传播速度,为340m/s,B为Chirp信号的带宽。
Chirp信号距离判定原理:在基于Chirp信号进行距离判定时,可以通过对其回波信号的相干解调信号进行分析进行判定。具体地,对相干解调信号进行快速傅里叶变换后的信号数据为复数,当信号频率发生变化时,复数将在复平面上旋转。当信号频率增加,即距离增加时,复数在复平面内做逆时针旋转;当信号频率降低,即距离接近时,复数在复平面上顺时针旋转。基于此,可以根据连续两帧回波信号,经相干解调、快速傅里叶变换后进行复数的叉乘判断目标物体是接近还是远离。具体地,复数表示为at+btj,叉乘为(at,bt)×(at+1,bt+1)=atbt+1-at+1bt=|at,bt||at+1,bt+1|sinθ,其中θ为从回波信号x(t)到回波信号x(t+1)的相位差(或称相角)。显然,当θ为正时,sinθ为正,代表回波信号x(t)到回波信号x(t+1)相位角增加,回波信号的信号频率增加,从而可以说明距离增加;反之,当θ为负时,sinθ为负,代表回波信号x(t)到回波信号x(t+1)相位角减小,回波信号的信号频率降低,从而可以说明距离减小。
汉明窗:可以用于从连续超声波信号中截取部分超声波信号,所截取的部分超声波信号用于后续处理,譬如可以用于截取一个周期的Chirp信号作为电子设备发射的一帧Chirp信号。
在日常生活中,用户在使用诸如手机之类的电子设备时,在一些应用场景中,譬如接打电话等场景,通常希望电子设备能够自动感应目标物体的接近和远离,从而自动控制屏幕灭屏或亮屏。在一些示例中,电子设备通过发射超声波信号来感应目标物体,譬如在用户使用手机接打电话过程中,手机连续发射超声波信号,当用户将手机接近人脸时,手机通过超声波信号可以感知到手机与人脸之间的距离小于某阈值,该种情况下,手机控制屏幕灭屏,当用户将手机远离人脸时,电子设备通过超声波信号可以感知到电子设备与人脸之间的距离大于该阈值,该种情况下,手机控制屏幕亮屏。然而,由于超声波信号的声场是球形声场,也即任何方向的接近和远离均能够被识别出,如此导致背部接近、侧边接近目标物体时会出现误灭屏等现象,也即通过超声波信号无法精确识别到用户的交互意图。为此,本申请实施例提供了一种屏幕状态的控制方法,能够在通话场景中精准识别用户的交互意图,从而准确地控制屏幕灭屏或亮屏。
为了便于理解,接下来以电子设备是手机为例,对本申请实施例涉及的几个示例性的应用场景进行介绍。
请参考图1,图1是根据一示例性实施例示出的一种应用场景的示意图。在该应用场景中,用户在上身处于直立状态(如站立或者坐立)的情况下使用手机接打电话,如图1中的(a)图所示,在接打电话的过程中,在用户没有将手机接近人脸之前,手机的屏幕处于亮屏状态。如图1中的(b)图所示,当用户手持手机向人脸靠近时,如果手机与人脸之间的距离小于某判定距离阈值(如5cm),且用户保持将手机接近人脸接听电话的手势,如将电话放置耳边接听,则手机自动控制屏幕灭屏。请参考图1中的(c)图,在用户手持手机从耳边移开时,在远离过程中,当手机检测到自身与人脸之间的距离大于判定距离阈值时,经过一定时长(如2秒)后,在确定用户手持手机远离耳边且远离动作有效的情况下,手机自动控制屏幕亮屏。其中,判定距离阈值可以根据需求进行设置,本申请实施例对此不做限定。
在另一个示例中,请参考图2,在用户将手机放置耳边接打电话的情况下,当用户边跑步边接听电话时,虽然在跑步过程中手机可能会偶尔远离耳边,但由于手机能够检测到手机远离耳边的动作是无效的,因此手机仍保持屏幕处于灭屏状态。如此,准确地识别了异常抖动的情况,避免了误亮屏的现象。
需要说明的是,上述应用场景可以是用户左手手持手机接近或远离耳边接打电话,也可以是用户右手手持手机接近或远离人脸接打电话,无论是哪种情况下,本申请实施例提供的方法均能够使得手机准确识别用户的交互意图。
请参考图3,图3是根据另一示例性实施例示出的一种应用场景的示意图。在该应用场景中,用户处于平躺姿态使用手机接打电话,如图3中的(a)图所示,在用户没有将手机接近耳边之前,手机的屏幕处于亮屏状态。如图3中的(b)图所示,当用户手持手机接近人脸时,如果手机与人脸之间的距离小于或等于判定距离阈值,且用户保持将手机接近人脸接听电话的手势,如用户将电话放置耳边接听,则手机自动控制屏幕灭屏。同样,在用户手持手机从耳边移开时,在远离过程中,当手机检测到自身与人脸之间的距离大于判定距离阈值时,经过一定时长(如2秒)后,在确定用户手持手机远离耳边且远离动作有效的情况下,手机自动控制屏幕亮屏。也即在用户手持手机在平躺状态下接打电话时,当手机接近或远离人脸时,手机也能够自动控制屏幕灭屏或亮屏。
需要说明的是,上述几种应用场景仅是示例性的,在另一个示例中,用户还可能处于其他姿态下接打电话,譬如还可能在侧躺状态下手持手机接打电话,该种情况下,手机在接近或远离人脸时也能够控制屏幕亮屏或灭屏。
另外需要说明的是,上述是以在手机接打电话过程中自动控制屏幕亮屏或灭屏为例进行说明,在另一个示例中,当用户通过手机中的即时通讯应用程序进行语音通话时,手机也可以进行自动检测,以自动控制屏幕亮屏或灭屏。
上述是以电子设备是手机为例进行说明。在另一个示例中,电子设备还可能是其他具有通话功能且具有屏幕控制需求的设备。该电子设备的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)***为例,对电子设备的软件***进行示例性说明。
图4是本申请实施例提供的一种电子设备的软件***的框图。参见图4,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***层,以及内核层。
另外,图4还示出了硬件层与软件***之间的关系。作为本申请的一个示例,硬件层包括但不限于超声波传感器、加速度传感器和陀螺仪传感器。在一个示例中,超声波传感器包括超声波发射器和超声波接收器,超声波发射器用于发射Chirp信号,譬如超声波发射器可以是但不限于发射天线、听筒。超声波接收器用于接收Chirp信号的回波信号,譬如超声波接收器可以是但不限于麦克风。陀螺仪传感器可以用于确定电子设备的空间坐标系中围绕三个坐标轴(即,x,y和z轴)的角速度分量,在一些实施例中,陀螺仪传感器可以用于确定电子设备的运动姿态。加速度传感器可用于检测电子设备的空间坐标系中各个方向上的加速度分量的大小,当电子设备静止时可检测出重力的大小及方向,在一些示例中,加速度传感器可以用于识别电子设备的姿态,应用于横竖屏切换,计步器等应用。示例性地,加速度传感器可以是加速度计(Accelerometer,ACC)。
应用程序层可以包括一系列应用程序包。如图4所示,应用程序包可以包括即时通讯,通话,相机,图库,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。即时通讯应用程序包括能够进行语音通话、视频通话的应用程序,譬如包括微信TM等。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。作为本申请的一个示例,如图4所示,应用程序框架层可以包括测距场景触发模块、第一识别模块、第二识别模块、第三识别模块、超声手势融合模块和屏幕状态控制模块。其中,测距场景触发模块用于监测测距场景是否被触发,以及在测距场景被触发的情况下,触发第一识别模块、第二识别模块和第三识别模块。第一识别模块用于根据超声波信号判断电子设备相对于人脸的运动趋势,第二识别模块用于根据加速度传感器和陀螺仪传感器分别采集的数据,判断电子设备的接听手势是接近人脸接听手势还是远离人脸接听手势,其中接近人脸接听手势是指用户手持电子设备几乎贴近人脸接听通话,也即电子设备与人脸之间的距离非常接近了,远离人脸接听手势是指用户手持电子设备离开人脸一段距离接听通话,也即电子设备与人脸之间的距离不再非常接近了。第三识别模块用于检测接近人脸接听手势或远离人脸接听手势是否有效。超声手势融合模块用于对第一识别模块的识别结果、第二识别模块的识别结果和第三识别模块的判断结果进行融合,以确定电子设备在通话过程中的接近、远离或保持状态。屏幕状态控制模块用于根据超声手势融合模块的融合结果控制电子设备的屏幕状态,譬如控制屏幕亮屏或灭屏。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等。示例性地,传感器驱动包括但不限于超声波传感器的驱动、加速度传感器的驱动和陀螺仪传感器的驱动。
在图4所示电子设备的基础上,接下来对本申请实施例提供的屏幕状态的控制方法进行介绍。请参考图5,图5是根据一示例性实施例示出的一种屏幕状态控制的方法实现的架构示意图,作为示例而非限定,当通话应用程序进行通话时通知测距场景触发模块,测距场景触摸模块分别触发第一识别模块、第二识别模块和第三识别模块进行自动检测。
在一个示例中,第一识别模块通过手机中的听筒(也即超声波发射器)连续发射Chirp信号,并通过手机中的麦克风(也即超声波接收器)接收Chirp信号的回波信号,然后第一识别模块根据Chirp信号和回波信号确定电子设备的运动趋势,也即进行接近或远离人脸识别,并向超声手势融合模块上报第一识别结果。
第二识别模块根据加速度传感器采集的加速度数据和陀螺仪传感器采集的角速度数据,确定电子设备的接听手势,也即进行接近人脸接听手势或远离人脸接听手势识别,并向超声手势融合模块上报第二识别结果。
第三识别模块根据陀螺仪传感器采集的角速度数据进行手势有效性检测,也是检测接近人脸接听手势或远离人脸接听手势是否有效,并向超声手势融合模块上报第三识别结果。
超声手势融合模块对第一识别模块上报的第一识别结果、第二识别模块上报的第二识别结果以及第三识别模块上报的第三识别结果进行融合。示例性地,请参见图5,在第一识别模块上报的第一识别结果是电子设备接近人脸、第二识别模块上报的第二识别结果是接近人脸接听手势的情况下,超声手势融合模块结合第三识别模块上报的第三识别结果,判断是否满足灭屏控制条件,并将最终的融合结果上报给屏幕状态控制模块;在第一识别模块上报的第一识别结果是电子设备远离人脸、第二识别模块上报的第二识别结果是远离人脸接听手势的情况下,超声手势融合模块结合第三识别模块上报的第三识别结果,判断是否满足亮屏控制条件,并将最终的融合结果上报给屏幕状态控制模块。
屏幕状态控制模块根据超声手势融合模块上报的融合结果,结合状态时长维持机制决策是否控制显示亮屏或灭屏。其中状态时长维持机制设置了维持屏幕状态的最短持续时长,该最短持续时长可以根据实际需求进行设置,譬如可以设置为5秒等。
为了便于理解,在上述实施例的基础上,接下来结合图6对本申请实施例提供的屏幕状态的控制方法进行详细介绍。该方法可以包括如下部分或者全部内容:
步骤601、通话应用程序发起通话呼叫。
在一种可能的应用场景,如图1中的(a)图所示,用户通过手机中的通话应用程序接打电话,此时通话应用程序发起通话呼叫,该种情况下,测距场景被触发,也即在通话过程中需要通过自动感应来控制电子设备的屏幕状态。
需要说明的是,本申请实施例仅是以在电子设备通过通话应用程序发起通话业务为例进行说明。在另一个示例中,测距场景被触发还可以包括其他应用场景,譬如还可能是电子设备通过即时通讯应用程序进行语音通话时触发。
步骤602、通话应用程序向测距场景触发模块发送测距场景触发通知,测距场景触发通知用于指示发起通话呼叫。
为了使得在通话过程中手机能够自动进行感应检测以控制屏幕状态,通话应用程序在发起通话呼叫后,可以向测距场景触发模块发送测距场景触发通知,以使得测距场景触发模块获知当前测距场景被触发。
步骤603、测距场景触发模块触发第一识别模块、第二识别模块和第三识别模块。
也即测距场景触发模块在接收到测距场景触发通知后,分别触发第一识别模块、第二识别模块和第三识别模块开始运行,使得第一识别模块进行接近或远离识别,使得第二识别模块进行接近人脸接听手势或远离人脸接听手势识别,以及使得第三识别模块检测接近人脸接听手势或远离人脸接听手势是否有效。
步骤604、第一识别模块通过听筒连续重复发射Chirp信号。
作为本申请的一个示例,第一识别模块在被测距场景触发模块触发后,触发听筒连续重复发射Chirp信号。示例性地,每帧Chirp信号的信号频率范围为[m,n],即起始频率为mHz,终止频率为nHz,其中m大于20k,n-m即为Chirp信号的带宽。由于信号频率越高,在空气中传播的衰减越严重,所以信号频率通常可以不选用的过大。
在一个示例中,在发射Chirp信号之前,还可以连续发射一帧或者多帧标志位信号,以便于后续在计算过程中可以根据连续发射的一帧或者多帧标志位信号进行信号对齐,也即确定信号对齐时间点。其中,标志位信号可以是对Chirp信号进行时序取反后的信号。譬如可以连续发射3帧标志位信号,之后,间隔第三时长阈值后再连续重复发射Chirp信号。第三时长阈值可以根据需求进行设置,如第三时长阈值可以为T,T为大于1的数值。
值得一提的是,通过将Chirp信号进行时序取反,使得得到的标志位信号与Chirp信号不同,如此在信号接收初期即可进行信号对齐,避免误对齐。
作为一种示例,在实施中,在发射每帧标志位信号或Chirp信号之前,可以通过汉明窗分别对每帧标志位信号或Chirp信号进行平滑处理,以截取信号长度为N的标志位信号或Chirp信号,也即每帧标志位信号和每帧Chirp信号的长度为N。如此,通过汉明窗对标志位信号或Chirp信号进行平滑处理可以避免信号拼接过程中产生异常噪声。其中N可以根据需求设置,譬如N可以为512。示例性地,如图7所示,假设未处理的Chirp信号如图7中的(a)图所示,则经过汉明窗处理后的Chirp信号如图7中的(b)图所示,经过汉明窗处理后的标志位信号如图7中的(c)图所示。
步骤605:第一识别模块通过麦克风接收Chirp信号的回波信号。
作为本申请的一个示例,第一识别模块在被测距场景触发模块触发后,触发麦克风开始进行信号接收,第一识别模块对接收的回波信号进行分帧处理,以便于后续可以根据接收的回波信号,结合发射的Chirp信号确定电子设备的运动趋势。作为示例而非限定,第一识别模块通过麦克风接收回波信号后,可以通过滤波器对所接收的回波信号进行滤波处理,以去掉低频信息,保留高频信息。之后,对经过滤波处理后的回波信号进行信号分帧处理,也即每当采集满长度为N的回波信号时确定满帧,也即采集到一帧回波信号,之后,缓存这一帧回波信号;否则,若未满帧,则继续进行信号接收和分帧处理。
在一个示例中,若在发射Chirp信号之前第一识别模块还通过听筒发射了标志位信号,则在信号接收过程中,首先接收的是标志位信号经目标物体反射的标志位回波信号。如此在接收回波信号之前,第一识别模块可以基于所接收的标志位回波信号进行信号对齐,然后从信号对齐的时间点起,经过第三时长阈值后,开始接收Chirp信号的回波信号。
作为示例而非限定,第一识别模块在进行信号对齐过程中,每接收一帧标志位回波信号时,基于当前所接收的标志位回波信号与其对应的标志位信号,通过逐步位移的方式确定两者之间的相似度,之后,根据所确定的相似度确定信号对齐的时间点,譬如将最大相似度对应的时间点确定为信号对齐的时间点。或者,也可以采用其他方式确定信号对齐的时间点,本申请实施例对此不作限定。
步骤606:第一识别模块根据多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,判断电子设备的运动趋势是否是接近人脸。
为了便于理解和描述,将超声波传感器采集的Chirp信号和回波信号称为超声波信号,也即超声波传感器采集的每帧超声波信号包括Chirp信号和回波信号,为了便于区分,本申请实施例将在灭屏前超声波传感器采集的超声波信号称为第一超声波信号。
在接收回波信号的过程中,第一识别模块可以根据超声波传感器采集的第一超声波信号持续进行运动趋势识别。作为一种示例,在每次识别时,第一识别模块可以通过滑动窗口,从连续接收的回波信号中获取多帧回波信号,滑动窗口的窗口长度可以为预设长度,滑动步长为预设滑动步长,预设长度和预设滑动步长可以根据需求进行设置,譬如预设长度为20帧Chirp信号的长度,预设滑动步长为1帧Chirp信号的长度,如此第一识别模块一次可以获取20帧回波信号。然后,第一识别模块根据所获取的多帧回波信号和多帧回波信号中每帧回波信号对应的Chirp信号,确定检测感应区内多帧回波信号中每帧回波信号的有效信道的信号特征,之后根据多帧回波信号中每帧回波信号的有效信道的信号特征确定电子设备的运动趋势是否是接近人脸,从而完成一次运动趋势识别。其中,有效信道基于Chirp信号的带宽和信号传播速度、以及判定距离阈值确定。
判定距离阈值用于电子设备识别接近状态或远离状态,也即用于指示电子设备接近或远离的硬性要求。判定距离阈值可以确定接近人脸的有效判定距离和远离人脸的有效判定距离,进而约束检测感应区的范围大小。作为示例而非限定,若判定距离阈值为5cm,则检测感应区的范围可以为(0cm,10cm),其中,接近人脸的有效判定距离可以为(0cm,5cm),以及远离人脸的有效判定距离为(5cm,10cm),也即若目标物体在检测感应区的(0cm,5cm)范围内可确定运动趋势为接近人脸,反之,若目标物体在检测感应区的(5cm,10cm)范围内可确定运动趋势为远离人脸。
有效信道的数量可能是一个或者多个,有效信道的数量与选用的Chirp信号的单位频率分量代表的有效距离和判定距离阈值相关。根据前文记载可知,单位频率分量所代表的有效距离与Chirp信号的带宽和传播速度相关,也即当使用的Chirp信号带宽不同时,单位频率分量所代表的有效距离不同,譬如当选用带宽为3.4K的Chirp信号时,单位频率分量所代表的有效距离为5cm,再如当选用带宽为6.8K的Chirp信号时,单位频率分量所代表的有效距离为2.5cm。因此,在判定距离阈值不变的情况下,在使用的Chirp信号的带宽不同时,由于单位频率分量所代表的有效距离不同,所以需要分析的信道(也即有效信道)不同。参见图8,图8是根据一示例性实施例示出的一种快速傅里叶变换后的信号数据分布示意图,其中每行对应单个信道在不同帧的信号数据,每列对应单帧信号数据,由于快速傅里叶变换后每个信道所代表距离分别为Nan(第一信道),0~d(第二信道),d~2d(第三信道),2d~3d(第四信道),...等,所以在一个示例中,在判定距离阈值为5cm的情况下,若单位频率分量所代表的有效距离为5cm,则选取的需要分析的有效信道可以包括(0,5cm)和(5,10cm),由于第一信道的虚部持续为0,不适宜进行相位分析,因此此时有效信道包括第二信道和第三信道;若单位频率分量所代表的有效距离为2.5cm,则选取的需要分析的有效信道可以包括(0,2.5cm)、(2.5,5cm)、(5,7.5cm)以及(7.5,10cm),也即此时有效信道包括第二信道、第三信道、第四信道以及第五信道,或者在单位频率分量所代表的有效距离为2.5cm的情况下,选取的需要分析的有效信道也可以包括(0,2.5cm)、(2.5,5cm)和(5,7.5cm),也即此时有效信道包括第二信道、第三信道和第四信道,具体可以根据实际需求进行选取,只需选取的距离包括5cm以内和5cm以外的范围即可。
信号特征与回波信号的幅值和相位变化信息相关。在一个示例中,根据所获取的多帧回波信号和多帧回波信号中每帧回波信号对应的Chirp信号,确定检测感应区内多帧回波信号中每帧回波信号的有效信道的信号特征的具体实现可以包括:根据目标第一超声波信号中的Chirp信号对目标第一超声波信号中的回波信号进行相干解调,得到目标第一超声波信号对应的相干解调信号,目标第一超声波信号是多帧第一超声波信号中的任意一帧第一超声波信号。确定目标第一超声波信号对应的相干解调信号的第一傅里叶变换结果。获取第一傅里叶变换结果中有效信道的信道冲激响应CIR数据,得到第一CIR数据,基于第一CIR数据与第二CIR数据,确定第三CIR数据,第三CIR数据表示有效信道当前时刻的动态信息,第二CIR数据是第二傅里叶变换结果中有效信道的CIR数据,第二傅里叶变换结果是目标第一超声波信号的上一帧第一超声波信号对应的相干解调信号的傅里叶变换结果。基于第三CIR数据与第四CIR数据,确定相位变化信息,第四CIR数据是上一次确定的用于表示有效信道的动态信息的数据,相位变化信息用于指示第三CIR数据在复平面坐标系中相对于第四CIR数据的旋转方向。基于相位变化信息、以及第三CIR数据对应的幅值,确定目标第一超声波信号的有效信道当前时刻的信号特征。
也即在基于目标第一超声波信号进行信号特征分析时,第一识别模块确定目标第一超声波信号中的Chirp信号和回波信号这两者的相干解调信号,对该相干解调信号进行快速傅里叶变换,得到第一快速傅里叶变换结果,然后基于第一快速傅里叶变换结果进行分析。在回波信号的长度为N的情况下,第一傅里叶变换结果为N个采样点的复数,每个采样点对应一个信道,第一快速傅里叶变换后各个信道CIR数据为Zi={z1,z2,...,zN},其中Zi为第i个信道的CIR数据,每个元素均为复数,分别代表不同帧。第一识别模块获取有效信道的第一CIR数据,以及获取第二傅里叶变换结果中有效信道的第二CIR数据,将第一CIR数据与第二CIR数据相减,以对有效信道信号进行静态消除,也即进行一阶差分运算,得到用于表示有效信道当前时刻的动态信息的第三CIR数据,譬如第三CIR数据为Si,Si=zi-zi-1=at+btj,其中zi为第一CIR数据,zi-1为第二CIR数据。不难理解,对于上一帧第一超声波信号,同样可以按照上述方式确定上一帧第一超声波信号对应的第四CIR数据,如此,可以利用有效信道前后帧动态信息确定有效信道当前时刻的信号特征。
具体地,第一识别模块将第三CIR数据与第四CIR数据共轭相乘后,若共轭相乘的结果为正,则相位变化信息为正,譬如相位变化信息为1,用于指示第三CIR数据相对于第四CIR数据在复平面中逆向旋转,说明相位差增加,从而说明回波信号频率增加,进而说明距离增加。若共轭相乘的结果为负,则相位变化信息为负,譬如相位变化信息为-1,用于指示第三CIR数据相对于第四CIR数据在复平面中正向旋转,说明相位差减小,从而说明回波信号频率减小,进而说明距离减小。
之后,第一识别模块基于相位变化信息与第三CIR数据对应的幅值,确定有效信道当前时刻的信号特征,在一个示例中,其具体实现可以包括:确定第三CIR数据对应的幅值,将相位变化信息与幅值相乘,得到有效信道当前时刻的信号特征,譬如有效信道当前时刻的信号特征为f,其中sign为相位变化信息,/>为第三CIR数据对应的幅值。也即信号特征相对于相位变化信息进行取反,当相位差为正时,信号特征为负数,当相位差为负时,信号特征为正数。
按照上述方式,可以确定每一帧第一超声波信号的有效信道的信号特征,从而得到多帧有效效信道的信号特征。在有效信道的数量为多个的情况下,可以按照上述流程分别确定每帧第一超声波信号的多个有效信道中每个有效信道的信号特征。
值得一提的是,本申请实施例在确定信号特征时,根据单位频率分量代表的有效距离和判定距离阈值,确定需要分析的有效信道的信号特征,避免需要对其他无相干的信号数据的分析。且该信号特征与回波信号的相干解调信号的幅值和相位变化信息相关,可以在检测感应区内进行有效分析,从而可以提高后续分析的可靠性。
在一个示例中,在有效信道的数量为多个的情况下,根据多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,确定电子设备的运动趋势是否是接近人脸的具体实现可以包括:在多个有效信道中任意一个有效信道的信号特征之和大于第一特征阈值、多个有效信道的所有信号特征之和大于第二特征阈值、多个有效信道中每个有效信道对应的第一信号特征帧数大于第一帧数阈值、且多个有效信道中每个有效信道对应的第二信号特征帧数小于第二帧数阈值的情况下,确定电子设备的运动趋势为接近人脸,第一信号特征帧数是对应的有效信道内大于第三特征阈值的信号特征帧数,第二信号特征帧数是对应的有效信道内小于第四特征阈值的信号特征帧数。在多个有效信道中任意一个有效信道的信号特征之和小于第五特征阈值、多个有效信道的所有信号特征之和小于第六特征阈值、多个有效信道中每个有效信道对应的第一信号特征帧数小于第二帧数阈值、且多个有效信道中每个有效信道对应的第二信号特征帧数大于第一帧数阈值的情况下,确定电子设备的运动趋势为远离人脸。
第一特征阈值、第二特征阈值、第三特征阈值、第四特征阈值、第五特征阈值和第六特征阈值可以根据需求进行设置,在一个示例中,第五特征阈值为-1与第一特征阈值的乘积,第六特征阈值与-1与第二特征阈值的乘积。另外,第一帧数阈值和第二帧数阈值也可以根据需求进行设置。
任意一个有效信道的信号特征之和包括多帧第一超声波信号中每帧第一超声波信号的该任意一个有效信道的所有信号特征的总和,也即将多帧第一超声波信号中每帧第一超声波信号的该任意一个有效信道的信号特征相加,得到该任意一个有效信道的信号特征之和。将每个有效信道的信号特征之和相加,得到多个有效信道的所有信号特征之和。
在任意一个有效信道的信号特征之和大于第一特征阈值,且多个有效信道的所有信号特征之和大于第二特征阈值的情况下,说明电子设备相对于目标物体的位移强度较大,也即可以确定电子设备相对于目标物体发生了连续位移,该种情况下,可以根据第一信号特征帧数和第二信号特征帧数确定产生的位移是接近还是远离,以确定运动趋势。由于信号特征与相位变化信息进行了取反,所以当信号特征为正数时表示是接近,因此,若第一信号特征帧数大于第一帧数阈值,即每个有效信道的多帧信号特征中大于第三特征阈值的信号特征的帧数占多数,从而说明越多的信号特征指示目标物体相对于电子设备在接近,此外,由于在接近过程中可能会有小的抖动或摇晃,或者误触碰,此时会有少数帧数的信号特征小于第四特征阈值,因此,在第一信号特征帧数大于第一帧数阈值,且第二信号特征帧数小于第二帧数阈值的情况下,可以确定电子设备的运动趋势为接近人脸。
另外由于信号特征有正有负,所以在任意一个有效信道的信号特征之和小于第五特征阈值,且多个有效信道所有信号特征之和小于第六特征阈值的情况下,也可以说明目标物体相对于电子设备的位移强度较大,也即可以确定目标物体相对于电子设备发生了连续位移,该种情况下,可以继续根据第一信号特征帧数和第二信号特征帧数确定产生的位移是接近还是远离,以确定运动趋势。由于信号特征为负数时表示是远离,所以,若第二信号特征帧数大于第一帧数阈值,说明越多的信号特征是指目标物体像是相对于电子设备在远离,此外,由于在远离过程中可能会有小的抖动或摇晃,或者误触碰,此时会有少数帧数的信号特征大于第三特征阈值,因此,在第一信号特征帧数小于第二帧数阈值,且第二信号特征帧数大于第一帧数阈值的情况下,可以确定电子设备的运动趋势为远离人脸。
在一个示例中,在基于多个有效信道的信号特征进行分析之前还可以对每个有效信道的信号特征进行均值滤波处理,然后基于均值滤波处理后的每个有效信道的信号特征进行分析。
示例性地,以多个有效信道包括第一信道和第二信道,多帧第一超声波信号的数量是20,第一特征阈值为Q1,第二特征阈值为Q2,第三特征阈值为Q3,第四特征阈值为Q4,第一帧数阈值为P1,第二帧数阈值为P2,第五特征阈值为-1*Q1,第六特征阈值为-1*Q2为例。在分析过程中,分别获取第一信道中经均值滤波处理后的20帧信号特征以及第二信道中经均值滤波处理后的20帧信号特征。然后基于所获取的40帧信号特征进行分析,具体地,在一种情况下,若满足如下条件1和条件2,则确定电子设备的运动趋势为接近人脸:其中条件1为,第一信道的20帧信号特征之和或者第二信道的20帧信号特征之和大于Q1,且第一信道和第二信道的40帧信号特征之和大于Q2;条件2为,第一信道的20帧信号特征中大于Q3的信号特征的帧数大于P1,第二信道的20帧信号特征中大于Q3的信号特征的帧数大于P1,第一信道的20帧信号特征中小于Q4的信号特征的帧数小于P2,第二信道的20帧信号特征中小于Q4的信号特征的帧数小于P2。在另一种情况下,若满足如下条件3和条件4,则确定电子设备的运动趋势为远离人脸:其中条件3为,第一信道的20帧信号特征之和或者第二信道的20帧信号特征之和小于-1*Q1,且第一信道和第二信道的40帧信号特征之和小于-1*Q2;条件4为,第一信道的20帧信号特征中小于Q4的信号特征的帧数大于P1,第二信道的20帧信号特征中小于Q4的信号特征的帧数大于P1,第一信道的20帧信号特征中大于Q3的信号特征的帧数小于P2,第二信道的20帧信号特征中大于Q3的信号特征的帧数小于P2。
值得一提的是,在基于多个有效信道的信号特征进行运动趋势判定过程中,基于有效信道的信道特征之和确定位移强度,在确定位移强度较大的情况下,根据各个有效信道连续的信号特征确定位移是接近还是远离,相比于直接基于绝对距离的判断方式提高了接近或远离判断的准确性。另外,在基于单个有效信道的信号特征进行判断时,还考虑了因小的抖动或摇晃引起的少数信号特征与实际运动趋势存在差异的情况,可以避免非遮挡摇晃场景、误触碰场景对屏幕状态误控的问题,提高识别精度,从而避免非遮挡摇晃场景、误触碰场景出现异常灭屏等问题。
需要说明的是,上述确定电子设备的运动趋势的具体实现是可选的。在另一示例中,还可以采用其他实现方式确定电子设备的运动趋势,譬如在任意一个有效信道的信号特征之和大于第一特征阈值,且多个有效信道的所有信号特征之和大于第二特征阈值的情况下,若第一信号特征帧数大于第一帧数阈值,则确定电子设备的运动趋势为接近人脸。或者,在任意一个有效信道的信号特征之和小于第五特征阈值,且多个有效信道的所有信号特征之和小于第六特征阈值的情况下,若第二信号特征帧数大于第一帧数阈值,则确定电子设备的运动趋势为远离人脸。
另外还需要说明的是,上述是以有效信道的数量是多个为例进行说明。在另一个示例中,当有效信道的数量为一个时,在进行运动趋势判断过程中,若有效信道的信号特征之和大于第一特征阈值,且有效信道内大于第三特征阈值的信号特征帧数大于第一帧数阈值,且有效信道内小于第四特征阈值的信号特征帧数小于第二帧数阈值,则确定电子设备的运动趋势为接近人脸。否则,若有效信道的信号特征之和小于第五特征阈值,且有效信道内大于第三特征阈值的信号特征帧数小于第二帧数阈值,且有效信道内大于第四特征阈值的信号特征帧数大于第一帧数阈值,则确定电子设备的运动趋势为远离人脸。
此外,在多个有效信道的信号特征不满足上述接近或远离人脸的判断条件的情况下,可以确定电子设备的运动趋势为保持,也即电子设备即没有接近人脸,也没有远离人脸。
需要说明的是,上述是以在识别过程中获取多帧回波信号,然后分别确定每帧回波信号对应的Chirp信号的有效信道的信号特征为例进行说明,在另一个示例中,也可以在接收回波信号的过程中,每接收一帧回波信号,就基于当前接收的一帧回波信号和对应的Chirp信号,确定当前接收的一帧回波信号对应的Chirp信号的有效信道的信号特征,然后在识别时,可以直接获取多帧回波信号中每帧回波信号对应的Chirp信号的有效信道的信号特征进行识别,本申请实施例对此不作限定。
步骤607:第一识别模块向超声手势融合模块发送第一识别结果。
在一种可能的情况下,第一识别结果指示电子设备的运动趋势是接近人脸;在另一种可能的情况下,第一识别结果指示电子设备的运动趋势是远离人脸;在又一种可能的情况下,第一识别结果指示电子设备的运动趋势是保持。
之后,若电子设备仍处于通话状态,则第一识别模块继续进行下一次的识别操作。
步骤608:第二识别模块分别通过加速度传感器和陀螺仪传感器连续进行数据采集。
也即第二识别模块被测距场景触发模块触发后,通过加速度传感器和陀螺仪传感器连续进行数据采集。在一个示例中,加速度传感器和陀螺仪传感器处于未启动状态,该种情况下,第二识别模块被触发后,触发加速度传感器开始进行数据采集,并对采集的加速度数据进行缓存,以及触发陀螺仪传感器开始进行数据采集,并对采集的角速度数据进行缓存。
在另一个示例中,加速度传感器和陀螺仪传感器处于启动状态,该种情况下,第二识别模块在被触发后,缓存加速度传感器采集的加速度数据,以及缓存陀螺仪传感器采集的角速度数据。
加速度传感器采集的每帧加速度数据包括第一加速度分量、第二加速度分量和第三加速度分量,第一加速度分量是电子设备的空间坐标系中X坐标轴上的加速度分量,可以记为accX,第二加速度分量是空间坐标系中Y坐标轴上的加速度分量,可以记为accY,第三加速度分量是空间坐标系中Z坐标轴上的加速度分量,可以记为accZ。在一个示例中,电子设备的空间坐标系如图9所示,X坐标轴是电子设备的屏幕宽度方向上的坐标轴,Y坐标轴是电子设备的屏幕长度方向上的坐标轴,Z坐标轴是垂直于电子设备的屏幕所在平面的坐标轴。
角速度传感器(如陀螺仪传感器)采集的每帧角速度数据包括第一角速度分量、第二角速度分量和第三角速度分量,第一角速度分量是空间坐标系中X坐标轴上的角速度分量,可以记为gyroX,第二角速度分量是空间坐标系中Z坐标轴上的角速度分量,可以记为gyroZ,第三角速度分量是空间坐标系中Y坐标轴上的角速度分量,可以记为gyroY。
步骤609:第二识别模块根据连续采集的多帧第一加速度传感器和连续采集的多帧第一角速度数据,确定电子设备的接听手势是否是接近人脸接听手势。
为了便于理解和描述,本申请实施例将灭屏前加速度传感器采集的加速度数据称为第一加速度数据,以及将灭屏前陀螺仪传感器采集的角速度数据称为第一角速度数据。
同理,第二识别模块在被触发后,在电子设备处于通话状态的情况下,第二识别模块持续进行接听手势识别。在每次识别时,第二识别模块可以通过一个窗口长度为预设长度、滑动步长为预设滑动步长的滑动窗口,从缓存的第一加速度数据中获取多帧第一加速度数据,譬如通过滑动窗口获取20帧第一加速度数据。同理,第二识别模块可以通过同样大小的滑动窗口,从缓存的第一角速度数据中获取多帧第一角速度数据,譬如通过滑动窗口获取20帧第一角速度数据。之后,基于所获取的多帧第一加速度数据和多帧第一角速度数据进行接听手势识别。
作为本申请的一个示例,请参见图10,根据多帧第一加速度传感器和多帧第一角速度数据确定电子设备的接听手势的具体实现可以包括:分别基于多帧第一加速度数据中每帧第一加速度数据包括的第一加速度分量、第二加速度分量和第三加速度分量进行计算,以确定每帧第一加速度数据对应的加速度模值。基于每帧第一加速度数据对应的加速度模值,确定目标指示信息,目标指示信息用于指示电子设备的超重和失重情况,目标指示信息为第一数值时用于指示电子设备先超重后失重,目标指示信息为第二数值时用于指示电子设备先失重后超重。根据目标指示信息、多帧第一加速度数据和多帧第一角速度数据,确定电子设备的接听手势是否是接近人脸接听手势。
第一数值和第二数值可以根据需求进行设置,譬如第一数值为1,第二数值为-1。
通常情况下,根据加速度传感器采集的加速度数据,可以确定电子设备是否超重或失重,然而这仅能够确定电子设备的一种即时状态,不能够分析出电子设备的移动情况。在本申请实施例中,根据多帧第一加速度数据,分析电子设备在移动过程中的超重和失重关系,以便于后续可以根据电子设备的超重和失重关系,确定电子设备的移动情况,进而结合多帧第一加速度数据、多帧第一角速度数据,确定电子设备的接听手势是否是接近人脸接听手势或者是否是远离人脸接听手势。
在一个示例中,对于多帧第一加速度数据中的任意一帧第一加速度数据,第二识别模块可以对这一帧第一加速度数据包括的第一加速度分量、第二加速度分量和第三加速度分量进行取平方后求和运算,然后对运算结果进行开根号,以确定这一帧第一加速度数据对应的加速度模值,也即确定这一帧第一加速度数据中的第一加速度分量、第二加速度分量和第三加速度分量三者的模值。譬如,第二识别模块可以基于这一帧第一加速度数据包括的第一加速度分量、第二加速度分量和第三加速度分量,通过如下公式(1)确定这一帧第一加速度数据对应的加速度模值:
其中,accNorm表示加速度模值。
按照上述方式,可以确定多帧第一加速度数据中每帧第一加速度数据对应的加速度模值,从而得到多个加速度模值。之后,如图10所示,第二识别模块可以基于该多个加速度模值,确定目标指示信息,也即确定电子设备的超重和失重关系。
在一个示例中,基于该多个加速度模值确定目标指示信息的具体实现可以包括:基于每帧第一加速度数据对应的加速度模值,按照每帧第一加速度数据的采集时间的先后顺序,进行波形绘制,得到加速度模值波形。在加速度模值波形是先峰后谷的波形的情况下,若加速度模值波形的峰值大于第一阈值,加速度模值波形的谷值小于第二阈值,且峰值与谷值之间的时间间隔大于第三阈值,则确定目标指示信息为第一数值、在加速度模值波形是先谷后峰的波形的情况下,若峰值小于第四阈值,谷值小于第五阈值,且峰值与谷值之间的时间间隔大于第六阈值,则确定目标指示信息为第二数值。
第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值均可以根据实际需求进行设置,本申请实施例对此不作限定。在一个示例中,第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值可以分别记为Thd1、Thd2、Thd3、Thd4、Thd5和Thd6。
也即在确定多帧第一加速度数据中每帧第一加速度数据对应的加速度模值后,基于得到的多个加速度模值进行波形绘制,以根据绘制的加速度模值波形,分析该多个加速度模值的变化规律,从而确定目标指示信息,也即确定电子设备的超重和失重变化关系。
请参考图11,图11是根据一示例性实施例示出的在不同超重和失重情况下加速度模值的波形分布规律示意图,其中图11中的(a)图是在电子设备先超重后失重的场景下对加速度传感器采集的加速度数据进行处理后绘制的波形图,图11中的(b)图是在电子设备先失重后超重的场景下对加速度传感器采集的加速度数据进行处理后绘制的波形图。示例性地,在用户上身处于直立状态的情况下,当用户手持电子设备从下侧将电子设备接近耳边(也即距离人脸非常近)时,通过对加速度传感器采集的加速度数据进行运算,然后对运算得到的加速度模值进行波形绘制后,得到如图11中的(a)图所示的波形图。由于根据超重失重原理可知电子设备在该种场景下会先超重后失重,所以根据图11中的(a)图所示的波形分布规律可以得出结论为:在加速度模值波形是先锋后谷,峰值大于Thd1,谷值小于Thd2,且峰值与谷值之间的时间间隔大于Thd3的情况下,可以确定电子设备是先超重后失重,从而可以确定目标指示信息为第一数值,譬如如图10所示,此时可记为flag=1。另外,在用户处于平躺或侧躺状态的情况下,当用户手持电子设备接近耳边(也即距离人脸非常近)时,通过对加速度传感器采集的加速度数据进行运算,然后对运算得到的加速度模值进行波形绘制后,得到如图11中(b)图所示的波形图。由于根据超重失重原理可知电子设备在该种场景下会先失重后超重,所以根据图11中的(b)图所示的波形分布规律可以得出结论为:在加速度模值波形是先谷后锋,峰值小于Thd4,谷值小于Thd5,且峰值与谷值之间的时间间隔大于Thd6的情况下,可以电子设备处于是先失重后超重,从而可以确定目标指示信息为第二数值,譬如如图10所示,此时可记为flag=-1。
在一种可能的情况下,若加速度模值波形不满足上述任意一个条件,也即不满足图11中的(a)图所示的分布规律,也不满足图11中的(b)图所示的分布规律,则可以确定目标指示信息为第三数值,第三数值可以根据需求进行设置,譬如如图10所示,第三数值可以为0,此时可记为flag=0,该种情况下表示电子设备既未超重也未失重。
在确定目标指示信息后,第二电子设备根据目标指示信息,结合多帧第一加速度数据和多帧第一角速度数据判断电子设备的接听手势是否是接近人脸接听手势。作为本申请的一个示例,请参加图10,具体判断过程可以包括如下操作:
A1、判断是否满足条件一,若满足条件一,则确定电子设备的接听手势是接近人脸接听手势,如果不满足条件一,执行如下A2的操作。
其中,条件一为:多帧第一角速度数据包括至少预设数量个第一角速度分量均大于第七阈值。预设数量可以根据实际需求进行设置,譬如预设数量为15。第七阈值可以根据实际需求进行设置,本申请实施例对此不作限定。在一些示例中,第七阈值可以记为Thd7。
在一种可能的情况下,在用户手持电子设备接近人脸(也即与人脸很近)的过程中,电子设备的屏幕绕着X坐标轴顺时针旋转,譬如电子设备的屏幕的旋转方向如图12所示,其中屏幕绕X坐标轴的旋转方向遵循右手法则,也即在右手除大拇指之外的四个手指握成拳的情况下,该四个手指所指向的方向即为顺时针方向,反之为逆时针方向。在电子设备的屏幕绕着X坐标轴顺时针旋转的应用场景下,通过对陀螺仪传感器采集的角速度数据进行波形绘制后得到图13中的接近部分的波形图,其中图13中的131是第一角速度分量gyroX的变化规律,图13中的132是第二角速度分量gyroY的变化规律,以及图13中的133是第三角速度分量gyroZ的变化规律。从图13中不难看出,在电子设备的屏幕绕着X坐标轴顺时针旋转且已接近人脸的情况下,陀螺仪传感器采集的角速度数据中大部分的第一角速度分量均大于某个阈值(也即第七阈值)。因此,请继续参见图10,在多帧第一角速度数据中存在至少预设数量个第一角速度分量均大于Thd7,也即满足条件一的情况下,可以确定电子设备的接听手势是接近人脸接听手势。否则,在不满足条件一的情况下,由于电子设备还可能是从其他方向接近人脸,所以第二识别模块继续判断,也即执行如下A2的操作。
A2、判断是否满足条件二或者条件三,若满足条件二或者满足条件三,则确定电子设备的接听手势是接近人脸接听手势,如果不满足条件二,也不满足条件三,则执行如下A3的操作。
条件二为:多帧第一角速度数据中的第二角速度分量呈减小趋势,且多帧第一角速度数据中包括至少预设数量个第二角速度分量均大于第八阈值,以及多帧第一加速度数据中的第一加速度分量呈增大趋势,且多帧第一加速度数据中包括至少预设数量个第一加速度分量均大于第九阈值,以及目标指示信息为第一数值。
第八阈值和第九阈值可以根据需求进行设置,本申请实施例对此不作限定。在一些示例中,第八阈值可以记为Thd8,第九阈值可以记为Thd9。
条件三为:多帧第一角速度数据中的第二角速度分量呈增大趋势,且多帧第一角速度数据中包括至少预设数量个第二角速度分量均小于第十阈值,以及多帧第一加速度数据中的第一加速度分量呈减小趋势,且多帧第一加速度数据中包括至少预设数量个第一加速度分量均小于第十一阈值,以及目标指示信息为第一数值。
第十阈值和第十一阈值可以根据需求进行设置,本申请实施例对此不作限定。在一些示例中,第十阈值可以记为Thd10,第九阈值可以记为Thd11。
在一种可能的情况下,用户左手手持电子设备从右侧或者左侧靠近左边人脸,譬如左手手持电子设备从左耳的右侧靠近左耳,譬如移动轨迹如图14中的(a)图所示,或者左手手持电子设备从左耳的左侧靠近左耳,该种情况下电子设备的屏幕绕Z坐标轴旋转。在该种场景下,在电子设备接近人脸的过程中,通过对加速度传感器采集的加速度数据进行波形绘制后可得到如图15中的(a)图中的前半部分(也即接近部分)波形图,通过对陀螺仪传感器采集的角速度数据进行波形绘制后可得到如图15中的(b)图中的前半部分波形图,以及通过对加速度传感器采集的加速度数据进行求模值处理并进行波形绘制后得到如图15中的(c)图中的前半部分波形图。因此,根据图15所示的波形图的分布规律可以得出:如图10所示,在多帧第一角速度数据中的gyroZ呈减小趋势且大多数的gyroZ均大于Thd8、多帧第一加速度数据中的accX呈增大趋势且大多数的accX均大于Thd9、且flag=1的情况下,即当满足上述条件二时,可以确定用户是左手手持电子设备接近人脸,从而可以确定电子设备的接听手势是接近人脸接听手势。
在另一种可能的情况下,用户右手手持电子设备从左侧或者右侧靠近右边人脸,也即右手手持电子设备从右耳的左侧靠近右耳,譬如移动轨迹如图14中的(b)图所示,或者右手手持电子设备从右耳的右侧靠近右耳,该种情况下电子设备的屏幕也是绕Z坐标轴旋转。在该种场景下,在电子设备接近人脸的过程中,通过对加速度传感器采集的加速度数据进行波形绘制后可得到如图16中的(a)图中的前半部分(也即接近部分)波形图,通过陀螺仪传感器采集的角速度数据进行波形绘制后可得到如图16中的(b)图中的前半部分波形图,以及通过对加速度传感器采集的加速度数据进行求模值处理并进行波形绘制后得到如图16中的(c)图中的前半部分波形图。因此,根据图16所示的波形图的分布规律可以得出:如图10所示,在多帧第一角速度数据中的gyroZ呈增大趋势且大多数的gyroZ均小于Thd10、多帧第一加速度数据中的accX呈减小趋势且大多数的accX均小于Thd11、且flag=1的情况下,也即当满足上述条件二时,可以确定用户是右手手持电子设备接近人脸,从而可以确定电子设备的接听手势是接近人脸接听手势。
否则,如果不满足条件二,也不满足条件三,由于电子设备还可能是从其他方向接近人脸,所以第二识别模块进一步判断,也即执行如下A3的操作。
A3:判断是否满足条件四,若满足条件四,则确定电子设备的接听手势是接近人脸接听手势,如果不满足条件四,则确定电子设备的接听手势不是接近人脸接听手势。
条件四为:多帧第一加速度数据中的第二加速度分量呈减小趋势,且多帧第一加速度数据中包括至少预设数量个第二加速度分量均小于第十二阈值,以及目标指示信息为第二数值。
第十二阈值可以根据实际需求进行设置。在一些示例中,第十二阈值可以记为Thd12。
在一种可能的情况下,用户还可能是在平躺或侧躺的姿态下接打电话,用户在平躺或侧躺状态下,当将电子设备从拿起至放置耳边接听电话时,在电子设备接近人脸的情况下,通过对加速度传感器采集的加速度数据进行波形绘制后可得到如图17中的(a)图中前半部分(也即接近部分)波形图,以及通过对加速度传感器采集的加速度数据进行求模值处理并进行波形绘制后可得到如图17中的(b)图中前半部分波形图。因此,根据图17所示的波形图的分布规律不难看出,在用户平躺或侧躺的状态下,在电子设备接近耳边时,accY呈减小趋势且大部分accY均小于Thd12,并且,flag=-1。因此,当满足条件四时,说明用户是在平躺或侧躺的姿态下手持电子设备接近耳边,从而可以确定电子设备的接听手势是接近人脸接听手势。
值得一提的是,在手势识别过程中按照上述顺序进行识别,优先根据用户习惯性的接听手势对应的判断条件进行识别,可以提高识别的效率。
当然,上述识别顺序是示例性的,在另一个示例中,还可以按照其他顺序进行识别,示例性地,第二识别模块可以先判断是否满足条件二或条件三,在不满足条件二和条件三的情况下,再判断是否满足条件一,在不满足条件一的情况下,再判断是否满足条件四。总而言之,在满足上述任意一个或者多个条件的情况下,第二识别模块即可确定电子设备的接听手势是接近人脸接听手势,具体判断的先后顺序本申请实施例不作限定。
作为示例而非限定,如果不满足上述任何一个条件,也即在确定电子设备的接听手势不是于接近人脸接听手势的情况下,第二识别模块可以继续判断电子设备的接听手势是否是远离人脸接听手势。
作为本申请的一个示例,请参见图10,第二识别模块判断电子设备的接听手势是否是远离人脸接听手势的具体实现可以包括如下步骤B1-B4:
B1:判断是否满足条件十,若满足条件十,则确定电子设备的接听手势是远离人脸接听手势,如果不满足条件十,则执行如下B2的操作。
其中,条件十为:多帧第一角速度数据中包括至少预设数量个第一角速度分量均小于第十四阈值。
第十四阈值可以根据实际需求进行设置。在一个示例中,第十四阈值可以记为Thd14。
在一种可能的情况下,在用户手持电子设备远离人脸(也即刚离开人脸一段距离)的过程中,电子设备的屏幕可能绕着X坐标轴逆时针旋转,譬如电子设备的屏幕的旋转方向如图18所示。在该应用场景中,通过对陀螺仪传感器采集的角速度数据进行波形绘制后可得到图13中的远离部分的波形图。从图13中可以看出,在电子设备的屏幕绕着X坐标轴逆时针旋转且已远离人脸的情况下,陀螺仪传感器所采集的角速度数据中的gyroX大部分都小于某个阈值(也即第十四阈值)。因此,在多帧第一角度数据中存在至少预设数量个第一角速度分量均小于第十四阈值,也即满足条件十的情况下,可以确定电子设备的接听手势是远离人脸接听手势。否则,在不满足条件十的情况下,由于电子设备还可能向其他方向远离人脸,因此第二识别模块继续判断,也即执行如下B2的操作。
B2:判断是否满足条件十一或者条件十二,若满足条件十一或者满足条件十二,则确定电子设备的接听手势是远离人脸接听手势,如果不满足条件十一,也不满足条件十二,则执行如下B3的操作。
条件十一为:多帧第一角速度数据中的第二角速度分量呈增大趋势,且多帧第一角速度数据中包括至少预设数量个第二角速度分量均小于第十五阈值,以及多帧第一加速度数据中的第一加速度分量呈减小趋势,且多帧第一加速度数据中包括至少预设数量个第一加速度分量均小于第十六阈值,以及目标指示信息为第二数值。
第十五阈值和第十六阈值可以根据实际需求进行设置。在一个示例中,第十五阈值即为Thd15,第十六阈值记为Thd16。
条件十二为:多帧第一角速度数据中的第二角速度分量呈减小趋势,且多帧第一角速度数据中包括至少预设数量个第二角速度分量均大于第十七阈值,以及多帧第一加速度数据中的第一加速度分量呈增大趋势,且多帧第一加速度数据中包括至少预设数量个第一加速度分量均大于第十八阈值,以及目标指示信息为第二数值。
第十七阈值和第十八阈值可以根据实际需求进行设置。在一个示例中,第十七阈值记为Thd17,第十八阈值记为Thd18。
请继续参见图15中的后半部分(也即远离部分)的波形图,图15中的(a)图中的远离部分的波形图是在用户左手手持电子设备远离人脸的情况下,通过对加速度传感器采集的加速度数据进行波形绘制得到的波形示意图,图15中的(b)图中的远离部分的波形图是在该场景下通过对陀螺仪传感器采集的角速度数据进行波形绘制得到的波形示意图,图15中的(c)图中的远离部分的波形图是在该场景下通过对加速度传感器采集的加速度数据进行处理并进行波形绘制后得到的波形示意图。因此,根据图15所示的波形图的分布规律可以得出:请参见图10,在多帧第一角速度数据中的gyroZ呈增大趋势且大多数的gyroZ均小于Thd15、多帧第一加速度数据中的accX呈减小趋势且大多数的accX小于Thd16,并且flag=-1,也即满足条件十一的情况下,可以确定用户是左手手持电子设备远离人脸,从而可以确定电子设备的接听手势是远离人脸接听手势。
请继续参见图16中的后半部分(也即远离部分)的波形图,图16中的(a)图中的远离部分的波形图是在用户右手手持电子设备远离人脸的情况下,通过对加速度传感器采集的加速度数据进行波形绘制得到的波形示意图,图16中的(b)图中的远离部分的波形图是在该场景下通过对陀螺仪传感器采集的角速度数据进行波形绘制得到的波形示意图,图16中的(c)图中的远离部分的波形图是在该场景下通过对加速度传感器采集的加速度数据进行处理并进行波形绘制后得到的波形示意图。因此,根据图16所示的波形图的分布规律可以得出:在多帧第一角速度数据中的gyroZ呈减小趋势且大多数的gyroZ均大于某个阈值(即第十七阈值)、多帧第一加速度数据中的accX呈增大趋势且大多数的accX大于第十八阈值、并且flag=-1,也即满足条件十二的情况下,可以确定用户是右手手持电子设备远离人脸,从而可以确定电子设备的接听手势是远离人脸接听手势。
否则,在既不满足条件十一,也不满足条件十二的情况下,由于电子设备还可能向其他方向远离人脸,因此第二识别模块继续判断,也即执行如下B3的操作。
B3:判断是否满足条件十三,如果满足条件十三,则确定电子设备的接听手势是远离人脸接听手势,如果不满足条件十三,则执行如下B4的操作。
条件十三为:多帧第一加速度数据中的第二加速度分量呈增大趋势,且多帧第一加速度数据中包括至少预设数量个第二加速度分量均大于第十九阈值,以及目标指示信息为第一数值。
第十九阈值可以根据需求进行设置。在一个示例中,第十九阈值可以记为Thd19。
在一种可能的情况下,用户还可能是在平躺或侧躺的姿态下接打电话,请继续参见图17,图17中的(a)图中的后半部分(也即远离部分)的波形图是在用户平躺或侧躺接打电话时将电子设备从耳边移开过程中,通过对加速度传感器采集的加速度数据进行波形绘制得到的波形示意图,图17中的(b)图中的后半部分的波形图是在该场景下通过对加速度传感器采集的加速度数据进行求模值处理并进行波形绘制得到的波形示意图。因此,根据图17所示的波形图的分布规律可以得出:在用户平躺或侧躺的状态下,当将电子设备远离耳边时,accY呈增大趋势且大于第十九阈值,并且电子设备先超重后失重,也即flag=1。因此,当满足条件十三时,说明用户是在平躺或侧躺的情况下将电子设备从耳边移开,从而可以确定电子设备的接听手势是远离人脸接听手势。否则,在不满足条件十三的情况下,由于电子设备还可能向其他方向远离人脸,因此第二识别模块继续判断,也即执行如下B4的操作。
B4:判断是否满足条件十四,如果满足条件十四,则确定电子设备的接听手势是远离人脸接听手势,如果不满足条件十四,则确定电子设备的接听手势不是远离人脸接听手势。
条件十四为:多帧第一加速度数据中的第二加速度分量呈增大趋势,多帧第一加速度数据中的第三加速度分量呈增大趋势,以及多帧第一角速度数据中包括至少预设数量个第二角速度分量的模值均大于第二十阈值。
第二十阈值可以根据需求进行设置。在一个示例中,第二十阈值可以记为Thd20。
第二角速度分量的模值是指对第二角速度分量取绝对值后的值,也即为正数。本申请实施例中其他分量的模值亦是同理。
在一种可能的情况下,用户还可能手持电子设备水平远离耳边,或者说向垂直于人脸方向远离,譬如移动轨迹如图19所示。请参见图20,在该种场景下,通过对加速度传感器采集的加速度数据进行波形绘制后可得到如图20中的(a)图所示的波形图,以及通过对陀螺仪传感器采集的角速度数据进行波形绘制后可得到如图20中的(b)图所示的波形图。从图20中不难看出,当电子设备水平远离耳边时,第二加速度分量呈增大趋势,第三加速度分量呈增大趋势,且大部分的第二角速度分量的模值均大于Thd20。因此,在满足条件十四的情况下,可以确定电子设备是水平远离人脸,从而可以确定电子设备的接听手势是远离人脸接听手势。否则,在不满足条件十四的情况下,可以确定电子设备的接听手势是保持接听手势,也即电子设备既没有接近人脸也没有远离人脸。
需要说明的是,在基于多帧第一加速度数据和多帧第一角速度数据进行识别处理之前,还可以对多帧第一加速度数据和多帧第一角速度数据进行滤波等预处理,本申请实施例对此不作详细说明。
步骤610:第二识别模块向超声手势融合模块发送第二识别结果。
也即第二识别模块在经过步骤609步骤的识别后,将识别的第二识别结果上报给超声手势融合模块。在一种可能的情况下,第二识别结果指示电子设备的接听手势是接近人脸接听手势,在另一种可能的情况下,第二识别结果指示电子设备的接听手势是远离人脸接听手势,在又一种可能的情况下,第二识别结果指示电子设备的接听手势的保持接听手势。
在实施中,第二识别模块向超声手势融合模块上报识别结果后,继续进行下一轮的识别。
步骤611:第三识别模块根据连续采集的多帧第一角速度数据,确定接近人脸接听手势是否有效。
在一种可能的情况下,用户可能在跑步或快走的状态下接打电话,该种情况下由于步态的起伏和摇晃,使得电子设备存在小幅度的晃动,相应地,加速度传感器和陀螺仪传感器所采集的数据可能会出现满足接近或远离的波形,而超声的灵敏度为5cm,也易出现接近或远离的识别结果,所以如果仅根据第一识别结果和第二识别结果控制屏幕的状态,可能会导致出现闪屏的问题。为此,电子设备通过第三识别模块根据采集的多帧第一角速度数据,确定接听手势是否有效。
作为本申请的一个示例,第三识别模块根据连续采集的多帧第一角速度数据确定接近人脸接听手势是否有效的具体实现可以包括:在多帧第一角速度数据中的第一角速度分量的均值的模值大于第十三阈值,和/或,多帧第一角速度数据中的第二角速度分量的均值的模值大于第十三阈值的情况下,确定接近人脸接听手势有效。否则,在多帧第一角速度数据中的第一角速度分量的均值的模值小于或等于第十三阈值,且多帧第一角速度数据中的第二角速度分量的均值的模值小于或等于第十三阈值的情况下,确定接近人脸接听手势无效。
第十三阈值可以根据实际需求进行设置,本申请实施例对此不作限定。在一个示例中,第十三阈值可以记为Thd13。
请参见图21,图21中的(a)图示出了在接近人脸接听手势有效以及接近人脸接听手势无效(如跑步场景)的情况下,加速度数据(也即Acc数据)的变化规律示意图,以及图21中的(b)图示出了在接近人脸接听手势有效的情况下gyroX和gyroZ的变化规律的示意图,以及在接近人脸接听手势无效的情况下gyroX和gyroZ的变化规律的示意图。从图21中可以得出,在接近人脸接听手势有效的情况下,缓存的多帧第一角速度分量中gyroZ的均值的模值大于某个阈值(也即第十三阈值),和/或,缓存的多帧第一角速度分量中gyroX的均值的模值大于第十三阈值,因此该种情况下,可以确定接近人脸接听手势有效。另外从图21中可以得出,在接近人脸接听手势无效的情况下,缓存的多帧第一角速度分量中gyroZ的均值的模值小于或等于第十三阈值,且gyroX的均值的模值也小于或等于第十三阈值,所以该种情况下,可以确定接近人脸接听手势无效。
需要说明的是,这里是以步骤609确定的接听手势是接近人脸接听手势为例进行说明,在判断远离人脸接听手势是否有效时,也可以按照上述条件进行判断。
需要说明的是,步骤609与步骤611之间没有严格的先后执行顺序。在一个示例中,步骤609与步骤611并行执行。
步骤612:第二识别模块向超声手势融合模块发送第三识别结果。
在一种可能的情况下,第三识别结果用于指示当前的接近手势有效,在另一种可能的情况下,第三识别用于指示当前的接听手势无效。其中接听手势可能是接近人脸接听手势或远离人脸接听手势或保持接听手势。
步骤613:超声手势融合模块对第一识别结果、第二识别结果和第三识别结果进行融合。
作为本申请的一个示例,由于超声接近/远离的判定距离阈值为5cm,所以在第一识别模块上报的第一识别结果指示当前电子设备的运动趋势是接近人脸的情况下,第二识别模块上报的第一识别结果可能是远离人脸接听手势,也即第二识别模块还没有识别到电子设备接近人脸,该种情况下如果进行结果融合容易导致误判。为此,在进行结果融合时,超声手势融合模块在接收到第一识别模块上报的第一识别结果后,可以等待一段时间,也即使用经过第二时长阈值后第二识别模块上报的第二识别结果,然后根据第二识别结果、第一识别结果和第三识别结果进行融合。
第二时长阈值可以根据需求进行设置,譬如第二时长阈值的取值范围可以是[1.5,3]秒。
作为本申请的一个示例,请参考图22,融合的具体实现可以包括:在第一识别模块上报的第一识别结果是接近运动趋势,以及等待第二时长阈值后,第二识别模块上报的第二识别结果是接近人脸接听手势,且第三识别模块上报的第三识别结果为接听手势有效的情况下,确定融合结果为接近。在第一识别模块上报的第一识别结果是远离运动趋势,以及等待第二时长阈值后,第二识别模块上报的第二识别结果是远离人脸接听手势,且第三识别模块上报的第三识别结果为接听手势有效的情况下,确定融合结果为远离。否则,确定融合结果为保持。
步骤614:超声手势融合模块向屏幕状态控制模块发送融合结果。
步骤615:屏幕状态控制模块根据融合结果,控制电子设备的屏幕状态。
屏幕状态控制模块在接收到超声手势融合模块上报的融合结果后,确定是否控制电子设备的屏幕亮屏或灭屏。在一个示例中,请参见图23,屏幕状态控制模块根据融合结果控制电子设备的屏幕状态的具体实现可以包括:在融合结果为接近或远离的情况下,判断本次确定的融合结果与上一次确定的融合结果是否相同,如果不相同,则确定状态持续时长是否达到第一时长阈值,如果状态持续时长达到第一时长阈值,则将屏幕状态切换至与融合结果对应的状态,否则,如果状态持续时长未达到第一时长阈值,则维持屏幕的状态。如果本次确定的融合结果与上一次确定的融合结果相同,则维持屏幕的状态。
状态持续时长是上一个与本次融合结果不同的融合结果的确定时间点与当前时间点之间的时长。第一时长阈值也即是前文所述的最短持续时长,可以根据需求进行设置,譬如第一时长阈值可以为5秒或者10秒等。
示例性地,假设第一时长阈值为10秒,如果本次确定的融合结果为接近,上一次的融合结果为远离,且上一次根据融合结果控制屏幕从灭屏切换至亮屏。若状态维持时长为5秒,则维持屏幕处于灭屏状态,并继续统计状态持续时长;若状态维持时长为12秒,则控制屏幕从亮屏状态切换为灭屏状态,并重新统计状态持续时长。
当然,若融合结果为保持,则电子设备继续保持上一次的屏幕状态,譬如若上一次屏幕的状态处于亮屏状态,且融合结果为保持,则电子设备的屏幕继续保持亮屏状态。
值得一提的是,通过设置了状态时长维持机制,可以避免频繁切换屏幕状态,从而避免频繁闪屏导致消耗电子设备功耗等问题。
当然需要说明的是,上述根据融合结果控制电子设备的屏幕状态的具体实现仅是示例性的,在另一个示例中,屏幕状态控制模块还可以直接根据融合结果控制屏幕的状态,譬如在融合结果为接近的情况下,控制屏幕灭屏,在融合结果为远离的情况下,控制屏幕亮屏,在融合结果为保持的情况下,保持屏幕的状态。
在电子设备处于灭屏状态后,在电子设备的运动趋势是远离人脸,且电子设备的接听手势是远离人脸接听手势的情况下,若远离人脸接听手势有效,则控制屏幕亮屏。
也即在电子设备进入灭屏状态后,继续分别通过超声波传感器、加速度传感器和陀螺仪传感器进行数据采集。为了便于理解和描述,下文将灭屏后超声波传感器采集的超声波信号称为第二超声波信号,将灭屏后通过加速度传感器采集的加速度数据称为第二加速度数据,以及将灭屏后通过陀螺仪传感器采集的角速度数据称为第二角速度数据。
在数据采集过程中,第一识别模块继续根据连续采集的多帧第二超声波信号识别电子设备的运动趋势,第二识别模块继续根据连续采集的多帧第二加速度数据和多帧第二角速度数据识别电子设备的接听手势,以及第三识别模块继续根据多帧第二角速度数据判断接听手势是否有效性。然后由超声姿态识别模块对第一识别模块、第二识别模块和第三识别模块分别上报的识别结果进行融合,从而确定是否电子设备是否远离人脸,进而继续控制屏幕的状态。
在一个示例中,根据连续采集的多帧第二加速度数据和连续采集的多帧第二角速度数据,确定电子设备的接听手势是否是远离人脸接听手势的具体试下可以包括:根据多帧第二加速度数据,确定目标指示信息,根据目标指示信息、多帧第二加速度数据和多帧第二角速度数据,确定电子设备的接听手势是否是远离人脸接听手势。具体地,在根据目标指示信息、多帧第二加速度数据和多帧第二角速度数据确定电子设备满足如下条件中的至少一项的情况下,确定电子设备的接听手势是远离人脸接听手势:
条件五:多帧第二角速度数据中包括至少预设数量个第一角速度分量均小于第十四阈值。
条件六:多帧第二角速度数据中的第二角速度分量呈增大趋势,且多帧第二角速度数据中包括至少预设数量个第二角速度分量均小于第十五阈值,以及多帧第二加速度数据中的第一加速度分量呈减小趋势,且多帧第二加速度数据中包括至少预设数量个第一加速度分量均小于第十六阈值,以及目标指示信息为第二数值。
条件七:多帧第二角速度数据中的第二角速度分量呈减小趋势,且多帧第二角速度数据中包括至少预设数量个第二角速度分量均大于第十七阈值,以及多帧第二加速度数据中的第一加速度分量呈增大趋势,且多帧第二加速度数据中包括至少预设数量个第一加速度分量均大于第十八阈值,以及目标指示信息为第二数值。
条件八:多帧第二加速度数据中的第二加速度分量呈增大趋势,且多帧第二加速度数据中包括至少预设数量个第二加速度分量均大于第十九阈值,以及目标指示信息为第一数值。
条件九:多帧第二加速度数据中的第二加速度分量呈增大趋势,多帧第二加速度数据中的第三加速度分量呈增大趋势,以及多帧第二角速度数据中包括至少预设数量个第二角速度分量的模值均大于第二十阈值。
远离的具体判断过程可以参见上述步骤B1-B4,这里不再重复赘述。
另外,在确定融合结果为远离的情况下,可以通过设置的状态时长维持机制,确定是否控制屏幕亮屏,具体可以参见上文。
需要说明的是,本申请实施例涉及的多个阈值可以有部分相同,也可以均不同,本申请实施例对此不作限定。
在本申请实施例中,在电子设备处于通话状态的场景下,在电子设备的运动趋势是接近人脸的情况下,若电子设备的接听手势是接近人脸接听手势,且接近人脸接听手势有效,则控制电子设备的屏幕灭屏。之后,在电子设备的运动趋势是远离人脸的情况下,若电子设备的接听手势是远离人脸接听手势,且远离人脸接听手势有效,则控制屏幕亮屏。如此,通过确定电子设备的运动趋势和接听手势,结合接听手势是否有效,确定是否控制屏幕灭屏或亮屏,提高了屏幕状态控制的准确性,避免出现误灭屏等现象。
请参见图24,图24是本申请实施例提供的一种电子设备的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口,如可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。作为本申请的一个示例,麦克风170C可以作为信号接收器,用于接收原始Chirp信号经目标物体反射的回波信号,或者用于接收标志位信号经目标物体反射的标志位回波信号。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,应用于横竖屏切换,计步器等应用。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种屏幕状态的控制方法,其特征在于,应用于电子设备,所述电子设备处于通话状态,所述方法包括:
在所述电子设备的运动趋势是接近人脸的情况下,若所述电子设备的接听手势为接近人脸接听手势,且所述接近人脸接听手势有效,则控制所述电子设备的屏幕灭屏;
所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏。
2.如权利要求1所述的方法,其特征在于,所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏,包括:
所述电子设备灭屏后,在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,如果状态持续时长大于第一时长阈值,则控制所述屏幕亮屏,其中,所述状态持续时长是当前时间点与上一次控制所述屏幕灭屏的时间点之间的时长。
3.如权利要求1或2所述的方法,其特征在于,所述电子设备配置有超声波传感器、加速度传感器和角速度传感器;
所述在所述电子设备的运动趋势是接近人脸的情况下,若所述电子设备的接听手势为接近人脸接听手势,且所述接近人脸接听手势有效,则控制所述电子设备的屏幕灭屏之前,还包括:
分别通过所述超声波传感器、所述加速度传感器和所述角速度传感器持续进行数据采集;
根据连续采集的多帧第一超声波信号,确定所述电子设备的运动趋势是否是接近所述人脸;
在确定所述电子设备的运动趋势是接近所述人脸的情况下,经过第二时长阈值后,根据连续采集的多帧第一加速度数据和连续采集的多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势;
在确定所述电子设备的接听手势是所述接近人脸接听手势的情况下,根据所述多帧第一角速度数据确定所述接近人脸接听手势是否有效。
4.如权利要求3所述的方法,其特征在于,所述加速度传感器采集的每帧加速度数据包括第一加速度分量、第二加速度分量和第三加速度分量,其中,第一加速度分量是所述电子设备的空间坐标系中X坐标轴上的加速度分量,第二加速度分量是所述空间坐标系中Y坐标轴上的加速度分量,第三加速度分量是所述空间坐标系中Z坐标轴上的加速度分量;
所述根据连续采集的多帧第一加速度数据和连续采集的多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势,包括:
分别基于所述多帧第一加速度数据中每帧第一加速度数据包括的第一加速度分量、第二加速度分量和第三加速度分量进行计算,以确定所述每帧第一加速度数据对应的加速度模值;
基于所述每帧第一加速度数据对应的加速度模值,确定目标指示信息,所述目标指示信息用于指示所述电子设备的超重和失重情况,所述目标指示信息为第一数值时用于指示所述电子设备先超重后失重,所述目标指示信息为第二数值时用于指示所述电子设备先失重后超重;
根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势。
5.如权利要求4所述的方法,其特征在于,所述基于所述每帧第一加速度数据对应的加速度模值,确定目标指示信息,包括:
基于所述每帧第一加速度数据对应的加速度模值,按照所述每帧第一加速度数据的采集时间的先后顺序,进行波形绘制,得到加速度模值波形;
在所述加速度模值波形是先峰后谷的波形的情况下,若所述加速度模值波形的峰值大于第一阈值,所述加速度模值波形的谷值小于第二阈值,且所述峰值与所述谷值之间的时间间隔大于第三阈值,则确定所述目标指示信息为所述第一数值;
在所述加速度模值波形是先谷后峰的波形的情况下,若所述峰值小于第四阈值,所述谷值小于第五阈值,且所述峰值与所述谷值之间的时间间隔大于第六阈值,则确定所述目标指示信息为所述第二数值。
6.如权利要求4或5所述的方法,其特征在于,所述角速度传感器采集的每帧角速度数据包括第一角速度分量和第二角速度分量,第一角速度分量是所述空间坐标系中X坐标轴上的角速度分量,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量;
所述根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据,确定所述电子设备的接听手势是否为所述接近人脸接听手势,包括:
在根据所述目标指示信息、所述多帧第一加速度数据和所述多帧第一角速度数据确定所述电子设备满足如下条件中的至少一项的情况下,确定所述电子设备的接听手势是所述接近人脸接听手势;
条件一:所述多帧第一角速度数据包括至少预设数量个第一角速度分量均大于第七阈值;
条件二:所述多帧第一角速度数据中的第二角速度分量呈减小趋势,且所述多帧第一角速度数据中包括至少所述预设数量个第二角速度分量均大于第八阈值,以及所述多帧第一加速度数据中的第一加速度分量呈增大趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第一加速度分量均大于第九阈值,以及所述目标指示信息为所述第一数值;
条件三:所述多帧第一角速度数据中的第二角速度分量呈增大趋势,且所述多帧第一角速度数据中包括至少所述预设数量个第二角速度分量均小于第十阈值,以及所述多帧第一加速度数据中的第一加速度分量呈减小趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第一加速度分量均小于第十一阈值,以及所述目标指示信息为所述第一数值;
条件四:所述多帧第一加速度数据中的第二加速度分量呈减小趋势,且所述多帧第一加速度数据中包括至少所述预设数量个第二加速度分量均小于第十二阈值,以及所述目标指示信息为所述第二数值。
7.如权利要求3-6中任一项所述的方法,其特征在于,所述角速度传感器采集的每帧角速度数据包括第一角速度分量和第二角速度分量,第一角速度分量是所述电子设备的空间坐标系中X坐标轴上的角速度分量,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量;
所述根据所述多帧第一角速度数据确定所述接近人脸接听手势是否有效,包括:
在所述多帧第一角速度数据中的第一角速度分量的均值的模值大于第十三阈值,和/或,所述多帧第一角速度数据中的第二角速度分量的均值的模值大于所述第十三阈值的情况下,确定所述接近人脸接听手势有效;
在所述多帧第一角速度数据中的第一角速度分量的均值的模值小于或等于所述第十三阈值,且所述多帧第一角速度数据中的第二角速度分量的均值的模值小于或等于所述第十三阈值的情况下,确定所述接近人脸接听手势无效。
8.如权利要求3所述的方法,其特征在于,所述根据连续采集的多帧第一超声波信号,确定所述电子设备的运动趋势是否是接近所述人脸,包括:
确定所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,有效信道基于所述超声波传感器发射的Chirp信号的带宽和信号传播速度、以及判定距离阈值确定;
根据所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,确定所述电子设备的运动趋势是否是接近所述人脸。
9.如权利要求8所述的方法,其特征在于,所述超声波传感器采集的每帧超声波信号包括Chirp信号和回波信号,所述回波信号是所述电子设备发射的所述Chirp信号经所述人脸反射的信号;
所述确定所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,包括:
根据目标第一超声波信号中的Chirp信号对所述目标第一超声波信号中的回波信号进行相干解调,得到所述目标第一超声波信号对应的相干解调信号,所述目标第一超声波信号是所述多帧第一超声波信号中的任意一帧第一超声波信号;
确定所述目标第一超声波信号对应的相干解调信号的第一傅里叶变换结果;
获取所述第一傅里叶变换结果中有效信道的信道冲激响应CIR数据,得到第一CIR数据;
基于所述第一CIR数据与第二CIR数据,确定第三CIR数据,所述第三CIR数据表示有效信道当前时刻的动态信息,所述第二CIR数据是第二傅里叶变换结果中有效信道的CIR数据,所述第二傅里叶变换结果是所述目标第一超声波信号的上一帧第一超声波信号对应的相干解调信号的傅里叶变换结果;
基于所述第三CIR数据与第四CIR数据,确定相位变化信息,所述第四CIR数据是上一次确定的用于表示有效信道的动态信息的数据,所述相位变化信息用于指示所述第三CIR数据在复平面坐标系中相对于所述第四CIR数据的旋转方向;
基于所述相位变化信息、以及所述第三CIR数据对应的幅值,确定所述目标第一超声波信号的有效信道当前时刻的信号特征。
10.如权利要求8或9所述的方法,其特征在于,有效信道的数量为多个;
所述根据所述多帧第一超声波信号中每帧第一超声波信号的有效信道的信号特征,确定所述电子设备的运动趋势是否是接近所述人脸,包括:
在多个有效信道中任意一个有效信道的信号特征之和大于第一特征阈值、所述多个有效信道的所有信号特征之和大于第二特征阈值、所述多个有效信道中每个有效信道对应的第一信号特征帧数大于第一帧数阈值、且所述多个有效信道中每个有效信道对应的第二信号特征帧数小于第二帧数阈值的情况下,确定所述电子设备的运动趋势为接近所述人脸,所述第一信号特征帧数是对应的有效信道内大于第三特征阈值的信号特征帧数,所述第二信号特征帧数是对应的有效信道内小于第四特征阈值的信号特征帧数;
在所述多个有效信道中任意一个有效信道的信号特征之和小于第五特征阈值、所述多个有效信道的所有信号特征之和小于第六特征阈值、所述多个有效信道中每个有效信道对应的第一信号特征帧数小于所述第二帧数阈值、且所述多个有效信道中每个有效信道对应的第二信号特征帧数大于所述第一帧数阈值的情况下,确定所述电子设备的运动趋势为远离所述人脸。
11.如权利要求1-10中任一项所述的方法,其特征在于,所述在所述电子设备的运动趋势是远离所述人脸的情况下,若所述电子设备的接听手势为远离人脸接听手势,且所述远离人脸接听手势有效,则控制所述屏幕亮屏之前,还包括:
在根据连续采集的多帧第二超声波信号确定所述电子设备的运动趋势是远离所述人脸的情况下,经过第二时长阈值后,根据连续采集的多帧第二加速度数据和连续采集的多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势;
在确定所述电子设备的接听手势是所述远离人脸接听手势的情况下,根据所述多帧第二角速度数据确定所述远离人脸接听手势是否有效。
12.如权利要求11所述的方法,其特征在于,所述根据连续采集的多帧第二加速度数据和连续采集的多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势,包括:
根据所述多帧第二加速度数据,确定目标指示信息,所述目标指示信息用于指示所述电子设备的超重和失重情况,所述目标指示信息为第一数值时用于指示所述电子设备先超重后失重,所述目标指示信息为第二数值时用于指示所述电子设备先失重后超重;
根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势。
13.如权利要求12所述的方法,其特征在于,所述根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据,确定所述电子设备的接听手势是否为所述远离人脸接听手势,包括:
在根据所述目标指示信息、所述多帧第二加速度数据和所述多帧第二角速度数据确定所述电子设备满足如下条件中的至少一项的情况下,确定所述电子设备的接听手势是所述远离人脸接听手势;
条件五:所述多帧第二角速度数据中包括至少预设数量个第一角速度分量均小于第十四阈值,第一角度分量是所述电子设备的空间坐标系中X坐标轴上的角速度分量;
条件六:所述多帧第二角速度数据中的第二角速度分量呈增大趋势,且所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量均小于第十五阈值,以及所述多帧第二加速度数据中的第一加速度分量呈减小趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第一加速度分量均小于第十六阈值,以及所述目标指示信息为所述第二数值,第二角速度分量是所述空间坐标系中Z坐标轴上的角速度分量,第一加速度分量是所述空间坐标系中X坐标轴上的加速度分量;
条件七:所述多帧第二角速度数据中的第二角速度分量呈减小趋势,且所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量均大于第十七阈值,以及所述多帧第二加速度数据中的第一加速度分量呈增大趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第一加速度分量均大于第十八阈值,以及所述目标指示信息为所述第二数值;
条件八:所述多帧第二加速度数据中的第二加速度分量呈增大趋势,且所述多帧第二加速度数据中包括至少所述预设数量个第二加速度分量均大于第十九阈值,以及所述目标指示信息为所述第一数值,第二加速度分量是所述空间坐标系中Y坐标轴上的加速度分量;
条件九:所述多帧第二加速度数据中的第二加速度分量呈增大趋势,所述多帧第二加速度数据中的第三加速度分量呈增大趋势,以及所述多帧第二角速度数据中包括至少所述预设数量个第二角速度分量的模值均大于第二十阈值,第三加速度分量是所述空间坐标系中Z坐标轴上的加速度分量。
14.一种电子设备,其特征在于,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-13任意一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-13任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311068853.4A CN117714593A (zh) | 2023-08-23 | 2023-08-23 | 屏幕状态的控制方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311068853.4A CN117714593A (zh) | 2023-08-23 | 2023-08-23 | 屏幕状态的控制方法、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117714593A true CN117714593A (zh) | 2024-03-15 |
Family
ID=90144947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311068853.4A Pending CN117714593A (zh) | 2023-08-23 | 2023-08-23 | 屏幕状态的控制方法、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117714593A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683598A (zh) * | 2015-03-25 | 2015-06-03 | 深圳市欧珀通信软件有限公司 | 接近传感器阈值调节方法、装置及智能设备 |
CN109361815A (zh) * | 2018-09-26 | 2019-02-19 | Oppo广东移动通信有限公司 | 电子设备的亮灭屏控制方法、装置和电子设备 |
CN109710142A (zh) * | 2017-10-25 | 2019-05-03 | 华为技术有限公司 | 一种用于控制终端屏幕亮灭的方法及终端 |
CN113965643A (zh) * | 2021-10-26 | 2022-01-21 | 荣耀终端有限公司 | 移动终端的屏幕状态控制方法、移动终端及介质 |
CN116055625A (zh) * | 2022-07-21 | 2023-05-02 | 荣耀终端有限公司 | 屏幕控制方法和设备 |
-
2023
- 2023-08-23 CN CN202311068853.4A patent/CN117714593A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683598A (zh) * | 2015-03-25 | 2015-06-03 | 深圳市欧珀通信软件有限公司 | 接近传感器阈值调节方法、装置及智能设备 |
CN109710142A (zh) * | 2017-10-25 | 2019-05-03 | 华为技术有限公司 | 一种用于控制终端屏幕亮灭的方法及终端 |
CN109361815A (zh) * | 2018-09-26 | 2019-02-19 | Oppo广东移动通信有限公司 | 电子设备的亮灭屏控制方法、装置和电子设备 |
CN113965643A (zh) * | 2021-10-26 | 2022-01-21 | 荣耀终端有限公司 | 移动终端的屏幕状态控制方法、移动终端及介质 |
CN116055625A (zh) * | 2022-07-21 | 2023-05-02 | 荣耀终端有限公司 | 屏幕控制方法和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3180675B1 (en) | Identifying gestures using motion data | |
CN110059744B (zh) | 训练神经网络的方法、图像处理的方法、设备及存储介质 | |
RU2621013C2 (ru) | Контекстное зондирование для компьютерных устройств | |
CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
WO2020249025A1 (zh) | 身份信息的确定方法、装置及存储介质 | |
CN116033056B (zh) | 折叠屏的折叠角度检测方法、装置及可读存储介质 | |
CN109979413B (zh) | 亮屏控制方法、亮屏控制装置、电子设备及可读存储介质 | |
WO2019205735A1 (zh) | 数据传输方法、装置、显示屏及显示装置 | |
CN111724412A (zh) | 确定运动轨迹的方法、装置及计算机存储介质 | |
US20230019967A1 (en) | Electronic device, and interaction method and device | |
CN111681655A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN111010537B (zh) | 车辆控制方法、装置、终端及存储介质 | |
CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN110633336B (zh) | 激光数据搜索范围的确定方法、装置及存储介质 | |
CN117714593A (zh) | 屏幕状态的控制方法、电子设备及可读存储介质 | |
CN111179628A (zh) | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 | |
WO2022057476A1 (zh) | 一种校准信号的生成方法、电子设备和计算机存储介质 | |
CN113162837B (zh) | 语音消息的处理方法、装置、设备及存储介质 | |
CN115221888A (zh) | 实体提及的识别方法、装置、设备及存储介质 | |
WO2019233299A1 (zh) | 地图构建方法、装置及计算机可读存储介质 | |
CN112214115A (zh) | 输入方式的识别方法、装置、电子设备及存储介质 | |
US20230258798A1 (en) | Augmented reality glasses topology using ultrasonic handshakes on frames | |
CN115016921B (zh) | 资源调度方法、装置及存储介质 | |
CN113539291B (zh) | 音频信号的降噪方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |