CN117687558A - 一种触控识别方法和电子设备 - Google Patents
一种触控识别方法和电子设备 Download PDFInfo
- Publication number
- CN117687558A CN117687558A CN202310842550.7A CN202310842550A CN117687558A CN 117687558 A CN117687558 A CN 117687558A CN 202310842550 A CN202310842550 A CN 202310842550A CN 117687558 A CN117687558 A CN 117687558A
- Authority
- CN
- China
- Prior art keywords
- data
- value
- touch
- outer ring
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 210000001145 finger joint Anatomy 0.000 claims abstract description 135
- 238000007781 pre-processing Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000003062 neural network model Methods 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims description 50
- 230000009467 reduction Effects 0.000 claims description 46
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 description 81
- 230000000875 corresponding effect Effects 0.000 description 25
- 230000004044 response Effects 0.000 description 19
- 210000001015 abdomen Anatomy 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000012216 screening Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种触控识别方法和电子设备,包括,接收用户的第一触控操作,响应于第一触控操作获取第一触控面板TP数据;第一TP数据为容值矩阵;在第一TP数据满足预处理条件的情况下,对第一TP数据进行第一加权处理,得到预处理数据;其中,预处理条件包括第一TP数据的内圈均值小于或等于第一内圈值;第一TP数据的内圈均值坐标为容值矩阵紧邻中心点外侧一周的坐标对应容值的均值;将预处理数据输入神经网络模型,得到第一识别结果;第一识别结果用于指示第一触控操作是否为指关节触控操作。本申请实施例,用于提高指关节识别的成功率。
Description
技术领域
本方案涉及终端设备技术领域,尤其涉及一种触控识别方法和电子设备。
背景技术
为了方便用户使用电子设备,对于不同的触控类型电子设备可以提供对应的响应。触控操作类型可以包括指关节、指尖和指腹的触控类型。例如,指关节操作可以截屏和录屏等。然而,电子设备的屏幕效果差的情况下,指关节的识别错误率比较高,导致电子设备的错误响应,用户交互体验差。
发明内容
本申请提供了一种触控识别方法和电子设备,可以提高指关节识别成功率。
第一方面,本申请提供了一种触控识别方法,所述方法应用于电子设备,包括:接收用户的第一触控操作,响应于所述第一触控操作获取第一触控面板TP数据;所述第一TP数据为容值矩阵;在所述第一TP数据满足预处理条件的情况下,对所述第一TP数据进行第一加权处理,得到预处理数据;其中,所述预处理条件包括第一TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;将所述预处理数据输入神经网络模型,得到第一识别结果;所述第一识别结果用于指示所述第一触控操作是否为指关节触控操作。
其中,神经网络模型是提前训练完成的神经网络模型,已经提前存储在电子设备中。
在本申请实施例中,上述满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于指关节触控类型,或者判断满足预处理条件的TP数据更可能是指关节触控数据。为了增加将此类的数据识别成指关节类型的概率可以加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以增加提高识别成功率。
在一种可能的实施方式中,所述第一内圈值的范围为500到800。这样,通过实验和检测指尖和指关节数据发现,小于或等于上述范围内圈值,触控结果偏向于是指关节类型一些,因此上述的数据范围,可以保证满足预处理条件的可能是指关节触控类型,进而提高预处理的准确性。
在一种可能的实施方式中,所述预处理条件还包括所述第一TP数据的梯度值大于或等于第一梯度值;所述第一TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。这样,梯度值大于或等于第一梯度值的范围,TP数据的神经网络模型识别结果往往越倾向于是指关节触控类型,或者判断满足预处理条件的TP数据更可能是指关节触控数据。为了增加将此类的数据识别成指关节类型的概率可以进行加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
在一种可能的实施方式中,所述第一梯度值的范围为0.1到0.15。这样,通过实验和检测指尖和指关节数据发现,大于或等于上述范围梯度值,触控结果偏向于是指关节类型一些,因此上述的数据范围,可以保证满足预处理条件的可能是指关节触控类型,进而提高预处理的准确性。
在一种可能的实施方式中,所述第一TP数据进行加权处理,得到预处理数据,包括:对所述第一TP数据的外圈容值进行增量加权,得到预处理数据。这样,加权过程可以将外圈容值进行增加,增加当前TP数据的梯度值,从而适当增加低梯度特征,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
在一种可能的实施方式中,所述对所述第一TP数据的外圈容值进行增量加权,包括:将所述第一TP数据的外圈容值增加外圈增加比的比例,或者,将所述第一TP数据的外圈容值增加外圈增加量,得到预处理数据;所述外圈增加比是所述预处理数据的外圈容值相比所述第一TP数据的外圈容值的增加比例。这样,电子设备可以将外圈容值按照一定比例或者定值增加,梯度值可以增加,保证TP数据原有特征的情况下,对数据进行调整,提高神经网络模型输出的准确性,从而提高识别成功率。
在一种可能的实施方式中,所述外圈增加比的范围为1%~30%。这样,外圈增加比的范围能够保证每一个外圈容值均有其增量数据,增量的准确性更高。此外,外圈增加比的范围能够保证增加量不影响TP数据原有的特性,从而提高识别成功率。
在一种可能的实施方式中,所述第一TP数据进行加权处理,得到预处理数据,包括:将所述TP数据的内圈容值减少内圈减少比的比例,或者,将所述第一TP数据的内圈容值减少内圈减少量,得到预处理数据;所述内圈减少比是所述预处理数据的内圈容值相比所述第一TP数据的内圈容值的减少比例。这样,电子设备可以将内圈容值按照一定比例或者定值减少,梯度值可以增加,保证TP数据原有特征的情况下,对数据进行调整,提高神经网络模型输出的准确性,从而提高识别成功率。
在一种可能的实施方式中,所述对所述第一TP数据进行第一加权处理之前,所述方法还包括:所述电子设备获取所述第一触控操作的第一ACC数据,在所述ACC数据大于或者等于第一ACC阈值的情况下,判断所述第一TP数据是否满足所述预处理条件。这样,用户的指关节触控力度一般大于指尖和指腹触控,因此可以将这部分TP数据筛选出来进行指关节识别,保证TP数据识别的必要性和准确性,也过滤了部分数据量,提高处理效率。
其中,ACC数据是电子设备获取到的用户触控的加速度数据。
在一种可能的实施方式中,所述对所述第一TP数据进行第一加权处理之前,所述方法还包括:在所述第一TP数据的面积量满足面积条件的情况下,判断所述第一TP数据是否满足所述预处理条件。这样,电子设备可以将第一TP数据中面积量大的一般是指腹类型,可以将这部分数据直接筛选掉,保证数据处理的准确性。
其中,所述第一TP数据的面积量满足面积条件可以为第一TP数据的面积量大于或等于第一面积阈值条件。
在一种可能的实施方式中,所述方法还包括:在所述第一TP数据不满足所述预处理条件的情况下,将所述第一TP数据输入所述神经网络模型,得到第二识别结果;所述第二识别结果用于指示所述第一触控操作是否为指关节触控操作。这样,电子设备在确定不满足预处理条件的情况下,对这部分TP数据不处理,能够将TP数据直接输入神经网络模型,得到识别结果,从而提高识别成功率的同时,减少处理流程,提高处理效率。
第二方面,本申请提供了一种触控识别方法,所述方法应用于电子设备,包括:接收用户的第二触控操作,响应于所述第二触控操作获取第二TP数据;所述第二TP数据为容值矩阵;在所述第二TP数据不满足预处理条件的情况下,对所述第二TP数据进行第二加权处理,得到预处理数据;其中,所述预处理条件包括第二TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;将所述预处理数据输入神经网络模型,得到第三识别结果;所述第三识别结果用于指示所述第一触控操作是否为指关节触控操作。
在本申请实施例中,上述不满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于不是指关节触控类型,判断不满足预处理条件的TP数据更可能不是指关节触控数据。为了增加将此类的不满足的数据识别成非指关节类型的概率可以进行加权处理,使得判断不满足预处理条件的TP数据经过加权处理后,从而可以减少识别错误率。
在一种可能的实施方式中,所述预处理条件还包括所述第二TP数据的梯度值大于或等于第一梯度值;所述第二TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。这样,判断不满足预处理条件的TP数据更可能是非指尖触控数据。为了增加不满足预处理条件的TP数据识别成指尖类型的概率可以进行加权处理,使得判断不满足预处理条件的TP数据经过加权处理后比TP数据的识别结果更有可能为非指关节类型,从而可以减小误识别为指关节触控的概率。
在一种可能的实施方式中,所述对所述第二TP数据进行第二加权处理,得到预处理数据,包括:将所述第二TP数据的内圈容值增加内圈增加比的比例,或者,将所述第二TP数据的内圈容值增加内圈增加量,得到预处理数据;所述内圈增加比是所述预处理数据的内圈容值相比所述第二TP数据的内圈容值的增加比例。这样,加权过程可以将内圈容值进行增加,减少当前TP数据的梯度值,从而适当减少梯度特征,使得判断不满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为非指关节类型,从而可以减小误识别为指关节触控的概率,以提高识别成功率。
在一种可能的实施方式中,所述对所述第二TP数据进行第二加权处理,得到预处理数据,包括:将所述第二TP数据的外圈容值减少外圈减少比的比例,或者,将所述第二TP数据的外圈容值减少外圈减少量,得到预处理数据;所述外圈减少比是所述预处理数据的外圈容值相比所述第二TP数据的外圈容值的减少比例。这样,加权过程可以将外圈容值进行减小,减少当前TP数据的梯度值,从而适当减少梯度特征,使得判断不满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以此类数据识别为非指关节触控的概率,提高识别成功率。
在一种可能的实施方式中,所述方法包括:在所述第二TP数据满足所述预处理条件的情况下,将所述第二TP数据输入所述神经网络模型,得到第四识别结果;所述第四识别结果用于指示所述第二触控操作是否为指关节触控操作。这样,电子设备在确定满足预处理条件的情况下,对这部分TP数据不处理,能够将TP数据直接输入神经网络模型,得到识别结果,从而提高识别成功率的同时,减少处理流程,提高处理效率。
第三方面,本申请提供了一种电子设备,包括:一个或多个处理器和一个或多个存储器,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行:
接收用户的第一触控操作,响应于所述第一触控操作获取第一触控面板TP数据;所述第一TP数据为容值矩阵;在所述第一TP数据满足预处理条件的情况下,对所述第一TP数据进行第一加权处理,得到预处理数据;其中,所述预处理条件包括第一TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;将所述预处理数据输入神经网络模型,得到第一识别结果;所述第一识别结果用于指示所述第一触控操作是否为指关节触控操作。
其中,神经网络模型是提前训练完成的神经网络模型,已经提前存储在电子设备中。
在本申请实施例中,上述满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于指关节触控类型,或者判断满足预处理条件的TP数据更可能是指关节触控数据。为了增加将此类的数据识别成指关节类型的概率可以加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以增加提高识别成功率。
在一种可能的实施方式中,所述第一内圈值的范围为500到800。这样,通过实验和检测指尖和指关节数据发现,小于或等于上述范围内圈值,触控结果偏向于是指关节类型一些,因此上述的数据范围,可以保证满足预处理条件的可能是指关节触控类型,进而提高预处理的准确性。
在一种可能的实施方式中,所述预处理条件还包括所述第一TP数据的梯度值大于或等于第一梯度值;所述第一TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。这样,梯度值大于或等于第一梯度值的范围,TP数据的神经网络模型识别结果往往越倾向于是指关节触控类型,或者判断满足预处理条件的TP数据更可能是指关节触控数据。为了增加将此类的数据识别成指关节类型的概率可以进行加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
在一种可能的实施方式中,所述第一梯度值的范围为0.1到0.15。这样,通过实验和检测指尖和指关节数据发现,大于或等于上述范围梯度值,触控结果偏向于是指关节类型一些,因此上述的数据范围,可以保证满足预处理条件的可能是指关节触控类型,进而提高预处理的准确性。
在一种可能的实施方式中,所述第一TP数据进行加权处理,得到预处理数据,具体执行:对所述第一TP数据的外圈容值进行增量加权,得到预处理数据。这样,加权过程可以将外圈容值进行增加,增加当前TP数据的梯度值,从而适当增加低梯度特征,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
在一种可能的实施方式中,所述对所述第一TP数据的外圈容值进行增量加权,具体执行:将所述第一TP数据的外圈容值增加外圈增加比的比例,或者,将所述第一TP数据的外圈容值增加外圈增加量,得到预处理数据;所述外圈增加比是所述预处理数据的外圈容值相比所述第一TP数据的外圈容值的增加比例。这样,电子设备可以将外圈容值按照一定比例或者定值增加,梯度值可以增加,保证TP数据原有特征的情况下,对数据进行调整,提高神经网络模型输出的准确性,从而提高识别成功率。
在一种可能的实施方式中,所述外圈增加比的范围为1%~30%。这样,外圈增加比的范围能够保证每一个外圈容值均有其增量数据,增量的准确性更高。此外,外圈增加比的范围能够保证增加量不影响TP数据原有的特性,从而提高识别成功率。
在一种可能的实施方式中,所述第一TP数据进行加权处理,得到预处理数据,具体执行:将所述TP数据的内圈容值减少内圈减少比的比例,或者,将所述第一TP数据的内圈容值减少内圈减少量,得到预处理数据;所述内圈减少比是所述预处理数据的内圈容值相比所述第一TP数据的内圈容值的减少比例。这样,电子设备可以将内圈容值按照一定比例或者定值减少,梯度值可以增加,保证TP数据原有特征的情况下,对数据进行调整,提高神经网络模型输出的准确性,从而提高识别成功率。
在一种可能的实施方式中,所述对所述第一TP数据进行第一加权处理之前,所述电子设备还执行:所述电子设备获取所述第一触控操作的第一ACC数据,在所述ACC数据大于或者等于第一ACC阈值的情况下,判断所述第一TP数据是否满足所述预处理条件。这样,用户的指关节触控力度一般大于指尖和指腹触控,因此可以将这部分TP数据筛选出来进行指关节识别,保证TP数据识别的必要性和准确性,也过滤了部分数据量,提高处理效率。
在一种可能的实施方式中,所述对所述第一TP数据进行第一加权处理之前,所述电子设备还执行:在所述第一TP数据的面积量满足面积条件的情况下,判断所述第一TP数据是否满足所述预处理条件。这样,电子设备可以将第一TP数据中面积量大的一般是指腹类型,可以将这部分数据直接筛选掉,保证数据处理的准确性。
其中,所述第一TP数据的面积量满足面积条件可以为第一TP数据的面积量大于或等于第一面积阈值条件。
在一种可能的实施方式中,所述电子设备还执行:在所述第一TP数据不满足所述预处理条件的情况下,将所述第一TP数据输入所述神经网络模型,得到第二识别结果;所述第二识别结果用于指示所述第一触控操作是否为指关节触控操作。这样,电子设备在确定不满足预处理条件的情况下,对这部分TP数据不处理,能够将TP数据直接输入神经网络模型,得到识别结果,从而提高识别成功率的同时,减少处理流程,提高处理效率。
第四方面,本申请提供了一种电子设备,包括:一个或多个处理器和一个或多个存储器,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行:
接收用户的第二触控操作,响应于所述第二触控操作获取第二TP数据;所述第二TP数据为容值矩阵;在所述第二TP数据不满足预处理条件的情况下,对所述第二TP数据进行第二加权处理,得到预处理数据;其中,所述预处理条件包括第二TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;将所述预处理数据输入神经网络模型,得到第三识别结果;所述第三识别结果用于指示所述第一触控操作是否为指关节触控操作。
在本申请实施例中,上述不满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于不是指关节触控类型,判断不满足预处理条件的TP数据更可能不是指关节触控数据。为了增加将此类的不满足的数据识别成非指关节类型的概率可以进行加权处理,使得判断不满足预处理条件的TP数据经过加权处理后,从而可以减少识别错误率。
在一种可能的实施方式中,所述预处理条件还包括所述第二TP数据的梯度值大于或等于第一梯度值;所述第二TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。这样,判断不满足预处理条件的TP数据更可能是非指尖触控数据。为了增加不满足预处理条件的TP数据识别成指尖类型的概率可以进行加权处理,使得判断不满足预处理条件的TP数据经过加权处理后比TP数据的识别结果更有可能为非指关节类型,从而可以减小误识别为指关节触控的概率。
在一种可能的实施方式中,所述对所述第二TP数据进行第二加权处理,得到预处理数据,具体执行:将所述第二TP数据的内圈容值增加内圈增加比的比例,或者,将所述第二TP数据的内圈容值增加内圈增加量,得到预处理数据;所述内圈增加比是所述预处理数据的内圈容值相比所述第二TP数据的内圈容值的增加比例。这样,加权过程可以将内圈容值进行增加,减少当前TP数据的梯度值,从而适当减少梯度特征,使得判断不满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为非指关节类型,从而可以减小误识别为指关节触控的概率,以提高识别成功率。
在一种可能的实施方式中,所述对所述第二TP数据进行第二加权处理,得到预处理数据,具体执行:将所述第二TP数据的外圈容值减少外圈减少比的比例,或者,将所述第二TP数据的外圈容值减少外圈减少量,得到预处理数据;所述外圈减少比是所述预处理数据的外圈容值相比所述第二TP数据的外圈容值的减少比例。这样,加权过程可以将外圈容值进行减小,减少当前TP数据的梯度值,从而适当减少梯度特征,使得判断不满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以此类数据识别为非指关节触控的概率,提高识别成功率。
在一种可能的实施方式中,所述电子设备还执行:在所述第二TP数据满足所述预处理条件的情况下,将所述第二TP数据输入所述神经网络模型,得到第四识别结果;所述第四识别结果用于指示所述第二触控操作是否为指关节触控操作。这样,电子设备在确定满足预处理条件的情况下,对这部分TP数据不处理,能够将TP数据直接输入神经网络模型,得到识别结果,从而提高识别成功率的同时,减少处理流程,提高处理效率。
第五方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得所述电子设备执行上述第一方面任一项可能的实现方式中的触控识别方法。
第六方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得所述电子设备执行上述第二方面任一项可能的实现方式中的触控识别方法。
第七方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面任一项可能的实现方式中的触控识别方法。
第八方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第二方面任一项可能的实现方式中的触控识别方法。
第九方面,本申请实施例提供了一种芯片***,该芯片***应用于电子设备,该芯片***包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的触控识别方法。
第十方面,本申请实施例提供了一种芯片***,该芯片***应用于电子设备,该芯片***包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第二方面的任意一种可能实现的方式所述的触控识别方法。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1A~图1D是本申请实施例提供的一组指关节截屏示意图;
图2A和图2B是本申请实施例提供的一组用户操作示意图;
图3是本申请实施例提供的一种电子设备的软件***结构示意图;
图4是本申请实施例提供的一种指关节识别的方法流程图;
图5是本申请实施例提供的一种TP数据矩阵坐标表示示意图;
图6A~图6C是本申请实施例提供的一种TP数据和ACC数据的分布示意图;
图7是本申请实施例提供的一种指尖和指关节的TP数据分布对比示意图;
图8是本申请实施例提供的一种指关节识别的方法流程示意图;
图9是本申请实施例提供的一种TP数据的容值示意图;
图10是本申请实施例提供的一种TP梯度值分布示意图;
图11是本申请实施例提供的一种指关节识别的方法流程示意图;
图12是本申请实施例提供的一种TP数据初次筛选的方法流程示意图;
图13是本申请实施例提供的一种判断预处理条件的方法流程示意图;
图14是本申请实施例提供的另一种指关节识别的方法流程示意图;
图15是本申请实施例提供的一种电子设备100的硬件结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请实施例的限制。如在本申请实施例的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请实施例中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
用户使用电子设备的过程中,触控屏幕的类型多种多样。用户可以使用手指的指腹、指尖或者指关节等位置进行触控,即用户触控操作可以包括三种类型:指关节触控、指尖触控和指腹触控。一般而言,指腹和指尖类型的触控操作,电子设备需要基于触控位置和当前界面确定电子设备的响应处理,例如,用户点击某一应用图标开启这一应用;点击一个功能控件完成这一功能等。然而,针对于指关节触控类型,电子设备需要针对此类的触控操作进行特定的处理。例如,指关节截屏,录屏等功能。
具体地,指关节截屏可以包括截全屏、长截屏和区域截屏。其中,截全屏:单指关节操作双击屏幕截全屏。长截屏:单指指关节敲击屏幕并保持指关节不离开屏幕,稍微用力画“S”,屏幕将自动向下滚动截屏,滚动过程中,点击滚动区域可停止截屏。区域截屏:单指关节敲击屏幕,任一区域滑动,可以截屏该区域的内容,截取的形状可以调整。此外,录屏:双指关节双击屏幕可以开启或者停止录屏。
示例性地,图1A~图1D是本申请实施例示例性地示出的一组指关节截屏示意图。如图1A所示,电子设备可以显示三张图片,其中,图片11中仅显示下半部分,图片12为一张风景图,图片13为人物图像。用户想要截图当前用户界面中的全屏,可以双击操作。如图1A所示,用户进行第一次指关节敲击;如图1B所示,用户指关节抬起;如图1C所示,用户指关节再一次敲击。如图1D所示,在图1C中第二次指关节点击之后,响应于两次指关节连续敲击,电子设备截图当前屏幕,得到截取的全屏图片14。其中,图1B和图1C的具体描述可参考图1A的相关描述,不赘述。
需要说明的是,指关节的操作方式和触控功能上述仅仅是示例性的描述,本申请对此不限定。
按照上述的点击位置,进行指腹或者指尖类型的触控,电子设备放大显示图片13。示例性地,图2A和图2B是本申请实施例示例性地示出的一组用户操作示意图。如图2A所示,在与图1A相同的三张图片的用户界面,用户通过指腹或者指尖触控图片13。如图2B所示,响应于用户指腹或者指尖的触控操作,电子设备放大显示图片13。
对比图1A~图1D的截屏过程,以及图2A和图2B的图像放大显示过程,由于指关节触控与指腹指尖触控的用户触控类型不同,电子设备响应的处理和显示方式均有不同。因此,电子设备需要识别和区分用户的触控类型,防止误处理和显示的情况,保证用户交互响应的正确性,提高用户的交互体验。
针对于上述的问题,电子设备在检测到用户触控操作的情况下,需要先识别当前操作的触控类型,才会识别的结果数据上报给应用层对应模块。下面结合软件框架图说明一种触控类型的识别方法。
图3是本申请实施例一种电子设备的软件***结构示意图。
如图3所示,本申请涉及的电子设备的软件框架可以包括应用程序层,应用程序框架层(framework,FWK)、硬件抽象层(HAL)、内核层(kernel)和硬件层。
其中,应用程序层可以包括一系列应用程序包,例如邮件天气,日历等应用程序。
在本申请实施例中,应用程序层还可以包括指关节控制应用。指关节控制应用可以对用户的指关节触控操作进行响应处理。指关节控制应用可以包括截全屏、区域截屏、长截屏和录屏的等功能,不限定。其中,截全屏、区域截屏、长截屏和录屏对应的用户操作和相关描述可以参考图1A~图1D及其相关的描述,不赘述。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括电源管理模块(power manager)、触屏管理器(gesture action)等。
其中,电源管理模块可以基于当前屏幕的亮灭状态判断是否启动指关节识别的流程。在显示器处于亮屏的状态下,电源管理模块可以针对于触控操作确定启动指关节识别过程。在显示器处于灭屏的状态下,电源管理模块可以针对于触控操作确定不启动指关节识别过程。
触屏管理器可以将触控硬件抽象层的触控类型的识别结果上报给指关节控制应用。此外,触屏管理器还可以控制指关节触控操作的各个功能的开启与关闭。例如,当用户在电子设备的设置中点击开启长截屏功能的情况下,指关节控制应用的长截屏功能打开,才会针对相关的指关节操作进行截取长图的处理;在关闭的情况下,不处理。
硬件抽象层为位于应用程序框架层以及内核层之间的接口层,为操作***提供虚拟硬件平台。
本申请实施例中,硬件抽象层可以包括触控硬件抽象层(Fingersense HAL),Fingersense HAL可以从内核层的触控驱动获取触控面板(touch panel,TP)数据,以及从加速度驱动获取加速度(accelerometer,ACC)数据。之后,可以基于TP数据和ACC数据进行触控类型识别,将识别结果上报给触屏管理器。
内核层是Android操作***的基础,Android操作***最终的功能都是通过内核层完成。内核层至少包含显示驱动、触控驱动(Touch Driver)和加速度驱动(ACC Driver)等。
其中,触控驱动(Touch Driver)可以从触控传感器获取触控事件对应的TP数据。ACC驱动可以从ACC传感器获取ACC数据。
硬件层可以包括显示屏、触控传感器、加速度传感器等等。其中,触控传感器能够检测到用户的触控各种类型的触控操作。显示屏可以显示图像帧,用户可以触控显示屏。
需要说明的是,本申请提供的图3所示的电子设备的软件结构示意图仅作为一种示例,并不限定Android操作***不同分层中的具体模块划分,具体可以参考常规技术中对Android操作***软件结构的介绍。另外,本申请提供的拍摄方法还可以基于其他操作***实现,本申请不再一一举例。
图4是本申请实施例示例性地提供的一种指关节识别的方法流程图。如图4所示,触控驱动获取到TP数据之后,可以将向Fingersense HAL发送TP数据。Fingersense HAL可以将TP数据输入到神经网络模型,进行当前触控操作的触控类型识别,并输出识别结果。然而上述的实施方式中,指关节识别错误率较高,设备响应出错的情况高,用户体验差。此外,对于显示器效果差,其采集的TP数据,用户指关节或者指尖操作不标准,识别错误的概率更大,用户的交互响应出错率高,体验差。
图5是本申请实施例提供的一种TP数据矩阵坐标表示示意图。如图5所示,TP数据可以是一个7*7=49数据量大小的容值矩阵。其中,每一个容值的位置均有一个唯一的坐标表示,坐标从左到右,从上到下分别依次为:0、1、2、3、4、……、48。在TP数据矩阵中,从内到外一共有4圈。其中,中间点(坐标24)的容值最大,从内往外,逐渐变小。本申请实施例中,将从内向外第一圈确定为中心点,坐标为24;将从内向外第二圈定义为内圈,即网格所在的位置,内圈坐标包括16、17、18、25、32、31、30和23一共八个坐标;将从内向外第三圈定义为外圈,即斜线所在的位置,外圈坐标包括8、9、10、11、12、19、26、33、40、39、38、37、36、29、22和15一共16个坐标;将从内向外第四圈定义为边缘圈,外圈坐标包括最外圈的一共24个坐标。
需要说明的是,TP数据还可以是6*6、8*8、9*9等大小的容值矩阵,即,TP数据为X*X的大小,X为大于5的整数。本申请对TP数据的不限定。TP数据的容值矩阵包括三种坐标:中心点、内圈和外圈。其中,中心点为容值矩阵的坐标处于行和列的中心位置的一个或者四个坐标。其中,X为奇数,中心点有一个坐标;X为偶数,中心点有四个坐标。内圈为紧邻中心点外侧一圈的坐标;外圈为紧邻内圈的外侧一圈的坐标。每个坐标均对应一个电容值。内圈均值即内圈坐标对应容值的平均值;外圈均值即外圈坐标对应容值的平均值。
ACC数据是指电子设备用户触控力度的感应量,用户触控力度越大,感应量越大。ACC数据中,由于指关节触控时力道较重,指关节触控的ACC感应量远大于指腹和指尖的感应量。
对比的指尖、指腹和指关节的TP数据,发现数据分布的特征不同。图6A~图6C是本申请实施例示例性地示出的一种TP数据和ACC数据的分布示意图。
图6A中为指腹的TP数据分布。如图6A所示,TP数据矩阵中,中心点的容值为3747,其中柱体较高的数量多,表明用户触控的接触面积较大。
图6B中为指尖的TP数据分布。如图6B所示,TP数据矩阵中,中心点的容值为3263,柱体较高的数量较少,表明用户触控面积小。
图6C中为指关节的TP数据分布。如图6C所示,TP数据矩阵中,中心点的容值为2940,柱体较高的数量较少,用户触控面积小。对比指腹、指尖和指关节的数据发现,TP数据的容值矩阵可以近似看成高斯分布,中间数值最大,向外递减。其中,指腹数据的容值大的坐标点数量更多,指尖和指关节的容值面积小。
针对于上述的情况,将TP数据建立不同维度的数据特征来区别上述不同触控类型。本申请实施例中,TP数据的可以包括三个维度的数据特征:1.TP数据的梯度特征;2.TP数据的圈层特征;3.TP数据的面积特征。
其中,TP数据的梯度可以为外圈容值的均值与内圈容值的均值的比值。TP数据的圈层特征为TP数据的内圈容值的均值。TP数据的面积特征能够表明用户的触控面积。对比图6A、图6B和图6C发现,指腹触控可以通过面积特征筛选出来。然而,指尖和指关节的数据特征是比较接近的,相似度较高,若用户进行指关节识别的时候,若用户的操作不规范,触控不标准,例如指关节侧击屏幕,容易导致识别错误。实际使用过程中,需要将指关节触控类型单独识别出来,指关节和指尖的数据特征最为接近,加上电子设备的屏幕效果差,用户的指关节操作方式形态各异。例如,用户指关节倾斜触控,触控面积增大,导致采集的TP数据不准确,区别特征不明显,使得神经网络模型识别指关节的成功率较低,用户体验差。
基于上述的指关节和指腹的数据特征的差别,本申请实施例提出一种指关节识别方法。电子设备采集到第一触控事件之后,计算第一触控事件的TP数据的内圈均值和梯度值,并基于内圈特征和梯度特征判断是否需要预处理,在TP梯度大于第一梯度值和/或内圈均值小于第一内圈值的情况下,满足预处理条件。在满足预处理条件的情况下,将外圈容值进行增大,或者将内圈容值进行减小的预处理,得到预处理TP数据。之后可以将TP数据输入到神经网络模型进行指关节识别,得到识别结果。
图7是本申请实施例示例性地示出的另一种指关节识别的方法流程图。如图7所述,用户触控屏幕,触控驱动可以获取TP数据,ACC驱动可以获取ACC数据。基于的TP数据的面积特征和ACC数据的感应量进行筛选,将其中面积大或者感应量小的数据剔除,确定为非指关节触控。之后进一步基于TP数据的内圈特征和梯度特征判断是否满足预处理条件,若需要预处理,电子设备可先对TP数据加权预处理,得到预处理数据,将预处理数据输入到神经网络模式识别,得到识别结果。若不需要预处理,将TP数据直接输入到神经网络模型进行识别,得到识别结果。
上述的过程中,由于电子设备判断满足预处理条件的情况下,可以这一部分的TP数据更加接近于指关节触控类型,可以将这一TP数据中的外圈的电容值增大,使得TP数据更加接近指关节的数据,从而使得神经网络模型的输出概率更加接近指关节类型,提高指关节识别的成功率。
图8是本申请实施例提出的一种指关节识别的方法流程示意图。如图8所示,该指关节识别方法可以包括但不限于以下步骤:
S801:电子设备获取第一触控事件。
电子设备监控触控事件的情况下,可以通过触控传感器获取用户的第一触控事件。如图1A和图1B所示,用户可以通过指尖、指关节或者指腹的方式进行第一触控操作,响应于用户的第一触控操作,电子设备的触控传感器可以获取到用户的第一触控事件。
S802:电子设备获取第一触控操作的TP数据和ACC数据。
在电子设备获取到第一触控事件的情况下,可以获取第一触控操作的TP数据和ACC数据。具体地,电子设备的触控传感器获取到第一触控事件的情况下,便获取到TP数据,以及ACC传感器获取到ACC数据。之后可以通过fingersenseHAL向触控驱动请求TP数据,向ACC驱动请求ACC数据。fingersenseHAL可以获取到TP数据和ACC数据。
S803:电子设备基于TP数据的面积特征进行筛选。
一种可能的实施方式中,TP数据中包括TP面积量,TP面积量和与用户第一触控操作的接触面积正相关。在TP面积量大于或等于第一面积阈值的情况下,确定第一触控操作为非指关节触控(即为指腹触控类型)。在TP面积量小于(小于或等于)第一面积阈值的情况下,确定第一触控操作的触控类型有待判断(确定需要指关节识别),继续执行S804(或者直接执行S805)。
另一种可能的实施方式中,电子设备可以计算TP数据的TP面积量。其中,TP面积量为TP数据中大于第一容值的坐标数量。第一容值的范围为0~200。例如,第一容值为50的情况下,依次统计7*7=49个坐标对应的容值是否大于50,其中16个坐标的容值大于(大于或等于)50的情况下,可以确定TP数据量为16。之后,电子设备可以比较TP面积量和第一面积阈值。在TP面积量大于或等于(大于)第一面积阈值的情况下,确定第一触控事件不是指关节触控,输出识别结果。
S804:电子设备基于ACC数据进行筛选。
电子设备设置有ACC阈值,可以比较ACC数据和ACC阈值。在ACC数据大于或等于(大于)ACC阈值的情况下,可以确定第一触控事件满足识别条件。在ACC数据小于(小于或等于)ACC阈值的情况下,可以确定第一触控事件不满足识别条件。在满足识别条件的情况下,确定需要指关节识别,执行S805;在不满足识别条件的情况下,不执行S805~S809的处理过程,并判定当前的第一触控事件为指关节类型的触控事件,即输出识别结果。
其中,ACC阈值的范围可以为0.2~0.5个g。
上述的过程中,由于指关节用户使用的触控力度更大;指尖指腹的用使用的触控力度较小,从而可以直接确定是否为指关节类型的触控,筛选掉部分不需要进一步识别的数据,简化处理过程,提高处理效率。
S805:电子设备基于TP数据计算TP梯度值和/或TP内圈均值。
其中,TP梯度值和TP内圈均值描述可以参考上述的描述,不赘述。
电子设备在确定需要指关节识别的情况下(具体参考S803和S804的筛选),可以基于第一触控事件的TP数据计算TP数据中内圈平均值为TP内圈均值,还可以计算TP外圈均值,将外圈均值/内圈均值的结果为TP梯度值。
示例性地,图9是本申请实施例示例性地提出的一种TP数据的容值示意图。如图9所示,49个坐标中依次包括一个电容值。其中,斜线坐标为外圈电容;方格坐标为内圈电容方法电子设备可以计算TP内圈均值为(188+702+315+1159+378+540+266+377)/8=490.625。外圈均值=(58+70+100+76+26+62+127+100+54+107+134+107+69+112+117+69)/16=86.75,得到TP梯度值为外圈均值86.75/内圈均值490.625=0.1768。
S806:电子设备基于TP梯度值和/或TP内圈均值判断是否满足预处理条件。
其中,预处理条件可以包括内圈条件和/或梯度条件。
电子设备计算得到TP梯度值和/或TP内圈均值之后,可以判断是否满足预处理条件,在满足预处理条件的情况下,执行S807和S808;在不满足预处理条件的情况下,执行S809。
下面对于内圈条件和梯度条件进行具体说明:
内圈条件:TP内圈均值小于或等于第一内圈值:
电子设备可以比较内圈条件和第一内圈均值的大小,在内圈条件小于或等于(小于)第一内圈值的情况下,确定满足内圈条件;在内圈条件大于(大于或等于)第一内圈值的情况下,确定不满足内圈条件。其中,第一内圈值的范围可以为500到800。
示例性地,第一内圈值为600的情况下,图9中内圈均值为490.625,内圈均值小于600,因此满足内圈条件。假若内圈均值为705.6,705.6>600,则不满足内圈条件。
梯度条件:TP梯度值大于或等于第一梯度值:
电子设备可以TP梯度值与第一梯度值的大小,在TP梯度值大于或等于(大于)第一梯度值的情况下,确定满足梯度条件;在TP梯度值小于(小于或等于)第一梯度值的情况下,确定不满足梯度条件。其中,第一梯度值的范围可以为0.1到0.15。
示例性地,第一梯度值为0.12的情况下,图9中TP梯度值为0.1768,0.1768>0.12,因此满足梯度条件。假若TP梯度值为0.96,0.96<0.12,则不满足梯度条件。
上述的实施方式中,通过内圈条件和/或梯度条件的方式可以将需要进行预处理的数据提前筛选出来,保证预处理的准确性。
S807:电子设备对TP数据进行加权处理,得到预处理数据。
电子设备可以对TP数据中不同圈层的数据进行加权处理得到,预处理数据。
将TP数据中的外圈数据加上第一数量,得到预处理数据。
一种可能的实施方式中,电子设备可以对TP数据的外圈容值进行加权处理,得到预处理数据。
方式1:按照外圈增加比对外圈加权。
电子设备设置有外圈增加比,可以按照外圈增加比计算预处理数据中的外圈容值。外圈增加比可以是指预处理数据中的外圈第二容值相对于TP数据的外圈第一容值的增加比例。外圈第二容值可以为加权处理后的外圈容值;外圈第一容值可以为TP数据中原始的外圈容值。其中,外圈增加比的范围可以为0%~30%。
第i外圈第二容值=第i外圈第一容值+第i外圈第一容值*外圈增加比。如图9所示,i为从1到16的整数。外圈第一容值为斜线坐标中的容值,从坐标编码8开始顺指针方向数,外圈第一容值依次为58、70、100、76、26、62、127、100、54、107、134、107、69、112、117、69。外圈增加比为15%,假设i为1的情况下,第1外圈第二容值为58+58*0.15=66.7;假设i为2的情况下,第2外圈第二容值为70+70*0.15=80.5;假设i为3的情况下,第3外圈第二容值为100+100*0.15=115;……;假设i为16的情况下,第16外圈第二容值为69+69*0.15=79.35。从而可以对应得到外圈第二容值,将TP数据中外圈第一容值对应替换为外圈第二容值,得到预处理数据。
方式2:按照外圈增加量对外圈加权。
电子设备设置有外圈增加量,可以将TP数据的每一个外圈第一容值与外圈增加量的和确定为预处理数据的对应外圈第二容值。其中,外圈增加量的范围可以为1~30。
第i外圈第二容值=第i外圈第一容值+外圈增加量。如图9所示,i为从1到16的整数。示例性地,从坐标编码8开始顺指针方向数,外圈第一容值依次为58、70、100、76、26、62、127、100、54、107、134、107、69、112、117、69。外圈增加比为10,假设i为1的情况下,第1外圈第二容值为58+10=68;第2外圈第二容值为70+10=80;……;第16外圈第二容值为69+10=79。
可选地,电子设备可以设置一个外圈增加量,i从1到16共用一个;也可以设置16个外圈增加量,对应每个i对应的外圈增加量均有不同。当然,TP数据的矩阵大小不同,对应的i的范围也不同。
上述两种方式中,除了改变外圈容值,其他圈层的容值保持不变,既可以得到预处理TP数据。
上述的实施方式中,电子设备可以对外圈容值增加尽可能保持原来的TP数据的同时,对其进行轻微调整,满足预处理条件的TP数据,外圈容值增大一些,TP梯度值增大,神经网络的输出结果相比TP数据更加偏向于指关节触控类型,提高识别成功率。
另一种可能的实施方式中,电子设备可以对TP数据的内圈的容值进行加权处理,得到预处理数据。
方式1:按照内圈减少比对内圈加权。
电子设备可以按照内圈减少比计算预处理数据(第二TP数据)中的(第二)内圈容值。内圈减少比可以是指预处理数据中的内圈第二容值相对于TP数据的内圈第一容值的减少量比例。内圈第二容值可以为加权处理后的内圈容值;内圈第一容值可以为TP数据中原始的内圈容值。其中,内圈减少比的范围可以为0%~15%。
第n外圈第二容值=第n外圈第一容值-第n外圈第一容值*内圈减少比。如图9所示,n为从1到8的整数。
示例性地,如图9所示,内圈第一容值为方格坐标中的容值,从坐标编码16开始顺指针方向数,内圈第一容值依次为188、702、315、1159、378、540、266、377。内圈减少比为5%,第1内圈第二容值为188-188*0.05=178.6;第2外圈第二容值为702-702*0.05=666.9;……;第8外圈第二容值为377-377*0.05=358.15。从而可以对应得到内圈第二容值,将TP数据中内圈第一容值对应替换为内圈第二容值,得到预处理数据。
方式2:按照内圈减少量对内圈加权。
电子设备设置有内圈减少量,可以将TP数据的每一个内圈第一容值与内圈增加量的和确定为预处理数据的对应内圈第二容值。其中,内圈减少量的范围可以为1~100。
第n外圈第二容值=第n外圈第一容值-内圈减少量。如图9所示,n为从1到8的整数。
示例性地,如图9所示,n为从1到8的整数。内圈第一容值为方格坐标中的容值,从坐标编码16开始顺指针方向数,内圈减少量为20,第1内圈第二容值为188-20=168;第2外圈第二容值为702-20=682;……;第8外圈第二容值为377-20=357。从而可以对应得到内圈第二容值,将TP数据中内圈第一容值对应替换为内圈第二容值,得到预处理数据。
其中,TP数据的矩阵大小不同,对应的n的范围也不同。
又一种可能的实施方式中,电子设备可以对TP数据的内圈和外圈的容值进行加权处理,得到预处理数据。
其中,外圈加权可以参考电子设备对TP数据的外圈容值进行加权处理的过程;内圈加权可以参考电子设备对TP数据的内圈容值进行加权处理的过程,具体过程不赘述。电子设备得到外圈第二容值和内圈第二容值之后,可以将TP数据中内圈第一容值对应替换为内圈第二容值,外圈第一容值对应替换为外圈第二容值,得到预处理数据。
S808:电子设备将预处理数据输入神经网络模型,得到第一识别结果。
在获取到预处理数据的情况下(满足S806之后,执行S807),可以将预处理数据输入神经网络模型,得到第一识别结果。识别结果用于指示第一触控操作是否为指关节触控操作。
神经网络模型或算法识别预处理数据对应的第一触控事件的事件类型。在事件类型是指关节触控的情况下,可以通过FWK向模块上报第一触控事件确定。在事件类型不是指关节类型的情况下,可以对应的第一应用上报第一触控事件的触控类型,是指关节触控或者非指关节触控。
S809:电子设备将TP数据输入神经网络模型,得到第二识别结果。
在不满足预处理条件的情况下,可以将TP数据输入神经网络模型,得到第二识别结果。电子设备得到第二识别结果之后,可以输出识别结果,具体可以参考S808的相关描述,不赘述。
在本申请实施例中,预处理条件可以仅包括内圈条件,也可以包括内圈条件和梯度条件,不限定。假设采集到指关节触控的TP内圈均值范围一般为400~600,指尖腹触控的TP内圈均值范围一般为600~700。因此,指关节触控的TP内圈均值一般小于指尖触控的TP内圈均值;而指关节的TP梯度值是一般大于指尖的TP梯度值。因此,上述满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于指关节触控类型。为了增加将此类的数据识别成指尖类型的概率可以进行S807的加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
通过上述的指关节识别过程,本申请实施例针对两种屏幕分别提供两种识别方式的结果对比。
表1
表1是本申请实施例示例性地示出的一种识别结果对比数据。如表1所示,对于屏幕一,指关节截全屏的操作中,原算法的识别成功率为80%,本申请实施例的成功率为83%,提高3%;指关节录屏的操作中,原算法的识别成功率为80%,本申请实施例的成功率为84%,提高4%。对于屏幕二,指关节截全屏的操作中,原算法的识别成功率为57%,本申请实施例的成功率为66%,提高9%;指关节录屏的操作中,原算法的识别成功率为78%,本申请实施例的成功率为85%,提高7%。
屏幕一的质量较好,采集到的TP数据的特征更加优质,本申请实施例对于识别结果成功率有部分提升。相对而言,屏幕二的质量较差,采集到的TP数据的特征比较差,本申请实施例对于识别结果成功率的提升更加突出。上述的不论是屏幕效果和好坏,本申请实施例均可以提升算法的识别成功率。其中,对于屏幕效果较差的情况而言,上述的识别成功率的明显提升,能够有效地改善用户的触控体验,保证截屏、录屏的准确响应。
图10是本申请实施例示例性地示出的一种TP梯度值分布示意图。如图10所示,指尖触控和指关节触控的TP梯度值分布比例,纵坐标为对应TP梯度值中触控数量占总触控数量的百分比,横坐标为触控的TP梯度值。实线为指尖,虚线为指关节,指尖的TP梯度值大部分分布在0.085左右,指关节的TP梯度值大部分分布在0.14左右。其中,指关节的TP梯度值整体大于指尖的TP梯度值。指关节的TP梯度值与指尖的TP梯度值存在重合的情况。在重合的范围内,神经网络模型识别过程中存在一定概率将指关节类型判别为指尖;将指尖类型判别为指关节,导致识别错误。本申请实施例中,将满足预处理条件的TP数据大概率为指关节类型的触控数据,落入到重合的范围,经过加权预处理的过程,将TP数据的梯度值增大,预处理数据的梯度值向右移动,增大判别为指关节类型的概率,从而可以提高指关节识别的成功率。
图11是本申请实施例提出的一种指关节识别的方法流程示意图。如图11所示,电子设备可以包括触屏管理器、触控硬件抽象层、触控驱动、加速度驱动和指关节控制应用和第一应用等模块,其中,第一应用可以是应用程序层除了指关节控制应用的其他应用程序,具体可以参考图3的相关描述,不赘述。该指关节识别的方法可以包括但不限于以下步骤:
S1101:触控传感器向触屏管理器发送第一触控事件。
触控传感器可以检测用户的触控操作,用户触控电子设备的屏幕的情况下,响应于用户的第一触控操作,触控传感器可以获取到第一触控事件,之后,触控传感器可以向触屏管理器上报第一触控事件。第一触控事件可以包括用户的触控时间。
其中,用户的第一触控操作参考图1A和图2A的相关描述,不赘述。
S1102:触屏管理器向触控硬件抽象层发送指关节识别指令。
触屏管理器获取到第一触控事件的情况下,可以确定需要针对于第一触控事件进行使关节识别,触屏管理器可以向触控硬件抽象层发送指关节识别指令。对应地,触控硬件抽象层可以接收来自触屏管理器指关节识别指令。指关节识别指令用于指示电子设备执行指关节识别的流程。触控硬件抽象层接收到指关节识别指令之后,可以启动指关节识别流程,即执行S1103~S1111。
S1103:触控硬件抽象层向加速度驱动发送ACC数据请求。
触控硬件抽象层接收到指关节识别指令之后,可以向加速度驱动发送ACC数据请求。对应地,加速度驱动可以接收来自触控硬件抽象层的ACC数据请求。其中,ACC数据请求用于请求第一触控事件的ACC数据。ACC数据请求可以包括时间戳,用于获取第一触控事件的ACC数据。
S1104:加速度驱动向触控硬件抽象层发送ACC数据。
加速度驱动获取到ACC数据请求之后,可以向触控硬件抽象层发送ACC数据。对应地,触控硬件抽象层接收来自加速度驱动的ACC数据。加速度驱动发送ACC数据之前,已经从ACC传感器获取第一触控操作的ACC数据。
S1105:触控硬件抽象层向触控驱动发送TP数据请求。
触控硬件抽象层接收到指关节识别指令之后,可以向触控驱动发送TP数据请求。对应地,触控驱动可以接收来自触控硬件抽象层的TP数据请求。TP数据请求用于请求第一触控事件的TP数据。TP数据请求可以包括时间戳,用于获取第一触控事件的TP数据。
S1106:触控驱动向触控硬件抽象层发送TP数据。
触控驱动接收到TP数据请求之后,可以向触控硬件抽象层发送TP数据。对应地,触控硬件抽象层可以接收来自触控驱动的TP数据。触控驱动发送TP数据之前,已经从TP传感器获取第一触控操作的TP数据。
其中,S1103和S1105的之间执行顺序不限定。
S1107:触控硬件抽象层基于ACC数据和TP数据进行指关节初次筛选。
触控硬件抽象层获取到ACC数据和TP数据之后,可以对TP数据进行初次筛选,确定是否需要进行指关节识别过程,将不需要的筛选调。
示例性地,图12是本申请实施例示例性地示出的一种TP数据初次筛选的方法流程示意图。如图12所示,TP数据初次筛选方法可以包括但不限于以下步骤:
S1201:触控硬件抽象层判断TP数据的TP面积量是否大于或等于(大于)第一数量阈值。在大于或者等于(大于)第一数量阈值的情况下,执行S1202;在小于(小于或等于)第一数量阈值的情况下,执行S1203。
其中,S1201可以参考S803的相关描述,不赘述。
S1202:触控硬件抽象层将第一触控事件确定为非指关节触控。
触控硬件抽象层确定第一触控事件确定为非指关节触控,可以向触屏管理器发送识别结果信息,此时,识别结果信息用于指示第一触控事件为非指关节触控。
S1203:触控硬件抽象层判断ACC数据是否大于或等于ACC阈值。在ACC数据是否大于或等于(大于)ACC阈值的情况下,执行S1204;ACC数据是否小于(小于或等于)ACC阈值的情况下,执行S1202。
其中,S1203可以参考S804的相关描述,不赘述。
S1204:触控硬件抽象层将第一触控事件确定为指关节触控。
触控硬件抽象层确定第一触控事件确定为指关节触控,之后可以继续执行S1108。
上述,S1201和S1203的执行顺序可以调换,本申请对此不限定。
S1108:触控硬件抽象层判断TP数据是否满足预处理条件。
在S1107中确定为需要进行指关节识别的情况下,执行S1108。
其中,参考S806的描述,预处理条件可以包括内圈条件和/或梯度条件,此处以预处理条件包括内圈条件和梯度条件为例进行示例性说明:
图13是本申请实施例示例性地示出的一种判断预处理条件的方法流程示意图。如图13所示,该判断预处理条件方法可以包括但不限于以下步骤:
S1301:触控硬件抽象层判断TP内圈均值是否小于或等于(小于)第一内圈值。在TP内圈均值小于或等于(小于)第一内圈值的情况下,执行S1303。在TP内圈均值大于(大于或等于)第一内圈值的情况下,执行S1302。
其中,S1301的描述具体可以参考S806中的内圈条件的相关描述,不赘述。
S1302:触控硬件抽象层不满足预处理条件。
S1303:触控硬件抽象层判断TP梯度值是否大于或等于第一梯度值。在TP梯度值大于或等于(大于)第一梯度值的情况下,执行S1304;否则,执行S1302。
其中,S1303的描述具体可以参考S806中的梯度条件的相关描述,不赘述。
S1304:触控硬件抽象层满足预处理条件。
其中,S1108的描述具体参考S806的描述,此处不做赘述。
S1109:触控硬件抽象层TP数据进行加权处理,得到预处理数据。
在S1108中满足预处理条件的条件下,执行S1109。其中,S1109的描述可以参考S807的相关描述,不赘述。
S1110:触控硬件抽象层将预处理数据输入神经网络模型,得到第一识别结果。
第一识别结果可以指示第一触控事件是指关节触控;也可以指示非指关节触控。
其中,S1110的描述可以参考S808的相关描述,不赘述。
可选地,在S1108中不满足预处理条件的条件下,触控硬件抽象层将TP数据直接输入神经网络模型,得到第二识别结果。同理,第二识别结果可以指示第一触控事件是指关节触控;也可以指示非指关节触控。
S1111:触控硬件抽象层向触屏管理器发送识别结果信息。
触控硬件抽象层获取到识别结果的情况下,可以向触屏管理器发送识别结果信息。
一种可能的情况下,触控硬件抽象层获取到第一识别结果,识别结果信息中包括第一识别结果。另一种可能的情况下,触控硬件抽象层获取到第二识别结果,识别结果信息中包括第二识别结果。一个触控事件仅执行两种情况中的一种,或者均不执行(例如S1202的情况)。
S1112:触屏管理器判断识别结果信息是否为指关节触控。
触屏管理器获取到识别结果信息的情况下,可以向识别结果信息是否为指关节触控。在识别结果信息指示为指关节触控的情况下,可以执行S1113;在识别结果信息指示为非指关节触控的情况下,可以执行S1115。
S1113:触屏管理器向指关节控制应用发送指关节触控事件。
触屏管理器可以向指关节控制应用发送指关节触控事件,对应地,指关节控制应用可以接收来自触屏管理器的指关节触控事件。
S1114:指关节控制应用基于指关节触控事件进行第一响应处理。
指关节控制应用可以针对于第一触控事件进行第一响应处理。第一响应处理的过程可以参考图1A~图1D及其相关描述,不赘述。
S1115:触屏管理器向第一应用发送触控事件信息。
触屏管理器可以向第一应用发送触控事件信息,对应地,第一应用可以接收来自触屏管理器的指关节触控事件信息。
S1116:第一应用基于触控事件信息进行第二响应处理。
第一应用可以针对于第一触控事件进行第二响应处理。第二响应处理的过程可以参考图2A和图2B及其相关描述,不赘述。
上述的处理过程中,指关节触控的TP内圈均值一般小于指尖触控的TP内圈均值;而指关节的TP梯度值是一般大于指尖的TP梯度值。因此,上述满足预处理条件的TP数据的神经网络模型识别结果往往越倾向于指关节触控类型。为了增加将此类的数据识别成指尖类型的概率可以进行加权处理,使得判断满足预处理条件的TP数据经过加权处理后,预处理数据比TP数据的识别结果更有可能为指关节类型,从而可以提高识别成功率。
图14是本申请实施例提出的一种指关节识别的方法流程示意图。如图14所示,该指关节识别方法可以包括但不限于以下步骤:
S1401:电子设备获取第一触控事件。
S1402:电子设备获取第一触控操作的TP数据和ACC数据。
S1403:电子设备基于TP数据的面积特征进行筛选。
S1404:电子设备基于ACC数据进行筛选。
S1405:电子设备基于TP数据计算TP梯度值和/或TP内圈均值。
其中,S1401~S1405具体可以参考S801~S805的相关描述,不赘述。
S1406:电子设备基于TP梯度值和/或TP内圈均值判断是否不满足预处理条件。在不满足预处理条件的情况下,执行S1407;在满足预处理条件的情况下,执行S1409。
电子设备基于TP梯度值和/或TP内圈均值判断是否不满足预处理条件的过程,具体可以参考S806的相关描述,不赘述。
S1407:电子设备对TP数据进行加权处理,得到预处理数据。
电子设备可以对TP数据中不同圈层的数据进行加权处理得到,预处理数据。
将TP数据中的外圈数据加上第一数量,得到预处理数据。
一种可能的实施方式中,电子设备可以对TP数据的外圈容值进行加权处理,得到预处理数据。
方式1:按照内圈增加比对内圈加权。
电子设备设置有内圈增加比,可以按照内圈增加比计算预处理数据中的内圈容值。内圈增加比可以是指预处理数据中的内圈第二容值相对于TP数据的内圈第一容值的增加比例。内圈第二容值可以为加权处理后的内圈容值;内圈第一容值可以为TP数据中原始的内圈容值。其中,内圈增加比的范围可以为0%~30%。
第n内圈第二容值=第n内圈第一容值+内圈增加比*第n内圈第一容值。如图9所示,n为从1到8的整数。
方式2:按照内圈增加量对内圈加权。
电子设备设置有内圈增加量,可以将TP数据的每一个内圈第一容值与内圈增加量的和确定为预处理数据的对应内圈第二容值。其中,内圈增加量的范围可以为1~100。
第i内圈第二容值=第i内圈第一容值+内圈增加量。如图9所示,n为从1到8的整数。
上述两种方式中,除了改变内圈容值,其他圈层的容值保持不变,既可以得到预处理TP数据。
上述的实施方式中,电子设备可以对内圈容值增加尽可能保持原来的TP数据的同时,对其进行轻微调整,不满足预处理条件的TP数据,内圈容值增大一些,神经网络的输出结果相比TP数据更加偏向于非指关节触控类型,减少识别错误率。
另一种可能的实施方式中,电子设备可以对TP数据的内圈的容值进行加权处理,得到预处理数据。
方式1:按照外圈减少比对外圈加权。
电子设备可以按照外圈减少比计算预处理数据中的(第二)外圈容值。外圈减少比可以是指预处理数据中的外圈第二容值相对于TP数据的外圈第一容值的减少量比例。外圈第二容值可以为加权处理后的外圈容值;外圈第一容值可以为TP数据中原始的外圈容值。其中,外圈减少比的范围可以为0%~15%。
第i外圈第二容值=第i外圈第一容值-第i外圈第一容值*外圈减少比。如图9所示,i为从1到16的整数。
方式2:按照外圈减少量对外圈加权。
电子设备设置有外圈减少量,可以将TP数据的每一个外圈第一容值与外圈增加量的和确定为预处理数据的对应外圈第二容值。其中,外圈减少量的范围可以为1~100。
第i外圈第二容值=第i外圈第一容值-外圈减少量。如图9所示,i为从1到16的整数。
又一种可能的实施方式中,电子设备可以对TP数据的内圈和外圈的容值进行加权处理,得到预处理数据。
其中,内圈加权可以参考电子设备对TP数据的内圈容值进行加权处理的过程;外圈加权可以参考电子设备对TP数据的外圈容值进行加权处理的过程,具体过程不赘述。电子设备得到外圈第二容值和外圈第二容值之后,可以将TP数据中内圈第一容值对应替换为内圈第二容值,外圈第一容值对应替换为外圈第二容值,得到预处理数据。
其中,S1407的处理过程与S807的处理过程正好相反。
S1408:电子设备将预处理数据输入神经网络模型,得到第三识别结果。
其中,S1408具体可以参考S808的相关描述,不赘述。
S1409:电子设备将TP数据输入神经网络模型,得到第四识别结果。
其中,S1409具体可以参考S809的相关描述,不赘述。
可选地,在满足上述预设条件的情况下,可以执行S807和S808的流程,不赘述。
上述的实施方式中,对不满足预处理条件的情况下,可以对外圈容值减少或者内圈容值增加,减小TP梯度值,从而可以将可能偏向于非指关节类型的触控的数据进行网络识别更加偏向于非指关节类型,减少指关节识别的错误率,提高用户体验。
图15示出了电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,传感器模块180以及显示屏194等。其中,传感器模块180可以包括加速度传感器180E和触控传感器180K。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
显示屏194用于显示图片,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。本申请实施例中,加速度传感器接可以指ACC传感器,可以获取ACC数据。
触控传感器180K,也称“触控面板”。触控传感器180K可以设置于显示屏194,由触控传感器180K与显示屏194组成触摸屏,也称“触控屏”。触控传感器180K用于检测作用于其上或附近的触摸操作。触控传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触控传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请实施例中,用户触控显示屏的情况下,响应于用户的第一触控操作,电子设备的加速度传感器180E可以采集ACC数据,触控传感器180K可以采集TP数据。
本申请实施例中,电子设备可以是手机,平板,电脑、智能手环等等,不限定。
在上述实施例中,全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solidstate disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (20)
1.一种触控识别方法,其特征在于,所述方法应用于电子设备,所述方法包括:
接收用户的第一触控操作,响应于所述第一触控操作获取第一触控面板TP数据;所述第一TP数据为容值矩阵;
在所述第一TP数据满足预处理条件的情况下,对所述第一TP数据进行第一加权处理,得到预处理数据;其中,所述预处理条件包括第一TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;
将所述预处理数据输入神经网络模型,得到第一识别结果;所述第一识别结果用于指示所述第一触控操作是否为指关节触控操作。
2.根据权利要求1所述的方法,其特征在于,所述第一内圈值的范围为500到800。
3.根据权利要求1所述的方法,其特征在于,所述预处理条件还包括所述第一TP数据的梯度值大于或等于第一梯度值;所述第一TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。
4.根据权利要求3所述的方法,其特征在于,所述第一梯度值的范围为0.1到0.15。
5.根据权利要求1所述的方法,其特征在于,所述第一TP数据进行第一加权处理,得到预处理数据,包括:
对所述第一TP数据的外圈容值进行增量加权,得到预处理数据。
6.根据权利要求5所述的方法,其特征在于,所述对所述第一TP数据的外圈容值进行增量加权,包括:
将所述第一TP数据的外圈容值增加外圈增加比的比例,或者,将所述第一TP数据的外圈容值增加外圈增加量,得到预处理数据;
所述外圈增加比是所述预处理数据的外圈容值相比所述第一TP数据的外圈容值的增加比例。
7.根据权利要求6所述的方法,其特征在于,所述外圈增加比的范围为1%~30%。
8.根据权利要求1所述的方法,其特征在于,所述第一TP数据进行第一加权处理,得到预处理数据,包括:
将所述TP数据的内圈容值减少内圈减少比的比例,或者,将所述第一TP数据的内圈容值减少内圈减少量,得到预处理数据;
所述内圈减少比是所述预处理数据的内圈容值相比所述第一TP数据的内圈容值的减少比例。
9.根据权利要求1所述的方法,其特征在于,所述对所述第一TP数据进行第一加权处理之前,所述方法还包括:
所述电子设备获取所述第一触控操作的第一ACC数据,在所述ACC数据大于或者等于第一ACC阈值的情况下,判断所述第一TP数据是否满足所述预处理条件。
10.根据权利要求1所述的方法,其特征在于,所述对所述第一TP数据进行第一加权处理之前,所述方法还包括:
在所述第一TP数据的面积量满足面积条件的情况下,判断所述第一TP数据是否满足所述预处理条件。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一TP数据不满足所述预处理条件的情况下,将所述第一TP数据输入所述神经网络模型,得到第二识别结果;所述第二识别结果用于指示所述第一触控操作是否为指关节触控操作。
12.一种触控识别方法,其特征在于,所述方法应用于电子设备,所述方法包括:
接收用户的第二触控操作,响应于所述第二触控操作获取第二TP数据;所述第二TP数据为容值矩阵;
在所述第二TP数据不满足预处理条件的情况下,对所述第二TP数据进行第二加权处理,得到预处理数据;其中,所述预处理条件包括第二TP数据的内圈均值小于或等于第一内圈值;所述内圈均值为所述容值矩阵中紧邻中心点外侧一周坐标对应容值的均值;
将所述预处理数据输入神经网络模型,得到第三识别结果;所述第三识别结果用于指示所述第一触控操作是否为指关节触控操作。
13.根据权利要求12所述的方法,其特征在于,所述预处理条件还包括所述第二TP数据的梯度值大于或等于第一梯度值;所述第二TP数据的梯度值为外圈均值与所述内圈均值的比值;所述外圈均值为所述容值矩阵中紧邻内圈外侧一周坐标对应容值的均值。
14.根据权利要求12所述的方法,其特征在于,所述对所述第二TP数据进行第二加权处理,得到预处理数据,包括:
将所述第二TP数据的内圈容值增加内圈增加比的比例,或者,将所述第二TP数据的内圈容值增加内圈增加量,得到预处理数据;
所述内圈增加比是所述预处理数据的内圈容值相比所述第二TP数据的内圈容值的增加比例。
15.根据权利要求12所述的方法,其特征在于,所述对所述第二TP数据进行第二加权处理,得到预处理数据,包括:
将所述第二TP数据的外圈容值减少外圈减少比的比例,或者,将所述第二TP数据的外圈容值减少外圈减少量,得到预处理数据;
所述外圈减少比是所述预处理数据的外圈容值相比所述第二TP数据的外圈容值的减少比例。
16.根据权利要求12所述的方法,其特征在于,所述方法包括:
在所述第二TP数据满足所述预处理条件的情况下,将所述第二TP数据输入所述神经网络模型,得到第四识别结果;所述第四识别结果用于指示所述第二触控操作是否为指关节触控操作。
17.一种电子设备,其特征在于,包括:一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-11任一项所述的方法。
18.一种电子设备,其特征在于,包括:一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求12-16任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现如权利要求1-11中任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现如权利要求12-16中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310842550.7A CN117687558A (zh) | 2023-07-10 | 2023-07-10 | 一种触控识别方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310842550.7A CN117687558A (zh) | 2023-07-10 | 2023-07-10 | 一种触控识别方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117687558A true CN117687558A (zh) | 2024-03-12 |
Family
ID=90134038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310842550.7A Pending CN117687558A (zh) | 2023-07-10 | 2023-07-10 | 一种触控识别方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117687558A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130176270A1 (en) * | 2012-01-09 | 2013-07-11 | Broadcom Corporation | Object classification for touch panels |
CN105630239A (zh) * | 2015-12-24 | 2016-06-01 | 小米科技有限责任公司 | 操作检测方法及装置 |
CN116027953A (zh) * | 2022-08-15 | 2023-04-28 | 荣耀终端有限公司 | 指关节触控操作的识别方法、电子设备及可读存储介质 |
CN116048350A (zh) * | 2022-07-08 | 2023-05-02 | 荣耀终端有限公司 | 一种截屏方法及电子设备 |
-
2023
- 2023-07-10 CN CN202310842550.7A patent/CN117687558A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130176270A1 (en) * | 2012-01-09 | 2013-07-11 | Broadcom Corporation | Object classification for touch panels |
CN105630239A (zh) * | 2015-12-24 | 2016-06-01 | 小米科技有限责任公司 | 操作检测方法及装置 |
CN116048350A (zh) * | 2022-07-08 | 2023-05-02 | 荣耀终端有限公司 | 一种截屏方法及电子设备 |
CN116027953A (zh) * | 2022-08-15 | 2023-04-28 | 荣耀终端有限公司 | 指关节触控操作的识别方法、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
US11699213B2 (en) | Image-capturing device and method for controlling same | |
CN110059744B (zh) | 训练神经网络的方法、图像处理的方法、设备及存储介质 | |
WO2020078263A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
US8957857B2 (en) | Device and method for controlling mouse pointer | |
CN110045908A (zh) | 一种控制方法和电子设备 | |
CN106897713A (zh) | 一种唤醒移动终端屏幕的方法及移动终端 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
WO2020037469A1 (zh) | 界面的显示方法及电子设备 | |
WO2021000943A1 (zh) | 一种指纹开关的管理方法及装置 | |
CN116301363B (zh) | 隔空手势识别方法、电子设备及存储介质 | |
CN115422480B (zh) | 事件发生地区域的确定方法、设备及存储介质 | |
CN112749590A (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN113379705B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111582184B (zh) | 页面检测方法、装置、设备及存储介质 | |
CN108647566B (zh) | 一种识别皮肤特征的方法及终端 | |
CN114397958A (zh) | 屏幕控制方法、装置、非触控屏***和电子装置 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN116048350B (zh) | 一种截屏方法及电子设备 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN117687558A (zh) | 一种触控识别方法和电子设备 | |
CN116737290A (zh) | 指关节敲击事件的识别方法及电子设备 | |
CN113936240A (zh) | 确定样本图像的方法、装置、设备及存储介质 | |
CN114970576A (zh) | 识别码的识别方法、相关电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |