CN114911401A - 电子设备及其触摸操作的分析方法和可读介质 - Google Patents

电子设备及其触摸操作的分析方法和可读介质 Download PDF

Info

Publication number
CN114911401A
CN114911401A CN202110184394.0A CN202110184394A CN114911401A CN 114911401 A CN114911401 A CN 114911401A CN 202110184394 A CN202110184394 A CN 202110184394A CN 114911401 A CN114911401 A CN 114911401A
Authority
CN
China
Prior art keywords
touch
finger
data
touch operation
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110184394.0A
Other languages
English (en)
Other versions
CN114911401B (zh
Inventor
李海
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110184394.0A priority Critical patent/CN114911401B/zh
Publication of CN114911401A publication Critical patent/CN114911401A/zh
Application granted granted Critical
Publication of CN114911401B publication Critical patent/CN114911401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及通信领域,公开了一种电子设备及其触摸操作的分析方法和可读介质。本申请的触摸操作的分析方法包括:在触摸手势类型满足预设分析条件的情况下,获取第一容值数据,预先根据预设手指形态类别对第一容值数据进行触摸操作分析,同时基于第一容值数据计算实际手指形态类别;在计算出的实际手指形态类别与预设手指形态类别相同时,基于预设手指形态类别继续对容值数据进行触摸操作分析;在计算出的实际手指形态类别与预设手指形态类别不同时,采用实际手指形态类别对获取到的容值数据进行触摸操作分析,无需等待手指形态类别的计算过程,可预先根据预设手指形态类别对用户的触摸操作类型进行分析,提高了分析效率,优化了用户体验感。

Description

电子设备及其触摸操作的分析方法和可读介质
技术领域
本发明涉及通信领域,尤其涉及一种电子设备及其触摸操作的分析方法和可读介质。
背景技术
随着科学技术的发展,越来越多的电子设备中开始采用触控屏,以便用户直接通过触摸操作对电子设备进行控制。其中,用户触摸触控屏的手指形态类别包括手指和指关节,其中,手指用于操作触摸点处显示的图标对应的应用程序,指关节用于截取触控屏显示的当前界面,目前,手指是用户触摸操作时的常见手指形态类别。
在用户触摸操作触控屏的响应过程中,当用户触摸触控屏的表面时,会与触控屏表面形成一个耦合电容,使得触控屏四边的电极发出的电流流向接触点,并形成容值数据,处理容值数据得到触摸数据,而后将触摸数据与加速度数据经过算法融合,以判断触摸操作的手指形态类别。
目前,从用户的触摸触控屏到触控屏响应,需要经过数据采集及复杂算法的计算才能得到手指形态类别,进而通过触摸数据和手指形态类别驱动触控屏响应,整体耗时较长,触控屏的响应速度较慢,导致用户体验不佳。例如,一般触控屏的响应时间为20ms,而分析手指形态类别需要4~5ms,占到了20%~25%。
发明内容
本申请实施例提供了一种电子设备及其触摸操作的分析方法和可读介质,本申请的触摸操作的分析方法使得电子设备快速响应触摸操作,优化了用户触摸操作时的跟手性,提升了用户的触摸体验。
本申请的第一方面提供了一种触控屏的触摸操作分析方法,应用于电子设备,该方法包括:在检测到用户对电子设备上的触控屏的触摸手势类型满足预设分析条件的情况下,获取用户对触控屏的触摸操作所产生的第一容值数据,并基于第一容值数据开始计算用户的触摸操作的实际手指形态类别;在未计算出实际手指形态类别的情况下,基于预设手指形态类别,对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析;在计算出实际手指形态类别,并且实际手指形态类别与预设手指形态类别相同的情况下,继续采用预设手指形态类别对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析;在计算出实际手指形态类别,并且实际手指形态类别与预设手指形态类别不同的情况下,采用实际手指形态类别对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析。
即在本申请的实施例中,在获取第一容值数据之后,先根据预设手指形态类别对第一容值数据进行触摸操作类型的分析,同时基于第一容值数据计算触摸操作的实际手指形态类别。当未计算出实际手指形态类别时,继续根据预设手指形态类别对第一容值数据之后的容值数据进行触摸操作类型的分析;当计算出的实际形态类别与预设手指形态类别相同时,继续根据预设手指形态类别对第一容值数据之后的容值数据进行触摸操作类型的分析。其中,第一容值数据可以是第一帧容值数据,为了避免第一帧容值数据不准确,进而影响实际手指形态类别的准确率,第一容值数据还可以是起始几帧容值数据。
例如,电子设备为手机,应用程序为即时通信的聊天界面,用户的手指在手机上进行触摸操作时,手机可以通过触控屏采集多帧容值数据,首先基于预设手指形态类别手指对容值数据进行的触摸操作的类型分析,例如上下滑动。同时,根据容值数据计算得到触摸数据,进而根据触摸数据计算得到触摸操作的实际手指形态类别。当实际手指形态类别为手指时,继续根据手指对后续容值数据进行触摸操作类型的分析,例如上下滑动。
上述方法可以预先根据预设手指形态类别对用户的触摸操作类型进行分析,无需等到手指形态类别的计算结果出来再进行触摸操作类型的分析,因此,能够提高触摸操作类型的分析效率,加速对用户触摸操作的分析及响应,优化用户体验感。
在上述第一方面的一种可能的实现中,上述方法还包括:基于预设手指形态类别完成触摸操作类型的分析;计算出实际手指形态类别与预设手指形态类别不同;采用实际手指形态类别对获取到的容值数据进行第二次触摸操作类型的分析。
即在本申请的实施例中,在计算出的实际形态类别与预设手指形态类别不同,且已经根据预设手指形态完成对第一容值数据触摸操作类型的分析时,根据实际手指形态对第一容值数据进行第二次触摸操作类型的分析,并根据实际手指形态对第一容值数据之后的容值数据进行触摸操作类型的分析。
例如,当实际手指形态类别为指关节,且已经根据手指完成对第一容值数据触摸操作类型的分析时,根据指关节对第一容值数据重新进行触摸操作类型的分析,而后根据指关节对后续容值数据进行触摸操作类型的分析。也即,即时通信程序已经根据手指完成上下滑动时,即时通信程序重新根据指关节完成基于第一容值数据和后续容值数据的圈设动作。
上述方法需要在分析后续容值数据时进行修正,但是,触控屏报点率在120HZ以上,也即相邻两帧容值数据间的报点间隔小于8ms,因此,上述分析方法即使存在误报,也能够快速修正,进而保证对触摸操作分析的准确性。
在上述第一方面的可能的实现中,上述方法还包括:基于预设手指形态类别完成触摸操作类型的分析;计算出实际手指形态类别与预设手指形态类别不同;采用实际手指形态类别对获取到的第一容值数据之后的容值数据进行触摸操作类型的分析。
即在本申请的实施例中,在计算出的实际形态类别与预设手指形态类别不同,且已经根据预设手指形态完成对第一容值数据触摸操作类型的分析时,根据实际手指形态直接对第一容值数据之后的容值数据进行触摸操作类型的分析。
例如,丢弃即时通信程序根据手指基于第一容值数据完成的上下滑动,直接进入根据后续容值数据完成的圈设动作。
在上述第一方面的一种可能的实现中,手指形态类别包括手指和指关节。例如,手指用于操作触摸点处显示的图标对应的应用程序,指关节用于截取触控屏显示的当前界面。
在上述第一方面的一种可能的实现中,预设手指形态类别为手指。
即在本申请的实施例中,由于用户手部触摸触控屏时,手指触摸触控屏的概率较大,因此,通过将预设手指形态类别设为手指,能够有效提高预设手指形态类别和实际手指形态类别相同的概率,提高分析和响应的准确性。
在上述第一方面的一种可能的实现中,容值数据包括坐标特征和电容特征,坐标特征用于表征触摸点的位置,电容特征用于表征触摸点的电容高低。
在上述第一方面的一种可能的实现中,通过以下方式计算实际手指形态类别:获取电子设备的加速度传感器检测的加速度数据;基于加速度数据和第一容值数据,计算得到实际手指形态类别。
在上述第一方面的一种可能的实现中,预设分析条件为触摸手势类型为按下事件。
即在本申请的实施例中,当触摸手势类型为按下事件时,第一容值数据可以为第一帧容值数据,或者还可以为起始几帧容值数据,因此,需要根据第一容值数据判断实际手指形态类别。而当触摸手势类型不为按下事件时,也即第一容值数据为后续帧容值数据,在已获取实际手指形态类别时,无需再次计算实际手指形态类别,即可进入触摸操作类型的分析,因此,优化了容值数据的触摸操作分析方法,提高了触摸操作的类型的分析和响应速度。
在上述第一方面的一种可能的实现中,用户的触摸操作类型包括手指形态类别为手指时的点击、长按、拖动和滑动,以及手指形态类别为指关节时的圈设和双击。
本申请的第二方面提供了一种电子设备,包括:
触控屏,用于响应用户在触控屏上的触摸操作生成容值数据;
存储器,存储有指令;
处理器,处理器和存储器耦合,当存储器存储的程序指令被处理器执行时,使得电子设备的处理器控制触控屏,执行上述任一种触摸操作的分析方法。
本申请的第三方面提供了一种计算机可读介质,当指令在可读介质上运行时,使得可读介质执行上述任一种触摸操作的分析方法。
附图说明
图1根据本申请实施例提供了手指形态类别为手指时的场景示意图。
图2根据本申请实施例提供了手指形态类别为指关节时的场景示意图。
图3根据本申请的实施例示出了终端的结构示意图。
图4根据本申请一些实施例,提供一种触控屏的触摸操作分析方法的原理图。
图5根据本申请一些实施例,提供一种用于实现触控屏的触摸操作分析方法的电子设备的架构图。
图6根据本申请一些实施例,提供一种触控屏的触摸操作分析方法的交互图。
图7根据本申请一些实施例,提供一种触控屏的触摸操作分析方法的时序图。
图8根据本申请一些实施例,提供一种触控屏的触摸操作的分析方法流程图。
图9根据本申请一些实施例,提供一种不同触摸手势类别下的触摸操作的类型分析的流程图。
图10根据本申请一些实施例,提供一种实际手指形态类别的获取方式的流程图。
图11根据本申请一些实施例,提供一种根据实际手指形态类别与预设手指形态类别的比对结果修正预设手指形态类别的流程图。
图12根据本申请一些实施例,提供另一种根据实际手指形态类别与预设手指形态类别的比对结果修正预设手指形态类别的流程图。
图13根据本申请一些实施例,提供另一种触控屏的触摸操作分析方法的原理图。
图14根据本申请一些实施例,提供另一种触控屏的触摸操作分析方法的流程图。
图15根据本申请一些实施例,示出了电子设备的软件结构框图。
其中,附图标记中,100-手机;2-手指;3-指关节;4-截图区域。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
图1(a)和1(b)根据本申请的实施例示出了用户触摸手机100触控屏的一种场景示例。具体地,图1(a)示出了手机100触控屏接收手指2触摸的场景图,图1(b)示出了手机触控屏响应手指2触摸的场景图。如图1(a)和1(b)所示,当手机100触控屏界面为“聊天群1”即时通信聊天界面时,用户通过手指2触摸触控屏并上下滑动,以拖动即时通信聊天记录上下翻转,进而通过触控屏界面展示不同时段的即时通信聊天记录。
图2(a)和2(b)根据本申请的实施例示出了用户触摸手机100触控屏的另一种场景示例。具体地,图2(a)示出了手机100触控屏接收指关节3触摸的场景图,图2(b)示出了手机100触控屏响应指关节3触摸的场景图。如图2(a)和2(b)所示,当触控屏界面为“聊天群1”的即时通信聊天界面时,用户指关节3触摸手机100触控屏,以截取当前即时通信聊天界面,用户指关节3触摸手机100触控屏圈设截图区域4,以截取截图区域4内的当前界面。
在图1(a)和1(b)和图2(a)和2(b)所示的场景中,用户的手指在手机100上进行触摸操作时,手机100可以通过触控屏采集多帧容值数据。如前所述,在现有技术中,需要根据触控屏采集的第一帧或者前几帧容值数据以及加速度传感器180E采集到的加速度数据确定出用户的手指形态类别,即确定出用户使用的是手指还是指关节后,再结合容值数据对用户的触摸操作进行分析,做出触摸响应,而分析用户手指形态类别耗时较大。
而在本申请的一些实施例中,对于上述场景,为了解决上述问题,手机100在通过触控屏采集到第一帧容值数据后,先根据默认的预设手指形态类别(可以是手指,也可以是指关节)对采集到的容值数据进行触摸操作分析,并同时结合第一帧容值数据和其他传感器(如加速度传感器180E)采集到数据的计算实际手指形态类别。
如果实际手指形态类别计算出来与预设手指形态类别相同,则手机100将一直根据预设手指形态类别对手机100触控屏后续采集到的容值数据进行分析,得到用户的触摸操作类别,并给出对应的触摸响应。如果实际手指形态类别与预设手指形态类别不同,则手机100将在检测出实际手指形态类别后采用实际手指形态类别对采集到容值数据进行分析,得到用户的触摸操作类别,并给出对应的触摸响应。其中,触摸操作类别可以是手指形态类别为手指时的点击、长按、拖动和滑动中的任意一种中的任意一种,还可以是手指形态类别为指关节时的双击或者圈设。
可以理解,在预设手指形态类别与实际手指形态类别相同的情况下,触控检测模块可以预先根据预设手指形态类别对用户的触摸操作类型进行识别,无需等到手指形态类别的计算结果出来再进行触摸操作类型的分析,因此,能够提高触摸操作类型的分析效率,加速对用户触摸操作的分析及响应,优化用户体验感。
可以理解,除了上述场景中的手机100,可以采用申请的技术方案进行触摸检测的电子设备,还可以是具有触控屏的任何电子设备,例如,平板电脑、膝上型计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备,具有触控屏的智能电视机、智能音箱等智能家居设备,等等。为了便于说明,下文还是以手机100为例详细描述本申请的触摸分析方案。
此外,本申请的技术方案适用于电子设备中的任何应用程序,包括第三方应用和电子设备中的***应用,如***应用中的窗口管理应用(如指关节的截屏功能)、图库应用,以及即时通信应用、邮箱应用、阅读应用等第三方应用。
图3根据本申请的实施例示出了手机100的一种结构示意图。其中,手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identificat ion module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。可以理解,在本申请实施例中,处理器110可以用于执行本申请的触摸操作分析方法。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口等。
其中,I2C接口是一种双向同步串行总线,包括一根串行数据线(serial dataline,SDA)和一根串行时钟线(derail clock line,SCL)。I2S接口可以用于音频通信。PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。UART接口是一种通用串行数据总线,用于异步通信。MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。GPIO接口可以通过软件配置。USB接口130是符合USB标准规范的接口,具体可以是MiniUSB接口,Micro USB接口,USB Type C接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为手机供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。
在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机100可以包括1个或N个显示屏194,N为大于1的正整数。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。视频编解码器用于对数字视频压缩或解压缩。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机100的各种功能应用以及数据处理。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。
加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别手机姿态,应用于横竖屏切换,计步器等应用。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194中,由触摸传感器180K与显示屏194组成触控屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。可以理解,在本申请的一些实施例中,用户在触控屏上进行触摸操作时,可以采用本申请的技术方案,对用户的触摸操作进行分析,给出相应的操作响应。
触控屏可以是红外线式触控屏、电阻式触控屏、表面声波式触控屏和电容式触控屏中的任意一种。
按键190包括开机键,音量键等。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
下面结合具体实施例,详细介绍本申请的触摸操作分析方案。
图4为本申请触摸操作的分析方法的原理图。如图4(a)所示,如果实际手指形态类别与预设手指形态类别相同,则手机100中的应用程序199不会接收到实际手指形态类别,将一直根据预设手指形态类别对手机100触控屏后续采集到的容值数据进行分析,得到用户的触摸操作类别,并给出对应的触摸响应。如图4(b)所示,如果实际手指形态类别与预设手指形态类别不同,则手机100中的应用程序199会接收到实际手指形态类别,在分析出实际手指形态类别之前,根据预设手指形态类别进行触摸操作分析,分析出实际手指形态类别之后,根据实际手指形态类别进行触摸操作分析,同时根据实际手指形态类别修正按照预设手指形态类别已经响应的容值数据。可以理解的是,手机100分析出实际手指形态类别的时间不受限制。
图5示出了本申请一些实施例中用于实现本申请触摸操作分析方法的手机100的***架构图,其中,手机100中的处理器110包括触控驱动196、防误触模型197、手势类型判断模块198A和类别判定模型198B。如图5所示,手机100包括应用层550、框架层540、硬件抽象层530、驱动层520和器件层510。器件层510中包括触摸传感器180K、加速度传感器180E、触摸芯片180M等实体器件,驱动层520包括用于接收及发送触摸数据的触控驱动196,硬件抽象层530包括用于筛选触摸数据的防误触模型197,框架层540包括类别判定模型198B,同时框架层540还包括能够根据触摸数据中的序列号判断触摸手势类型的手势类型判断模块198A,应用层550中的应用程序199用于接收位置特征、压力、面积和手指形态类别,并根据手指形态类别对位置特征、压力和面积进行触摸操作分析,例如,应用程序199为窗口管理应用。
图6为本申请触摸操作的分析方法的交互图。下面结合图5和图6说明本申请一些实施例的触摸操作分析方案,具体包括以下步骤:
步骤602:手机100的触控屏中的触摸传感器180K按照采样频率定时扫描触控屏表面,获取由用户的操作触摸产生的容值数据。
具体的,在一些实施例中,触摸传感器180K通过初始数据得到容值数据。具体的,触摸传感器180K获取筛选逻辑、归类逻辑及由触摸操作产生的初始数据,并利用筛选逻辑和归类逻辑处理初始数据,以得到触摸操作产生的容值数据。其中,初始数据为触控屏上所有触摸点的容值信息,容值信息包括用于表征触摸点所处位置的坐标特征及用于表征触摸点电容高低的电容特征,筛选逻辑为将未超过报点门限的容值信息筛除,及将超过报点门限的容值信息保留的数据处理规则,报点门限可以为电容阈值,归类逻辑为将筛选出的容值信息按照位置特征分类处理的数据处理规则。触摸传感器180K首先利用筛选逻辑筛选出电容特征等于或高于电容阈值的容值信息,而后利用归类逻辑对筛选出的容值信息进行归类,得到容值数据。可以理解的是,一个初始数据对应的容值数据可以为一个或多个,当容值数据数量为一个时,用户单个手指或者单个指关节触摸触控屏,当容值数据数量为多个时,用户多个手指或者多个指关节触摸触控屏。
步骤603:触摸传感器180K将容值数据发送至触摸芯片180M。
步骤604:触摸芯片180M接收容值数据后,根据容值数据判断是否存在由于触摸操作导致的中断消息,并根据容值数据生成触摸数据。其中,由于触摸操作导致的中断消息是指用触控屏接收到用户的触摸操作时产生的触发信号。如果存在中断消息,则表明用户开始了对触摸屏的触摸操作,进而触发触控屏生成容值数据,进入步骤605,如果没有中断消息,则表明用户未对触摸屏进行触摸操作,未触发触控屏生成容值数据,返回步骤602。
具体的,触摸数据包括位置特征、压力、面积、容值矩阵以及切边值,此外,触摸数据还包括用于表征容值数据是第几帧容值数据的序列号。
在一些实施例中,触摸芯片180M接收容值数据后,分别提取每个容值数据中所有容值信息对应的坐标特征和电容特征,根据坐标特征和电容特征得到容值数据的中心坐标,将中心坐标作为位置特征,其中,中心特征是能够综合表征用户触摸操作位置的坐标特征。触摸芯片180M分别计算位置特征与每个坐标特征之间的距离,而后选取距离小于距离阈值的坐标特征,并获取与选取到的坐标特征对应的电容特征,将选取的电容特征按照坐标特征对应存储,形成与触摸点位置对应的容值信息的矩阵,也即容值矩阵。此外,触摸芯片180M通过容值数据的坐标特征和电容特征计算得到压力和面积。
步骤605:触摸芯片180M将中断消息上报给驱动层520中的触控驱动196。
步骤606:触控驱动196接收中断消息后,根据中断消息从触摸芯片180M中读取触摸数据。
具体的,触控驱动196接收中断消息后,通过SPI(Serial Peripheral Interface,串行外设接口)通道从触摸芯片180M中读取触摸数据。
步骤607:触控驱动196将读取的触摸数据发送至硬件抽象层530中的防误触模型197。
步骤608:防误触模型197判断触摸数据是否为误触数据,并筛选出非误触的触摸数据,以得到筛选后的触摸数据。
具体的,防误触模型197接收到触摸数据后,判断触摸数据是否为误触数据,当触摸数据为误触数据时,剔除该触摸数据,当触摸数据不为误触数据时,保留该触摸数据,得到筛选后的触摸数据。可以理解的是,触摸数据为多个时,当所有触摸数据为误触数据,结束流程;当部分触摸数据为误触数据时,剔除触摸数据中的误触数据,得到筛选后的触摸数据;如果触摸数据不包括误触数据,全部触摸数据即为筛选后的触摸数据。
可以理解,防误触模型197可以是根据样本触摸数据和样本判断结果训练得到的模型。防误触模型197可以是接触面轮廓检测模块,具体的,当用户与触控屏的接触面的轮廓是圆形、类圆形、或是一种类似规则的图形时,误触判断结果为“否”,即触摸数据不为误触数据;当用户与触控屏的接触面的轮廓发生变化,为不规则形状时,误触判断结果为“是”,即触摸数据为误触数据。防误触模型197还可以是切边值判断模块,其中,切边值指的是触摸点的触摸形状与触控屏的边界相切时,切边的长度即为切边值,且一个触摸形状可以对应一个多个切边。切边值判断模块根据切边值与切边值阈值的大小关系得到误触判断结果。防误触模型197还可以是区域判断模块,区域判断模块根据位置特征是否为误触区域内得到误触判断结果。
在一些实施例中,利用防误触模型197筛选得到筛选后的触摸数据。具体的,硬件抽象层530的防误触模型197接收触摸数据后,根据触摸数据中的位置特征和切边值,得到误触判断结果,进而根据误触判断结果筛选触摸数据。当触摸数据为误触数据时,误触判断结果为“是”,剔除触摸数据;当触摸数据不为误触数据时,误触判断结果为“否”,保留触摸数据。
在另一些实施例中,手机100的摆放方向很大程度上影响了防误触模型197判断结果,例如,手机100横向摆放时,手机100的左右两侧很容易被误触;手机100竖向摆放时,手机100的顶部和底部容易被误触。为了提高误触判断结果的准确性,利用防误触模型197和运动数据筛选得到筛选后的触摸数据。具体的,防误触模型197还可以获取加速度传感器180E获取的运动数据,根据运动数据判断手机100的摆放方向,然后根据触摸数据和运动数据得出误触判断结果,进而根据误触判断结果筛选触摸数据。例如,根据运动数据得到手机100摆放方向为向前倾斜45°,从系数库中查询向前倾斜45°对应的调整系数,通过调整系数优化防误触模型197,而后根据优化后的防误触模型197得到触摸数据的判断结果。
在其他一些实施例中,利用防误触数据库中的常见误触数据得到筛选后的触摸数据。具体的,硬件抽象层530接收触摸数据后,还可以获取层内的防误触数据库,其中,防误触数据库中存储有常见误触数据,且每条常见误触数据中至少包括位置特征和切边值。硬件抽象层530将触摸数据中的位置特征和切边值与防误触数据库中的所有常见误触数据逐一匹配。当触摸数据与防误触数据库中的至少一个常见误触数据的匹配度超过误触匹配阈值时,则触摸数据为误触数据,当触摸数据与防误触数据库的任意一个常见误触数据的匹配度均未超过误触匹配阈值时,则触摸数据不为误触数据。
步骤609:防误触模型197将筛选后的触摸数据返回给触控驱动196。
在另一些实施例中,还可以是硬件抽象层530将筛选后的触摸数据直接返回给触控驱动196。
步骤610:触控驱动196接收筛选后的触摸数据后,将筛选后的触摸数据发送至框架层540的手势类型判断模块198A。
步骤611:框架层540的手势类型判断模块198A根据筛选后的触摸数据中的序列号判断触摸手势类型。如果触摸手势类型判断模块198A判断触摸手势类型为按下事件,说明第一容值数据为第一帧容值数据,或者起始几帧容值数据,则需要根据第一容值数据判断实际手指形态类别,同时执行步骤612.a1和步骤612.b1。
具体的,框架层540中的手势类型判断模块198A接收筛选后的触摸数据,并解析筛选后的触摸数据中的序列号,也即识别容值数据为第几帧数据,进而得到容值数据的触摸手势类型。例如,序列号的取值范围为1至n,当序列号为1时,容值数据为第一帧数据,触摸手势类型为按下事件,当序列号为2,3,4,…,n-1时,容值数据为中间帧数据,触摸手势类型为移动事件,容值数据序列号为n时,容值数据为最后一帧数据,触摸手势类型为抬起事件。
步骤612.a1:框架层540中的手势类型判断模块198A将筛选后的触摸数据中的位置特征、压力、面积和预设手指形态类别发送应用层550中的应用程序199。在一些实施例中,由于用户手部触摸触控屏时,手指触摸触控屏的概率较大,预设手指形态类别优选为手指,但是,在其他实施例中,不限于手指,预设手指形态类别也可以是指关节。
步骤612.a2:应用程序199根据预设手指形态类别对位置特征、压力和面积进行触摸操作分析,以给出相应的操作响应。
例如,当应用程序199为即时通信程序且预设手指形态为手指时,应用程序199根据手指对位置特征、压力和面积进行分析,以得到用户在即时通信程序当前界面上手指触摸的位置、力度和范围,进而基于用户手指触摸的位置、力度和范围确定用户触摸触控屏的动作类型,以给出相应的操作响应。具体的,动作类型为轻轻点击时,操作响应为点开信息记录中的图片或播放信息记录中的语音信息;动作类型为用力在同一位置长按时,操作响应为信息记录中的信息进行转发、收藏、编辑、删除、多选或引用等;动作类型为轻轻在不同位置滑动时,操作响应为拖动信息记录翻滚,以展示不同时间段的信息记录。
再例如,当应用程序199为图库程序且预设手指形态为手指时,应用程序199根据手指对位置特征、压力和面积进行分析,以得到用户在即时通信程序当前界面上手指触摸的位置、力度和范围,进而基于用户手指触摸的位置、力度和范围确定用户触摸触控屏的动作类型,以给出相应的操作响应。具体的,动作类型为两指或多指相向滑动时,操作响应为缩小图库程序中的图片;动作类型为多指反向滑动时,操作响应为放大图库程序中的图片;动作类型为双击时,操作响应为以图片中心为中心放大图片。
步骤612.b1:框架层540中手势类型判断模块198A将筛选后的触摸数据发送给框架层540中的类别判定模型198B,触发框架层540中类别判定模型198B。
步骤612.b2:类别判定模型198B接收器件层510中的加速度传感器180E发送的加速度数据。
步骤612.b3:类别判定模型198B根据筛选后的触摸数据和加速度数据得到实际手指形态类别。
在一些实施例中,框架层540中的手指类别判定模块(未图示)可以利用指关节判定条件判断用户实际手指形态类别是否为指关节。例如,框架层540的手指类别判定模块获取框架层540内的指关节判定条件,并判断筛选后的触摸数据和加速度数据是否符合指关节判定条件。其中指关节判定条件中包括手指形态类别为指关节时对应的容值范围、压力范围与加速度范围。当容值矩阵中的电容特征位于容值范围内,压力位于压力范围内,且加速度数据位于加速度范围内时,则实际手指形态类别为指关节。否则,实际手指形态类别不为指关节,也即,实际手指形态类别为手指。
在另外一些实施例中,框架层540的手指类别判定模块(未图示)可以利用指关节数据库中的指关节的对比数据判断用户实际手指形态类别是否为指关节。具体的,手指类别判定模块获取框架层540层内的指关节数据库,其中指关节数据库中存储有手指形态类别为指关节的对比数据,对比数据中包括位置特征、压力、面积和容值矩阵。框架层540中的手指类别判定模块将筛选后的触摸数据与指关节数据库中的所有对比数据逐一匹配。当筛选后的触摸数据与指关节数据库中的至少一个对比数据的匹配度超过指关节匹配阈值时,则实际手指形态类别为指关节,当触摸数据与指关节数据库的任意一个模板数据的匹配度均未超过指关节匹配阈值时,则实际手指形态类别不为指关节,也即,实际手指形态类别为手指。
步骤612.b4:类别判定模型198B根据实际手指形态类别与预设手指形态类别的比对结果,确定是否修正预设手指形态类别。
如果实际手指形态类别与预设手指形态类别相同,框架层540的类别判定模型198B结束流程,以使应用程序199继续根据预设手指形态类别进行触摸操作分析;如果实际手指形态类别与预设手指形态类别不同,框架层540的类别判定模型198B转换预设手指形态类别为实际手指形态类别,将实际手指形态类别发送至应用程序199,以使应用程序199根据实际手指形态类别进行触摸操作分析。
在一些实施例中,如果应用层550已经根据预设手指形态类别响应触摸操作,框架层540将位置特征、压力、面积以及实际手指形态类别发送至应用层550中的应用程序199。在另外一些实施例中,如果应用程序199尚未根据预设形态类别响应触摸操作,框架层540将尚未被响应的预设手指形态类别修正为实际手指形态类别。例如,将应用程序199消息队列中预设手指形态类别修改为实际手指形态类别,或者,将应用程序199消息队列中的预设手指形态类别替换为实际手指形态类别。
步骤612.b5:应用程序199根据实际手指形态类别对位置特征、压力和面积进行触摸操作分析。
手机100中的应用程序199接收到实际手指形态类别后,根据实际手指形态类别对接收到的位置特征、压力和面积进行触摸操作分析。
在另一些实施例中,如果触摸手势类型不为按下事件,也即触摸手势类型为移动事件或者抬起事件,说明容值数据为中间帧数据,前帧容值数据已经计算出实际手指形态类别,则无需继续根据中间帧数据计算实际手指形态类别。此时,框架层540中的手势类型判断模块198A直接将筛选后的触摸数据中的位置特征、压力和面积发送至应用层550中的应用程序199,以使应用程序199根据该触摸操作原有的手指形态类别对位置特征、压力和面积进行触摸操作分析,优化了容值数据的触摸操作分析方法,提高了触摸操作的类型的分析和响应速度。
在另一些实施例中,通过手机100的处理器110处理容值数据得到触摸数据,触摸芯片180M接收容值数据后,不对容值数据进行处理,而将容值数据直接上报给手机100的处理器110,由处理器110直接处理容值数据以得到触摸数据。
例如,手机100触控屏显示界面为“聊天群1”的聊天界面时,用户手部触摸聊天界面时,器件层510中的触摸传感器180K按照采样频率定时扫描手机100触控屏表面,以接收触控屏内所有触摸点处的容值信息。而后,触摸传感器180K筛分出超过报点门限的容值信息,得到容值数据,并将容值数据发送至手机100器件层510的触摸芯片180M。触摸芯片180M识别容值数据中的中断消息后,将中断消息上报给驱动层520中的触控驱动196。触控驱动196接收中断消息后读取触摸芯片180M根据容值数据生成的触摸数据,并通过硬件抽象层530中的防误触模型197剔除触摸数据中的误触数据,得到筛选后的触摸数据,并将筛选后的触摸数据发送至框架层540中的手势类型判断模块198A。
框架层540中的手势类型判断模块198A将筛选后的触摸数据中的位置特征、压力、面积和手指先发给至应用层550中的即时通信程序,以使即时通信程序先根据手指对位置特征、压力和面积进行触摸操作分析。同时,框架层540中的手指形态类别算法或者类别判定模型198B根据筛选后的触摸数据和通过加速度传感器180E获取的加速度数据获取触摸操作的实际手指形态类别。
框架层540中的手指形态类别算法或者类别判定模型198B比对实际手指形态类别与上报给即时通信程序的手指,如果实际手指形态类别与手指相同,则继续根据手指对后续容值数据进行触摸操作分析,结束流程;如果实际手指形态类别与手指不同,也即手指形态类别为指关节时,查询即时通信程序对触摸操作的响应状态,根据响应状态与实际手指形态类别修正预设手指形态类别。
具体地,如果即时通信程序已根据手指响应触摸操作,也即聊天界面随着手指的触摸操作翻滚展示聊天记录,框架层540将指关节发送至即时通信程序,以使即时通信程序根据指关节重新分析及响应触摸操作,也即截取指关节圈设区域的聊天界面;如果即时通信程序尚未根据手指响应触摸操作,框架层540将即时通信程序消息队列中的手指修正为指关节,可以是将消息队列中的手指替换为指关节,也可以是将消息队列中的手指修改为指关节,以使即时通信程序根据指关节分析及响应触摸操作,也即截取指关节圈设区域的聊天界面。
可以理解的是,如果即时通信程序已根据手指响应触摸操作,也即聊天界面随着手指的触摸操作翻滚展示聊天记录,框架层540将指关节发送至即时通信程序,以使即时通信程序根据指关节继续分析及响应触摸操作,也即截取后续指关节圈设区域的聊天界面。
再例如,手机100触控屏显示界面为图库程序的图片展示界面时,用户手部触摸图片时,器件层510中的触摸传感器180K按照采样频率定时扫描手机100触控屏表面,以接收触控屏内所有触摸点处的容值信息。而后,触摸传感器180K筛分出超过报点门限的容值信息,得到容值数据,并将容值数据发送至手机100器件层510的触摸芯片180M。触摸芯片180M识别容值数据中的中断消息后,将中断消息上报给驱动层520中的触控驱动196。触控驱动196接收中断消息后读取触摸芯片180M根据容值数据生成的触摸数据,并通过硬件抽象层530中的防误触模型197剔除触摸数据中的误触数据,得到筛选后的触摸数据,并将筛选后的触摸数据发送至框架层540中的手势类型判断模块198A。
框架层540中的手势类型判断模块198A将筛选后的触摸数据中的位置特征、压力、面积和手指先发给至应用层550中的即时通信程序,以使即时通信程序先根据手指对位置特征、压力和面积进行触摸操作分析。同时,框架层540中的手指形态类别算法或者类别判定模型198B根据筛选后的触摸数据和通过加速度传感器180E获取的加速度数据获取触摸操作的实际手指形态类别。
框架层540中的手指形态类别算法或者类别判定模型198B比对实际手指形态类别与上报给图库程序的手指,如果实际手指形态类别与手指相同,则继续根据手指对后续容值数据进行触摸操作分析,结束流程;如果实际手指形态类别与手指不同,也即手指形态类别为指关节时,查询图库程序对触摸操作的响应状态,根据响应状态与实际手指形态类别修正预设手指形态类别。
具体地,如果图库程序已根据手指响应触摸操作,也即图片展示界面随着手指的触摸操作移动或者缩放图片被展示区域,框架层540将指关节发送至图库程序,以使图库程序根据指关节重新分析及响应触摸操作,也即截取指关节圈设区域的图片展示界面;如果图库程序尚未根据手指响应触摸操作,框架层540将图库程序消息队列中的手指修正为指关节,可以是将消息队列中的手指替换为指关节,也可以是将消息队列中的手指修改为指关节,以使图库程序根据指关节分析及响应触摸操作,也即截取指关节圈设区域的图像界面。
可以理解的是,如果图库程序已根据手指响应触摸操作,也即图像界面随着手指的触摸操作局部展示图像区域,框架层540将指关节发送至图库程序,以使图库程序根据指关节继续分析及响应触摸操作,也即截取后续指关节圈设区域的图像界面。
本申请中公开了一种触摸操作的分析方法。其中,图7为本申请中触摸操作分析方法的时序图。图7的方案与图6相同,只是从时序上对方案进行描述。即在用户进行触摸操作的过程中,触摸传感器180K会依次采集多帧容值数据,如前所述,在触摸传感器180K采集到第一帧容值数据时,类别判定模型198B会根据采集到的第一帧容值数据计算实际手指形态类别。当触摸传感器180K检测到第N帧容值数据时,如果类别判定模型198B判定出了实际手指形态类别,则应用程序199会根据实际手指形态类别进行触摸操作分析。
例如,步骤701至704b表示对第一帧容值数据进行的处理,步骤705a至707表示对第N帧容值数据进行的相关处理。具体地:
步骤701:在用户手部接触触控屏时,手机100中的触摸屏获取触摸操作产生的第一帧容值数据。
步骤702:手机100中的触摸芯片180M根据第一帧容值数据计算得到第一帧触摸数据。
步骤703:手机100中的手势类别判断模块198A根据第一帧触摸数据获取第一帧触摸数据对应的触摸手势类型。当第一帧触摸数据对应的触摸手势类型为按下事件时,同时执行步骤704a和704b。
其中,步骤704a:手机100中的应用程序199根据预设手指形态类别对第一帧触摸数据中的位置特征、压力和面积进行触摸操作分析,进入步骤705a。
步骤704b:手机100中的类别判定模型198B根据通过其他传感器获取的其他传感数据和第一帧触摸数据计算触摸操作的实际手指形态类别。由于手指形态类别的计算过程较为复杂,因此步骤704a先于步骤704b完成,进入步骤705b。
步骤705a:手机100中的类别判定模型198B继续根据其他传感数据和第一帧触摸数据计算得到实际手指形态类别。
步骤705b:手机100中的触摸屏获取触摸操作产生的第N帧容值数据。
步骤706:手机100中的触摸芯片180M根据第N帧容值数据计算得到第二帧触摸数据。另,假设手机100同时得到第二触摸数据和实际手指形态类别。
步骤707:如果实际手指形态类别与预设手指形态类别不同,手机100中的应用程序199根据实际手指形态类别对第一触摸数据和第N帧触摸数据中的位置特征、压力和面积进行触摸操作分析;如果实际手指形态类别与预设手指形态类别相同,继续根据预设手指形态类别对第二触摸数据中的位置特征、压力和面积进行触摸操作分析。
可以理解的是,实际手指形态类别可以随最近一帧触摸数据中的位置特征、压力和面积一起上报,还可以是单独上报。
上述分析方法能够有效提升第一帧容值数据的报点速度,提高用户触摸操作的跟手性。然而,由于第一帧数据没有经过全部算法,存在误报的可能,一旦出现误报,需要在分析后续容值数据时进行修正,但是,触控屏报点率在120HZ以上,也即相邻两帧容值数据间的报点间隔小于8ms,因此,上述分析方法即使存在误报,也能够快速修正,进而保证对触摸操作响应的准确性。
图8示出了本申请的一种触摸操作的分析方法的流程图。其中,对于图6中的触控驱动196,防误触模型197,手势类别判断模块198A和类别判定模型198B执行的功能,可以由手机100的处理器110调用相关程序来实现。具体的,如图8所示,包括以下步骤:
步骤801:手机100中触控屏的触摸传感器180K按照采样频率定时采集容值数据,具体采样方式请参阅上述步骤602。
步骤802:手机100中的触摸芯片180M根据容值数据判断是否存在中断消息,并根据容值数据得到触摸数据,具体判断方式请参阅上述步骤603和步骤604。
步骤803:手机100中的处理器110判断触摸手势类型是否为按下事件,如果触摸手势类型不为按下事件,进入步骤804;如果触摸手势类型为按下事件,同时进入步骤805和步骤806,具体判断方式请参阅上述步骤611和步骤612。
步骤804:手机100中的处理器110通过应用程序199根据原有的手指形态类别对位置特征、压力和面积进行触摸操作分析。
步骤805:手机100中的处理器110根据预设手指形态类别对位置特征、压力和面积进行触摸操作分析,结束流程。
步骤806:手机100中的处理器110通过加速度传感器180E获取加速度数据,具体获取方式请参阅上述步骤612.b2。
步骤807:手机100中的处理器110根据触摸数据与加速度数据得到实际手指形态类别,并判断实际手指形态类别与预设手指形态类别是否相同,如果实际手指形态类别与预设手指形态类别相同,进入步骤805,如果实际手指形态类别与预设手指形态类别不同,进入步骤808,具体判断方式请参阅上述步骤612.b4。
步骤808:手机100中的处理器110转换预设手指形态类别为实际手指形态类别。
步骤809:手机100中的处理器110通过应用程序199根据实际手指形态类别对位置特征、压力和面积进行触摸操作分析,具体分析方式请参阅上述步骤612.b5。
图9在图8的基础上,对不同触摸手势类别下的触摸操作分析进行详细的描述。具体地,如图9所示,包括以下步骤:
步骤901与步骤801相同。
步骤902:手机100中的触摸芯片180M根据容值数据判断是否存在中断消息,根据容值数据得到触摸数据,如果存在中断消息,则表明用户接触了触控屏,触发触控屏生成容值数据,进入步骤903,如果没有中断消息,则表明用户接触未接触触控屏,未触发触控屏生成容值数据,返回步骤901,具体判断方式和生成方式请参阅上述步骤603和步骤604。
步骤903:手机100中的处理器110通过加速度传感器180E获取运动数据,并根据运动数据判断手机100的摆放方向。
步骤904:手机100中的处理器110获取防误触数据库。
步骤905:手机100中的处理器110根据防误触数据库中的常见误触误触数据和摆放方向判断触摸数据是否为误触数据,具体防误触判断方式请参阅上述步骤607和步骤608。如果触摸数据全部是误触数据,结束流程;如果触摸数据部分是误触数据,剔除误触数据,进入步骤906,如果触摸数据中无误触数据,直接进入步骤906。
步骤906:手机100中的处理器110解析筛选后的触摸数据中的序列号得到容值数据的触摸手势类型,具体生成方式请参阅上述步骤611。
步骤907:手机100中的处理器110判断触摸手势类型是否为抬起事件,如果触摸手势类型为抬起事件,执行步骤908;如果触摸手势类型不为抬起事件,执行步骤909,具体判断方式请参阅上述步骤612。
步骤908:手机100中的处理器110通过应用程序199根据原有的手指形态类别对位置特征、压力和面积进行触摸操作分析,结束流程。
步骤909:手机100中的处理器110判断触摸手势类型是否为按下事件。如果触摸手势类型为按下事件,执行步骤910;如果触摸手势类型不为按下事件,也即触摸手势类型为抬起事件,执行步骤911。
步骤910:手机100中的处理器110通过应用程序199根据预设手指形态类别对位置特征、压力和面积进行触摸操作分析,结束流程。
步骤911:手机100中的处理器110通过应用程序199根据原有的手指形态类别对位置特征、压力、面积进行触摸操作分析,结束流程。
图10在图8的基础上,对实际手指形态类别的获取方式进行详细完整的描述,具体包括以下步骤,可以理解的是,由于当触摸手势类型为按下事件时,才会进行触摸操作的手指形态类别的判定,因此下述步骤是在手势类型为按下事件的情况下进行的:
步骤1001至步骤1004与上文中的步骤901至步骤904相同。
步骤1005:手机100中的处理器110根据防误触数据和摆放方向判断触摸数据是否为误触数据,如果触摸数据全部是误触数据,结束流程,如果触摸数据部分是误触数据,剔除误触数据,进入步骤1006,如果触摸数据全中无误触数据,直接进入步骤1006,具体判断方式请参阅上述步骤607和步骤608。
步骤1006:手机100中的处理器110通过加速度传感器180E获取加速度数据,具体获取方式请参阅上述步骤612.b2。
步骤1007:手机100中的处理器110获取预设手指形态类别对应的对比数据,具体获取方式请参阅上述步骤607和步骤608。
步骤1008:手机100中的处理器110根据触摸数据、加速度数据和对比数据判断是否为预设手指形态类别,如果不为预设手指形态类别,进入步骤1009;如果为预设手指形态类别,进入步骤1010,具体判断方式请参阅上述步骤612.b3。
步骤1009:手机100中的处理器110通过应用程序199根据实际手指形态进行触摸操作分析,结束流程,具体分析方式请参阅上述步骤612.b4。
步骤1010:手机100中的处理器110通过应用程序199根据预设手指形态进行触摸操作分析,结束流程,具体分析方式请参阅上述步骤612.b4。
在一些实施例中,图11示出了一种应用程序199尚未响应触摸操作时,如何根据实际手指形态类别与预设手指形态类别比对结果的修正预设手指形态类别的方法,具体包括以下步骤:
步骤1101:手机100中的触摸芯片180M获取根据容值数据上报的中断消息,并根据中断消息读取触摸数据。具体的,如果存在中断消息,触发触控屏生成容值数据,进而根据容值数据生成触摸数据;如果没有中断消息,结束流程。
步骤1102:手机100中的处理器110将触摸数据中的位置特征、压力、面积和预设手指形态类别发送至消息队列。
步骤1103:手机100中的处理器110获取消息队列中的待响应的手指形态类别。其中,待响应的手指形态类别为最新的手指形态类别,可以是预设手指形态类别,还可以是后期上报的实际手指形态类别。
步骤1104:手机100中的处理器110判断消息队列中的待响应的手指形态类别是否被转换为实际手指形态类别。若是,进入步骤1106,若否,进入步骤1105。
步骤1105:手机100中的处理器110丢弃待响应的手指形态类别,并在消息队列中的同一位置处根据实际手指形态类别生成新的待响应的手指形态类别,进入步骤1103。
步骤1106:手机100中的处理器110等待位置特征、压力、面积和待响应的手指形态类别分发至输入事件接收器。
步骤1107:手机100中的处理器110通过应用程序199根据待响应的手指形态类别对位置特征、压力和面积进行触摸操作分析,结束流程。
在一些实施例中,图12示出了另一种应用程序199尚未响应触摸操作时,如何根据实际手指形态类别与预设手指形态类别比对结果的修正预设手指形态类别的方法,具体包括以下步骤:
步骤1201至步骤1203与步骤1101至步骤1103相同。
步骤1204:手机100中的处理器110判断消息队列中的待响应的手指形态类别是否被转换为实际手指形态类别。如果是,进入步骤1205;如果不是,进入步骤1207。
步骤1205:手机100中的处理器110等待位置特征、压力、面积和待响应的手指形态类别分发至输入事件接收器。
步骤1206:手机100中的处理器110通过应用程序根据实际手指形态类别对位置特征、压力和面积进行触摸操作分析,结束流程。
步骤1207:手机100中的处理器110根据实际手指形态类别修改待响应的手指形态类别,得到新的待响应的手指形态类别,进入步骤1205。
在一些实施例中,本申请对触控屏触摸操作的分析方法进一步抽象,得到响应模型,该响应模型中包括耗时少的第一算法和耗时较多的第二算法。该响应模型还可以用于某个硬件或传感器上传数据的,且原始数据要经过两种算法来识别不同消息类型的处理场景,例如陀螺仪上报的数据的类别包括旋转角度和加速度。
针对同一组硬件或传感器上传数据时,使用本响应模型优先复制一份原始数据使用第一算法处理后得到处理结果,并将处理结果和预设消息发送至消息队列进行消息分发;同时利用多进程对保留的原始数据第二算法计算得到实际消息。如果第二算法计算得到的实际消息与预设消息不同,则对根据第一算法计算上报的预设消息进行修正。上述分析方法能够提高处理结果的上报速度,尤其适用于实际消息与预设消息相同时处理结果的上报速度,提升硬件或传感器性能。
例如,传感器上报数据场景下,传感器首先会不断上传坐标特征(x,y,z)和时间戳t,第一算法为根据1s内的坐标特征(x,y,z)得到第一旋转角度或大致的旋转方向,第二算法为根据2s内的坐标特征(x,y,z)得到第二旋转角度或精准的旋转方向。在传感器上报数据的过程中,传感器通过第一算法计算得到第一旋转角度或大致的旋转方向,并先将第一旋转角度或大致的旋转方向输出,同时通过第二算法计算得到第二旋转角度或精准的旋转方向,并比对第一旋转角度和第二旋转角度,或者,比对大致的旋转方向和精准的旋转方向,而后根据比对结果对输出的第一旋转角度或大致的旋转方向进行修正。
再例如,传感器上报数据场景下,第一算法为获取2s内的坐标特征(x,y,z),并直接根据2s内的坐标特征(x,y,z)直接计算第一旋转角度,第二算法为获取2s内的坐标特征(x,y,z),先根据清洗逻辑清洗2s内的坐标特征(x,y,z)后,根据清洗后的坐标特征(x,y,z)计算得到第二旋转角度。在传感器上报数据的过程中,传感器通过第一算法计算得到第一旋转角度,并先将第一旋转角度输出,同时通过第二算法计算得到第二旋转角度,并比对第一旋转角度和第二旋转角度,而后根据比对结果对输出的第一旋转角度进行修正。
此外,图13还提供了另一种触摸操作的分析方法的原理图。与图5所示的触摸操作的分析方法不同的是,图13所示的触摸操作的分析方法为在得到容值数据后,根据通过加速度传感器获取的加速度数据和容值数据计算得到实际手指形态类别,而后根据实际手指形态类别对触摸操作进行触摸分析。如图13所示,具体包括以下步骤:
步骤1310:手机100通过触摸芯片180M接收用户的触摸操作产生的容值数据,并通过容值数据监听触摸操作的触摸手势类型。
步骤1320:当手机100监听到触摸手势类型为按下事件时,也即接收到的容值数据为触摸操作产生的第一帧容值数据时,通过其他传感器获取其他传感数据,以通过容值数据与其他传感数据得到触摸操作的手指形态类别。
例如,其他传感数据包括利用加速度传感器180E获取加速度数据,利用陀螺仪传感器获取的运动姿态,及利用温度传感器获取的温度等。
步骤1330:手机100根据容值数据和其他传感数据计算得到位置特征、压力、面积和手指形态类别。
步骤1340:手机100根据手指形态类别对位置特征、压力和面积进行触摸操作分析。
图14示出了一种基于图13中原理的触摸操作的分析方法的流程图,具体包括以下步骤:
步骤1401:手机100按照预设采样频率定时采集容值数据。
步骤1402:手机100根据容值数据判断是否存在中断消息,同时根据容值数据得到触摸数据。如果触摸芯片180M根据容值数据判断出中断消息时,将中断消息上报,并进入步骤1404;如果触摸芯片180M根据容值数据未判断出中断消息时,重复步骤1401。
步骤1404:手机100根据触摸数据判断触摸手势类型是否为按下事件。如果触摸手势类型是按下事件,进入步骤1405,如果触摸手势类型不是按下事件,结束流程。
步骤1405:手机100通过加速度传感器180E获取加速度数据。
步骤1406:手机100根据触摸数据和加速度数据得到触摸操作的手指形态类别,并判断手指形态类别是否为指关节。如果手指形态类别不为指关节,执行步骤1407,如果手指形态类别为指关节,执行步骤1408。
步骤1407:手机100根据手指对位置特征、压力和面积进行触摸操作分析,结束流程。
步骤1408:手机100转换手指为指关节。
步骤1409:手机100根据指关节对位置特征、压力和面积进行触摸操作分析,结束流程。
然而,上述触摸操作的分析方法中,当触摸手势类型为按下事件时,必须要判断手指形态类别后,才能向应用程序199发送位置特征、压力、面积和手指形态类别,而手指形态类别的计算过程复杂,因此导致将位置特征、压力、面积和手指形态类别发送至应用程序199的时间较长,进而导致应用程序199对触摸操作的响应时间较长,使得触摸操作的跟手性较差,影响用户触摸操作的体验感。
图15是本申请实施例的手机100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图15所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息,以及微信等应用程序。
应用程序框架层为应用程序层的应用程序199提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图15所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定触控屏,截取触控屏等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序199访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序199。显示界面可以由一个或多个视图组成的。例如,包括显示文字的视图以及显示图片的视图。
电话管理器用于提供手机100的通信功能。
资源管理器为应用程序199提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序199可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序199的通知,还可以是以对话窗口形式出现在触控屏上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager,SM),媒体库(Media Libraries,ML),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序199提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合即时通信聊天的场景,示例性说明手机100软件以及硬件的工作流程。当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作时触摸连续操作,该触摸连续操作所对应的控件为手机应用的控件为例,手机应用调用应用框架层的接口,启动手机应用,进而通过调用显示驱动显示响应触摸连续操作所在的界面。
在说明书对“一些实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
本公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括由被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中,诸如,但不限于任何类型的盘,包括软盘、光盘、CD-ROM、磁光盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、EPROM、EEPROM、磁或光卡、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)或者适于存储电子指令的任何类型的介质,并且每个可以被耦合到计算机***总线。此外,说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
本文所提出的过程和显示器固有地不涉及任何具体计算机或其他装置。各种通用***也可以与根据本文中的教导的程序一起使用,或者构造更多专用装置以执行一个或多个方法步骤可以证明是方便的。在一下描述中讨论了用于各种这些***的结构。另外,可以使用足以实现本公开的技术和实施方案的任何具体编程语言。各种编程语言可以被用于实施本公开,如本文所讨论的。
另外,在本说明书所使用的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此,本公开旨在说明而非限制本文所讨论的概念的范围。

Claims (10)

1.一种电子设备上触控屏的触摸操作分析方法,其特征在于,包括:
在检测到用户对所述电子设备上的触控屏的触摸手势类型满足预设分析条件的情况下,获取所述用户对所述触控屏的触摸操作所产生的第一容值数据,并基于所述第一容值数据开始计算所述用户的触摸操作的实际手指形态类别;
在未计算出所述实际手指形态类别的情况下,基于预设手指形态类别,对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析;
在计算出所述实际手指形态类别,并且所述实际手指形态类别与所述预设手指形态类别相同的情况下,继续采用所述预设手指形态类别对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析;
在计算出所述实际手指形态类别,并且所述实际手指形态类别与所述预设手指形态类别不同的情况下,采用所述实际手指形态类别对从容值数据队列中获取到的容值数据进行用户触摸操作类型的分析。
2.根据权利要求1所述的方法,其特征在于,还包括:
基于所述预设手指形态类别完成所述触摸操作类型的分析;
计算出所述实际手指形态类别与所述预设手指形态类别不同;
采用所述实际手指形态类别对获取的容值数据进行第二次触摸操作类型的分析。
3.根据权利要求1所述的方法,其特征在于,所述手指形态类别包括手指和指关节。
4.根据权利要求3所述的方法,其特征在于,所述预设手指形态类别为所述手指。
5.根据权利要求1所述的方法,其特征在于,所述容值数据包括坐标特征和电容特征,所述坐标特征用于表征触摸点的位置,所述电容特征用于表征触摸点的电容高低。
6.根据权利要求1所述的方法,其特征在于,通过以下方式计算所述实际手指形态类别:
获取所述电子设备的加速度传感器检测的加速度数据;
基于所述加速度数据和所述第一容值数据,计算得到所述实际手指形态类别。
7.根据权利要求1所述的方法,其特征在于,所述预设分析条件为所述触摸手势类型为按下事件。
8.根据权利要求1所述的方法,其特征在于,所述用户的触摸操作类型包括手指形态类别为手指时的点击、长按、拖动和滑动,以及手指形态类别为指关节时的圈设和双击。
9.一种电子设备,其特征在于,包括:
触控屏,用于响应用户在所述触控屏上的触摸操作生成容值数据;
存储器,存储有指令;
处理器,所述处理器和存储器耦合,当所述存储器存储的程序指令被所述处理器执行时,使得所述电子设备的处理器控制所述触控屏,执行如权利要求1至8中任一项所述的触摸操作的分析方法。
10.一种可读介质,所述可读介质中存储有指令,其特征在于,当所述指令在所述可读介质上运行时,使得所述可读介质执行如权利要求1至8中任一项所述的触摸操作的分析方法。
CN202110184394.0A 2021-02-08 2021-02-08 电子设备及其触摸操作的分析方法和可读介质 Active CN114911401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184394.0A CN114911401B (zh) 2021-02-08 2021-02-08 电子设备及其触摸操作的分析方法和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184394.0A CN114911401B (zh) 2021-02-08 2021-02-08 电子设备及其触摸操作的分析方法和可读介质

Publications (2)

Publication Number Publication Date
CN114911401A true CN114911401A (zh) 2022-08-16
CN114911401B CN114911401B (zh) 2024-06-25

Family

ID=82760947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184394.0A Active CN114911401B (zh) 2021-02-08 2021-02-08 电子设备及其触摸操作的分析方法和可读介质

Country Status (1)

Country Link
CN (1) CN114911401B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015041332A1 (ja) * 2013-09-20 2015-03-26 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
CN106415472A (zh) * 2015-04-14 2017-02-15 华为技术有限公司 一种手势控制方法、装置、终端设备和存储介质
CN106445120A (zh) * 2016-09-05 2017-02-22 华为技术有限公司 触控操作的识别方法及装置
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
CN111356968A (zh) * 2017-09-29 2020-06-30 索尼互动娱乐股份有限公司 基于检测到的手输入渲染虚拟手姿势

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015041332A1 (ja) * 2013-09-20 2015-03-26 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
CN106415472A (zh) * 2015-04-14 2017-02-15 华为技术有限公司 一种手势控制方法、装置、终端设备和存储介质
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
CN106445120A (zh) * 2016-09-05 2017-02-22 华为技术有限公司 触控操作的识别方法及装置
CN111356968A (zh) * 2017-09-29 2020-06-30 索尼互动娱乐股份有限公司 基于检测到的手输入渲染虚拟手姿势

Also Published As

Publication number Publication date
CN114911401B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
JP7391102B2 (ja) ジェスチャ処理方法およびデバイス
CN110910872B (zh) 语音交互方法及装置
EP3979061A1 (en) Quick application starting method and related device
CN110618933B (zh) 性能分析方法与***、电子设备与存储介质
CN111061912A (zh) 一种处理视频文件的方法及电子设备
CN113132526B (zh) 一种页面绘制方法及相关装置
US20220150403A1 (en) Input Method and Electronic Device
WO2021110133A1 (zh) 一种控件的操作方法及电子设备
WO2022100221A1 (zh) 检索处理方法、装置及存储介质
CN116069212B (zh) 一种应用卡片的快速查看方法、电子设备及存储介质
CN114816610B (zh) 一种页面分类方法、页面分类装置和终端设备
US20230168784A1 (en) Interaction method for electronic device and electronic device
CN113010076A (zh) 一种显示要素的显示方法和电子设备
CN114371985A (zh) 自动化测试方法、电子设备及存储介质
WO2022194190A1 (zh) 调整触摸手势的识别参数的数值范围的方法和装置
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
CN109062648B (zh) 信息处理方法、装置、移动终端及存储介质
CN113168257A (zh) 锁定触控操作的方法及电子设备
CN114911400A (zh) 分享图片的方法和电子设备
CN115131789A (zh) 文字识别方法、设备及存储介质
WO2024093103A1 (zh) 笔迹处理方法、终端设备及芯片***
CN114911401B (zh) 电子设备及其触摸操作的分析方法和可读介质
CN116028148A (zh) 一种界面处理方法、装置及电子设备
CN113849099A (zh) 应用程序图标的显示方法及电子设备
CN115016712A (zh) 退出二维码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant