CN113641292A - 在触摸屏上进行操作的方法和电子设备 - Google Patents

Abstract

本申请涉及电子技术领域，提供了一种在触摸屏上进行操作的方法和电子设备，电子设备可以是手机、平板电脑、可穿戴设备、车载设备等，该方法包括：接收用户在所述触摸屏上的第一触屏操作；响应于所述第一触屏操作，生成第一电信号；根据所述第一电信号确定多个候选按键，所述第一电信号用于表征所述第一触屏操作的按压区域，所述多个候选按键与所述按压区域存在关联关系；从所述多个候选按键中确定目标按键。以上方法可以提高按键识别的准确度。

Description

在触摸屏上进行操作的方法和电子设备

技术领域

本申请涉及电子技术领域，具体涉及一种在触摸屏上进行操作的方法和电子设备。

背景技术

目前人们常用的终端设备大部分采用电容屏来采集用户的操作行为。

例如，用户在智能手机或者智能手表等终端设备上使用输入法进行输入时，通过点击屏幕使得电容屏上的电容发生变化。终端设备根据电容屏所采集到的电容变化的位置来拟合出一个坐标点，再根据拟合出的坐标点来识别用户按了哪一个按键。

但是由于屏幕上按键较小，因此用户在点击按键的时候不一定能够完整的触摸在一个按键上，容易产生偏差，导致按键识别不准。

发明内容

本申请提供了一种在触摸屏上进行操作的方法、芯片、电子设备和可读存储介质，能够提高按键识别的准确度。

第一方面，提供了一种在触摸屏上进行操作的方法，包括：接收用户的第一触屏操作；响应于所述第一触屏操作，生成第一电信号；根据所述第一电信号确定多个候选按键，所述第一电信号用于表征所述第一触屏操作的按压区域，所述多个候选按键与所述按压区域存在关联关系；从所述多个候选按键中确定目标按键。

本实施例中，由于第一电信号能够表征用户的按压区域，终端设备根据表征按压区域的第一电信号这样的全量数据直接确定出多个候选按键，相比将表征按压区域的第一电信号解算成坐标点的方法，不会存在按压区域的信息损失，因此得到的多个候选按键能够完整地反映用户的按压情况，覆盖用户想要按压的按键，进而使得从多个候选按键中得到的目标按键和用户按压的意图更匹配。另外，由于减少了解算过程中产生的误差，因此所得到的目标按键的准确度高。

可选地，所述第一电信号为第一电容矩阵，所述根据所述第一电信号确定多个候选按键，包括：根据所述第一电容矩阵确定所述多个候选按键，其中，所述多个候选按键为按键区域与所述按压区域重合的按键。

由于第一电容矩阵能够表征用户的按压区域，即使用户按压的位置有所偏差，按压区域也不会完全偏离用户想要按压的按键的按键区域，还是会和用户想要按压的按键的按键区域存在重合的部分，因此终端设备将多个按键区域和按压区域有重合的按键来作为候选按键，使得这多个候选按键中能够包括符合用户意图的目标按键，提高了按键识别的准确度。该实现方式中，基于按键区域和按压区域重合情况得到的候选按键，实现原理直观且简单。

可选地，所述根据所述第一电容矩阵确定所述多个候选按键，包括：获取***坐标点，所述***坐标点用于表征电容变化量超过预设阈值的位置；若所述***坐标点位于所述按压区域内，则根据所述第一电容矩阵确定所述多个候选按键。

可选地，所述方法还包括：若所述***坐标点位于所述按压区域外，则确定所述按压区域为无效区域。

人们在使用终端设备的时候，有时候会存在误触的情况，例如原本是想按压一个位置，但是手指按压屏幕的同时，手掌和终端设备的屏幕存在接触，因此电容变化的位置可能不止一处；也有可能在用户按压屏幕时，一些带电物体靠近终端设备，对屏幕产生干扰引起电容变化，导致电容变化的位置可能有多处此时，就需要排除干扰和无效的信息。通常情况下，用户主观按压的按压区域电容变化量较大，误触导致的电容变化量和其他电磁干扰导致的电容变化量较小，因此可以将电容变化量没有超过预设阈值的情况认为是干扰导致。基于此，终端设备可以将电容变化量超过预设阈值的位置作为***坐标点，例如将电容变化量超过预设阈值的多个电容矩阵中，电容变化量最大的电容矩阵的中心点作为***坐标点；或者将电容变化量超过预设阈值的多个电容矩阵所在区域的中心点作为***坐标点，该***坐标点能够表征用户主观想要按压的位置。

终端设备可以判断***坐标点是否位于上述按压区域来确定按压区域是否为有效的区域。具体为：如果***坐标点位于按压区域内，则终端设备认为该按压区域为用户主观想要按压的位置，因此可以根据上述第一电容矩阵来确定多个候选按键；如果***坐标点不在按压区域内，例如，***坐标点落在键盘区域外，则终端设备认为此时的第一电容矩阵并不能够表征用户主观想要按压的位置，因此可以确认该按压区域为无效区域，即认定按压区域是由于干扰或者误触导致，可以不再根据这个第一电容矩阵来确定候选按键，从而排除了无效的干扰信号，避免干扰引起的按键识别误差。

可选地，所述第一电信号为第一电容矩阵，所述根据所述第一电信号确定多个候选按键，包括：将所述第一电容矩阵输入神经网络确定所述多个候选按键，所述神经网络用于根据所述第一电容矩阵和预设的映射关系确定所述多个候选按键，所述映射关系为电容矩阵和按键的对应关系。

由于上述映射关系是对用户按压的习惯进行学习得到的，终端设备通过神经网络，根据第一电容矩阵和映射关系确定出多个候选按键，能够结合用户的使用习惯得到与用户按压的意图匹配的多个候选按键，提高了候选按键和用户意图的匹配度，使得按键识别的准确度更高。另外，相比终端设备针对手写体来识别按键的方法来说，由于神经网络是经过训练得到的，学习到了多种按压情况下的特征，因此采用神经网络识别按键的方法在不增大运算量的同时，能够使得识别结果更为稳定可靠。

可选地，所述神经网络包括分类子网络和筛选子网络，所述将所述第一电容矩阵输入神经网络确定所述多个候选按键，包括：将所述第一电容矩阵输入所述分类子网络，得到所述第一电容矩阵与按键集合中各个按键对应的电容矩阵的相似度，所述按键集合为屏幕显示的按键的集合；将所述相似度输入所述筛选子网络，得到所述多个候选按键，所述多个候选按键为满足相似度条件的所述相似度对应的按键。

可选地，所述相似度条件包括：按键的相似度大于或等于预设相似度阈值，以及相邻按键的第一相似度比值和第二相似度比值均大于或等于预设比值阈值，所述第一相似度比值为第一按键的相似度比第二按键的相似度的比值，所述第二相似度比值为第二按键的相似度比第一按键的相似度的比值，所述第一按键和第二按键为相邻按键。

如果第一相似度比值和第二相似度比值中存在小于预设比值阈值的一个，则可得知相邻按键的电容变化量的差异变化过大，可能是干扰引起的电容突变，因此将这一组相邻按键从第一待选集合中删除。终端设备首先删除相似度过低的按键，能够删除由于噪声引起的电容变化较小的按键，减少了后续处理过程的运算量，然后终端设备再基于相邻按键的相似度的比值删除电容存在突变的按键以排除干扰，从而得到能够更为准确地表征用户按压区域的多个候选按键，提高了候选按键和用户意图的匹配程度。

可选地，所述响应于所述第一触屏操作，生成第一电信号，包括：在显示输入法界面时，响应于所述第一触屏操作，生成所述第一电信号。

可选地，所述目标按键为所述多个候选按键中符合拼写规则的按键。

终端设备基于拼写规则选择出符合拼写规则的目标按键，使得输出结果更准确；同时无需用户手动选择目标按键，使得目标按键的确定更为方便快捷。

第二方面，提供了一种在触摸屏上进行操作的装置，包括由软件和/或硬件组成的单元，该单元用于执行第一方面所述的技术方案中任意一种方法。

第三方面，提供了一种电子设备，电子设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得电子设备执行第一方面所述的技术方案中任意一种方法。

第四方面，本申请实施例提供一种芯片，包括处理器；处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面所述的技术方案中任意一种方法。

可选地，所述芯片还包括存储器，存储器与处理器通过电路或电线连接。

进一步可选地，所述芯片还包括通信接口。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得该处理器执行第一方面所述的技术方案中任意一种方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面所述的技术方案中任意一种方法。

附图说明

图1是本申请实施例提供的一例终端设备100的结构示意图；

图2是本申请实施例提供的终端设备100的软件结构框图；

图3是本申请实施例提供的用户按压按键时的按压区域和键盘区域的示意图；

图4a是电容屏上电极排列的示意图；

图4b是用户触摸电容屏导致电容发生变化后的电容数值变化的示意图；

图4c是终端设备根据图3所示的按压区域的电容变化情况生成的坐标点在键盘区域中的示意图；

图5是本申请实施例提供的一例在触摸屏上进行操作的流程示意图；

图6是本申请实施例提供的一例多个候选按键的展示图；

图7是本申请实施例提供的一例按键和电容矩阵分布的示意图；

图8是本申请实施例提供的一例按压区域和按键分布的示意图；

图9是本申请实施例提供的一例在触摸屏上进行操作的装置结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

本申请实施例提供的在触摸屏上进行操作的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

示例性的，图1是本申请实施例提供的一例终端设备100的结构示意图。终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是终端设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端设备100的显示功能。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本申请另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其它数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，多个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如多个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

终端设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android***为例，示例性说明终端设备100的软件结构。

图2是本申请实施例的终端设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。

Android runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

为了便于理解，本申请以下实施例将以具有图1和图2所示结构的终端设备为例，结合附图和应用场景，对本申请实施例提供的在触摸屏上进行操作的方法进行具体阐述。

通常人们使用终端设备的时候，通过触摸屏幕上的按键进行输入。例如在智能手机或者智能手表上输入时，用户在点击按键时，由于终端设备的屏幕尺寸有限，按键区域较小，因此可能会按压到多个按键，或者按压出现偏差，导致终端设备识别出来的按键不准确。例如图3所示，用户想点击按键G，但是实际按压的区域可能涉及椭圆圈内的按键G、H、J、V、B、N，这时，终端设备需要通过算法来确定用户到底想按压哪一个按键。

以电容屏为例，电容屏是由多个电容矩阵组成，屏幕上存在多个沿X轴方向和Y轴方向阵列排列的电极来感应电容变化，如图4a所示。当人手触摸电容屏时，被触摸到的电容矩阵的数值就会发生变化。将电容屏看做一个由电容矩阵组成的平面，例如图4b中，数值为0的电容矩阵是用户没有触摸到的区域，数值不为0的电容矩阵，例如数值为5、6、7、8的电容矩阵是电容发生变化的区域，通常电容变化量越大，说明按压的力量越大。传统的方式是，终端设备将电容发生变化的区域解算成为一个坐标点，并将这个坐标点所在的按键区域的按键识别为用户想要按压的按键，如图4c中，终端设备解算出来的坐标点为(0X170，0X38E)，位于按键B的区域，所以终端设备识别出用户点击的是按键B，这与用户想要点击按键G的意图不符。

本申请的实施例中，终端设备在获取到触摸后的电容的变化情况后，并不会将电容变化的区域的信息解算成坐标点，而是直接根据表征按压区域的电容的变化情况来确定目标按键，因此不会存在按压区域的信息损失。终端设备直接采用表征按压区域的电容的变化情况来确定出用户的按压区域所关联的多个候选按键，这多个候选按键中包括了用户想要按的目标按键，然后再通过用户的进一步确认，或者基于拼写规则从多个候选按键中筛选出与用户的意图所匹配的目标按键。相比将表征按压区域的电容的变化情况解算成一个坐标点的方案来确定目标按键，本申请中根据表征按压区域的电容的变化情况直接确定目标按键的方式，能够避免按压区域的信息丢失，因此确定出的目标按键与用户的意图更匹配，准确度高。

图5为一个实施例提供的终端设备在触摸屏上进行操作的方法的流程图。如图5所示，该方法包括：

S501、接收用户在所述触摸屏上的第一触屏操作。

S502、响应于所述第一触屏操作，生成第一电信号。

用户可以通过点击终端设备的触摸屏，向终端设备输入第一触屏操作。终端设备根据接收到的第一触屏操作进行响应，从而生成第一电信号。可选地，第一触屏操作可以是手指点击终端设备的电容屏进行的操作，当终端设备接收到用户手指点击电容屏的操作时，可以生成表征电容变化的第一电信号；第一触屏操作也可以是用户使用手写笔点击电阻屏进行的操作，当终端设备接收到用户使用手写笔点击电阻屏的操作时，生成表征电阻变化的第一电信号。上述第一电信号能够指示屏幕被点击的区域。

可选地，终端设备可以在显示输入法界面时，即终端设备拉起输入法应用程序时，响应于用户输入的第一触屏操作，生成上述第一电信号。此时，第一触屏操作所指示的点击区域的信息可以无损失地传递给输入法应用程序。

S503、根据所述第一电信号确定多个候选按键，所述第一电信号用于表征所述第一触屏操作的按压区域，所述多个候选按键与所述按压区域存在关联关系。

可选地，终端设备可以将与第一电信号所表征的按压区域重合的多个按键区域的按键确定为候选按键；也可以将与第一电信号所表征的按压区域具有对应关系的多个按键确定为候选按键。需要说明的是，由于上述多个候选按键和按压区域存在关联关系，因此即使用户按压有偏差，这多个候选按键中也不会遗漏用户想要按压的按键。

S504、从所述多个候选按键中确定目标按键。

具体的，终端设备可以从多个候选按键中确定出符合用户意图的目标按键。可选地，终端设备可以将多个候选按键显示在屏幕上，例如图6所示，然后由用户再次点击来选择目标按键，终端设备还可以将候选按键之间的间距设置的大一些，以免误触。

可选地，终端设备还可以根据其他已经识别出来的按键分别和每个候选按键进行组合，并对组合的结果按照拼写规则进行检查，然后将符合拼写规则的候选按键作为目标按键。例如其他已经识别出来的按键为“nianqin”，用户想要输入“G”，得到“nianqing”(年轻)。终端设备根据第一触屏操作识别得到多个候选按键G、H、J、V、B、N，然而将每个候选按键分别和已经识别出来的按键“nianqin”进行组合，得到“nianqinh”、“nianqinj”、“nianqinv”、“nianqinb”、“nianqinn”和“nianqing”，其中，“nianqinh”、“nianqinj”、“nianqinv”、“nianqinb”、“nianqinn”均不符合拼写规则，只有“nianqing”符合拼写规则，因此终端设备可以确定符合拼音规规则的“G”为目标按键。可选地，上述示例中以汉语拼音的拼写规则进行检查来确定目标按键，实际上还可以按照英文、法文等其他语言的拼写规则进行检查，也可以是按照预设的词库中的字母组合的拼写规则进行检查，对此本实施例不做限定。终端设备基于拼写规则选择出符合拼写规则的目标按键，使得输出结果更准确；同时无需用户手动选择目标按键，使得目标按键的确定更为方便快捷。

上述图5所示的实施例中，由于第一电信号能够表征用户的按压区域，终端设备根据表征按压区域的第一电信号这样的全量数据直接确定出多个候选按键，相比将表征按压区域的第一电信号解算成坐标点的方法，不会存在按压区域的信息损失，因此得到的多个候选按键能够完整地用户的按压情况，覆盖用户想要按压的按键，进而使得从多个候选按键中得到的目标按键和用户按压的意图更匹配。另外，由于减少了解算过程中产生的误差，因此所得到的目标按键的准确度高。

可选地，当终端设备的屏幕为电容屏时，所述第一电信号可以为第一电容矩阵，上述S503的一种可能的实现方式包括：

终端设备可以获取自身的分辨率和电容矩阵的分布信息，即得到每个电容矩阵位于占用哪些像素点，以此获取电容矩阵的具体分布的位置。然后终端设备将输入法的键盘映射至电容矩阵上，由此可以得到每个按键对应的哪几个电容矩阵，例如图7所示，按键G对应：第十行第六列、第十行第七列、第十一行第六列以及第十一行第七列这四个位置的电容矩阵。按照图7的示例，键盘上的每个按键都可以映射为不同的电容矩阵的组合，当输入法应用拉起时，终端设备显示输入法界面，在输入法界面获取不同按键和不同的电容矩阵组合的对应关系。然后，终端设备可以根据表征用户按压区域的第一电容矩阵，将按键区域和按压区域有重合的按键作为候选按键，将按键区域和按压区域不重合的按键丢弃。可选地，上述按键区域和按压区域重合可以是全部重合，也可以是部分重合，对此本实施例不做限定。可选地，终端设备还可以根据按键区域和按压区域重合的面积占按压区域的面积的比例来确定按键的概率，如果重合的面积占按压区域的面积的比例大，则该按键的概率大，如果重合的面积占按压区域的面积的比例小，则该按键的概率小。例如可以参见图8所示的实施例，终端设备将上述第一电容矩阵所表征的按压区域和按键区域的重合情况进行识别，得到与按压区域有重合的多个候选按键G、H、J、V、B、N。

该实现方式中，由于第一电容矩阵能够表征用户的按压区域，即使用户按压的位置有所偏差，按压区域也不会完全偏离用户想要按压的按键的按键区域，还是会和用户想要按压的按键的按键区域存在重合的部分，因此终端设备将多个按键区域和按压区域有重合的按键来作为候选按键，使得这多个候选按键中能够包括符合用户意图的目标按键，提高了按键识别的准确度。该实现方式中，基于按键区域和按压区域重合情况得到的候选按键，实现原理直观且简单。

可选地，人们在使用终端设备的时候，有时候会存在误触的情况，例如原本是想按压一个位置，但是手指按压屏幕的同时，手掌和终端设备的屏幕存在接触，因此电容变化的位置可能不止一处；也有可能在用户按压屏幕时，一些带电物体靠近终端设备，对屏幕产生干扰引起电容变化，导致电容变化的位置可能有多处此时，就需要排除干扰和无效的信息。通常情况下，用户主观按压的按压区域电容变化量较大，误触导致的电容变化量和其他电磁干扰导致的电容变化量较小，因此可以将电容变化量没有超过预设阈值的情况认为是干扰导致。基于此，终端设备可以将电容变化量超过预设阈值的位置作为***坐标点，例如将电容变化量超过预设阈值的多个电容矩阵中，电容变化量最大的电容矩阵的中心点作为***坐标点；或者将电容变化量超过预设阈值的多个电容矩阵所在区域的中心点作为***坐标点，该***坐标点能够表征用户主观想要按压的位置。

终端设备可以判断***坐标点是否位于上述按压区域来确定按压区域是否为有效的区域。以图7为例，图7中的按压区域以椭圆形的区域为例示出，如果***坐标点位于按压区域内，则终端设备认为该按压区域为用户主观想要按压的位置，因此可以根据上述第一电容矩阵来确定多个候选按键；如果***坐标点不在按压区域内，例如，***坐标点落在键盘区域外，则终端设备认为此时的第一电容矩阵并不能够表征用户主观想要按压的位置，因此可以确认该按压区域为无效区域，即认定按压区域是由于干扰或者误触导致，可以不再根据这个第一电容矩阵来确定候选按键，从而排除了无效的干扰信号，避免干扰引起的按键识别误差。

可选地，当终端设备的屏幕为电容屏时，上述S503还可以采用神经网络实现。该神经网络可以是采用训练数据集进行训练的得到的网络。可选地，上述训练数据集可以采用众包方式构建，即采用共享训练数据集的方式，也可以由终端设备独立构建训练数据集，对此本实施例不做限定。上述神经网络的训练过程可以包括：终端设备可以提供随机的字母和/或符号序列给用户，例如当屏幕显示一个字母时，用户在键盘区域按照平时的使用***时的使用习惯点击所显示的符号，终端设备记录发生变化的电容矩阵。当终端设备依次显示完键盘所有的符号和字母后，终端设备依次记录每个字母和符号对应的发生变化的电容矩阵并进行训练，由此建立电容矩阵和按键的映射关系，从而得到神经网络。

当神经网络训练好之后，终端设备可以将第一电容矩阵输入神经网络，该神经网络对第一电容矩阵进行识别，并结合预设的映射关系得到与第一电容矩阵具有关联关系的多个候选按键。需要说明的是，上述神经网络可以为卷积神经网络，也可以是采用全连接结构的神经网络，对此本申请实施例不做限定。

可选地，上述神经网络可以包括分类子网络和筛选子网络，终端设备将第一电容矩阵输入分类子网络，该分类子网络基于图像分类算法，对第一电容矩阵进行分类，得到第一电容矩阵与按键集合中各个按键对应的电容矩阵的相似度，该按键集合为屏幕所显示的按键的集合。例如图8所示的情况，第一电容矩阵通过分类子网络的处理，得到按键G、H、J、V、B、N的相似度分别为30％、40％、7％、60％、90％、30％，其他按键的相似度均为0％。然后终端设备将上述相似度输入筛选子网络，基于相似度对按键进行筛选，从而得到相似度满足相似度条件的多个候选按键。可选地，这里的相似度还可以用概率来表征，相似度越高的按键，表征与用户意图匹配的概率越高，相似度越低的按键，表征与用户意图匹配的概率越低。

可选地，上述相似度条件可以是将相似度大于或等于预设相似度阈值，例如终端设备可以将相似度大于或等于1％的按键作为候选按键，从而删除掉由于噪声导致电容变化的按键。

可选地，上述相似度条件还可以是：按键的相似度大于或等于预设相似度阈值，以及相邻按键的第一相似度比值和第二相似度比值均大于或等于预设比值阈值，第一相似度比值为第一按键的相似度比第二按键的相似度的比值，第二相似度比值为第二按键的相似度比第一按键的相似度的比值，第一按键和第二按键为相邻按键。

具体为：终端设备首先将相似度大于或等于预设相似度阈值的多个按键筛选出来形成第一集合，然后根据第一集合中任意两个相邻按键的相似度进行再次筛选。相邻按键包括第一按键和第二按键，终端设备将第一按键的相似度比第二按键的相似度，得到第一相似度比值，并判断该第一相似度比值是否大于或等于预设比值阈值；如果第一相似度比值大于预设比值阈值，则继续将第二按键的相似度比第一按键的相似度，得到第二相似度比值，并判断该第二相似度比值是否大于或等于预设比值阈值，如果第二相似度比值大于或等于预设比值阈值，则保留第一按键和第二按键。如果第一相似度比值和第二相似度比值中存在小于预设比值阈值的一个，则可得知相邻按键的电容变化量的差异变化过大，可能是干扰引起的电容突变，因此将这一组相邻按键从第一待选集合中删除。通常，上述预设比值阈值设置的较小，例如可以设置为0.001。终端设备首先删除相似度过低的按键，能够删除由于噪声引起的电容变化较小的按键，减少了后续处理过程的运算量，然后终端设备再基于相邻按键的相似度的比值删除电容存在突变的按键以排除干扰，从而得到能够更为准确地表征用户按压区域的多个候选按键，提高了候选按键和用户意图的匹配程度。

由于上述映射关系是对用户按压的习惯进行学习得到的，终端设备采用神经网络，根据第一电容矩阵和映射关系确定出多个候选按键，能够结合用户的使用习惯得到与用户按压的意图匹配的多个候选按键，提高了候选按键和用户意图的匹配度，使得按键识别的准确度更高。另外，相比终端设备针对手写体来识别按键的方法来说，由于神经网络是经过训练得到的，学习到了多种按压情况下的特征，因此采用神经网络识别按键的方法在不增大运算量的同时，能够使得识别结果更为稳定可靠。

上文详细介绍了本申请提供的方法的示例。可以理解的是，相应的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请可以根据上述方法示例对在触摸屏上进行操作的装置进行功能模块的划分，例如，可以将各个功能划分为各个功能模块，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9示出了本申请提供的一种在触摸屏上进行操作的装置的结构示意图。装置900包括：

接收模块901，用于接收用户在所述触摸屏上的第一触屏操作。

生成模块902，用于响应于所述第一触屏操作，生成第一电信号。

第一确定模块903，用于根据所述第一电信号确定多个候选按键，所述第一电信号用于表征所述第一触屏操作的按压区域，所述多个候选按键与所述按压区域存在关联关系。

第二确定模块904，用于从所述多个候选按键中确定目标按键。

在一个实施例中，所述第一电信号为第一电容矩阵，第一确定模块903，具体用于根据所述第一电容矩阵确定所述多个候选按键，其中，所述多个候选按键为按键区域与所述按压区域重合的按键。

在一个实施例中，第一确定模块903，具体用于获取***坐标点，若所述***坐标点位于所述按压区域内，则根据所述第一电容矩阵确定所述多个候选按键，其中，所述***坐标点用于表征电容变化量超过预设阈值的位置。

在一个实施例中，第一确定模块903，还用于若所述***坐标点位于所述按压区域外，则确定所述按压区域为无效区域。

在一个实施例中，所述第一电信号为第一电容矩阵，第一确定模块903，具体用于将所述第一电容矩阵输入神经网络确定所述多个候选按键，所述神经网络用于根据所述第一电容矩阵和预设的映射关系确定所述多个候选按键，所述映射关系为电容矩阵和按键的对应关系。

在一个实施例中，所述神经网络包括分类子网络和筛选子网络，第一确定模块903，具体用于将所述第一电容矩阵输入所述分类子网络，得到所述第一电容矩阵与按键集合中各个按键对应的电容矩阵的相似度，将所述相似度输入所述筛选子网络，得到所述多个候选按键，其中，所述按键集合为屏幕显示的按键的集合，所述多个候选按键为满足相似度条件的所述相似度对应的按键。

在一个实施例中，所述相似度条件包括：按键的相似度大于或等于预设相似度阈值，以及相邻按键的第一相似度比值和第二相似度比值均大于或等于预设比值阈值，所述第一相似度比值为第一按键的相似度比第二按键的相似度的比值，所述第二相似度比值为第二按键的相似度比第一按键的相似度的比值，所述第一按键和第二按键为相邻按键。

在一个实施例中，生成模块902，具体用于在显示输入法界面时，响应于所述第一触屏操作，生成所述第一电信号。

在一个实施例中，所述目标按键为所述多个候选按键中符合拼写规则的按键。

装置900执行在触摸屏上进行操作的方法的具体方式以及产生的有益效果可以参见方法实施例中的相关描述，此处不再赘述。

本申请实施例还提供了一种芯片，包括处理器；所述处理器用于读取并执行存储器中存储的计算机程序，以执行上述任一实施例所述的在触摸屏上进行操作的方法。

可选地，所述芯片还包括存储器，存储器与处理器通过电路或电线连接。

进一步可选地，所述芯片还包括通信接口。

本申请实施例还提供了一种电子设备，包括上述处理器。本实施例提供的电子设备可以是图1所示的终端设备100，用于执行上述在触摸屏上进行操作的方法。在采用集成的单元的情况下，终端设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对终端设备的动作进行控制管理，例如，可以用于支持终端设备执行显示单元、检测单元和处理单元执行的步骤。存储模块可以用于支持终端设备执行存储程序代码和数据等。通信模块，可以用于支持终端设备与其它设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其它终端设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的终端设备可以为具有图1所示结构的设备。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行上述任一实施例所述的在触摸屏上进行操作的方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的在触摸屏上进行操作的方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种在触摸屏上进行操作的方法，其特征在于，包括：

接收用户在所述触摸屏上的第一触屏操作；

响应于所述第一触屏操作，生成第一电信号；

根据所述第一电信号确定多个候选按键，所述第一电信号用于表征所述第一触屏操作的按压区域，所述多个候选按键与所述按压区域存在关联关系；

从所述多个候选按键中确定目标按键。

2.根据权利要求1所述的方法，其特征在于，所述第一电信号为第一电容矩阵，所述根据所述第一电信号确定多个候选按键，包括：

根据所述第一电容矩阵确定所述多个候选按键，其中，所述多个候选按键为按键区域与所述按压区域重合的按键。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一电容矩阵确定所述多个候选按键，包括：

获取***坐标点，所述***坐标点用于表征电容变化量超过预设阈值的位置；

若所述***坐标点位于所述按压区域内，则根据所述第一电容矩阵确定所述多个候选按键。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述***坐标点位于所述按压区域外，则确定所述按压区域为无效区域。

5.根据权利要求1所述的方法，其特征在于，所述第一电信号为第一电容矩阵，所述根据所述第一电信号确定多个候选按键，包括：

将所述第一电容矩阵输入神经网络确定所述多个候选按键，所述神经网络用于根据所述第一电容矩阵和预设的映射关系确定所述多个候选按键，所述映射关系为电容矩阵和按键的对应关系。

6.根据权利要求5所述的方法，其特征在于，所述神经网络包括分类子网络和筛选子网络，所述将所述第一电容矩阵输入神经网络确定所述多个候选按键，包括：

将所述第一电容矩阵输入所述分类子网络，得到所述第一电容矩阵与按键集合中各个按键对应的电容矩阵的相似度，所述按键集合为屏幕显示的按键的集合；

将所述相似度输入所述筛选子网络，得到所述多个候选按键，所述多个候选按键为满足相似度条件的所述相似度对应的按键。

7.根据权利要求6所述的方法，其特征在于，所述相似度条件包括：

按键的相似度大于或等于预设相似度阈值，以及相邻按键的第一相似度比值和第二相似度比值均大于或等于预设比值阈值，所述第一相似度比值为第一按键的相似度比第二按键的相似度的比值，所述第二相似度比值为第二按键的相似度比第一按键的相似度的比值，所述第一按键和第二按键为相邻按键。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述响应于所述第一触屏操作，生成第一电信号，包括：

在显示输入法界面时，响应于所述第一触屏操作，生成所述第一电信号。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述目标按键为所述多个候选按键中符合拼写规则的按键。

10.一种芯片，其特征在于，包括：包括处理器；所述处理器用于读取并执行存储器中存储的计算机程序，以执行如权利要求1至9中任一项所述的方法。

11.一种电子设备，其特征在于，包括：处理器、存储器和接口；

所述处理器、存储器和接口相互配合，使得所述电子设备执行如权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至9中任一项所述的方法。

Images