CN114489353A - 一种基于手及指纹传感器的输入方法和装置 - Google Patents

Abstract

本发明公开了一种基于手及指纹传感器的输入方法和装置，其中，该方法包括：获取多个样本图像，样本图像包括每个手指区域的不同位置的图像；对多个样本图像的可识别性进行测试，测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，其中，第一匹配指纹包括不同手指位置的图像或特征模版；利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。本发明在原理上更加稳定和普适，在操作上可行性更好，打字速度更快，对于用户来说更加方便。

Description

一种基于手及指纹传感器的输入方法和装置

技术领域

本发明涉及人机交互领域，尤其涉及一种基于手及指纹传感器的输入方法和装置。

背景技术

随着智能设备的逐渐突破，相关的硬件设备也需要随之突破，其中打字键盘因其相对复杂的操作性，对设计的技术提出更高的要求。可穿戴设备是目前主要的设计方向，其与手持设备相比更自由便捷，更适应新的生活方式。但可穿戴设备的有限输入条件会限制其功能的实现，比如目前主流设计的智能眼镜通常不支持文本输入，语音输入在很多社交环境下并不方便，另外有限的触摸手势只能解决最基本的需求，在打字输入功能上是空白的。

由于人类对于自己的肢体有先天的感知功能，甚至在没有视觉反馈时也能进行简单有效的交互，因此近年来很多设计基于本体的手掌、手臂作为可输入界面，提高交互的效率。比如OmniTouch、Skinput，均使用安装在身体上的传感器感知身体触摸，并通过投射在身体表面的用户界面提供视觉反馈。这些方法并没有真正脱离键盘本身，没有发挥出身体触摸的优势。KITTY及Mobile Lorm Glove利用带电子触点的手套或手掌来检测的手指触摸，但用户需要戴手套，这在互动体验中不够方便。

PalmType通过戴在手腕上的传感器来检测手指在手掌不同位置的点击，并设计了改进的QWERTY布局映射在非惯用手的整个手掌上，惯用手的手指作为触笔进行输入。这在设计上具有新颖性，并很好地利用了本体感觉，因此优化QWERTY比目前触控板的键盘快39％。但这种可穿戴红外传感器依然有三个明显缺陷：

1.基于定位的方法对于手指的定位和按压检测并不准确，如果腕带有不同程度的移动均会造成定位的不准确；

2.在手指区域的范围有限，每根手指都对应5个字母，这很容易造成误触，使得输入的效率下降。在没有视觉反馈的基础上，人其实很难保证直接按到目标位置；

3.打字时非惯用手需要完全伸直并拢，而作为输入触笔的手指反复不停使用，比较容易疲惫，这些都会造成输入的不方便，用户体验不够自由。

因此需要找到一种新的输入方式，在保有原有可穿戴设备利用本体感觉的优势的基础上，进行新的改进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于改进现有的输入方式，在保有原有可穿戴设备利用本体感觉的优势的基础上解决现有技术存在的不足，提出了一种基于手及指纹传感器的输入方法。

本发明的另一个目的在于提出一种基于手及指纹传感器的输入装置。

为达上述目的，本发明一方面提出了基于手及指纹传感器的输入方法，包括以下步骤：

获取多个样本图像，所述样本图像包括每个手指区域的不同位置的图像；

基于所述多个样本图像，对所述多个样本图像的可识别性进行测试得到测试结果；所述测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；

基于所述测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，所述第一匹配指纹包括不同手指位置的图像或特征模版；

利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于所述匹配结果通过智能显示设备实时显示形成视觉反馈。

本发明实施例的基于手及指纹传感器的输入方法，通过获取每个手指和手掌区域的不同位置的样本图像；对多个样本图像的可识别性进行测试，测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，其中，第一匹配指纹包括不同手指位置的图像或特征模版；利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。本发明在原理上更加稳定和普适，在操作上可行性更好，打字速度更快，对于用户来说更加方便。

另外，根据本发明上述实施例的基于手及指纹传感器的输入方法还可以具有以下附加的技术特征：

进一步地，所述单个手指区域的不同位置的图像，包括：指尖、指肚、第一关节处、指侧、中指肚和第二关节处的图像。

进一步地，所述根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，包括：

在设置中选择标准键盘模式或者自定义键盘模式；其中，

在所述标准键盘模式中，根据所述智能显示设备中给出的位置提示，利用指纹传感器多次录入不同手指位置的图像或特征模版以存入指纹数据库完成录入；其中，所述不同手指位置对应虚拟键盘上不同的符号或功能；

在所述自定义键盘模式中，利用指纹传感器按照依次出现的字母或符号录入对应的自定义位置的图像或特征模版以存入指纹数据库完成录入。

进一步地，所述利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，包括：

在完成所述第一匹配指纹的注册后开启输入，利用所述指纹传感器连续获取读入的图像或特征模版，并与所述指纹数据库中注册图像或特征模版进行多次匹配运算，当匹配成功并触发预设位置时，将匹配结果映射到该部位对应的键盘符号或功能，并通过智能显示设备实时显示结果。

进一步地，基于单传感器进行指纹匹配至少包括：单个拇指戴指纹传感器、单个食指戴指纹传感器和手掌处固定指纹传感器；其中，

所述单个拇指戴指纹传感器，包括：预设多种键盘布局，以每个手指的预设部位作为输入位置，单个拇指戴上指纹传感器，在触碰每个部位后实时进行匹配操作，并输出相应的字母或其他指令；其中，所述预设多种键盘布局至少包括第一键盘布局、第二键盘布局和第三键盘布局。

进一步地，所述第一键盘布局，包括：

依照字母的顺序进行布局，两手指尖相对形成第一虚拟键盘，选取中指肚、第一关节、指肚和指尖作为输入字母的位置，前三行手指布局对应输入8个字母，第四行的小拇指对应于剩余的两个字母y和z，两个食指的指侧部位，分别作为删除键和空格键；

则戴指纹传感器的拇指按住另一只手的拇指指肚触发切换键盘SHIFT键；如果只按住SHIFT键显示永久切换，第一行两个食指对应***数字，其他手指的位置则自定义标点符号；再次按住SHIFT键返回字母设置；同时按住SHIFT键和其他字母显示临时切换。

进一步地，所述第二键盘布局，包括：

依照PalmType进行布局，两手指尖相对形成第二虚拟键盘，将第一行的字母q和p移除，放在第四行的两个小拇指处，第二行的字母g放在左手中指的指侧，两个食指代表第一行，两个中指代表第二行，两个无名指代表第三行。

进一步地，所述第三键盘布局，包括：

依照九宫格键进行布局，将所有键盘布局在同一只手形成第三虚拟键盘，所述第三虚拟键盘上的8个字母位置对应打字手四个手指的指尖和指肚，食指指侧和中指指侧分别对应删除键和空格键，食指的第一关节对应多个符号键；

通过连续按压和间隔预设时间按压在同一位置的字母打出对的应字母或符号。

进一步地，所述单个食指戴指纹传感器，包括：

依照PalmType进行布局，将所有键盘布局在同一只手形成第四虚拟键盘，在所述第四虚拟键盘中每一行右侧的五个字母分别对应每个手指的两个关节和三个指肚处，其他字母对应于手掌的不同区域；

依照九宫格进行布局，将所有键盘布局在同一只手形成第五虚拟键盘，在所述第五虚拟键盘中按键设置自定义选择预设位置。

为达到上述目的，本发明另一方面提出了一种基于手及指纹传感器的输入装置，包括：

样本获取模块，用于获取多个样本图像，所述样本图像包括每个手指区域的不同位置的图像；

样本测试模块，用于基于所述多个样本图像，对所述多个样本图像的可识别性进行测试得到测试结果；所述测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；

指纹录入模块，用于基于所述测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，所述第一匹配指纹包括不同手指位置的图像或特征模版；

指纹匹配模块，用于利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于所述匹配结果通过智能显示设备实时显示形成视觉反馈。

本发明实施例的基于手及指纹传感器的输入装置，通过获取每个手指区域的不同位置的样本图像；对多个样本图像的可识别性进行测试，测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，其中，第一匹配指纹包括不同手指位置的图像或特征模版；利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。本发明在原理上更加稳定和普适，在操作上可行性更好，打字速度更快，对于用户来说更加方便。

本发明的有益效果：

1.废除之前所有方法中基于定位的输入原理，改为基于纹路匹配的方法。这一点利用每个人手上的特有纹路，具有极高的专一性和准确性，不依赖任何其他移动设备的位置；

2.扩大可利用的输入范围。比如拇指戴上传感器，任何拇指能触摸到的位置几乎都可以赋予新的符号或功能。进一步利用人的本体感觉，尤其手指对手指的感知更加高效，这一点有充分的利用空间，比如可以支持传感器同时按两个手指，赋予更多可能的符号或功能；

3.不需要对手的姿势进行过多限制，充分利用所有的手指，在各种环境下都能进行输入操作，大幅提高交互的方便程度和自由度；

4.利用自然语义冗余信息对于模糊输入以及错误输入进行校正，进一步提高输入正确率；

5.通过按键设计合理化来进一步丰富输入功能。例如，通过SHIFT键实现两个符号共享按键，使得***数字与标点符号也能通过共享按键进行输入。对于特殊人群或手指受伤等情况，按键可能不够用，可以通过自定义按键及共享按键解决。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于手及指纹传感器的输入方法的流程图；

图2为根据本发明实施例的手指区域不同位置的图像示意图；

图3为根据本发明一种实施例的按照字母顺序布置虚拟键盘的示意图；

图4为现有的QWERTY型键盘的示意图；

图5为根据本发明一种实施例的按照键盘顺序布置虚拟键盘的示意图；

图6为现有的九宫格型键盘的示意图；

图7为根据本发明一种实施例的按照九宫格顺序布置虚拟键盘的示意图；

图8为根据本发明一种实施例的按照键盘顺序布置单手虚拟键盘的示意图；

图9为根据本发明另一种实施例的按照九宫格顺序布置虚拟键盘的示意图；

图10为根据本发明实施例的虚拟键盘使用的总体流程示意图；

图11为根据本发明实施例的虚拟键盘使用的注册流程示意图；

图12为根据本发明实施例的虚拟键盘使用的输入流程示意图；

图13为根据本发明实施例的基于手及指纹传感器的输入装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于手及指纹传感器的输入方法及装置，首先将参照附图描述根据本发明实施例提出的基于手及指纹传感器的输入方法。

图1是本发明一个实施例的基于手及指纹传感器的输入方法的流程图。

如图1所示，该基于手及指纹传感器的输入方法包括以下步骤：

步骤S1，获取多个样本图像，样本图像包括每个手指区域的不同位置的图像。

具体地，本发明摒弃了大部分交互式键盘基于定位输入的基本思路，使用基于图像匹配的思路进行输入操作。本发明受到指纹匹配的启发，经典的指纹匹配算法主要应用于现场指纹的查询及指纹的注册解锁等，指纹及其他纹路的永久性和特殊性在人机交互领域可以有更广泛的应用，进一步给人机交互带来便利。方法可行的原因是人的手上有独特天然的纹路，除了指纹和掌纹，手指关节处的纹路及指背处的纹路都能作为可识别的位置。

步骤S2，基于多个样本图像，对多个样本图像的可识别性进行测试得到测试结果；测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入。

具体地，本发明对于手指区域的不同位置的图像可识别性进行测试，如图2所示，按顺序分别是指尖(a)、指肚(b)、第一关节处(c)、指侧(d)、中指肚(e)和第二关节处(f)。实验结果说明，指肚(b)部分识别性能最好，其次是指尖(a)、指侧(d)和第一关节(c)，中指肚(e)也可以识别，但存在一定概率匹配失败，第二关节处(f)可识别性较差。这主要是因为(a)-(d)部位或多或少都带有部分指纹信息，均能通过算法很好的提取出有效的指纹特征，并进行较准确的匹配；中指肚(e)有清晰的纹路，且较为平滑，也能进行识别操作；而第二关节(f)由于其凸起结构，每次的注册图像或特征模版不能清晰的还原真实纹路，且手指弯曲时会出现不同程度的褶皱，给识别带来困难。因此在这种算法的基础上，每个手指至少有五个独立的部位可以用于输入。

因为指纹传感器可以获取图像，不同于物理键盘，本发明支持传感器同时按多个手指位置，比如拇指与食指、中指捏在一起，可以赋予新的符号或功能，用于代表SHIFT键、空格、ENTER键等。这一按键设计专属适用于基于匹配的输入原理，可以进一步丰富虚拟键盘的功能。

除此之外，手掌区域也能用于很好的识别，因为掌纹拥有和指纹相似的识别性，且PalmRC有研究表明，基于用户的本体感受能力，手掌上有9个可以明显感知的地标。指背的关节也有纹路，可以用于开始或结束等精确度要求不那么高的指令操作，对应于大拇指戴传感器时握拳的姿势。

步骤S3，基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，第一匹配指纹包括不同手指位置的图像或特征模版。

具体地，基于上述原理可以有很多种不同的操作设计和键盘布局设计，相对于定位等原理在设计上更加灵活多变，适用于不同人群的需求。当某个位置因为纹路质量不好、受伤、残疾等问题而不能用时，可以通过自定义按键的设计解决，用户在注册时可以按照自己方便的按键设计进行录入操作，另外通过SHIFT键可以实现共享按键，有足够可利用的按键可能。下面提出几种基于单传感器的操作设计思路，分别讨论其对应的键盘布局设计。

作为一种示例，单个拇指戴传感器，这种思路受到基本原理中初步实验的启发，以每个手指的五个有效部位((a)-(e))作为输入位置，单个拇指戴上小型指纹传感器，在触碰每个部位后实时进行匹配操作，并输出相应的字母或其他指令。除去戴传感器的拇指，共有9个手指45个独立位置可以进行操作，这对于键盘输入是足够的。考虑到输入效率和输入的方便程度，布局中应首先考虑指尖、指肚和指侧。

按键的排列组合具有无限的可能性，具体的布局设计包括但不限于以下三种布局：

(1)依照字母的顺序进行布局，想象两只手指尖相对，形成一个虚拟键盘。选取指尖相对形成键盘，而不是其他可能的原因是这更方便拇指按到所有的位置。选取中指肚(e)、第一关节(c)、指肚(b)和指尖(a)作为可输入字母的位置，如图3所示，形成每一行可输入8个字母的布局，第四行的小拇指对应于剩余的两个字母y和z，这一点考虑到拇指按压小拇指别的位置相对不方便。两个食指的指侧部位(d)按压非常容易，将分别作为删除键和空格键。

戴传感器的拇指按住另一只手的拇指指肚(b)将触发SHIFT键，SHIFT键相当于切换键盘，如果只按住SHIFT键，将实现永久切换，此时第一行两个食指共10个有效位置((a)-(e))，刚好对应于10个***数字，其他几个手指的位置则可以自定义常用的标点符号。再次按住SHIFT键，将返回字母设置，由此实现共享按键。如果同时按住SHIFT键和其他字母将实现临时切换的功能，这可以实现字母大小写切换等功能。

(2)考虑到易学性，本布局将人们熟悉的QWERTY布局迁移到四指。如图4所示，对于这个熟悉的QWERTY结构，字母共有三行，分别对应有10、9、7个字母，且熟悉QWERTY布局的人本质上熟悉的是字母间的相对位置，因此可以在不看键盘时也能准确的盲打字。基于这一点，需要将该布局字母的相对位置映射到手指的不同位置。

这一布局想象两只手的指尖相对，构成虚拟键盘。由于一行只有8个位置可以利用，与QWERTY相比是不够用的，且QWERTY中不同行字母之间不是严格对齐的，因此为了最大程度的减少学习成本，方便人机交互，如图5所示，布局设计经过初步的实验，将第一行的字母q和p移除，放在第四行的两个小拇指处，第二行的字母g放在左手中指的指侧，除此之外的相对位置基本符合人的本能感觉，两个食指代表第一行，两个中指代表第二行，两个无名指代表第三行。与方法(1)统一，删除键和空格键依然安排在两个食指的指侧(d)。

SHIFT键作为切换键依然是按住另一只拇指指肚(b)，在只按拇指时实现永久切换，这时第一行的字母位置及食指指侧共10个位置分别对应于10个***数字，其他位置自定义常用符号。同时按拇指和其他位置时实现临时切换功能。

(3)基于部分人对于九宫格的布局更加熟悉的前提，减少按键的布局在这个思路中可以很好的应用。九宫格一般布局如图6所示，其中有8个位置分别对应多个字母，除此之外应包含删除和空格键等。这种对于按键数要求很低的情况将使布局更加简单易学，为了更加方便，这里将所有键盘布局安排在同一只手，即戴传感器的手可以实现单手打字的目标。

在这一布局中8个字母位置将对应打字手四个手指的指尖(a)和指肚(b)，如图7所示，按照正常的布局顺序，字母a、b、c对应于食指指尖(a)，然后是中指、无名指、小拇指指尖(a)，接着是指肚(b)，以此类推。食指指侧和中指指侧将分别对应删除键和空格键。食指的第一关节(c)对应着多个符号键。

在实际打字选择某一个具体字母时，需要通过多次重复按同一个位置实现字母的选择。比如如果要出字母a，只需要按食指指尖(a)一次，如果要打出字母b，则需要快速连续按食指指尖(a)两次。若两次按压食指指尖(a)有一定间隔时间，则会打出aa两个字母。连续三次按压食指的第一关节(c)将打出符号？，连续四次按压将打出符号！。通过连续按压和间隔时间的调整，可以打出想要的字母或符号。

SHIFT键作为切换键依然是按住另一只拇指指肚(b)，在只按拇指时实现永久切换，同时按拇指和其他字母实现临时切换功能。在永久切换后，字母位置将对应着***数字，由之前的8个位置加上中指和无名指的第一关节(c)，构成10个***数字的位置，其他位置定义常用符号。

可以理解的是，上述三种布局各有利弊，适用于不同习惯的人群。三种布局之间进行对比，使用方便程度最好的是第三种布局，因为它实现了单手打字的目标。第一种和第二种布局分别适用于不熟悉和熟悉QWERTY布局的人。

进一步地，从易学性、用户感受、功能性、速度、准确性等指标与PalmType的方法进行对比：

1、这一思路的第二种布局与PalmType易学性是相当的，都是变体QWERTY的迁移，都延续了用户主体感受能力，基于先验能力有效降低了学习代价；其他思路的易学性不可比，因为每个人的打字习惯不一样。更多可能的布局可以提供更多人性化的选择，通过选择合适的布局可以最大程度减少学习成本；

2、本发明的方法能够有效利用指尖的感受力，在打字时需要用不同的手指位置去找拇指的传感器，而不是用某一个指头去反复找展平的手掌上的位置，用手指作为笔触的思路在写字时也许是便捷的，但打字并不会带来方便。从这个角度看，本发明更加人性化，且不需要固定的姿势来进行输入，尤其是第三种思路，甚至基本实现单手完成打字任务，当人在行走、上课等不同环境下都能进行打字操作，更加自由便捷，因此用户感受是更好的；

3、得益于新的输入原理，与PalmType相比，本思路更充分利用有限的输入位置，SHIFT共享键的引入及同时按几个手指的设计丰富了键盘的功能，***数字及标点符号在PalmType中没有设计，因此本思路的功能是更全面的；

4、PalmType中利用WPM衡量输入速度，用修正错误率和未修正错误率来衡量输入的准确性。在实验者选择好适合自己的布局并已充分训练学习的基础上，本发明体现出明显的优势。基于定位的方法将给输入的准确性带来考验，而基于匹配将不存在此问题；充分利用所有手指而不是单一手指也将大幅提高输入速度；PalmType密集排列的字母导致误触的问题也将解决，因为基于手指的本体感受不会出现此类错误。单手打字大大减少了按键数，使用时不仅可以提高输入准确性，还更加便捷灵活。

作为又一种示例，单个食指戴传感器，这种思路延续PalmType的设计，惯用手的单个食指或者非拇指的其他手指戴传感器充当笔触，另一个非惯用手的整个手掌作为虚拟键盘，进行输入操作。

布局设计包括但不限于以下两种设计：

(1)仿照PalmType的手掌布局进行设计，在PalmType中每一行右侧的五个字母分别对应着每个手指的两个关节和三个指肚处，其他字母对应于手掌的不同区域。由于这里依然采用匹配的方法而不是定位的方法，因此不能只考虑字母的相对位置关系，还要考虑纹理的可识别性，手指的不同部位可以提供精准的匹配结果，这一点可以进行更精细的划分，但这也会牺牲QWERTY布局的位置关系。

如图8所示，在这种布局中，将每个手指的字母进行更精细的划分，由于这里是另一只手食指戴传感器，手指的两个指侧都能方便按压，因此指头的第一关节(c)、指肚(b)、指尖(a)和两个指侧部位(d)(d’)共5个位置都能得到利用。除此之外，还可以同时按住多个手指关节，赋予新的符号定义。充当键盘的手的拇指也可以得到利用，拇指头的两个指侧(d)(d’)、指肚(b)、指尖(a)分别可以对应上下左右的功能键。

戴传感器的食指触碰同手的拇指将触发SHIFT键，在永久切换的模式中，食指和中指指头各自的五个有效位置((a)(b)(c)(d)(d’))对应着10个***数字，其他位置自定义符号。如果同时按住戴传感器手的拇指和充当键盘手的其他字母时，将可以实现临时切换功能，实现调整字母大小写等目标。临时切换功能是可行的，首先操作上可以做到同时按压这几个位置，另外，不同于物理键盘，通过指纹传感器获取图像或特征模版并进行匹配，可以支持传感器同时按多个位置，并匹配到对应正确的注册图像或特征模版，并赋予新的符号或功能。

(2)食指戴传感器时也可以设计九宫格的布局，适用于不同习惯的人。按键设置依然可以自定义选择9个主要位置。由于手掌的区域面积很大，如果布局在手掌处，按键之间距离较远，在快速打字时不容易快速按到特定位置且识别准。因此这里标准的键盘九宫格布局依然迁移到手指的不同位置。

如图9所示，9个位置分别对应于食指、中指、无名指的第一关节(c)、指肚(b)和指尖(a)，和图6的布局一致。和思路1的九宫格一样，通过连续按压及控制按压间隔时间，可以实现具体字母的选择。SHIFT键依然在戴传感器手的拇指位置，可以通过按压拇指实现永久切换，或同时按压SHIFT和字母实现临时切换功能。

应当理解的是，上述两种布局以食指作为笔触，另一只手作为键盘进行设计。两种方案针对于不同习惯的人群，第一种布局在准确性上将和PalmType一样存在缺陷，这主要是因为部分位置的识别性可能较差，如果手掌区域有识别效率更高的区域进行用户自定义布局，将解决这一问题；另外此布局操作的范围更集中，且不用对充当键盘的手的姿态进行限制。总的来说，这种思路是用匹配的精准性来牺牲原布局设计的易学性；第二种布局，基于识别算法的九宫格相对来说更加稳定，按压时可以保证准确性，减少了误触的概率，且键盘更加简单，更加易学好操作。但此布局将不能体现出匹配方法相对于定位方法更精准的优势。

需要说明的是，在单传感器的虚拟键盘设计中，除了以上两种主要思路，还有很多其他多元的设计思路。例如可以固定传感器在手掌处，用另一只手的手指不同部位触碰传感器进行输入，但考虑到方便性，26键的布局将很难安置，对于九宫格的布局将更加适用。

步骤S4，利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。

具体地，基于匹配结果通过智能显示设备实时显示形成视觉反馈，智能显示设备包括但不限于智能眼镜、VR头盔，最终形成视觉反馈以完成输入的人机交互。

应当理解的是，本发明能够利用VR头盔或智能眼镜设备、与电脑连接的指纹传感器、用户的手作为虚拟键盘设计可穿戴模拟键盘的原型。戴在手指上的指纹传感器可以获取图像或特征模版，与储存的注册图像或特征模版进行匹配运算得到结果，并通过智能眼镜实时显示出来形成视觉反馈。这种视觉反馈方便用户以自然的姿势打字，不需要低头看手。

进一步地，本发明的虚拟键盘使用的总体流程、注册流程和输入流程分别如图10、11、12所示。首先用户开启设备，在设置中选择键盘模式，若没有进行注册，则进入开启键的注册界面，传感器将启动，用户需按要求多次录入开启或关闭键盘的图像或特征模版，比如拇指携带传感器的键盘模式中，用户通过握拳姿势获取的指背关节处的纹路，这将被传感器获取并存储起来；

而后用户在设置中选择标准键盘或者自定义键盘，标准键盘模式中用户需要根据智能眼镜中给出的位置提示，多次录入不同手指位置的图像或特征模版，这些位置将对应虚拟键盘上不同的符号或功能，每次注册后用户可以选择重新录入或完成录入；自定义键盘模式中，用户需要按照依次出现的字母或符号录入对应的自定义位置的图像或特征模版；

完成所有键盘符号或功能的指纹注册后，用户可以开启输入，传感器会连续获取读入的图像或特征模版，并与库中注册图像或特征模版进行多次匹配运算。具体采样的特征模板包括但不限于SIFT、SURF、指纹细节点、以及稠密的特征点，具体的匹配方法包括但不限于点匹配、图像匹配技术。当匹配成功并触发有效位置时，将匹配结果映射到该部位对应的键盘符号或功能，并通过智能眼镜实时显示结果。

通过上述步骤，获取多个样本图像，样本图像包括每个手指区域的不同位置的图像；对多个样本图像的可识别性进行测试，测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，其中，第一匹配指纹包括不同手指位置的图像或特征模版；利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。本发明在原理上更加稳定和普适，在操作上可行性更好，打字速度更快，对于用户来说更加方便。

需要说明的是，基于手及指纹传感器的输入方法实现方式有多种，但无论具体的实现方法如何，只要方法解决了现有虚拟键盘的不足，都是针对现有技术问题的解决，并具有相应的效果。

为了实现上述实施例，如图13所示，本实施例中还提供了一种基于手及指纹传感器的输入装置10，该装置10包括：样本获取模块100，样本测试模块200，指纹录入模块300，指纹匹配模块400。

样本获取模块100，用于获取多个样本图像，样本图像包括每个手指区域的不同位置的图像；

样本测试模块200，用于基于多个样本图像，对多个样本图像的可识别性进行测试得到测试结果；测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；

指纹录入模块300，用于基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，第一匹配指纹包括不同手指位置的图像或特征模版；

指纹匹配模块400，用于利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。

根据本发明实施例的基于手及指纹传感器的输入装置，获取多个样本图像，样本图像包括每个手指区域的不同位置的图像；对多个样本图像的可识别性进行测试，测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；基于测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，其中，第一匹配指纹包括不同手指位置的图像或特征模版；利用指纹传感器获取读入第二匹配指纹，并与指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于匹配结果通过智能显示设备实时显示形成视觉反馈。本发明在原理上更加稳定和普适，在操作上可行性更好，打字速度更快，对于用户来说更加方便。

需要说明的是，前述对基于手及指纹传感器的输入方法实施例的解释说明也适用于该实施例的基于手及指纹传感器的输入装置，此处不再赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于手及指纹传感器的输入方法，其特征在于，包括以下步骤：

获取多个样本图像，所述样本图像包括每个手指区域的不同位置的图像；

基于所述多个样本图像，对所述多个样本图像的可识别性进行测试得到测试结果；所述测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；

基于所述测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，所述第一匹配指纹包括不同手指位置的图像或特征模版；

利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于所述匹配结果通过智能显示设备实时显示形成视觉反馈。

2.根据权利要求1所述的方法，其特征在于，所述单个手指区域的不同位置的图像，包括：指尖、指肚、第一关节处、指侧、中指肚和第二关节处的图像。

3.根据权利要求2所述的方法，其特征在于，所述根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库，包括：

在设置中选择标准键盘模式或者自定义键盘模式；其中，

在所述标准键盘模式中，根据所述智能显示设备中给出的位置提示，利用指纹传感器多次录入不同手指位置的图像或特征模版以存入指纹数据库完成录入；其中，所述不同手指位置对应虚拟键盘上不同的符号或功能；

在所述自定义键盘模式中，利用指纹传感器按照依次出现的字母或符号录入对应的自定义位置的图像或特征模版以存入指纹数据库完成录入。

4.根据权利要求3所述的方法，其特征在于，利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，包括：

在完成所述第一匹配指纹的注册后开启输入，利用所述指纹传感器连续获取读入的图像或特征模版，并与所述指纹数据库中注册图像或特征模版进行多次匹配运算，当匹配成功并触发预设位置时，将匹配结果映射到该部位对应的键盘符号或功能，并通过智能显示设备实时显示结果。

5.根据权利要求4所述的方法，其特征在于，基于单传感器进行指纹匹配至少包括：单个拇指戴指纹传感器、单个食指戴指纹传感器和手掌处固定指纹传感器；其中，

所述单个拇指戴指纹传感器，包括：预设多种键盘布局，以每个手指的预设部位作为输入位置，单个拇指戴上指纹传感器，在触碰每个部位后实时进行匹配操作，并输出相应的字母或其他指令；其中，所述预设多种键盘布局至少包括第一键盘布局、第二键盘布局和第三键盘布局。

6.根据权利要求5所述的方法，其特征在于，所述第一键盘布局，包括：

依照字母的顺序进行布局，两手指尖相对形成第一虚拟键盘，选取中指肚、第一关节、指肚和指尖作为输入字母的位置，前三行手指布局对应输入8个字母，第四行的小拇指对应于剩余的两个字母y和z，两个食指的指侧部位，分别作为删除键和空格键；

则戴指纹传感器的拇指按住另一只手的拇指指肚触发切换键盘SHIFT键；如果只按住SHIFT键显示永久切换，第一行两个食指对应***数字，其他手指的位置则自定义标点符号；再次按住SHIFT键返回字母设置；同时按住SHIFT键和其他字母显示临时切换。

7.根据权利要求5所述的方法，其特征在于，所述第二键盘布局，包括：

依照PalmType进行布局，两手指尖相对形成第二虚拟键盘，将第一行的字母q和p移除，放在第四行的两个小拇指处，第二行的字母g放在左手中指的指侧，两个食指代表第一行，两个中指代表第二行，两个无名指代表第三行。

8.根据权利要求5所述的方法，其特征在于，所述第三键盘布局，包括：

依照九宫格键进行布局，将所有键盘布局在同一只手形成第三虚拟键盘，所述第三虚拟键盘上的8个字母位置对应打字手四个手指的指尖和指肚，食指指侧和中指指侧分别对应删除键和空格键，食指的第一关节对应多个符号键；

通过连续按压和间隔预设时间按压在同一位置的字母打出对的应字母或符号。

9.根据权利要求5所述的方法，其特征在于，所述单个食指戴指纹传感器，包括：

依照PalmType进行布局，将所有键盘布局在同一只手形成第四虚拟键盘，在所述第四虚拟键盘中每一行右侧的五个字母分别对应每个手指的两个关节和三个指肚处，其他字母对应于手掌的不同区域；

依照九宫格进行布局，将所有键盘布局在同一只手形成第五虚拟键盘，在所述第五虚拟键盘中按键设置自定义选择预设位置。

10.一种基于手及指纹传感器的输入装置，其特征在于，包括：

样本获取模块，用于获取多个样本图像，所述样本图像包括每个手指区域的不同位置的图像；

样本测试模块，用于基于所述多个样本图像，对所述多个样本图像的可识别性进行测试得到测试结果；所述测试结果为每个手指至少有五个独立的部位用于指纹的录入和读入；

指纹录入模块，用于基于所述测试结果，根据预设的虚拟键盘模式利用指纹传感器获取录入第一匹配指纹以存入指纹数据库；其中，所述第一匹配指纹包括不同手指位置的图像或特征模版；

指纹匹配模块，用于利用所述指纹传感器获取读入第二匹配指纹，并与所述指纹数据库中存储的第一匹配指纹进行匹配运算得到匹配结果，基于所述匹配结果通过智能显示设备实时显示形成视觉反馈。

Images