CN105975091A - 一种基于惯性传感器的虚拟键盘人机交互技术 - Google Patents

一种基于惯性传感器的虚拟键盘人机交互技术 Download PDF

Info

Publication number
CN105975091A
CN105975091A CN201610526346.4A CN201610526346A CN105975091A CN 105975091 A CN105975091 A CN 105975091A CN 201610526346 A CN201610526346 A CN 201610526346A CN 105975091 A CN105975091 A CN 105975091A
Authority
CN
China
Prior art keywords
value
keyboard
computer interaction
trough
statistical indicant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610526346.4A
Other languages
English (en)
Inventor
桂林卿
杨帅
余海
房鹏
陈洪洋
束锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201610526346.4A priority Critical patent/CN105975091A/zh
Publication of CN105975091A publication Critical patent/CN105975091A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于惯性传感器的虚拟键盘人机交互技术。智能穿戴设备周期性地向控制对象发送陀螺仪数据和加速度传感器数据；控制对象接收到数据后，通过敲击时刻识别模块、运动模式识别模块和所敲按键识别模块完成键盘的文本输入。所述三个模块的功能分别是：判定敲击的时刻；设定移动标志值、确定运动模式；根据敲击时刻的移动标志值判定所敲击的按键、生成相应的计算机输入指令内容控制计算机键盘文本输入。所述人机交互技术与传统键盘、虚拟激光投影键盘和触摸屏虚拟键盘等人机交互技术相比，输入方式更加自由灵活，提升了虚拟键盘人机交互的体验。

Description

一种基于惯性传感器的虚拟键盘人机交互技术
技术领域
本发明涉及人机交互技术领域、惯性传感器技术领域和无线传感器网络技术领域。
背景技术
所谓人机交互(Human-Computer Interaction，HCI)，是指关于设计、评价和实现人们使用的交互式计算机***，并围绕相关的主要现象进行研究的学科。它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉和渗透的。人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。
在现有的人机交互方法中，文本输入方法主要包括传统键盘输入、虚拟激光投影键盘输入、触摸屏输入、无线键盘输入、智能穿戴设备输入等等。
1.传统键盘输入
人与机器最初的交互起源于打字机，最早的键盘就是应用在这些技术不太成熟的打字机上的。1868年美国人克里斯托夫·拉森·肖尔斯获打字机模型专利并取得经营权经营，设计出沿用至今的“QWERTY”键盘。虽然键盘的出现将计算机带入了字符用户界面时代，但是传统键盘不仅体积庞大、携带不便，无法满足移动终端对输入设备的需求。
2.虚拟激光投影键盘输入
随着计算机技术的发展，传统的机械键盘的输入方式已经不能满足用户的需求，虚拟激光投影键盘作为一种新的文本输入方式，主要由键盘图像投影模块、红外图像采集模块和红外激光定位***三部分构成，用内置的红色激光发射器可以在任何表面投影出标准键盘的轮廓，然后通过红外线技术跟踪手指的动作，确定按键命令，完成文本的输入，虽然在功能上跟传统键盘一致，但是这种键盘需要一个特定的平面作为投影承载媒介，容易受到外界干扰。
3.触摸屏输入
键盘的交互方式从PC时代一直延续到互联网时代，并无太大改变，直到20世纪90年代初，触摸屏技术的出现，给人机交互领域带来了新一轮变革，彻底改变了人们的生活方式。目前，市场上的触摸屏种类主要包括以下几种：电阻式、电容式、In-cell结构式和On-cell结构式等等，并且不同种类的触摸屏有着不同的透光率特性、触摸分辨率特性和耐久性特性。目前触摸屏技术已广泛应用于智能手机(例如iPhone)和平板电脑(比如Surface Pro)上，使用时在触摸屏上形成一个虚拟键盘，用户只需在上面轻轻一点，就能完成文本的输入，用户的体验更轻快、流畅、精准。台式电脑由于没有配备触摸屏，还在使用传统的键盘完成文本的输入，输入方式比较单一。
4.无线键盘输入
随着计算机网络技术的发展，可以利用无线传感网络技术，将键盘与电脑脱离开来，提高计算机的便捷使用性。例如，罗技公司的k230无线键盘，它采用2.4Ghz无线传输技术，虽然在使用感受方面与普通有线键盘没有任何区别，没有任何延迟的现象出现，但是有效通信范围受到限制；Remote Mouse键盘模拟技术，将智能手机或者平板电脑变成无线键盘，远程控制PC机完成文本输入，缺点在于受限于触摸屏的虚拟键盘输入。
5.智能穿戴设备输入
2015年来自美国德克萨斯州奥斯汀的一个团队推出了一款名为Gest的可穿戴设备。这款设备配备了加速器、陀螺仪和磁力计，这些传感器可以准确定位到手指的位置，并将其通过蓝牙技术传输给计算机或者移动设备，带来了新的人机交互体验。Gest模拟键盘时，手指不能向前后左右四个方向移动，只能在原地进行敲击。
发明内容
为了解决现有技术体积庞大不便携带(例如传统键盘)、需要一个特定平面作为投影媒介(例如虚拟激光投影键盘)、局限于远程触摸屏虚拟键盘输入(例如Remote Mouse键盘控制)、不能向左右前后移动只能原地敲击输入(例如Gest键盘控制)的问题，本发明提出一种基于惯性传感器的虚拟键盘人机交互技术。
针对现有技术存在的问题，本发明提供的技术方案如下：
智能穿戴设备(集成了加速度传感器和陀螺仪)周期性地向控制对象发送传感器数据，所述数据包括Z轴方向陀螺仪数据、X轴方向加速度传感器数据和Y轴方向加速度传感器数据，控制对象接收到数据后，通过敲击时刻识别模块、运动模式识别模块和敲击按键识别模块实现按键的输入。所述3个模块采用的具体的技术方案如下。
1.敲击时刻识别模块
控制对象接收到智能穿戴设备发送来的陀螺仪数据后，首先进行卡尔曼滤波处理，消除噪声，平滑陀螺仪数据，使得波峰波谷的特征更加明显后，然后进行实时波谷检测(检测原理为极小值原理，检测时忽略绝对值较小的波谷)，并且判定波谷出现的时刻为敲击时刻。
2.运动模式识别模块
控制对象接收到智能穿戴设备发送来的加速度数据后，分别进行成对波峰波谷检测(检测原理为极大值极小值原理，检测时忽略绝对值较小的波峰波谷)，并将检测到的波峰波谷依次加入到相应的缓存器中。所述缓存器包括两个，分别存储两个自由度的加速度传感器波峰波谷数据。
如果X/Y轴方向加速度传感器数据的波峰波谷缓存器中存有两个缓存元素，则进行判定，如果这两个元素分别是波峰和波谷，将右/前移标志值设置为1，判定向右/前移动；如果这两个元素分别是波谷和波峰，则将左/后移标志值设置为1，判定向左/后移动。继续进行检测，如果右/前移标志值为1并且检测到波谷和波峰，则将右/前移标志值设置为0，判定向右/前移动后又回到初始位置，清空缓存器；如果左/后移标志值为1并且检测到波峰和波谷，则将左/后移标志值设置为0，判定向左/后移动后又回到初始位置，清空缓存器。
所述运动模式包括静止、向某一方向移动、向某一方向移动后又回到初始位置，所述某一方向包括向右、向左、向前和向后。所述移动标志值的设置是为了区分原地敲击还是移动敲击。所述移动敲击包括向右敲击、向左敲击、向前敲击和向后敲击。
3.敲击按键识别模块
在敲击时刻，移动标志值存在五种情况。第一种情况是右移标志值为1，判定为向右敲击按键；第二种情况是左移标志值为1，判定为向左敲击按键；第三种情况是前移动标志值为1，判定为向前敲击按键；第四种情况是后移动标志值为1，则判定为向后敲击按键；第五种情况是4个移动标志值均为0，判定为原地敲击按键；判定好敲击按键之后，生成相应的计算机输入指令，控制键盘输入。
所述技术方案包含的智能穿戴设备可识别5个按键，不少于6个所述的智能穿戴设备即可识别26个按键，即可实现全英文字母覆盖输入。采用该技术方案，与传统键盘、虚拟激光触摸键盘和触摸屏虚拟键盘等人机交互技术相比，输入方式更加自由灵活，提升了键盘人机交互的体验。
附图说明
图1一种基于惯性传感器的虚拟键盘人机交互技术示意图
图2敲击时刻识别模块示意图
图3 X轴方向运动模式识别模块示意图
图4敲击按键识别模块示意图
图5卡尔曼滤波过后的陀螺仪数据示意图
具体实施方式
下面结合附图对本发明的技术方案作进一步详细描述。如图1，智能穿戴设备周期性地向控制对象发送陀螺仪数据和加速度传感器数据，控制对象接收到智能穿戴设备发送来的加速度数据后，通过3个模块实现键盘输入。所述的3个模块如图2、图3和图4所示，具体实施过程如下。
1.敲击时刻识别模块实施
控制对象接收到智能穿戴设备发送来的陀螺仪数据后，先进行卡尔曼滤波处理，随后进行实时波谷检测，并且判定波谷出现的时刻为敲击时刻。
2.运动模式识别模块实施
控制对象接收到智能穿戴设备发送来的加速度数据后，分别进行成对波峰波谷检测，并将检测到的波峰波谷依次加入到相应的缓存器中。
以X轴方向加速度传感器为例，如果检测到缓存器中存有两个缓存元素，则进行判定，如果这两个元素分别是波峰和波谷，将右移标志值设置为1，判定右向移动；如果这两个元素分别是波谷和波峰，将左移标志值设置为1，判定左向移动。继续进行检测，如果右移标志值为1，并且检测到波谷和波峰，则将右移标志值设置为0，判定右向移动后又回到初始位置，清空缓存器；如果左移标志值为1，并且检测到波峰和波谷，则将左移标志值设置为0，判定左向移动后又回到初始位置，清空缓存器。
3.敲击按键识别模块
在敲击时刻，根据移动标志值存在五种情况进行敲击按键识别。第一种情况是右移标志值为1，判定为向右敲击按键；第二种情况是左移标志值为1，判定为向左敲击按键；第三种情况是前移动标志值为1，判定为向前敲击按键；第四种情况是后移动标志值为1，则判定为向后敲击按键；第五种情况是4个移动标志值均为0，判定为原地敲击按键；判定好敲击按键之后，生成相应的计算机输入指令，控制键盘输入。
下面通过具体的实施例，即模拟敲击f键、g键、d键、r键和v键的实施例，对本发明的技术方案和交互效果进行描述：所述实施例使用的智能穿戴设备集成了三轴加速度传感器模块和三轴陀螺仪模块，其采样频率是50Hz。智能穿戴设备每隔0.02秒向控制对象发送一次X轴速度传感器数据、Y轴速度传感器数据和Z轴陀螺仪数据。控制对象接收到数据后，通过敲击时刻识别模块、运动模式识别模块和敲击按键识别模块实现键盘输入。卡尔曼滤波后的陀螺仪数据如图5所示，显示出明显的波谷特征；敲击时刻对应的移动标志值如表格1所示，结果显示智能穿戴设备准确地控制键盘输入了4个r、4个v、4个f、4个g和4个d。
表格1

Claims (5)

1.一种基于惯性传感器的虚拟键盘人机交互技术，其特征在于：
S1：敲击时刻的识别；
S2：运动模式的识别；
S3：所敲按键的识别。
2.如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S1进一步包括：控制对象接收到智能穿戴设备发送来的陀螺仪数据后，首先进行卡尔曼滤波处理，然后进行实时波谷检测(检测原理为极小值原理，检测时忽略绝对值较小的波谷)，并且判定波谷出现的时刻为敲击时刻。
3.如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S2进一步包括：控制对象接收到智能穿戴设备发送来的加速度传感器数据后，分别进行成对波峰波谷检测(检测原理为极大值极小值原理，检测时忽略绝对值较小的波峰波谷)，并将检测到的波峰波谷依次加入到相应的缓存器中。
4.如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S2进一步包括：
如果X/Y轴方向加速度传感器数据的波峰波谷缓存器中存有两个缓存元素，则进行判定，如果这两个元素分别是波峰和波谷，将右/前移标志值设置为1，判定向右/前移动；如果这两个元素分别是波谷和波峰，则将左/后移标志值设置为1，判定向左/后移动。继续进行检测，如果右/前移标志值为1并且检测到波谷和波峰，则将右/前移标志值设置为0，判定向右/前移动后又回到初始位置，清空缓存器；如果左/后移标志值为1并且检测到波峰和波谷，则将左/后移标志值设置为0，判定向左/后移动后又回到初始位置，清空缓存器。
5.如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S3进一步包括：
在敲击时刻，根据移动标志值判定敲击的按键。如果右移标志值为1，则判定为向右敲击对应的按键；如果左移标志值为1，则判定为向左敲击对应的按键；如果前移动标志值为1，则判定为向前敲击对应的按键；如果后移动标志值为1，则判定为向后敲击对应的按键；如果4个移动标志值均为0，则判定为原地敲击对应的按键。判定好敲击的按键后，生成相应的计算机输入指令内容控制键盘输入。
CN201610526346.4A 2016-07-05 2016-07-05 一种基于惯性传感器的虚拟键盘人机交互技术 Pending CN105975091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610526346.4A CN105975091A (zh) 2016-07-05 2016-07-05 一种基于惯性传感器的虚拟键盘人机交互技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610526346.4A CN105975091A (zh) 2016-07-05 2016-07-05 一种基于惯性传感器的虚拟键盘人机交互技术

Publications (1)

Publication Number Publication Date
CN105975091A true CN105975091A (zh) 2016-09-28

Family

ID=56954463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610526346.4A Pending CN105975091A (zh) 2016-07-05 2016-07-05 一种基于惯性传感器的虚拟键盘人机交互技术

Country Status (1)

Country Link
CN (1) CN105975091A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873762A (zh) * 2016-12-23 2017-06-20 南京理工大学 一种基于惯性传感器的人机交互输入技术
CN107336233A (zh) * 2017-06-02 2017-11-10 南京邮电大学 基于惯性动捕的人‑机器人虚实交互控制***
CN107465814A (zh) * 2017-07-17 2017-12-12 长沙学院 一种基于手机惯性传感器的用户输入识别方法
CN107562205A (zh) * 2017-09-15 2018-01-09 上海展扬通信技术有限公司 一种智能终端的投影键盘及该投影键盘的操作方法
CN109814707A (zh) * 2018-12-19 2019-05-28 东北大学秦皇岛分校 一种基于智能指环的虚拟输入方法及***
CN111880655A (zh) * 2020-07-28 2020-11-03 拉扎斯网络科技（上海）有限公司 敲击区域定位的检测装置及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088522A1 (en) * 2004-03-11 2005-09-22 Michael Goodgoll System and method for text entry
CN101086867A (zh) * 2006-06-05 2007-12-12 联发科技股份有限公司 检测输入信号的目标波峰值与目标波谷值的装置与方法
CN101498747A (zh) * 2008-12-25 2009-08-05 四川登巅微电子有限公司 一种波峰波谷检测方法和电路
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
US20120319940A1 (en) * 2011-06-16 2012-12-20 Daniel Bress Wearable Digital Input Device for Multipoint Free Space Data Collection and Analysis
CN104200234A (zh) * 2014-07-11 2014-12-10 杭州微纳科技有限公司 人体动作建模和识别方法
CN104615248A (zh) * 2015-02-10 2015-05-13 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104834372A (zh) * 2015-04-15 2015-08-12 程锦发 基于mems加速度传感器的多功能穿戴式人机交互输入设备
CN105511615A (zh) * 2015-12-04 2016-04-20 深圳大学 基于emg的可穿戴式文本输入***及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088522A1 (en) * 2004-03-11 2005-09-22 Michael Goodgoll System and method for text entry
CN101086867A (zh) * 2006-06-05 2007-12-12 联发科技股份有限公司 检测输入信号的目标波峰值与目标波谷值的装置与方法
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
CN101498747A (zh) * 2008-12-25 2009-08-05 四川登巅微电子有限公司 一种波峰波谷检测方法和电路
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
US20120319940A1 (en) * 2011-06-16 2012-12-20 Daniel Bress Wearable Digital Input Device for Multipoint Free Space Data Collection and Analysis
CN104200234A (zh) * 2014-07-11 2014-12-10 杭州微纳科技有限公司 人体动作建模和识别方法
CN104615248A (zh) * 2015-02-10 2015-05-13 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104834372A (zh) * 2015-04-15 2015-08-12 程锦发 基于mems加速度传感器的多功能穿戴式人机交互输入设备
CN105511615A (zh) * 2015-12-04 2016-04-20 深圳大学 基于emg的可穿戴式文本输入***及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873762A (zh) * 2016-12-23 2017-06-20 南京理工大学 一种基于惯性传感器的人机交互输入技术
CN107336233A (zh) * 2017-06-02 2017-11-10 南京邮电大学 基于惯性动捕的人‑机器人虚实交互控制***
CN107336233B (zh) * 2017-06-02 2020-10-09 南京邮电大学 基于惯性动捕的人-机器人虚实交互控制***
CN107465814A (zh) * 2017-07-17 2017-12-12 长沙学院 一种基于手机惯性传感器的用户输入识别方法
CN107465814B (zh) * 2017-07-17 2019-11-22 长沙学院 一种基于手机惯性传感器的用户输入识别方法
CN107562205A (zh) * 2017-09-15 2018-01-09 上海展扬通信技术有限公司 一种智能终端的投影键盘及该投影键盘的操作方法
CN109814707A (zh) * 2018-12-19 2019-05-28 东北大学秦皇岛分校 一种基于智能指环的虚拟输入方法及***
CN111880655A (zh) * 2020-07-28 2020-11-03 拉扎斯网络科技（上海）有限公司 敲击区域定位的检测装置及方法
CN111880655B (zh) * 2020-07-28 2024-05-17 拉扎斯网络科技（上海）有限公司 敲击区域定位的检测装置及方法

Similar Documents

Publication Publication Date Title
CN105975091A (zh) 一种基于惯性传感器的虚拟键盘人机交互技术
US11009961B2 (en) Gesture recognition devices and methods
CN105824431B (zh) 信息输入装置与方法
US10042438B2 (en) Systems and methods for text entry
CN101111817B (zh) 电脑鼠标周边装置
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
CN102317892B (zh) 控制信息输入装置的方法、信息输入装置、程序和信息存储介质
CN106104421A (zh) 一种指环式无线指感控制器、控制方法及控制***
US20150317076A1 (en) Use of hand posture to improve text entry
CN107209560A (zh) 检测手指移动
CN105980965A (zh) 用于非接触式打字的***、设备和方法
CN103809733A (zh) 人机交互***和方法
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
CN103686283A (zh) 一种智能电视遥控器人机交互方法
CN104571521B (zh) 手写记录装置和手写记录方法
KR20050102803A (ko) 가상입력장치, 시스템 및 방법
CN104331154A (zh) 实现非接触式鼠标控制的人机交互方法和***
CN101893967A (zh) 控制触敏手势输入结果的方法
CN106774839A (zh) 一种智能穿戴键盘装置及其输入方法
CN106062681A (zh) 通过关联触摸输入的加速度来对触笔进行歧义消除
CN100416474C (zh) 快速输入设备及其运行方法和应用
CN103034343A (zh) 一种感知鼠标的控制方法和装置
CN104142739A (zh) 一种基于光学鼠标传感阵列的激光点追踪***及方法
CN101315587B (zh) 光标控制装置
Zhang et al. Airtyping: A mid-air typing scheme based on leap motion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication