CN103530059B - 人机交互***及方法 - Google Patents
人机交互***及方法 Download PDFInfo
- Publication number
- CN103530059B CN103530059B CN201310528633.5A CN201310528633A CN103530059B CN 103530059 B CN103530059 B CN 103530059B CN 201310528633 A CN201310528633 A CN 201310528633A CN 103530059 B CN103530059 B CN 103530059B
- Authority
- CN
- China
- Prior art keywords
- unit
- gesture operation
- keyboard message
- keyboard
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013507 mapping Methods 0.000 claims abstract description 83
- 238000012360 testing method Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 24
- 230000002452 interceptive effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 210000000352 storage cell Anatomy 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 238000010304 firing Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种人机交互***及方法，在人机交互设备的USB描述符中添加键盘设备的描述符，并在人机交互设备中存储手势操作到键盘消息的映射表，当人机交互设备检测到用户的手势操作时，会从映射表中获取手势操作对应的键盘消息，然后将键盘消息发送给主机进行手势对应的操作。本发明通过采用上述发送手势对应的键盘消息的方法，实现了人机交互，从而不需要用户对人机交互设备进行应用程序的开发，并且对各种操作***兼容，无需重新开发，简化了对人机交互设备的操作，降低了用户使用的难度和门槛，提升了用户体验。
Description
技术领域
本发明涉及人机交互技术领域，更具体地说，涉及一种人机交互***及方法。
背景技术
随着科技的进步，在许多公共和非公共的场所（如：教育、会议、展会、工业生产、平板电脑、手机等）随处可见基于手势识别的人机交互设备（如：触摸屏、书写板、电子白板等）的应用，这类人机交互设备为各行各业提供了更加稳定、方便、直观和自然的交互方式。
目前，基于手势识别的人机交互设备实现交互的方法如图1所示，主要包括：
步骤S11：将人机交互设备通过USB（Universal Serial Bus，通用串行总线）接口与主机相连，为人机交互设备上电，使人机交互设备的MCU（MicroControl Unit，微控制单元）内的触摸屏程序运行；
步骤S12：检测手势操作；
步骤S13：判断是否检测到手势操作，如果是，进入步骤S14，如果否，返回步骤S12；
步骤S14：将检测到的手势操作通过人机交互设备的USB接口发送给主机；
步骤S15：主机接收到人机交互设备发送的手势操作后，根据手势操作进行对应的处理。
基于手势识别的人机交互设备在使用时常常会有进行各种手势操作的需求，这就需要用户自己使用人机交互设备开发应用程序（如：开发实现多点触摸的应用程序），而用户自己开发应用程序又需要具有一定的开发能力，能够编写USB接口的程序，或者需要学习厂商提供的SDK（SoftwareDevelopment Kit，软件开发工具包）程序，使用SDK程序进行开发。
但是，上述两种开发方法本身都较复杂，并且，由于***兼容性的影响，在不同的操作***下，需要重新进行应用程序的开发，这些都造成设备的开发应用复杂，用户使用的门槛和难度加大。
发明内容
本发明提供了一种人机交互***及方法，以简化人机交互设备的开发应用，降低用户使用的难度。
为实现上述目的，本发明提供了如下技术方案：
本发明提供了一种人机交互***，包括：人机交互设备和通过所述人机交互设备的USB接口与所述人机交互设备相连的主机；
其中，所述人机交互设备包括：映射表存储单元、初始化管理单元、映射表读取单元、临时存储单元、手势操作检测单元和键盘消息获取单元；所述映射表存储单元存储有手势操作到键盘消息的映射表，所述手势操作到键盘消息的映射表中的每一个手势操作均唯一对应一条键盘消息；所述初始化管理单元用于初始化所述人机交互设备，为所述人机交互设备的USB接口配置HID协议，并在所述人机交互设备的USB描述符中添加键盘设备的描述符；所述映射表读取单元用于从所述映射表存储单元中读取所述手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述临时存储单元；所述临时存储单元用于接收所述映射表读取单元发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；所述手势操作检测单元用于检测用户的手势操作，并将检测到的手势操作的信息发送给所述键盘消息获取单元；所述键盘消息获取单元用于接收所述手势操作检测单元发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备的USB接口发送给所述主机；
所述主机包括：键盘消息查询单元和手势操作处理单元；所述键盘消息查询单元用于在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述手势操作处理单元；所述手势操作处理单元用于接收所述键盘消息查询单元发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
优选的，所述手势操作检测单元包括：检测结果生成单元和检测结果判断单元；所述检测结果生成单元用于检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述检测结果判断单元；所述检测结果判断单元用于接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元，如果否，则触发所述检测结果生成单元继续检测用户的手势操作。
优选的，所述键盘消息查询单元包括：查询结果生成单元、查询结果判断单元和键盘消息判断单元；所述查询结果生成单元用于在所述主机内查询所述键盘消息获取单元发送的键盘消息，生成查询结果，并将所述查询结果发送给所述查询结果判断单元；所述查询结果判断单元用于接收所述键盘消息查询单元发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息判断单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息；所述键盘消息判断单元用于接收所述查询结果判断单元发送的键盘消息，根据所述键盘消息判断所述键盘消息是否为所述手势操作检测单元检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息。
优选的，所述映射表存储单元为所述人机交互设备的闪存或带电可擦除可编程只读存储器。
优选的，所述临时存储单元为所述人机交互设备的内存储器。
本发明还提供了一种人机交互方法，应用于以上任一项所述的人机交互***，所述人机交互方法包括：利用所述人机交互设备的初始化管理单元初始化所述人机交互设备，为所述人机交互设备的USB接口配置HID协议，并在所述人机交互设备的USB描述符中添加键盘设备的描述符；利用所述人机交互设备的映射表读取单元从所述人机交互设备的映射表存储单元中读取所述映射表存储单元存储的手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述人机交互设备的临时存储单元；利用所述临时存储单元接收所述映射表读取单元发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；利用所述人机交互设备的手势操作检测单元检测用户的手势操作，并将检测到的手势操作的信息发送给所述人机交互设备的键盘消息获取单元；利用所述键盘消息获取单元接收所述手势操作检测单元发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备的USB接口发送给所述主机；利用所述主机的键盘消息查询单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述主机的手势操作处理单元；利用所述手势操作处理单元接收所述键盘消息查询单元发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
优选的，所述利用所述人机交互设备的手势操作检测单元检测用户的手势操作，并将检测到的手势操作的信息发送给所述人机交互设备的键盘消息获取单元包括：利用所述手势操作检测单元的检测结果生成单元检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述手势操作检测单元的检测结果判断单元；利用所述检测结果判断单元接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元，如果否，则触发所述检测结果生成单元继续检测用户的手势操作。
优选的，所述利用所述主机的键盘消息查询单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述主机的手势操作处理单元包括：利用所述键盘消息查询单元的查询结果生成单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，生成查询结果，并将所述查询结果发送给所述键盘消息查询单元的查询结果判断单元；利用所述查询结果判断单元接收所述键盘消息查询单元发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息查询单元的键盘消息判断单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息；利用所述键盘消息判断单元接收所述查询结果判断单元发送的键盘消息，判断所述键盘消息是否为所述手势操作检测单元检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息。
与现有技术相比，本发明所提供的技术方案至少具有以下优点：
本发明所提供的人机交互***及方法，在人机交互设备的USB描述符中添加键盘设备的描述符，并在人机交互设备中存储手势操作到键盘消息的映射表，当人机交互设备检测到用户的手势操作时，会从映射表中获取手势操作对应的键盘消息，然后将键盘消息发送给主机进行手势对应的操作。本发明通过采用上述发送手势对应的键盘消息的方法，实现了人机交互，从而不需要用户对人机交互设备进行应用程序的开发，并且对各种操作***兼容，无需重新开发，简化了对人机交互设备的操作，降低了用户使用的难度和门槛，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中基于手势识别的人机交互设备实现交互的方法的流程图；
图2为本发明实施例一所提供的人机交互***的结构示意图；
图3为本发明实施例一所提供的人机交互***的手势操作检测单元的结构示意图；
图4为本发明实施例一所提供的人机交互***的键盘消息查询单元的结构示意图；
图5为本发明实施例二所提供的人机交互方法的设备端的方法流程图；
图6为本发明实施例二所提供的人机交互方法的设备端的另一种方法流程图；
图7为本发明实施例二所提供的人机交互方法的主机端的方法流程图；
图8为本发明实施例二所提供的人机交互方法的主机端的另一种方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示装置结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
实施例一
本实施例提供了一种人机交互***，如图2所示，该***包括：人机交互设备21和通过所述人机交互设备21的USB接口与所述人机交互设备21相连的主机22；
其中，所述人机交互设备21包括：映射表存储单元216、初始化管理单元211、映射表读取单元212、临时存储单元213、手势操作检测单元214和键盘消息获取单元215；
所述映射表存储单元216存储有手势操作到键盘消息的映射表，所述手势操作到键盘消息的映射表中的每一个手势操作均唯一对应一条键盘消息；
所述初始化管理单元211用于初始化所述人机交互设备21，为所述人机交互设备21的USB接口配置HID协议，并在所述人机交互设备21的USB描述符中添加键盘设备的描述符；
所述映射表读取单元212用于从所述映射表存储单元216中读取所述手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述临时存储单元213；
所述临时存储单元213用于接收所述映射表读取单元212发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；
所述手势操作检测单元214用于检测用户的手势操作，并将检测到的手势操作的信息发送给所述键盘消息获取单元215；
所述键盘消息获取单元215用于接收所述手势操作检测单元214发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元213临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备21的USB接口发送给所述主机；
所述主机22包括：键盘消息查询单元221和手势操作处理单元222；
所述键盘消息查询单元221用于在所述主机22内查询所述键盘消息获取单元215发送的键盘消息，并将查询到的键盘消息发送给所述手势操作处理单元222；
所述手势操作处理单元222用于接收所述键盘消息查询单元221发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
其中，映射表存储单元216内所存储的手势操作到键盘消息的映射表所表征的信息为用户的手势操作与键盘消息的对应关系，如：可以使“放大”这一手势操作对应“Win+‘+’”这一键盘消息，“缩小”这一手势操作对应“Win+‘-’”这一键盘消息等，并且，用户可以根据自己的操作习惯设定哪种手势操作对应哪条键盘消息，即手势操作到键盘消息的映射表可以随用户的操作习惯而改变。另外，本实施例中，所述映射表存储单元216优选的可为所述人机交互设备21的闪存或带电可擦除可编程只读存储器。
本实施例中，当将人机交互设备21与主机22通过USB接口连接后，给人机交互设备21通电，设备内的程序开始运行工作。人机交互设备21的初始化管理单元211初始化人机交互设备21的各个功能模块，为人机交互设备21的USB接口配置HID协议，使设备能够直接被基于各种操作***的主机识别，无需用户去开发复杂的USB人机交互设备的驱动程序。初始化管理单元211还需在人机交互设备21的USB描述符中添加键盘设备的描述符，以使USB接口能够发送键盘消息，人机交互设备21通过USB描述符向主机22汇报设备的各种各样的属性，主机22通过对USB描述符的访问对设备进行类型识别、配置，并为其提供相应的客户端驱动程序，键盘设备的描述符为每个键盘所代表的信息对应的代码。
映射表读取单元212从映射表存储单元216中将手势操作到键盘消息的映射表读取出来，并存储在临时存储单元213，这一功能将映射表从设备的外存储器调入内存储器，能够实现更快的访问速度。当键盘消息获取单元215接收到手势操作的信息，需要从手势操作到键盘消息的映射表中获取对应的键盘消息时，无需对映射表存储单元216进行访问，仅需访问临时存储单元213即可，由于临时存储单元213具有存取速度快的特点，因此键盘消息获取单元215能够迅速的获取手势操作对应的键盘消息。本实施例中，所述临时存储单元213优选的为所述人机交互设备21的内存储器。
为了保证设备程序的正确运行，如图3所示，本实施例中所述手势操作检测单元214优选的包括：检测结果生成单元2141和检测结果判断单元2142；
所述检测结果生成单元2141用于检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述检测结果判断单元2142；
所述检测结果判断单元2142用于接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元215，如果否，则触发所述检测结果生成单元2141继续检测用户的手势操作。
手势操作检测单元214的检测结果生成单元2141不断的对人机交互设备21的周围进行扫描检测，得到一定的信号作为检测结果，但是不一定每次得到的信号都是用户的手势操作产生的，可能没有手势操作，或者检测到设备周围其它的信号，因此最好能够对检测得到信号进行判断，以明确检测结果中是否包含手势操作的信息，如果是，则继续进行下一步的操作，如果否，则说明当前时刻设备周围没有手势操作，需要检测结果生成单元2141继续进行检测。通过上述过程，可避免人机交互设备对错误的信号产生误操作，保证设备正确、顺利、高效率的工作。
当键盘消息获取单元215根据接收到的手势操作，找出对应的键盘消息后，由于人机交互设备21的USB描述符中添加了键盘设备的描述符，因此人机交互设备21可通过自身的USB接口将键盘消息发送给主机22。
本实施例中，为保证主机22的工作正确、顺利的进行，如图4所示，所述键盘消息查询单元221优选的包括：查询结果生成单元2211、查询结果判断单元2212和键盘消息判断单元2213；
所述查询结果生成单元2211用于在所述主机22内查询所述键盘消息获取单元215发送的键盘消息，生成查询结果，并将所述查询结果发送给所述查询结果判断单元2212；
所述查询结果判断单元2212用于接收所述键盘消息查询单元2211发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元215发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息判断单元2213，如果否，则触发所述查询结果生成单元继续在所述主机22内查询所述键盘消息获取单元215发送的键盘消息；
所述键盘消息判断单元2213用于接收所述查询结果判断单元2212发送的键盘消息，根据所述键盘消息判断所述键盘消息是否为所述手势操作检测单元214检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元222，如果否，则触发所述查询结果生成单元2211继续在所述主机22内查询所述键盘消息获取单元215发送的键盘消息。
本实施例通过将键盘消息查询单元221细化为查询结果生成单元2211、查询结果判断单元2212和键盘消息判断单元2213，使键盘消息查询单元221不止能够在主机22内查询键盘消息，还能够对是否查询到键盘消息、查询到的键盘消息是否为用户的手势操作对应的键盘消息分别进行判断，从而保证了主机端程序能够更加正确、高效的对人机交互设备21发送的键盘消息进行处理。
本实施例所提供的人机交互***，通过在人机交互设备21的USB描述符中添加键盘设备的描述符，并在人机交互设备21内存储手势操作到键盘消息的映射表，使人机交互设备21在检测到手势操作后，能够将手势操作对应的键盘消息通过USB接口发送给主机22进行相应的操作，从而实现了在无需对人机交互设备21进行任何应用程序的开发的前提下，就能够使设备实现多点触摸等功能，简化了人机交互设备21使用的开发操作，降低了用户使用的门槛和难度，提升了用户体验。
实施例二
与实施例一相对应的，本实施例提供了一种人机交互方法，应用于实施例一所述的人机交互***，所述人机交互方法可分为设备端流程和主机端流程两块。其中，如图5所示，设备端流程包括：
步骤S51：利用所述人机交互设备的初始化管理单元初始化所述人机交互设备，为所述人机交互设备的USB接口配置HID协议，并在所述人机交互设备的USB描述符中添加键盘设备的描述符；
步骤S52：利用所述人机交互设备的映射表读取单元从所述人机交互设备的映射表存储单元中读取所述映射表存储单元存储的手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述人机交互设备的临时存储单元；
需要说明的是，本实施例中手势操作到键盘消息的映射表可以在人机交互设备出厂前由技术人员烧录进设备内，也可以在人机交互设备使用时，由用户根据自身的操作习惯等进行设定。
步骤S53：利用所述临时存储单元接收所述映射表读取单元发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；
步骤S54：利用所述人机交互设备的手势操作检测单元检测用户的手势操作，并将检测到的手势操作的信息发送给所述人机交互设备的键盘消息获取单元；
本实施例中，如图6所示，上述步骤S54优选的可以包括以下步骤：
步骤S541：利用所述手势操作检测单元的检测结果生成单元检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述手势操作检测单元的检测结果判断单元；
步骤S542：利用所述检测结果判断单元接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元（即进入步骤S55），如果否，则触发所述检测结果生成单元继续检测用户的手势操作（即返回步骤S541）。
通过上述步骤S541和步骤S542的进行，能够保证人机交互设备正确、顺利、高效的进行工作。
步骤S55：利用所述键盘消息获取单元接收所述手势操作检测单元发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备的USB接口发送给所述主机；
如图7所示，主机端流程包括：
步骤S71：利用所述主机的键盘消息查询单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述主机的手势操作处理单元；
如图8所示，上述步骤S71优选的可以包括以下步骤：
步骤S711：利用所述键盘消息查询单元的查询结果生成单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，生成查询结果，并将所述查询结果发送给所述键盘消息查询单元的查询结果判断单元；
步骤S712：利用所述查询结果判断单元接收所述键盘消息查询单元发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息查询单元的键盘消息判断单元（即进入步骤S713），如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息（即返回步骤S711）；
步骤S713：利用所述键盘消息判断单元接收所述查询结果判断单元发送的键盘消息，判断所述键盘消息是否为所述手势操作检测单元检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元（即进入步骤S72），如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息（即返回步骤S711）。
通过上述步骤S711、步骤S712和步骤S713的进行，能够保证主机正确、顺利、高效的进行工作。
步骤S72：利用所述手势操作处理单元接收所述键盘消息查询单元发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
本实施例所提供的方法中，在人机交互设备上电后，首先要在人机交互设备的USB描述符中添加键盘设备的描述符，使人机交互设备能够通过自身的USB接口向主机发送键盘消息。且人机交互设备内存储有手势操作到键盘消息的映射表，使人机交互设备在检测到周围有用户的手势操作后，能够查询该映射表，得到手势操作对应的键盘消息，并通过提前配置好的USB接口将该键盘消息发送给主机，从而使主机能够根据该反映了手势操作的信息的键盘消息，进行相应的操作。
由于设备是通过发送键盘消息来进行手势操作的执行的，因此用户使用设备时，无需开发应用程序，降低了对客户使用的门槛和难度，提升了用户体验，且节约了用户开发所需的成本。
并且，上述方法适用于多种操作***中，人机交互设备用于不同的操作***时，用户不必重新开发应用程序，利用设备直接发送操作***或相关软件常用的键盘消息即可实现所需的操作，从而简化了使用设备的操作，节省了开发成本，对提高操作***的兼容性有助益。
下面举例对此进行说明。当人机交互设备应用于Mac OS操作***中时，由于Mac OS操作***的多点手势的协议是不开放给普通的USB人机交互设备的，因此现有技术中基于Mac OS操作***的人机交互设备要想实现多点手势的功能，就需要用户自己开发应用程序，操作复杂，难度高。本实施例中通过发送手势操作对应的键盘消息，可实现基于Mac OS操作***的人机交互设备的多点手势的各项操作的效果。
例如：人机交互设备识别到“放大”的手势操作，通过USB接口发送“Win+‘+’”的键盘消息，操作***则对图片进行放大处理；人机交互设备识别到“缩小”的手势操作，通过USB接口发送“Win+‘-’”的键盘消息，操作***则对图片进行缩小处理；人机交互设备识别到“向左旋转”的手势操作，通过USB接口发送“Win+‘L’”的键盘消息，操作***则对图片进行向左旋转处理；人机交互设备识别到“向右旋转”的手势操作，通过USB接口发送“Win+‘R’”的键盘消息，操作***则对图片进行向右旋转处理；其它手势操作以此类推。
在Windows或Linux操作***中，有些应用软件开始设计时没做多点手势的处理，但提供了键盘快捷键的操作，如：“放大”为“Ctrl+‘+’”，“缩小”为“Ctrl+‘-’”，“向左旋转”为“Ctrl+L”，“向右旋转”为“Ctrl+R”等，采用本实施所提供的人机交互方法，人机交互设备检测到放大、缩小、向左旋转、向右旋转等手势操作后，直接发送对应的键盘消息，这样基于Windows或Linux操作***的应用软件就可以直接支持多点手势，不需修改软件。
本实施例所提供的人机交互方法应用于教育、会议等领域中的某些人机交互设备中，根据实际需要开发设备的功能时，可简化开发过程，使编写代码等操作比较容易。
例如：一般在带触摸屏的电子白板的边沿部分会留出一部分做快捷键使用，当用户点击其中一部分区域时，触摸屏就需要发送点击此区域的消息给电子白板的应用软件。本实施例中，用户可以根据实际需要随时设置这些留出的边沿部分的区域大小和快捷键对应的键盘消息，处理手势操作发送为键盘消息，电子白板软件可以十分方便的获取到手势操作对应的键盘消息，向对应的程序代码也比较容易写。
虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (8)
1.一种人机交互***，其特征在于，包括：人机交互设备和通过所述人机交互设备的USB接口与所述人机交互设备相连的主机；
其中，所述人机交互设备包括：映射表存储单元、初始化管理单元、映射表读取单元、临时存储单元、手势操作检测单元和键盘消息获取单元；
所述映射表存储单元存储有手势操作到键盘消息的映射表，所述手势操作到键盘消息的映射表中的每一个手势操作均唯一对应一条键盘消息；
所述初始化管理单元用于初始化所述人机交互设备，为所述人机交互设备的USB接口配置HID协议，并在所述人机交互设备的USB描述符中添加键盘设备的描述符；
所述映射表读取单元用于从所述映射表存储单元中读取所述手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述临时存储单元；
所述临时存储单元用于接收所述映射表读取单元发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；
所述手势操作检测单元用于检测用户的手势操作，并将检测到的手势操作的信息发送给所述键盘消息获取单元；
所述键盘消息获取单元用于接收所述手势操作检测单元发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备的USB接口发送给所述主机；
所述主机包括：键盘消息查询单元和手势操作处理单元；
所述键盘消息查询单元用于在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述手势操作处理单元；
所述手势操作处理单元用于接收所述键盘消息查询单元发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
2.根据权利要求1所述的人机交互***，其特征在于，所述手势操作检测单元包括：检测结果生成单元和检测结果判断单元；
所述检测结果生成单元用于检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述检测结果判断单元；
所述检测结果判断单元用于接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元，如果否，则触发所述检测结果生成单元继续检测用户的手势操作。
3.根据权利要求1所述的人机交互***，其特征在于，所述键盘消息查询单元包括：查询结果生成单元、查询结果判断单元和键盘消息判断单元；
所述查询结果生成单元用于在所述主机内查询所述键盘消息获取单元发送的键盘消息，生成查询结果，并将所述查询结果发送给所述查询结果判断单元；
所述查询结果判断单元用于接收所述查询结果生成单元发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息判断单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息；
所述键盘消息判断单元用于接收所述查询结果判断单元发送的键盘消息，根据所述键盘消息判断所述键盘消息是否为所述手势操作检测单元检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息。
4.根据权利要求1所述的人机交互***，其特征在于，所述映射表存储单元为所述人机交互设备的闪存或带电可擦除可编程只读存储器。
5.根据权利要求1所述的人机交互***，其特征在于，所述临时存储单元为所述人机交互设备的内存储器。
6.一种人机交互方法，应用于权利要求1～5任一项所述的人机交互***，其特征在于，所述人机交互方法包括：
利用所述人机交互设备的初始化管理单元初始化所述人机交互设备，为所述人机交互设备的USB接口配置HID协议，并在所述人机交互设备的USB描述符中添加键盘设备的描述符；
利用所述人机交互设备的映射表读取单元从所述人机交互设备的映射表存储单元中读取所述映射表存储单元存储的手势操作到键盘消息的映射表，并将所述手势操作到键盘消息的映射表发送给所述人机交互设备的临时存储单元；
利用所述临时存储单元接收所述映射表读取单元发送的手势操作到键盘消息的映射表，并临时存储所述手势操作到键盘消息的映射表；
利用所述人机交互设备的手势操作检测单元检测用户的手势操作，并将检测到的手势操作的信息发送给所述人机交互设备的键盘消息获取单元；
利用所述键盘消息获取单元接收所述手势操作检测单元发送的手势操作的信息，根据所述手势操作的信息从所述临时存储单元临时存储的手势操作到键盘消息的映射表中获取所述手势操作对应的键盘消息，并将所述键盘消息通过所述人机交互设备的USB接口发送给所述主机；
利用所述主机的键盘消息查询单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述主机的手势操作处理单元；
利用所述手势操作处理单元接收所述键盘消息查询单元发送的键盘消息，并根据所述键盘消息进行对应的手势操作的处理。
7.根据权利要求6所述的人机交互方法，其特征在于，所述利用所述人机交互设备的手势操作检测单元检测用户的手势操作，并将检测到的手势操作的信息发送给所述人机交互设备的键盘消息获取单元包括：
利用所述手势操作检测单元的检测结果生成单元检测用户的手势操作，生成检测结果，并将所述检测结果发送给所述手势操作检测单元的检测结果判断单元；
利用所述检测结果判断单元接收所述检测结果生成单元发送的检测结果，根据所述检测结果判断是否检测到手势操作，如果是，则将检测到的手势操作的信息发送给所述键盘消息获取单元，如果否，则触发所述检测结果生成单元继续检测用户的手势操作。
8.根据权利要求6所述的人机交互方法，其特征在于，所述利用所述主机的键盘消息查询单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，并将查询到的键盘消息发送给所述主机的手势操作处理单元包括：
利用所述键盘消息查询单元的查询结果生成单元在所述主机内查询所述键盘消息获取单元发送的键盘消息，生成查询结果，并将所述查询结果发送给所述键盘消息查询单元的查询结果判断单元；
利用所述查询结果判断单元接收所述查询结果生成单元发送的查询结果，根据所述查询结果判断是否查询到所述键盘消息获取单元发送的键盘消息，如果是，则将查询到的键盘消息发送给所述键盘消息查询单元的键盘消息判断单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息；
利用所述键盘消息判断单元接收所述查询结果判断单元发送的键盘消息，判断所述键盘消息是否为所述手势操作检测单元检测到的手势操作所对应的键盘消息，如果是，则将所述键盘消息发送给所述手势操作处理单元，如果否，则触发所述查询结果生成单元继续在所述主机内查询所述键盘消息获取单元发送的键盘消息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310528633.5A CN103530059B (zh) | 2013-10-30 | 2013-10-30 | 人机交互***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310528633.5A CN103530059B (zh) | 2013-10-30 | 2013-10-30 | 人机交互***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103530059A CN103530059A (zh) | 2014-01-22 |
| CN103530059B true CN103530059B (zh) | 2016-08-17 |
Family
ID=49932114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310528633.5A Active CN103530059B (zh) | 2013-10-30 | 2013-10-30 | 人机交互***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103530059B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322425B (zh) * | 2017-01-18 | 2023-08-29 | 固高科技股份有限公司 | 工业设备人机交互方法及*** |
| CN109426498B (zh) * | 2017-08-24 | 2023-11-17 | 北京迪文科技有限公司 | 一种人机交互***后台开发方法和装置 |
| CN109189254B (zh) * | 2018-06-26 | 2021-07-13 | 广州小鸡快跑网络科技有限公司 | 基于触屏驱动的输入设备、操作方法、***及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323875A (zh) * | 2011-10-26 | 2012-01-18 | 中国人民解放军国防科学技术大学 | 基于鼠标事件的多点触摸手势交互方法及中间件 |
| CN103257714A (zh) * | 2013-05-31 | 2013-08-21 | 深圳职业技术学院 | 一种支持手势识别的一体机 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8238876B2 (en) * | 2009-03-30 | 2012-08-07 | Microsoft Corporation | Notifications |
| US9594504B2 (en) * | 2011-11-08 | 2017-03-14 | Microsoft Technology Licensing, Llc | User interface indirect interaction |
-
2013
- 2013-10-30 CN CN201310528633.5A patent/CN103530059B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323875A (zh) * | 2011-10-26 | 2012-01-18 | 中国人民解放军国防科学技术大学 | 基于鼠标事件的多点触摸手势交互方法及中间件 |
| CN103257714A (zh) * | 2013-05-31 | 2013-08-21 | 深圳职业技术学院 | 一种支持手势识别的一体机 |
Non-Patent Citations (3)
| Title |
|---|
| 一种独立于应用程序的多点触摸交互中间件;燕厚仪 等;《计算机应用研究》;20110930;第28卷(第9期);第3360-3363页 * |
| 基于USB HID的电子白板的多点触控技术开发;刘森 等;《计算机应用与软件》;20130831;第30卷(第8期);第109-112页 * |
| 基于多点触摸的交互手势分析与设计;张国华 等;《计算机应用研究》;20100531;第27卷(第5期);第1737-1739页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103530059A (zh) | 2014-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3333684A1 (en) | Electronic device having a biometric sensor | |
| US20170116987A1 (en) | Electronic device and method for executing function using speech recognition thereof | |
| CN104699236A (zh) | 利用境况解释自然语言语音识别命令 | |
| US9632693B2 (en) | Translation of touch input into local input based on a translation profile for an application | |
| EP2869181A1 (en) | Method for executing functions in response to touch input and electronic device implementing the same | |
| JP6434640B2 (ja) | メッセージ表示方法、メッセージ表示装置、およびメッセージ表示デバイス | |
| CN104937612A (zh) | 通过用户生成的知识进行协同学习 | |
| CN111814885B (zh) | 一种管理图像框的方法、***、设备及介质 | |
| CN106201427A (zh) | 一种应用程序启动方法及终端设备 | |
| CN109427331B (zh) | 语音识别方法及装置 | |
| CN109857403A (zh) | 一种页面更新、页面处理方法及装置 | |
| US9460090B2 (en) | Method of recognizing situation requiring translation and performing translation function, and electronic device implementing the same | |
| KR102327205B1 (ko) | 콘텐트를 공유하는 방법 및 콘텐트 공유 시스템 | |
| US20210326151A1 (en) | Methods, devices and computer-readable storage media for processing a hosted application | |
| CN103530059B (zh) | 人机交互***及方法 | |
| WO2018112856A1 (zh) | 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品 | |
| CN105721510A (zh) | 一种账号登录方法与终端设备 | |
| CN110471610A (zh) | 终端控制方法、装置、终端及存储介质 | |
| WO2019000724A1 (zh) | 搜索方法、电子设备及非易失性存储介质 | |
| US20150371072A1 (en) | Mobile barcode information reading system | |
| US20140373033A1 (en) | Electronic device and method for launching an application installed in the same through address information | |
| US11460971B2 (en) | Control method and electronic device | |
| CN104750401A (zh) | 一种触控方法、相关装置以及终端设备 | |
| CN106197394A (zh) | 导航方法及装置 | |
| CN109189285A (zh) | 操作界面控制方法及装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |