CN107885312A - 一种手势控制方法及装置 - Google Patents

一种手势控制方法及装置 Download PDF

Info

Publication number
CN107885312A
CN107885312A CN201610862392.1A CN201610862392A CN107885312A CN 107885312 A CN107885312 A CN 107885312A CN 201610862392 A CN201610862392 A CN 201610862392A CN 107885312 A CN107885312 A CN 107885312A
Authority
CN
China
Prior art keywords
signal
pressure signal
gesture
pressure
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610862392.1A
Other languages
English (en)
Inventor
曾显伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201610862392.1A priority Critical patent/CN107885312A/zh
Publication of CN107885312A publication Critical patent/CN107885312A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种手势控制方法及装置，方法包括:建立编码器模型和解码器模型，对两个模型进行训练：获取多组压力信号，进行预处理；循环选定一组压力信号；通过编码器对压力信号进行编码，获得密码信号；通过解码器对该密码信号进行解码，获得重构信号；判断重构信号与该组压力信号的差值是否大于设定阈值；若是，则对编码器和解码器进行参数修正；手势控制过程：采集手势对应的一组压力信号，并进行预处理；通过编码器模型对该组压力信号进行编码，获得密码信号；获取密码信号对应的控制指令。本发明解决了现有技术中基于手势图像进行识别存在的对外部环境依赖大的问题；提高了模型训练的准确性，提高了手势识别准确性。

Description

一种手势控制方法及装置
技术领域
本发明属于手势识别技术领域，具体地说，是涉及一种手势控制方法和装置。
背景技术
在日常生活中，手势是一种常用的自然直观的交流方式，能在许多特定的场景表达特殊的意义。相比于传统的人机交互中的键盘、鼠标、遥控器等，手势能够以更加自由、自然的形式与机器交互；相比于触摸操控，虽然触摸式交互为用户提供了全新的操作体验，但用户也不可避免的被限制在了显示器之前，而手势信息的传递可以不受此限制。随着技术的发展，将手势应用于人机交互成为可能，手势识别也成为工业界研究与应用的热点。
传统的手势识别技术通常是基于视觉实现，通过摄像头获取手势视频或者图像，然后利用模式识别技术识别用户的手势。
但这种基于图像识别的方法具有两个较大的缺陷：1.对外部环境的依赖比较大，手势图像的获取需要良好的灯光、背景等条件，用户必须被严格的限制在与摄像头之间没有遮挡的范围，使得其应用的场景相对受限；2.需要额外的增加摄像头，涉及用户隐私暴露在摄像设备下的问题。
发明内容
本发明提供了一种手势控制方法，解决了现有技术中存在的上述技术问题。
为解决上述技术问题，本发明采用下述技术方案予以实现：
一种手势控制方法，所述方法包括:
建立编码器模型和解码器模型，并对两个模型进行训练，训练过程为：
（1）获取多组压力信号，并进行预处理；
（2）循环选定一组压力信号；通过编码器对选定的一组压力信号进行编码，获得密码信号；通过解码器对该密码信号进行解码，获得重构信号；判断重构信号与该组压力信号的差值是否大于设定阈值；
若是，则对编码器和解码器进行参数修正；
手势控制过程：
（3）采集手势对应的一组压力信号，并进行预处理；
（4）通过训练好的编码器模型对该组压力信号进行编码，获得密码信号；
（5）获取密码信号对应的控制指令，并输出至被控设备。
进一步的，所述步骤（1）具体包括：
在手上布设多个压力传感器，多个压力传感器布设在不同位置，采集不同位置的压力信号，获得一组压力信号；
对于同一个手势，多次采集压力信号，获得多组压力信号。
又进一步的，在步骤（1）和步骤（3）中，预处理具体包括：窗口检测、滤波、归一化。
一种手势控制装置，所述装置包括：
多个压力传感器，用于采集手的不同位置的压力信号；
预处理单元，用于对压力信号进行预处理操作；
编码器模型，用于对压力信号进行编码，获得密码信号；
解码器模型，用于对密码信号进行解码，获得重构信号；
计算单元，用于计算重构信号与压力信号的差值；
判断单元，用于判断差值是否大于设定阈值；
修正单元，用于对编码器模型、解码器模型进行参数修正；
存储单元，用于存储密码信号与控制指令的对应关系；
输出单元，用于获取密码信号对应的控制指令，并输出至被控设备。
进一步的，压力传感器设置有八个，布设在手的不同位置。
又进一步的，所述预处理单元包括窗口检测单元、滤波单元、归一化单元。
与现有技术相比，本发明的优点和积极效果是：本发明的手势控制方法及装置，采集手势动作对应的一组压力信号，进行预处理后输入到训练好的编码器模型，获得密码信号，并获取密码信号对应的控制指令，对被控设备进行控制，解决了现有技术中基于手势图像进行识别存在的对外部环境依赖大的问题，不需要设置摄像头，避免暴露用户隐私；而且编码器和解码器模型的学习训练过程是一种自动学习过程，人为干预较少，减少了人为干预造成的不完备性，提高了模型训练的准确性，进而提高了手势识别的准确性，实现了对被控设备的准确控制。
结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明提出的手势控制方法的一个实施例的流程图；
图2是图1中部分步骤的流程图；
图3是图1中部分步骤的流程图；
图4是本发明提出的手势控制装置的一个实施例的结构示意图；
图5是图4中预处理单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
本实施例的手势控制方法及装置，通过压力传感器采集压力信号，利用编码器模型，识别出具体手势，并将其映射成对应的控制指令，从而达到与设备进行交互的目的。下面，对该手势控制方法及装置进行详细说明。
本实施例的手势控制方法，具体包括下述步骤，参见图1所示。
步骤S1：建立编码器模型和解码器模型，并对模型进行训练。
两个模型的学习训练过程主要包括下述步骤，参见图2所示。
步骤S11：获取多组压力信号。
在手上布设多个压力传感器，多个压力传感器布设在手的不同位置，采集不同位置的压力信号，获得一组压力信号。
在本实施例中，在手上布设有8个压力传感器，即，每组压力信号包括8个压力信号。
针对不同的手势动作，压力传感器会采集到不同的压力信号。
对于同一个手势动作，由于手势动作的角度等不同，采集到的压力信号也会有差别，因此需要进行多次采集。因此，对每一个手势动作，都需要采集多组压力信号。
步骤S12：预处理。
对压力信号进行窗口检测、滤波、归一化等预处理操作。预处理过程可参见现有技术，此处不再赘述。
步骤S13：循环选定一组压力信号。
步骤S14：通过编码器对选定的一组压力信号进行编码，获得密码信号。
步骤S15：通过解码器对该密码信号进行解码，获得重构信号。
步骤S16：计算重构信号与该组压力信号的差值。
步骤S17：判断差值是否大于设定阈值。
若是，则执行步骤S18。
步骤S18：对编码器和解码器进行参数修正。
至此，编码器模型和解码器模型学习训练完成。
将一组压力信号输入到训练好的编码器，编码器输出密码信号，将该密码信号输入至训练好的解码器，解码器输出重构信号，该重构信号和压力信号的差值小于设定阈值。将训练好的编码器模型输出的密码信号与相应的控制指令一一映射，并保存。
因此，每个手势动作映射一个控制指令。通过手势动作即可控制被控设备的运行。
步骤S2：手势控制过程。
做出一个手势动作，对被控设备进行控制。手势控制的过程的主要包括下述步骤，参见图3所示。
步骤S21：采集手势对应的一组压力信号。
做出一个手势动作，多个压力传感器采集不同位置的压力信号，获得一组压力信号。
步骤S22：预处理。
对压力信号进行窗口检测、滤波、归一化等预处理操作。
步骤S23：通过训练好的编码器模型对该组压力信号进行编码，获得密码信号。
步骤S24：获取密码信号对应的控制指令，输出至被控设备，控制被控设备运行。
获取密码信号对应的控制指令，即识别出手势动作，通过有线或无线的方式将控制指令传输至被控设备，从而实现对被控设备的控制及交互。
如果该手势动作对应的密码信号没有获取到控制指令，说明手势动作错误，需要重新做出正确的手势。
本实施例的手势控制方法，采集手势动作对应的一组压力信号，进行预处理后输入到训练好的编码器模型，获得密码信号，并获取密码信号对应的控制指令，对被控设备进行控制，解决了现有技术中基于手势图像进行识别存在的对外部环境依赖大的问题，不需要设置摄像头，避免暴露用户隐私；而且编码器和解码器模型的学习训练过程是一种自动学习过程，人为干预较少，减少了人为干预造成的不完备性，提高了模型训练的准确性，进而提高了手势识别的准确性，实现了对被控设备的准确控制；用户在与被控设备进行交互时，简单直接，没有过多繁琐动作，提升了用户体验。
基于上述手势控制方法的设计，本实施例还提出了一种手势控制装置，所述手势控制装置主要包括多个压力传感器、编码器模型、解码器模型、计算单元、判断单元、修正单元、存储单元、输出单元，参见图4所示。
多个压力传感器，用于采集手的不同位置的压力信号。在本实施例中，压力传感器设置有八个，布设在手的不同位置。
预处理单元，用于对压力信号进行预处理操作。预处理单元主要包括窗口检测单元、滤波单元、归一化单元等，参见图5所示。
编码器模型，用于对压力信号进行编码，获得密码信号。
解码器模型，用于对密码信号进行解码，获得重构信号。
计算单元，用于计算重构信号与压力信号的差值。
判断单元，用于判断差值是否大于设定阈值。
修正单元，用于对编码器模型、解码器模型进行参数修正。
存储单元，用于存储密码信号与控制指令的对应关系。
输出单元，用于获取密码信号对应的控制指令，并输出至被控设备。
具体的手势控制装置的工作过程，已经在上述手势控制方法中详述，此处不予赘述。
本实施例的手势控制装置，解决了现有技术中基于手势图像进行识别存在的对外部环境依赖大的问题，不需要设置摄像头，避免暴露用户隐私；编码器模型和解码器模型精度高，提高了手势识别的准确性，实现了对被控设备的准确控制。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (6)

1.一种手势控制方法，其特征在于：所述方法包括:
建立编码器模型和解码器模型，并对两个模型进行训练，训练过程为：
（1）获取多组压力信号，并进行预处理；
（2）循环选定一组压力信号；通过编码器对选定的一组压力信号进行编码，获得密码信号；通过解码器对该密码信号进行解码，获得重构信号；判断重构信号与该组压力信号的差值是否大于设定阈值；
若是，则对编码器和解码器进行参数修正；
手势控制过程：
（3）采集手势对应的一组压力信号，并进行预处理；
（4）通过训练好的编码器模型对该组压力信号进行编码，获得密码信号；
（5）获取密码信号对应的控制指令，并输出至被控设备。
2.根据权利要求1所述的手势控制方法，其特征在于：所述步骤（1）具体包括：
在手上布设多个压力传感器，多个压力传感器布设在不同位置，采集不同位置的压力信号，获得一组压力信号；
对于同一个手势，多次采集压力信号，获得多组压力信号。
3.根据权利要求1所述的手势控制方法，其特征在于：在步骤（1）和步骤（3）中，预处理具体包括：窗口检测、滤波、归一化。
4.一种手势控制装置，其特征在于：所述装置包括：
多个压力传感器，用于采集手的不同位置的压力信号；
预处理单元，用于对压力信号进行预处理操作；
编码器模型，用于对压力信号进行编码，获得密码信号；
解码器模型，用于对密码信号进行解码，获得重构信号；
计算单元，用于计算重构信号与压力信号的差值；
判断单元，用于判断差值是否大于设定阈值；
修正单元，用于对编码器模型、解码器模型进行参数修正；
存储单元，用于存储密码信号与控制指令的对应关系；
输出单元，用于获取密码信号对应的控制指令，并输出至被控设备。
5.根据权利要求4所述的手势识别装置，其特征在于：压力传感器设置有八个，布设在手的不同位置。
6.根据权利要求4所述的手势识别装置，其特征在于：所述预处理单元包括窗口检测单元、滤波单元、归一化单元。
CN201610862392.1A 2016-09-29 2016-09-29 一种手势控制方法及装置 Pending CN107885312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610862392.1A CN107885312A (zh) 2016-09-29 2016-09-29 一种手势控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610862392.1A CN107885312A (zh) 2016-09-29 2016-09-29 一种手势控制方法及装置

Publications (1)

Publication Number Publication Date
CN107885312A true CN107885312A (zh) 2018-04-06

Family

ID=61769075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610862392.1A Pending CN107885312A (zh) 2016-09-29 2016-09-29 一种手势控制方法及装置

Country Status (1)

Country Link
CN (1) CN107885312A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941860A (zh) * 2014-03-31 2014-07-23 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别***及其方法
CN104679229A (zh) * 2013-11-27 2015-06-03 ***通信集团公司 一种手势识别方法和装置
CN105334958A (zh) * 2015-09-11 2016-02-17 南京西西弗信息科技有限公司 手势识别***及实现方法
CN105335713A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 指纹识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679229A (zh) * 2013-11-27 2015-06-03 ***通信集团公司 一种手势识别方法和装置
CN103941860A (zh) * 2014-03-31 2014-07-23 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别***及其方法
CN105334958A (zh) * 2015-09-11 2016-02-17 南京西西弗信息科技有限公司 手势识别***及实现方法
CN105335713A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 指纹识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩伟 等: "深度学习理论及其应用专题讲座(二) 第3讲 深度学习中的经典网络模型及训练方法", 《军事通信技术》 *

Similar Documents

Publication Publication Date Title
CN108983979B (zh) 一种手势跟踪识别方法、装置和智能设备
CN110765854B (zh) 一种视频动作识别方法
CN103353935A (zh) 一种用于智能家居***的3d动态手势识别方法
CN103345644A (zh) 在线训练的目标检测方法及装置
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
US20210170580A1 (en) Action imitation method and robot and computer readable medium using the same
CN105912142A (zh) 一种基于加速传感器的记步与行为识别方法
CN206379992U (zh) 一种肤质检测分析***
CN103324274A (zh) 一种人机交互方法和装置
CN112560649A (zh) 一种行为动作检测方法、***、设备及介质
CN103472915A (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN104777910A (zh) 一种表情识别应用于显示器的方法及***
CN205644515U (zh) 一种智能电子画框
CN116524195B (zh) 语义分割方法、装置、电子设备及存储介质
CN110827355B (zh) 一种基于视频图像坐标的移动目标快速定位方法及***
CN113724132A (zh) 图像风格迁移处理方法、装置、电子设备及存储介质
CN117496036A (zh) 一种纹理贴图的生成方法、装置、电子设备和存储介质
JP2022063236A (ja) 画像処理装置、方法、機器及びコンピュータ読み取り可能な記憶媒体
CN107885312A (zh) 一种手势控制方法及装置
CN205644583U (zh) 一种项目管理人力资源用指纹采集装置
CN110223258A (zh) 一种多模式快速视频图像去雾方法及装置
CN116977547A (zh) 一种三维人脸重建方法、装置、电子设备和存储介质
CN113916899B (zh) 基于视觉识别的大输液软袋产品的检测方法、***及装置
CN206212381U (zh) 基于虚拟现实设备使用状态的室内照明控制***
CN112822393B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406