CN107145236A - 一种基于腕部肌腱压力相关特性的手势识别方法及*** - Google Patents
一种基于腕部肌腱压力相关特性的手势识别方法及*** Download PDFInfo
- Publication number
- CN107145236A CN107145236A CN201710334899.4A CN201710334899A CN107145236A CN 107145236 A CN107145236 A CN 107145236A CN 201710334899 A CN201710334899 A CN 201710334899A CN 107145236 A CN107145236 A CN 107145236A
- Authority
- CN
- China
- Prior art keywords
- recognition result
- control
- pressure
- wrist
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000707 wrist Anatomy 0.000 title claims abstract description 76
- 210000002435 tendon Anatomy 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008859 change Effects 0.000 claims description 42
- 210000003811 finger Anatomy 0.000 claims description 36
- 210000005224 forefinger Anatomy 0.000 claims description 30
- 230000001404 mediated effect Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 13
- 238000004378 air conditioning Methods 0.000 claims description 12
- 210000004932 little finger Anatomy 0.000 claims description 12
- 230000000284 resting effect Effects 0.000 claims description 12
- 210000003813 thumb Anatomy 0.000 claims description 12
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 10
- 239000000741 silica gel Substances 0.000 claims description 10
- 229910002027 silica gel Inorganic materials 0.000 claims description 10
- 229960001866 silicon dioxide Drugs 0.000 claims description 10
- 238000009413 insulation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 3
- 241000894007 species Species 0.000 description 15
- 210000003205 muscle Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于腕部肌腱压力相关特性的手势识别方法及***，无需要复杂的外部设备，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别；一方面极大地提高了手势识别的便利性，可适用于多种场合。另一方面本方案对压力传感器放置的位置进行了基于人体构造的优化选择，对采集到的压力信息提取了更有效的特征，而不是直接进行压力值的匹配，选择了更为先进的算法，因此手势识别的精度也大为提高。在目前的实验中，对二十四种手势的识别精度最好可达到95％以上。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于腕部肌腱压力相关特性的手势识别方法及***。
背景技术
手势识别是指用一定的技术来对手势种类进行分类。目前手势识别方法有基于视频的手势识别，即使用摄像头来获取人手部的图像信息，然后使用图像处理的方法提取不同手势的特征来进行手势识别；还有一种是基于肌电信号(EMG)的手势识别，即使用在人体手臂处大规模布置肌电传感器的方式，获取不同手势时肌电信号的变化情况，以此来进行手势分类；此外还有一种基于超声波的手势识别，这种方式通过超声波感知来获得人手臂骨骼肌肉的超声波图像，再使用图像处理的方式对该超声波图像进行分类，进而实现手势的识别；此外，还有使用大规模压力传感器阵列的手势识别，该方式使用大量的压力传感器采集数据，然后通过压力值集合匹配或者压力值曲线匹配的方式来进行手势的分类。
现有主流方法具有以下不足：
基于视频的手势识别方案需要在配有摄像头的场景下进行使用，这极大限制了它的使用范围，此外，手势识别的效果好坏也受到摄像场景的光照等条件的影响；基于肌电信号的手势识别方案需要在人体前臂布置大量的传感器电极，这会严重影响用户的使用体验，并极大地限制了应用场景；基于超声波的手势识别方案则要求使用专门的超声波探头和配套的处理设备，成本较高且需要专业的技术支持，不利于大规模推广。基于大规模压力传感器阵列的手势识别方案则需要大量的压力传感器，因此其成本将会极其高昂，此外使用压力数值或压力曲线直接匹配进行手势识别的方法会导致测量精度不高。
发明内容
本发明的目的是提供一种基于腕部肌腱压力相关特性的手势识别方法及***，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别，同时，成本也较低。
本发明的目的是通过以下技术方案实现的：
一种基于腕部肌腱压力相关特性的手势识别方法，包括：
获取N个压力传感器采集到的压力值数据，并按照特定方式排列；每一压力传感器采集用户手腕特定位置的压力数据；
根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；
根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
所述N个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。
所述N个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。
该方法还包括：
根据手势识别结果触发相应控制功能，其包括：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制控制模块关闭，***进入休眠状态。
所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
一种基于腕部肌腱压力相关特性的手势识别***，包括：
压力传感模块，包含了N个压力传感器，用于采集每一压力传感器采集用户手腕特定位置的压力数据；
信号采集与传输模块，用于获取N个压力传感器采集到的压力值数据，并按特定方式排列好后以无线传输的方式向外发送；
数据处理及识别模块，用于根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；再根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
压力传感模块，还包括绝缘手环与硅胶垫；
所述N个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。
所述N个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。
该***还包括：控制模块，用于根据手势识别结果触发相应控制功能，其包括：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制模块关闭，***进入休眠状态。
所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
由上述本发明提供的技术方案可以看出，无需要复杂的外部设备，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别；一方面极大地提高了手势识别的便利性，可适用于多种场合。另一方面本方案对压力传感器放置的位置进行了基于人体构造的优化选择，对采集到的压力信息提取了更有效的特征，而不是直接进行压力值的匹配，选择了更为先进的算法，因此手势识别的精度也大为提高。在目前的实验中，对二十四种手势的识别精度最好可达到95％以上。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于腕部肌腱压力相关特性的手势识别方法的流程图；
图2为本发明实施例提供的双排排列的十六个压力传感器的结构示意图；
图3为本发明实施例提供的由十六个压力传感器组成的压力手环的外观示意图；
图4为本发明实施例提供的一种基于腕部肌腱压力相关特性的手势识别***的示意图；
图5为本发明实施例提供的细化后的手势识别***的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
人们在完成手部运动时大部分都是依靠位于手臂前臂的肌肉进行带动完成的，而前臂肌肉是通过手腕处的肌腱与手部肌肉相连。当人手掌处于不同状态，即在做不同手势动作时，手腕处肌腱的状态是不同的，对于腕部的压力也不相同。因此，如果能够得到用户腕部肌腱处在不同手势情况下给予手环的压力值，就可以从这些压力值中提取出相关变化信息作为特征，通过相关算法确定出手势的类别。具体上述原理，本发明实施例提供一种基于腕部肌腱压力相关特性的手势识别方法，如图1所示，主要包括如下步骤：
步骤11、获取N个压力传感器采集到的压力值数据，并按照特定方式排列；每一压力传感器采集用户手腕特定位置的压力数据。
本发明实施例中，每个传感器都可以根据当前所受到的压力值的大小将相应的数字信号发送出去，N个压力传感器的收集到的信息以轮询方式逐一向外传输。
本发明实施例中，压力传感器的数量可以设为16个，排列方式如图2所示，压力传感器22、23的放置的位置(压力传感器22、23并无构造上的差别，只是放置位置的不同，分别表示分布在靠近手臂的一端，以及分布在靠近手掌的一端)需要考虑到腕部肌肉21、手腕骨骼24和手腕肌腱25的影响，同时，手势变化时，人手腕部分肌腱处的压力变化是二维平面的变化而不是一维线性的变化。因此本发明实施例选择将压力传感器进行双排排列，分别对应着选定的腕部肌腱的位置，以各个传感器之间压力信息的相关性情况来拟合腕部肌腱的变化情况。
所有压力传感器均为薄膜压力传感器，如图3所示，分布在带有弹性的绝缘手环32上，并使用硅胶垫31来支撑压力传感器33，使用硅胶垫31支撑压力传感器33使之恰好贴合用户腕部肌肤。
步骤12、根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息。
本发明实施例中，所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
步骤13、根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
由于用户群体的性别、年龄、体重等生理情况各不相同，其手腕的粗细及所需测量压力的位置也存在着差别，因此，为获得手势识别的更高的准确率，本方法还包括了对使用用户的标准手势特征信息(也即预设的特征信息)采集的过程和录入步骤：
1、用户根据自身情况，完成手环的佩戴。
2、用户按照***提示，做出***要求的手势动作。
3、***完成对用户完成手势动作时的压力数据的采集。
4、***从采集到的压力数据中提取出特征信息，并将其与手势种类的对应关系存储。
示例性的，机器学习的方法目前以K近邻方法效果最佳，使用的方法包括但不限于感知机，支持向量机等方法。
步骤14、根据手势识别结果触发相应控制功能。
控制功能通过控制模块实现，所述控制模块可以为智能家居***，可以根据手势识别结果触发如下控制功能：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制控制模块关闭，***进入休眠状态。
本发明实施例提供上述方案不同于其它的使用压力传感器的方案，上述方案仅使用了少量的压力传感器，给定了它们的位置，并从它们的压力值信息中提取出了更有效的特征，使用了更高效的算法，实现了使用少量压力传感器来完成更高精度的手势种类的识别。
根据对用户手势种类的识别，根据预先设定的手势种类与操作的对应关系，可通过手环的无线模块向控制模块发送控制指令，可以实现远程控制电子设备的功能。手环易于携带，具有便利性等优良特点，可以用于智能家居***的控制。
用户部分手势种类与常用的控制信息的对应关系如表1所示：
表1用户部分手势种类与常用的控制信息的对应关系
本发明实施例上述方案，无需要复杂的外部设备，仅需要用户在腕部佩戴装配有少量的双排排列的压力传感器的手环就可实现高精度多种类的手势识别；一方面极大地提高了手势识别的便利性，可适用于多种场合。另一方面本方案对压力传感器放置的位置进行了基于人体构造的优化选择，对采集到的压力信息提取了更有效的特征，而不是直接进行压力值的匹配，选择了更为先进的算法，因此手势识别的精度也大为提高。在目前的实验中，对二十四种手势的识别精度最好可达到95％以上。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本发明另一实施例还提供一种基于腕部肌腱压力相关特性的手势识别***，该***可以实现上述实施例所述的方案，如图4所示，主要包括：
压力传感模块，包含了N个压力传感器，用于采集每一压力传感器采集用户手腕特定位置的压力数据；
信号采集与传输模块，用于获取N个压力传感器采集到的压力值数据，并按特定方式排列好后以无线传输的方式向外发送；
数据处理及识别模块，用于根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；再根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
进一步的，压力传感模块，还包括绝缘手环与硅胶垫；
所述N个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。
进一步的，所述N个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。
进一步的，该***还包括：控制模块，用于根据手势识别结果触发相应控制功能，其包括：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制模块关闭，***进入休眠状态。
进一步的，所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
本发明实施例的上述***中的模块还可以具体细化为图5所示结构：其中的双排压力传感器、多路选择器与A/D模块即为压力传感模块，单片机信号采集单元与无线传输模块即为信号采集与传输模块，***设备控制模块即为控制模块；另外，相应的识别结果也可以通过显示模块显示。
需要说明的是，上述***中包含的各个功能模块所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于腕部肌腱压力相关特性的手势识别方法，其特征在于，包括：
获取N个压力传感器采集到的压力值数据，并按照特定方式排列；每一压力传感器采集用户手腕特定位置的压力数据；
根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；
根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
2.根据权利要求1所述的一种基于腕部肌腱压力相关特性的手势识别方法，其特征在于，所述N个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。
3.根据权利要求1或2所述的一种基于腕部肌腱压力相关特性的手势识别方法，其特征在于，所述N个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。
4.根据权利要求1所述的一种基于腕部肌腱压力相关特性的手势识别方法，其特征在于，该方法还包括：
根据手势识别结果触发相应控制功能，其包括：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制控制模块关闭，***进入休眠状态。
5.根据权利要求1所述的一种基于腕部肌腱压力相关特性的手势识别方法，其特征在于，
所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
6.一种基于腕部肌腱压力相关特性的手势识别***，其特征在于，包括：
压力传感模块，包含了N个压力传感器，用于采集每一压力传感器采集用户手腕特定位置的压力数据；
信号采集与传输模块，用于获取N个压力传感器采集到的压力值数据，并按特定方式排列好后以无线传输的方式向外发送；
数据处理及识别模块，用于根据排列后的N个压力值数据计算得到手势变化时的用户腕部肌腱压力变化情况的时间上相关性信息和空间上相关性信息，并以此作为待识别的特征信息；再根据预设的特征信息和手势种类的对应关系，使用机器学习的方法分析判定与待识别的特征信息最为匹配的手势种类，从而完成手势识别。
7.根据权利要求6所述的一种基于腕部肌腱压力相关特性的手势识别***，其特征在于，压力传感模块，还包括绝缘手环与硅胶垫；
所述N个压力传感器均为薄膜压力传感器，分布在带有弹性的绝缘手环上，并使用硅胶垫来支撑。
8.根据权利要求6或7所述的一种基于腕部肌腱压力相关特性的手势识别***，其特征在于，所述N个压力传感器采用双排排列方式，分别对应着选定的用户手腕肌腱位置，以各个传感器之间压力信息的相关性情况来拟合用户腕部肌腱的变化情况。
9.根据权利要求6所述的一种基于腕部肌腱压力相关特性的手势识别***，其特征在于，
该***还包括：控制模块，用于根据手势识别结果触发相应控制功能，其包括：
若识别结果为拇指弯曲，则控制关闭客厅的照明设备；
若识别结果为食指弯曲，则控制关闭书房的照明设备；
若识别结果为中指弯曲，则控制关闭厨房的照明设备；
若识别结果为无名指弯曲，则控制关闭主卧室的照明设备；
若识别结果为小拇指弯曲，则控制关闭次卧室的照明设备；
若识别结果为握拳，则控制照明设备全部关闭；
若识别结果为食指捏合，则控制大门电子锁上锁；
若识别结果为中指捏合，则控制车库大门电子锁上锁；
若识别结果为无名指捏合，则控制家中后门电子锁关闭；
若识别结果为小拇指捏合，则控制所有窗户关闭并上锁；
若识别结果为拇指伸展，则控制打开客厅的照明设备；
若识别结果为食指伸展，则控制打开书房的照明设备；
若识别结果为二指伸展，则控制打开厨房的照明设备；
若识别结果为三指伸展，则控制打开主卧室的照明设备；
若识别结果为四指伸展，则控制打开次卧室的照明设备；
若识别结果为五指伸展，则控制打开音乐播放器，播放音乐，运行模式与上次关闭时相同；
若识别结果为食指张开，则控制内空调***开始工作，运行模式与上次关闭时相同；
若识别结果为食指弹指，则控制内空调***停止工作，进入休眠模式
若识别结果为手掌右摆，则控制音乐播放器切换当前播放歌曲，为列表上的下一首歌；
若识别结果为手掌左摆，则控制控制音乐播放器切换当前播放歌曲，为列表上的上一首歌
若识别结果为手掌上摆，则控制空气净化器打开，并开始运行；
若识别结果为手掌下摆，则控制空气净化器停止运行，并进入休眠状态；
若识别结果为手腕左转，则控制模块开启，***进入活跃状态；
若识别结果为手腕右转，则控制模块关闭，***进入休眠状态。
10.根据权利要求6所述的一种基于腕部肌腱压力相关特性的手势识别***，其特征在于，
所述压力变化情况的时间上相关性信息包括：当前压力传感器在手势变化时的压力值的方差除以压力值的均值，结果作为手势变化情况下的当前压力传感器所对应位置的压力变化的剧烈程度；压力值数据的一阶差分的均值，表征压力变化的趋势。
所述压力变化情况的空间上相关性信息包括：压力传感器两两之间时间相关性矩阵的协方差矩阵，表征手势变化时手腕特定位置的压力在空间上的相关性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710334899.4A CN107145236B (zh) | 2017-05-12 | 2017-05-12 | 一种基于腕部肌腱压力相关特性的手势识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710334899.4A CN107145236B (zh) | 2017-05-12 | 2017-05-12 | 一种基于腕部肌腱压力相关特性的手势识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107145236A true CN107145236A (zh) | 2017-09-08 |
| CN107145236B CN107145236B (zh) | 2020-02-07 |
Family
ID=59777550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710334899.4A Active CN107145236B (zh) | 2017-05-12 | 2017-05-12 | 一种基于腕部肌腱压力相关特性的手势识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107145236B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227924A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 用于电子设备的方法及电子设备 |
| CN108897444A (zh) * | 2018-06-21 | 2018-11-27 | 中国科学技术大学 | 利用可穿戴手环式鼠标实现光标控制的方法及*** |
| CN108983622A (zh) * | 2018-07-06 | 2018-12-11 | 安徽超清科技股份有限公司 | 一种基于人体手势的智能家电控制*** |
| CN109407531A (zh) * | 2018-10-30 | 2019-03-01 | 深圳市心流科技有限公司 | 智能家居控制方法、装置及计算机可读存储介质 |
| CN110134225A (zh) * | 2018-02-09 | 2019-08-16 | 景俊年 | 一种智能手环及其控制方法 |
| CN111401334A (zh) * | 2020-04-29 | 2020-07-10 | 北京智宸天驰科技有限公司 | 一种利用传感器进行非接触映射式动作识别设备及方法 |
| CN111413874A (zh) * | 2019-01-08 | 2020-07-14 | 北京京东尚科信息技术有限公司 | 用于控制智能设备的方法、装置和*** |
| CN111565637A (zh) * | 2017-10-09 | 2020-08-21 | 钛深科技 | 基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析 |
| CN113703568A (zh) * | 2021-07-12 | 2021-11-26 | 中国科学院深圳先进技术研究院 | 手势识别方法、手势识别装置、手势识别***及存储介质 |
| CN114488831A (zh) * | 2022-01-10 | 2022-05-13 | 江苏博子岛智能产业技术研究院有限公司 | 一种基于人机交互的物联网家居智能控制***及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1433161A1 (en) * | 2001-09-07 | 2004-06-30 | Harmonic Research, Inc. | Improved wireless control device |
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| CN104490390A (zh) * | 2014-12-30 | 2015-04-08 | 天津大学 | 基于神经电生理信号联合分析的人体运动能力判别方法 |
| CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
-
2017
- 2017-05-12 CN CN201710334899.4A patent/CN107145236B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1433161A1 (en) * | 2001-09-07 | 2004-06-30 | Harmonic Research, Inc. | Improved wireless control device |
| CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| CN104490390A (zh) * | 2014-12-30 | 2015-04-08 | 天津大学 | 基于神经电生理信号联合分析的人体运动能力判别方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111565637A (zh) * | 2017-10-09 | 2020-08-21 | 钛深科技 | 基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析 |
| CN108227924A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 用于电子设备的方法及电子设备 |
| CN110134225A (zh) * | 2018-02-09 | 2019-08-16 | 景俊年 | 一种智能手环及其控制方法 |
| CN110134225B (zh) * | 2018-02-09 | 2022-12-06 | 景俊年 | 一种智能手环及其控制方法 |
| CN108897444A (zh) * | 2018-06-21 | 2018-11-27 | 中国科学技术大学 | 利用可穿戴手环式鼠标实现光标控制的方法及*** |
| CN108983622A (zh) * | 2018-07-06 | 2018-12-11 | 安徽超清科技股份有限公司 | 一种基于人体手势的智能家电控制*** |
| CN109407531A (zh) * | 2018-10-30 | 2019-03-01 | 深圳市心流科技有限公司 | 智能家居控制方法、装置及计算机可读存储介质 |
| CN111413874A (zh) * | 2019-01-08 | 2020-07-14 | 北京京东尚科信息技术有限公司 | 用于控制智能设备的方法、装置和*** |
| CN111401334A (zh) * | 2020-04-29 | 2020-07-10 | 北京智宸天驰科技有限公司 | 一种利用传感器进行非接触映射式动作识别设备及方法 |
| CN113703568A (zh) * | 2021-07-12 | 2021-11-26 | 中国科学院深圳先进技术研究院 | 手势识别方法、手势识别装置、手势识别***及存储介质 |
| CN114488831A (zh) * | 2022-01-10 | 2022-05-13 | 江苏博子岛智能产业技术研究院有限公司 | 一种基于人机交互的物联网家居智能控制***及方法 |
| CN114488831B (zh) * | 2022-01-10 | 2023-09-08 | 锋芒科技南京有限公司 | 一种基于人机交互的物联网家居智能控制***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107145236B (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145236A (zh) | 一种基于腕部肌腱压力相关特性的手势识别方法及*** | |
| Quaid et al. | Wearable sensors based human behavioral pattern recognition using statistical features and reweighted genetic algorithm | |
| CN114898832B (zh) | 一种康复训练远程控制***、方法、装置、设备及介质 | |
| Song et al. | Design of a flexible wearable smart sEMG recorder integrated gradient boosting decision tree based hand gesture recognition | |
| Mortazavi et al. | Determining the single best axis for exercise repetition recognition and counting on smartwatches | |
| US20200097081A1 (en) | Neuromuscular control of an augmented reality system | |
| EP3203350A1 (en) | Wearable controller for wrist | |
| CN105612475B (zh) | 具有姿态识别和功率管理的腕戴式运动装置 | |
| US8447704B2 (en) | Recognizing gestures from forearm EMG signals | |
| US10061389B2 (en) | Gesture recognition system and gesture recognition method | |
| CN110045819A (zh) | 一种手势处理方法及设备 | |
| CN103777752A (zh) | 基于手臂肌肉电流检测和运动传感器的手势识别设备 | |
| CN104007822A (zh) | 基于大数据库的运动识别方法及其装置 | |
| EP1408443A1 (en) | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition | |
| CN107647860A (zh) | 一种心率检测方法、装置、电子设备及存储介质 | |
| CN108171278B (zh) | 一种基于运动训练数据的运动模式识别方法和*** | |
| CN105491948A (zh) | 动态取样 | |
| CN107678550A (zh) | 一种基于数据手套的手语手势识别*** | |
| CN101980228A (zh) | 人体信息监测与处理***及方法 | |
| CN105205436A (zh) | 一种基于前臂生物电多传感器的手势识别*** | |
| CN103677265B (zh) | 一种智能感应手套及智能感应方法 | |
| CN108985157A (zh) | 一种手势识别方法和装置 | |
| KR102570426B1 (ko) | 추천 서비스를 제공하기 위한 방법, 이를 위한 전자 장치 및 저장 매체 | |
| CN105749537A (zh) | 一种运动辅助打分*** | |
| CN103550923A (zh) | 一种无线智能裁判***及其实现智能裁判打分的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |