CN110866468A - 一种基于无源rfid的手势识别***及方法 - Google Patents

一种基于无源rfid的手势识别***及方法 Download PDF

Info

Publication number
CN110866468A
CN110866468A CN201911046991.6A CN201911046991A CN110866468A CN 110866468 A CN110866468 A CN 110866468A CN 201911046991 A CN201911046991 A CN 201911046991A CN 110866468 A CN110866468 A CN 110866468A
Authority
CN
China
Prior art keywords
rfid
tags
gloves
signal
rfid label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911046991.6A
Other languages
English (en)
Inventor
薛广涛
孙雨辉
陈奕超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911046991.6A priority Critical patent/CN110866468A/zh
Publication of CN110866468A publication Critical patent/CN110866468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于无源RFID的手势识别***及方法，其中***包括：RFID阅读器、上位机、RFID标签和手套，RFID标签为无源RFID标签，共设有多个，分别设置于手套上与手指各关节对应位置；用户佩戴手套进行手势操作，手指关节的运动带动RFID标签进行形变以改变RFID标签的天线特性，从而改变RFID阅读器读取到的信号特征，RFID阅读器将读取到的各RFID标签的信号特征发送至上位机，上位机根据各RFID标签的信号特征识别出用户当前的手势。与现有技术相比，本发明使用无源RFID标签，手套上的RFID标签贴于关节处，用户在进行手势操作时关节处的形变直接带动RFID标签进行弯曲，使其信号特征发生变化，适用范围广，结构简单，用户的使用负担小，手套不需要电源。

Description

一种基于无源RFID的手势识别***及方法
技术领域
本发明涉及一种手势识别技术，尤其是涉及一种基于无源RFID的手势识别***及方法。
背景技术
随着计算机技术的发展，越来越多的设备实现了智能化，例如各种各样的智能家居和工业物联网设备。而如何与这些设备进行交互成为了当下十分热门的研究方向。其中手势识别***是人们比较感兴趣的人机交互方式。与以往传统的依赖于键盘、鼠标、触摸屏或操纵杆等的人机交互形式相比，手势是人类生活中常用的表意形式，具有自然、易于学习等特点，人们不再需要去学习额外的硬件的使用方法，直接使用手势表达自己的想法。
传统的人机交互***受限于计算机性能以及硬件发展的不足，需要利用额外的硬件设施来完成输入。而随着技术发展，实现手势识别***成为了可能。现在主流的获取手势信息的方式有以下三种：1)依赖特殊的硬件设备，比如运动传感器或机电传感器；2)基于图像识别或计算机视觉；3)利用各种无线射频信号，如Wi-Fi、蓝牙，分析不同手势下的信号特征。其中，第一种方法需要利用传感器来采集用户的手势信息，这种方法受外界的干扰较小，识别准确率也较高，但是需要用户佩戴特殊的硬件设备，包括传感器以及相应的供电***。第二种基于图像的方法发展比较成熟，识别率也比较高，也不需要用户穿戴额外的设备，但是实际使用时受周围光线环境影响比较大，且由于基于图像的算法较为复杂，需要的计算资源比较高。最后一种基于射频信号的方法同样不需要额外的设备，利用机器学习的方法分析用户做特定手势时对射频信号造成的影响，但这种方式的识别率不及上面的方法，且对用户的使用环境有较大要求，抗干扰能力较差。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可以提高识别准确度的基于无源RFID的手势识别***及方法。
本发明的目的可以通过以下技术方案来实现：
一种基于无源RFID的手势识别***，包括RFID阅读器、上位机和RFID标签，还包括手套，所述RFID标签为无源RFID标签，共设有多个，分别设置于手套上与手指各关节对应位置；
用户佩戴手套进行手势操作，手指关节的运动带动RFID标签进行形变以改变RFID标签的天线特性，从而改变RFID阅读器读取到的信号特征，RFID阅读器将读取到的各RFID标签的信号特征发送至上位机，上位机根据各RFID标签的信号特征识别出用户当前的手势。
所述RFID标签的数量与手指的关节数量一致。
所述RFID标签的数量为5个，其中，大拇指处的标签贴于第一关节处，其余四根手指处的标签贴于第二关节处。
一种如上述基于无源RFID的手势识别***的方法，包括：
步骤S1：当用户佩戴手套执行任一指定手势时，RFID阅读器读取到各RFID标签的信号特征并发送至上位机；
步骤S2：上位机根据各RFID标签的信号特征生成时序信息，并对时序数据进行预处理得到特征量；
步骤S3：基于各指定手势下各RFID标签的特征量训练并验证分类模型；
步骤S4：当用户佩戴手套执行手势操作时，RFID阅读器读取到各RFID标签的信号特征并发送至上位机；
步骤S5：上位机根据各RFID标签的信号特征生成时序信息，并对时序数据进行预处理得到特征量；
步骤S6：利用训练好的分类模型，根据各RFID标签的特征量得到识别结果。
所述信号特征包括：信号强度、相位和多普勒效应。
所述特征量包括平均值、中位数、方差、数据量。
所述步骤S3具体包括：
步骤S31：将所有的数据分为训练集和验证集；
步骤S32：利用训练集训练分类模型；
步骤S33：利用验证集验证分类模型，若分类结果的置信度低于阈值，则返回步骤S1，反之，则执行步骤S4。
所述阈值为85％。
与现有技术相比，本发明具有以下有益效果：
1)使用无源RFID标签，手套上的RFID标签贴于关节处，用户在进行手势操作时关节处的形变直接带动RFID标签进行弯曲，使其信号特征发生变化，适用范围广，结构简单，用户的使用负担小，手套不需要电源。
2)采用成熟的商业产品，比如商用的RFID阅读器和标签，成本较低，可靠性高。
3)由于通过无源RFID进行信号的收发，附带有识别ID，因此支持多用户手势识别的应用场景，各个用户之间的操作不会互相干扰。
4)采用统计学习的算法对数据进行分析，所需的计算量较低，后端程序可以部署在手机或物联网设备等低功耗场景中。
附图说明
图1为本发明***的结构示意图；
图2为本发明方法的流程示意图；
其中：1、RFID阅读器的天线，2、RFID阅读器的主体，3、上位机，4、手套，5、RFID标签。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于无源RFID的手势识别***，如图1所示，包括RFID阅读器、上位机3和RFID标签5，还包括手套4，RFID标签5为无源RFID标签5，共设有多个，分别设置于手套4上与手指各关节对应位置；
用户佩戴手套4进行手势操作，手指关节的运动带动RFID标签5进行形变以改变RFID标签5的天线特性，包括信号强度下降、读取次数下降和信号相位变化，使其返回的信号带有手部形状的信息；然后利用RFID阅读器读取手套4返回的信号特征，并将特征传至后端；后端程序根据信号特征计算出用户当前的手部形状；在使用前，用户先做出想要使用的手势并标记，构建分类模型；最后在实际使用中，用户做出相应的手势，就可以根据分类结果调用相应的操作。在识别过程中，后端程序根据采集到的信号特征进行处理分类，
包括信号强度下降、读取次数下降和信号相位变化，使其返回的信号带有手部形状的信息；然后利用RFID阅读器读取手套4返回的信号特征，并将特征传至后端；后端程序根据信号特征计算出用户当前的手部形状；在使用前，用户先做出想要使用的手势并标记，构建分类模型；最后在实际使用中，用户做出相应的手势，就可以根据分类结果调用相应的操作。在识别过程中，后端程序根据采集到的信号特征进行处理分类，
RFID阅读器是带有天线的商用RFID阅读器，包括RFID阅读器的天线1和RFID阅读器的主体2，由于采用无源RFID标签5，标签不需要额外电源，此外，上位机3和RFID阅读器指间通过局域网连接。
其中，在一个实施例中，RFID标签5的数量可以与手指的关节数量一致，这样每个关节处都可以有对应的RFID标签5。
但是更有选的，在另一个实施例中，RFID标签5的数量为5个，其中，大拇指处的标签贴于第一关节处，其余四根手指处的标签贴于第二关节处。
一种如上述基于无源RFID的手势识别***的方法，包括：
步骤S1：当用户佩戴手套4执行任一指定手势时，其中，每一个手势持续1秒，RFID阅读器读取到各RFID标签5的信号特征并发送至上位机3，其中，信号特征包括：信号强度、相位和多普勒效应；
步骤S2：上位机3根据各RFID标签5的信号特征生成时序信息，并对时序数据进行预处理得到特征量，其中，特征量包括平均值、中位数、方差、数据量；
步骤S3：基于各指定手势下各RFID标签5的特征量训练并验证分类模型，具体包括：
步骤S31：将所有的数据分为训练集和验证集；
步骤S32：利用训练集训练分类模型；
步骤S33：利用验证集验证分类模型，若分类结果的置信度低于阈值，例如为为85％。，则返回步骤S1，反之，则执行步骤S4。
步骤S4：当用户佩戴手套4执行手势操作时，RFID阅读器读取到各RFID标签5的信号特征并发送至上位机3；
步骤S5：上位机3根据各RFID标签5的信号特征生成时序信息，并对时序数据进行预处理得到特征量；
步骤S6：利用训练好的分类模型，根据各RFID标签5的特征量得到识别结果。
具体的，如图2所示，以下手势识别步骤进行详细描述：
在步骤401中，RFID阅读器通过天线向RFID标签5发射无线电波并获得返回的信号，读取标签的ID信息，并获得信号强度、读取的时间戳以及信号的相位，持续时间为1秒，接着执行步骤402；
在步骤402中，RFID阅读器向后端程序发送采集到的原始数据，接着执行步骤403；
在步骤403中，将数据进行预处理，包括按标签ID进行分离、按读取的时间戳进行排序，并计算各信号特征的平均值、方差和数据量，接着执行步骤404；
在步骤404中，判断是否为带标签的训练数据，如果是训练数据，执行步骤405；如果是实时分类数据，执行步骤406；
在步骤405中，将数据添加到已有的训练数据中，并通过支持向量机算法(SVM)构建分类模型，然后进入步骤401；
在步骤406中，将数据输入分类器得到分类结果和置信度，然后执行步骤407；
在步骤407中，判断置信度是否高于阈值85％，如果高于，则手势识别成功，执行步骤408；如果置信度低于85％，视为分类失败，进入步骤401；
在步骤408中，后端程序调用相应手势对应的操作。
本申请的阅读器与后端程序分离，后端程序计算量较小，可以部署的上位机3包含个人电脑、服务器、智能手机、或者智能家电等设备，各设备可以根据手势识别的结果执行功能。
以下对本申请的识别效果进行实验验证：
1.实验中使用了五种手势，分别为数字一至数字五的表示手势；
2.采集训练数据，分别做出五种手势，每种手势累积持续时间为30s；
3.实时分类手势，每个手势做20次，实验结果如下
Figure BDA0002254373240000051
Figure BDA0002254373240000061
总体识别准确率为90％。

Claims (8)

1.一种基于无源RFID的手势识别***，包括RFID阅读器、上位机和RFID标签，其特征在于，还包括手套，所述RFID标签为无源RFID标签，共设有多个，分别设置于手套上与手指各关节对应位置；
用户佩戴手套进行手势操作，手指关节的运动带动RFID标签进行形变以改变RFID标签的天线特性，从而改变RFID阅读器读取到的信号特征，RFID阅读器将读取到的各RFID标签的信号特征发送至上位机，上位机根据各RFID标签的信号特征识别出用户当前的手势。
2.根据权利要求1所述的一种基于无源RFID的手势识别***，其特征在于，所述RFID标签的数量与手指的关节数量一致。
3.根据权利要求1所述的一种基于无源RFID的手势识别***，其特征在于，所述RFID标签的数量为5个，其中，大拇指处的标签贴于第一关节处，其余四根手指处的标签贴于第二关节处。
4.一种如权利要求1或3所述的基于无源RFID的手势识别***的方法，其特征在于，包括：
步骤S1：当用户佩戴手套执行任一指定手势时，RFID阅读器读取到各RFID标签的信号特征并发送至上位机；
步骤S2：上位机根据各RFID标签的信号特征生成时序信息，并对时序数据进行预处理得到特征量；
步骤S3：基于各指定手势下各RFID标签的特征量训练并验证分类模型；
步骤S4：当用户佩戴手套执行手势操作时，RFID阅读器读取到各RFID标签的信号特征并发送至上位机；
步骤S5：上位机根据各RFID标签的信号特征生成时序信息，并对时序数据进行预处理得到特征量；
步骤S6：利用训练好的分类模型，根据各RFID标签的特征量得到识别结果。
5.根据权利要求4所述的方法，其特征在于，所述信号特征包括：信号强度、相位和多普勒效应。
6.根据权利要求4所述的方法，其特征在于，所述特征量包括平均值、中位数、方差、数据量。
7.根据权利要求4所述的方法，其特征在于，所述步骤S3具体包括：
步骤S31：将所有的数据分为训练集和验证集；
步骤S32：利用训练集训练分类模型；
步骤S33：利用验证集验证分类模型，若分类结果的置信度低于阈值，则返回步骤S1，反之，则执行步骤S4。
8.根据权利要求7所述的一种基于无源RFID的手势识别***，其特征在于，所述阈值为85％。
CN201911046991.6A 2019-10-30 2019-10-30 一种基于无源rfid的手势识别***及方法 Pending CN110866468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046991.6A CN110866468A (zh) 2019-10-30 2019-10-30 一种基于无源rfid的手势识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046991.6A CN110866468A (zh) 2019-10-30 2019-10-30 一种基于无源rfid的手势识别***及方法

Publications (1)

Publication Number Publication Date
CN110866468A true CN110866468A (zh) 2020-03-06

Family

ID=69653013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046991.6A Pending CN110866468A (zh) 2019-10-30 2019-10-30 一种基于无源rfid的手势识别***及方法

Country Status (1)

Country Link
CN (1) CN110866468A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417911A (zh) * 2020-11-19 2021-02-26 广东中世发智能科技股份有限公司 基于rfid智能优化群检方法
CN112434592A (zh) * 2020-11-19 2021-03-02 维沃移动通信有限公司 佩戴检测方法、手套及可读存储介质
CN113184647A (zh) * 2021-04-27 2021-07-30 安徽师范大学 基于rfid的无接触电梯***
CN114303987A (zh) * 2021-12-02 2022-04-12 东北农业大学 一种适用于感知家畜运动的rfid标签的布放方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914132A (zh) * 2013-01-07 2014-07-09 富士通株式会社 识别基于手指的手势的方法和***
CN106125917A (zh) * 2016-06-20 2016-11-16 南京大学 一种基于射频识别技术的手势隔空交互***及其工作方法
CN107832647A (zh) * 2017-10-20 2018-03-23 南京邮电大学 一种基于无源射频标签的相位式手势识别方法
CN109993266A (zh) * 2019-04-03 2019-07-09 杭州电子科技大学 用于人机交互的超高频无源触控传感rfid标签及使用方法
CN110232424A (zh) * 2018-11-16 2019-09-13 西北工业大学 一种基于rfid感知的用户购物行为识别方法
CN110298263A (zh) * 2019-06-10 2019-10-01 中南大学 基于rfid***的实时精确且无接触的手势识别方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914132A (zh) * 2013-01-07 2014-07-09 富士通株式会社 识别基于手指的手势的方法和***
CN106125917A (zh) * 2016-06-20 2016-11-16 南京大学 一种基于射频识别技术的手势隔空交互***及其工作方法
CN107832647A (zh) * 2017-10-20 2018-03-23 南京邮电大学 一种基于无源射频标签的相位式手势识别方法
CN110232424A (zh) * 2018-11-16 2019-09-13 西北工业大学 一种基于rfid感知的用户购物行为识别方法
CN109993266A (zh) * 2019-04-03 2019-07-09 杭州电子科技大学 用于人机交互的超高频无源触控传感rfid标签及使用方法
CN110298263A (zh) * 2019-06-10 2019-10-01 中南大学 基于rfid***的实时精确且无接触的手势识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周祥等: "标签天线弯曲对射频识别***性能影响的研究", 《微波学报》 *
王旋等: "基于RFID的免携带设备手势识别关键技术研究", 《计算机研究与发展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417911A (zh) * 2020-11-19 2021-02-26 广东中世发智能科技股份有限公司 基于rfid智能优化群检方法
CN112434592A (zh) * 2020-11-19 2021-03-02 维沃移动通信有限公司 佩戴检测方法、手套及可读存储介质
CN113184647A (zh) * 2021-04-27 2021-07-30 安徽师范大学 基于rfid的无接触电梯***
CN114303987A (zh) * 2021-12-02 2022-04-12 东北农业大学 一种适用于感知家畜运动的rfid标签的布放方法

Similar Documents

Publication Publication Date Title
Liu et al. M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar
CN110765967B (zh) 一种基于人工智能的动作识别方法和相关装置
CN110866468A (zh) 一种基于无源rfid的手势识别***及方法
Ibraheem et al. Survey on various gesture recognition technologies and techniques
CN101344816B (zh) 基于视线跟踪和手势识别的人机交互方法及装置
CN107832647B (zh) 一种基于无源射频标签的相位式手势识别方法
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
CN107992792A (zh) 一种基于加速度传感器的空中手写汉字识别***及方法
CN109933206B (zh) 一种基于Leap Motion的手指无接触绘图方法及***
CN104616028B (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN102985897A (zh) 高效姿势处理
CN110472506B (zh) 一种基于支持向量机和神经网络优化的手势识别方法
CN103150019A (zh) 一种手写输入***及方法
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
CN107678550A (zh) 一种基于数据手套的手语手势识别***
CN103677265B (zh) 一种智能感应手套及智能感应方法
CN103777748A (zh) 一种体感输入方法及装置
CN112148128A (zh) 一种实时手势识别方法、装置及人机交互***
CN104834412A (zh) 一种基于非接触式的手势识别的触摸终端
CN109583294B (zh) 一种基于运动生物力学的多模式人体行为识别方法
CN113849068A (zh) 一种手势多模态信息融合的理解与交互方法及其***
Kakkoth et al. Survey on real time hand gesture recognition
Półrola et al. Real-time hand pose estimation using classifiers
CN106020442A (zh) 一种智能感应手套的感应方法
Dhamanskar et al. Human computer interaction using hand gestures and voice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306

RJ01 Rejection of invention patent application after publication