CN112784926A - 一种手势交互的方法和*** - Google Patents
一种手势交互的方法和*** Download PDFInfo
- Publication number
- CN112784926A CN112784926A CN202110175273.XA CN202110175273A CN112784926A CN 112784926 A CN112784926 A CN 112784926A CN 202110175273 A CN202110175273 A CN 202110175273A CN 112784926 A CN112784926 A CN 112784926A
- Authority
- CN
- China
- Prior art keywords
- hand shape
- hand
- gesture
- interaction
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种手势交互的方法，包含步骤：通过传感器获取图像数据；通过手形检测模型检测用户图像数据，得到手形1出现次数和频率，若次数和频率达到第一阈值，给予用户提示，启动手势交互；检测和跟踪手形2，并记录手形2的信息；根据手形2的运动轨迹与预定义手势轨迹进行匹配；根据匹配结果，对机器发送相应指令。本发明基于传感器采集图像数据，检测和识别手势形状并对手形进行跟踪，对不同动作分类。并且定义交互逻辑，实现一种不依赖其他手持设备的、方便自然的实时人机交互方式。提高了手势识别的处理速度和效率，减少误操作，达到手势识别的实时交互，并且不占用大量内存和计算资源。
Description
技术领域
本发明属于人工智能领域，具体涉及图像处理，目标检测及跟踪，人机交互等内容，特别是一种手势交互的方法和***。
背景技术
手势是人类自然交互中常用的一种肢体语言，它能够辅助语言表达，帮助人类更加通畅的交流。
近年来，随着人工智能技术和计算机视觉的进步，人机交互变得更加多样化，集多种交互方式为一体，自然方便的多模态交互方式逐渐成为主流。加之家用电器、电子设备上标配各种传感器，使得各种交互方式并行，并不局限于传统的输入、输出设备。当前的人机交互技术已经从过去交互主题适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者的研究重点。这类交互要求输入与输出能够最大限度地符合交互主体的行为习惯，并形成交互环路。
在相关技术中，存在基于深度摄像头、结构光摄像头等获取多维图像信息的传感器来实现手势交互，设备成本和计算成本较高；基于穿戴设备，如手套、手环等，对用户而言不够便捷；基于普通2D摄像头的传感器，成本低廉，易成为各种大屏设备如电视机的标配，基于此设备性能的手势交互，往往只是一些对实时性要求不高的手势动作，或者静态手势。
发明内容
为提高手势识别的处理速度和效率，减少误操作，达到手势识别的实时交互，并且不占用大量内存和计算资源，提出的一种手势交互方法和***。
本发明的目的在于提供一种手势交互方法和***，基于传感器采集图像数据，检测和识别手势形状并对手形进行跟踪，对不同动作分类。并且定义交互逻辑，实现一种不依赖其他手持设备的、方便自然的实时人机交互方式。本发明所采用的技术方案是：
一种手势交互方法，如图1所示，包含以下步骤：
S001、通过传感器获取用户图像数据；
进一步地，所述传感器包括但不限于可见光2D传感器或红外传感器。
S002、通过手形检测模型检测用户图像数据，得到手形1出现次数和频率若次数和频率达到第一阈值条件，给予用户提示，启动手势交互；
进一步地，所述手形检测算法，包括：
采集包含手形的图像样本，并进行标注；
选定深度学习网络，对所述图像样本进行训练，直至收敛，生成手形检测模型；
进一步地，还包括：
对所述用户数据图像的预处理，包括但不限于对图像标记mask或颜色转换或尺寸缩放；
进一步地，所述第一阈值条件，可根据实际经验值确定，优选地，可为40帧连续视频中检测到手形1次数大于35次；
进一步地，所述的用户提示，优选地，可为语音提示或文字提示或图形提示。
S003、检测和跟踪手形2，并记录手形2的信息；
进一步地，所述手形 2可与手形1为相同或不同手形；
进一步地，检测和跟踪手形2的步骤包括：
通过检测模型检测手形2；
计算当前帧手形2的外接矩形框与前一帧手形2的外接矩形框的IOU，若IOU大于第二阈值，优选地，可为0.3，则在当前帧矩形框的基础上扩大一定区域，优选地，如2倍大小，并对扩大后的矩形框做mask，若IOU不满足阈值条件，则重新开始全图像检测；
在下一帧图像的mask区域继续检测手形2；
记录手形2的相关信息，包括但不限于外接矩形框的中心点坐标，矩形框面积及轨迹信息；
更新mask区域。
S004、根据手形2的运动轨迹与预定义手势动作进行匹配；
进一步地，所述的预定义手势动作，包括单手上下左右移动，还包括双手相互间位置关系的变化。
S005、根据匹配结果，对机器发送相应指令，实现人机交互。
一种手势交互的***，如图2所示，包含：
S1、启动模块，用于检测已定义手形1，并统计频率和次数；
进一步地，包括图像采集单元，通过传感器获取图像；
还包括，手形样本处理单元，采集和标注手形样本；
还包括，手形检测模型训练单元，训练手形检测模型，优选地，此模型可以为多类检测模型，同时检测多个手形；
还包括，手形检测检测单元，检测已定义手形1，并统计频率和次数是否达到阈值条件。
S2、识别模块，用于检测和跟踪手形2，统计手形2的信息；
进一步地，所述手形2与手形1可为相同手形或不同手形；
进一步地，还包括，计算前后两帧检测矩形框的IOU；若IOU不满足阈值条件，则重新全图像检测；
还包括，根据矩形框位置计算图像mask，基于mask图像区域检测和跟踪手形2；
还包括，记录手形2的相关信息，包括但不限于外接矩形框的中心点坐标，矩形框面积和轨迹信息。
S3、手势动作匹配模块，将检测到的手形运动轨迹与已定义手势动作进行匹配，若达到阈值条件，启动人机交互模块。
S4、人机交互模块，用于根据手势动作匹配结果，对机器发送相应指令。
附图说明
图1为手势交互的方法流程图。
图2为手势交互的***框图。
具体实施方式
实施例一
下面将结合本发明实施例中附图，对本发明实施例中的一种手势交互的方法和***进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种手势交互的方法，如图1所示，包含以下步骤：
S001、通过传感器获取用户图像数据；
进一步地，所述传感器包括但不限于可见光2D传感器或红外传感器。
S002、通过手形检测模型检测用户图像数据，得到手形1出现次数和频率，若次数和频率达到第一阈值条件，给予用户提示，启动手势交互；
进一步地，所述手形检测算法，包括：
采集包含手形的图像样本，并进行标注；
选定深度学习网络，对所述图像样本进行训练，直至收敛，生成手形检测模型；
进一步地，检测手形1之前还包括：
对所述用户数据图像的预处理，包括但不限于对图像标记mask或颜色转换或尺寸缩放；
进一步地，所述第一阈值条件，可根据实际经验值确定，优选地，可为40帧连续视频中检测到手形1次数大于35次；
进一步地，所述第一阈值条件，可根据实际经验值确定，所述的用户提示，优选地，可为语音提示或文字提示或图形提示。
S003、检测和跟踪手形2，并记录手形2的信息；
进一步地，所述手形 2可与手形1为相同或不同手形；
进一步地，检测和跟踪手形2的步骤包括：
通过检测模型检测手形2；
计算当前帧手形2的外接矩形框与前一帧手形2的外接矩形框的IOU，若IOU大于第二阈值，优选地，可为0.3，则在当前帧矩形框的基础上扩大一定区域，优选地，如2倍大小，并对扩大后的矩形框做mask，若IOU不满足阈值条件，则重新开始全图像检测；
在下一帧图像的mask区域继续检测手形2；
记录手形2的相关信息，包括但不限于外接矩形框的中心点坐标，矩形框面积和运动轨迹信息；
更新mask区域。
S004、根据手形2的运动轨迹与预定义手势动作进行匹配；
进一步地，所述预定义手势动作，包括单手上下左右移动，还包括双手相互间位置关系的变化。
S005、根据匹配结果，对机器发送相应指令，实现人机交互。
本发明实施例一的有益效果：本发明所述的一种手势交互的方法，能够通过对用户的手形的检测，启动手势交互，再进一步通过mask方式对手形的检测和跟踪，实现对手部动作的定义，判断用户手势操作意图，实现不借助于外设的实时人机自然交互方式。
实施例二
本发明提供了一种手势交互的***，如图2所示，包含：
S1：启动模块，用于检测已定义手形1，并统计频率和次数；
进一步地，包括图像采集单元，通过传感器获取图像；
进一步地，包括手形样本处理单元，采集和标注手形样本；
还包括，手形检测模型训练单元，训练手形检测模型，优选地，此模型可以为多类检测模型，同时检测多个手形；
还包括，手形检测检测单元，检测已定义手形1，并统计频率和次数是否达到阈值条件。
S2：识别模块，用于检测和跟踪手形2，记录手形2的信息；
进一步地，所述手形2与手形1可为相同手形或不同手形；
进一步地，还包括，计算前后两帧检测矩形框的IOU；若IOU不满足阈值条件，则重新全图像检测；
还包括，根据矩形框位置计算图像mask，基于mask图像区域检测和跟踪手形2；
还包括，记录手形2的相关信息，包括但不限于外接矩形框的中心点坐标，矩形框面积和运动轨迹信息。
S3：手势动作匹配模块，将检测到的手形运动轨迹与已定义手势动作进行匹配，若达到阈值条件，启动人机交互。
S4：人机交互模块，用于根据手势动作匹配结果，对机器发送相应指令。
本发明实施例二的有益效果：本发明所述的一种手势交互的***，能够通过几个模块的相互协作，以最低资源消耗，最终实现人机之间的实时的自然手势交互。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory,ROM）或随机存储记忆体（Random Access Memory,RAM）等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (13)
1.一种手势交互的方法，其特征在于，包含以下步骤：
S001、通过传感器获取图像数据；
S002、通过手形检测模型检测用户图像数据，得到手形1出现次数和频率，若次数和频率达到第一阈值，给予用户提示，启动手势交互；
S003、检测和跟踪手形2，并记录手形2的信息；
S004、根据手形2的运动轨迹与预定义手势轨迹进行匹配；
S005、根据匹配结果，对机器发送相应指令。
2.如权利要求1所述的一种手势交互的方法，其特征在于，S001中所述的传感器包括但不限于可见光2D传感器或红外传感器。
3.如权利要求1所述的一种手势交互的方法，其特征在于，S002之前还包括如下步骤：
采集包含手形的图像样本，并进行标注；
选定深度学习网络，对所述图像样本进行训练，直至收敛，生成手形检测模型。
4.如权利要求1所述的一种手势交互的方法，其特征在于，S002之前还包括如下步骤：
对所述用户数据图像的预处理，包括但不限于对图像标记mask或颜色转换或尺寸缩放。
5.如权利要求1所述的一种手势交互的方法，其特征在于，S002中所述第一阈值条件，为40帧连续视频中检测到手形1次数大于35次。
6.如权利要求1所述的一种手势交互的方法，其特征在于S002中所述用户提示为语音提示、文字提示、图形提示中的一种或多种。
7.如权利要求1所述的一种手势交互的方法，其特征在于，S003中所述的检测和跟踪手形2，并记录手形2的信息，具体步骤包括：
通过检测模型检测手形2；
计算当前帧手形2的外接矩形框与前一帧手形2的外接矩形框的IOU，若IOU大于第二阈值，则在当前帧矩形框的基础上扩大一定区域，优选地，并对扩大后的矩形框做mask，若IOU不满足阈值条件，则重新开始全图像检测；
在下一帧图像的mask区域继续检测手形2;
记录手形2的相关信息。
8.如权利要求1所述的一种手势交互的方法，其特征在于，所述的手形2，可以与手形1为相同手形或不同手形。
9.如权利要求1所述的一种手势交互的方法，其特征在于，S003中所述的记录手形2的信息，包括但不限于记录外接矩形框的中心点坐标、矩形框面积及运行轨迹。
10.如权利要求1所述的一种手势交互的方法，其特征在于，S004中所述的预定义手势动作，包括单手上下左右移动，还包括双手相互间位置关系的变化。
11.一种手势交互的***，其特征在于所述***，包含如下模块：
启动模块，用于检测已定义手形1，并统计频率和次数；
识别模块，用于检测和跟踪手形2，统计手形运动轨迹坐标；
手势动作匹配模块，将检测到的手形运动轨迹与预定义手势动作进行匹配；
人机交互模块，用于根据手势动作匹配结果，对机器发送相应指令。
12.如权利要求11所述的一种手势交互的***，其特征在于，所述的启动模块，包括：
手形样本处理单元，采集和标注手形样本；
手形检测模型训练单元，训练手形检测模型，此模型可以为多类检测模型，同时检测多个手形；
手形检测检测单元，检测已定义手形1，统计频率和次数判断是否达到阈值条件。
13.如权利要求11所述的一种手势交互的***，其特征在于，所述识别模块，包括，
IOU计算单元，计算前后两帧检测矩形框的IOU；若IOU不满足阈值条件，则重新全图像检测；
检测跟踪单元，根据矩形框位置计算图像mask，基于mask图像区域检测和跟踪手形2；
信息记录单元，记录手形2的相关信息，包括但不限于外接矩形框的中心点坐标，矩形框面积及运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110175273.XA CN112784926A (zh) | 2021-02-07 | 2021-02-07 | 一种手势交互的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110175273.XA CN112784926A (zh) | 2021-02-07 | 2021-02-07 | 一种手势交互的方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112784926A true CN112784926A (zh) | 2021-05-11 |
Family
ID=75761326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110175273.XA Pending CN112784926A (zh) | 2021-02-07 | 2021-02-07 | 一种手势交互的方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784926A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591709A (zh) * | 2021-07-30 | 2021-11-02 | 北京百度网讯科技有限公司 | 动作识别方法、装置、设备、介质和产品 |
| CN117576787A (zh) * | 2024-01-16 | 2024-02-20 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
| WO2024078088A1 (zh) * | 2022-10-14 | 2024-04-18 | 支付宝(杭州)信息技术有限公司 | 互动处理方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866106A (zh) * | 2015-06-03 | 2015-08-26 | 深圳市光晕网络科技有限公司 | 一种结合hud与红外识别的人机交互方法和*** |
| CN105323619A (zh) * | 2014-08-04 | 2016-02-10 | 深圳市同方多媒体科技有限公司 | 基于模拟按键板的手势控制方法及手势控制电视机 |
| US20160124513A1 (en) * | 2014-01-07 | 2016-05-05 | Softkinetic Software | Human-to-Computer Natural Three-Dimensional Hand Gesture Based Navigation Method |
| CN106296667A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股（北京）有限公司 | 手形检测方法和*** |
| CN106839290A (zh) * | 2017-01-16 | 2017-06-13 | 广东美的制冷设备有限公司 | 手势识别的控制方法及控制装置和空调器 |
| CN107660039A (zh) * | 2017-09-26 | 2018-02-02 | 哈尔滨拓博科技有限公司 | 一种识别动态手势的灯具控制*** |
| CN109671103A (zh) * | 2018-12-12 | 2019-04-23 | 易视腾科技股份有限公司 | 目标跟踪方法及装置 |
| CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
-
2021
- 2021-02-07 CN CN202110175273.XA patent/CN112784926A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160124513A1 (en) * | 2014-01-07 | 2016-05-05 | Softkinetic Software | Human-to-Computer Natural Three-Dimensional Hand Gesture Based Navigation Method |
| CN105323619A (zh) * | 2014-08-04 | 2016-02-10 | 深圳市同方多媒体科技有限公司 | 基于模拟按键板的手势控制方法及手势控制电视机 |
| CN104866106A (zh) * | 2015-06-03 | 2015-08-26 | 深圳市光晕网络科技有限公司 | 一种结合hud与红外识别的人机交互方法和*** |
| CN106296667A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股（北京）有限公司 | 手形检测方法和*** |
| CN106839290A (zh) * | 2017-01-16 | 2017-06-13 | 广东美的制冷设备有限公司 | 手势识别的控制方法及控制装置和空调器 |
| CN107660039A (zh) * | 2017-09-26 | 2018-02-02 | 哈尔滨拓博科技有限公司 | 一种识别动态手势的灯具控制*** |
| CN109671103A (zh) * | 2018-12-12 | 2019-04-23 | 易视腾科技股份有限公司 | 目标跟踪方法及装置 |
| CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 兰天天: "用于空调控制的手势识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591709A (zh) * | 2021-07-30 | 2021-11-02 | 北京百度网讯科技有限公司 | 动作识别方法、装置、设备、介质和产品 |
| WO2024078088A1 (zh) * | 2022-10-14 | 2024-04-18 | 支付宝(杭州)信息技术有限公司 | 互动处理方法及装置 |
| CN117576787A (zh) * | 2024-01-16 | 2024-02-20 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
| CN117576787B (zh) * | 2024-01-16 | 2024-04-16 | 北京大学深圳研究生院 | 基于主动跟踪和自适应手势识别的交接方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
| CN112784926A (zh) | 一种手势交互的方法和*** | |
| Baradel et al. | Human action recognition: Pose-based attention draws focus to hands | |
| CN106569613A (zh) | 一种多模态人机交互***及其控制方法 | |
| Turk et al. | Perceptual interfaces | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作*** | |
| CN103353935A (zh) | 一种用于智能家居***的3d动态手势识别方法 | |
| CN109086351B (zh) | 一种获取用户标签的方法及用户标签*** | |
| CN110109541A (zh) | 一种多模态交互的方法 | |
| CN104049760A (zh) | 一种人机交互命令的获取方法及*** | |
| CN112462937B (zh) | 虚拟现实设备的局部透视方法、装置及虚拟现实设备 | |
| CN113377193A (zh) | 一种基于可靠手势识别的自动售货机交互方法及*** | |
| Gharasuie et al. | Real-time dynamic hand gesture recognition using hidden Markov models | |
| Singh | Recognizing hand gestures for human computer interaction | |
| CN111783587A (zh) | 一种互动方法、装置和存储介质 | |
| CN112149599A (zh) | 表情追踪方法、装置、存储介质和电子设备 | |
| CN109725722B (zh) | 有屏设备的手势控制方法和装置 | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| CN111274854A (zh) | 一种人体动作识别方法和视觉增强处理*** | |
| Pansare et al. | Gestuelle: A system to recognize dynamic hand gestures using hidden Markov model to control windows applications | |
| CN112232217B (zh) | 手势识别*** | |
| CN112527103B (zh) | 显示设备的遥控方法、装置、设备及计算机可读存储介质 | |
| Manresa-Yee et al. | Towards hands-free interfaces based on real-time robust facial gesture recognition | |
| Santhalingam et al. | Body pose and deep hand-shape feature based american sign language recognition | |
| Bakheet | A fuzzy framework for real-time gesture spotting and recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |
|
| RJ01 | Rejection of invention patent application after publication |