CN104375631A - 一种基于移动终端的非接触式交互方法 - Google Patents
一种基于移动终端的非接触式交互方法 Download PDFInfo
- Publication number
- CN104375631A CN104375631A CN201310514379.3A CN201310514379A CN104375631A CN 104375631 A CN104375631 A CN 104375631A CN 201310514379 A CN201310514379 A CN 201310514379A CN 104375631 A CN104375631 A CN 104375631A
- Authority
- CN
- China
- Prior art keywords
- staff
- mobile terminal
- image
- method based
- exchange method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
一种基于移动终端的非接触式交互方法,它涉及人机交互技术领域,它的交互方法包括以下步骤:(一)、利用移动终端自带的第一图像采集设备,采集包含人手的图像;(二)、对采集的图像进行分析,划分人手所在的感兴趣区域;(三)、对人手所在区域进行进一步分类,划分出人手关键部位;(四)、利用人手生理约束,对划分的部位进行补充与修正;(五)、建立人手各个部分的运动轨迹,将运动轨迹与应用领域所设置的手势进行对比,进行交互模式判别,并发出对应控制命令;它通过对人手的图像采集实现交互功能,并且实现对手势运动的跟踪,具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。
Description
技术领域:
本发明涉及人机交互技术领域,具体涉及一种基于移动终端的非接触式交互方法。
背景技术:
现行的移动终端的人机交互方式,主要是通过键盘与触摸屏。移动终端的面积与体积有限,无论是键盘还是触摸屏交互,都有所不便,容易出现误操作。
新型的人机交互方式有基于传感器的体感交互、基于动作图像识别的交互、基于肌肉计算的交互等。以上的各种交互方式能够弥补以前存在的不足,但在应用于移动终端上时,也有其各自的新问题与缺点。
基于传感器的体感人机交互方式,利用加速度传感器、重力传感器、陀螺仪等装置,感知其运动进行交互。重力传感器目前已经用于手机等终端内,但只能感知到手机本身的运动,而不是使用者的运动,应用范围很有限;如要感知使用者的运动,需要额外配置容纳传感器的遥控器,这在移动终端交互中是很不自然的,一定程度上破坏了移动终端的便携性。
基于动作图像识别的交互方式,利用特殊的可以采集景深信息的摄像头,拍摄使用者的动作,通过对图像的处理,重构出使用者的运动信息进行交互。该交互方式的缺点是景深摄像头比较昂贵,而且景深摄像头不能采集太近的距离,用于移动终端的交互不方便。
基于肌肉计算的交互方式,通过采集人体肌肉的肌电信号来判断人体的动作,从而进行交互。这种交互方式目前还不太成熟,设备不便携带。
因此,基于移动终端,需要一种新型的交互方法。
专利申请CN201110043418.7公开了一种移动终端的人机交互方法,使用移动终端内部的传感器与电动机,利用终端的主动旋转发出信号,被动旋转接受信号。该发明的主要局限是所能表达的信息种类十分有限。
专利申请CN201210056083.7公开了一种移动终端的非接触式控制装置与方法。该方法采集终端前方的视频图像并提取人手轮廓,但只能根据人手的运动方向发出命令,精细度不高。
专利申请CN201210520849.2公开了一种移动电子设备手势控制交互方法,该发明的创新在于动态调整感知动作的频率,节约移动终端的功耗。该发明使用的是加速度传感器,感应终端的运动。
发明内容:
本发明的目的是提供一种基于移动终端的非接触式交互方法,它通过对人手的图像采集实现交互功能,并且实现对手势运动的跟踪,具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。
为了解决背景技术所存在的问题,本发明是采用如下技术方案:它的交互方法包括以下步骤:
(一)、利用移动终端自带的第一图像采集设备,采集包含人手的图像;
(二)、对采集的图像进行分析,划分人手所在的感兴趣区域;
(三)、对人手所在区域进行进一步分类,划分出人手关键部位;
(四)、利用人手生理约束,对划分的部位进行补充与修正;
(五)、建立人手各个部分的运动轨迹,将运动轨迹与应用领域所设置的手势进行对比,进行交互模式判别,并发出对应控制命令。
所述的一种基于移动终端的非接触式交互方法还可包括:第二图像采集设备与第一图像采集设备参数相同,并列放置,同步采集包含人手的图像;对采集的图像进行匹配与深度恢复,得到参考深度图像。
所述的划分人手所在的感兴趣区域包括:
(i)、将采集的图像转换到HSV彩色空间;
(ii)、利用人肤色特征,初步划分人手区域;
(iii)、对划分结果进行去噪,去除小区域噪声影响。
所述的划分人体部位包括以下步骤:
(I)、预先收集人工标注的人手彩色图像,并进行位置预校正;
(II)、对人手各个部位的每个像素,提取8个方向的梯度值以及不同步长下的差分值,作为候选特征;
(III)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法,离线训练人手关键部位的分类器;
(Ⅳ)、在移动终端应用该分类器,对人手关键部位进行分类。
所述的对划分部位进行补充与修正包括以下步骤:
①、在分类步骤的结果中,标出像素过少以及缺失的部位;
②、在前面一定时间内的图像中,查找对应部位位置;
③、如果查找到足够的位置信息,使用轨迹拟合,得到本帧初步预测的缺失部位信息;
④、根据人手指指节刚体约束,除拇指外四指的共面约束,手指关节的弯曲角度约束,优先级从高到低,对上一步预测的部位信息做修正;如没有足够的预测信息,根据这些约束推断缺失部位的位置。
所述的划分人体部位包括以下步骤:
(1)、预先收集人工标注的人手的彩色图像与深度图像组合,并进行位置预校正;
(2)、对人手各个部位的每个像素,在图像组中分别提取8个方向的梯度值以及不同步长下的差分值,作为候选特征;
(3)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法,离线训练人手关键部位的分类器。
(4)、在移动终端应用该分类器,对人手关键部位进行分类。
本发明具有如下有益效果:通过对人手的图像采集实现交互功能,并且实现对手势运动的跟踪,具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。
附图说明:
图1为本具体实施方式中的互交方法的流程图;
图2为本具体实施方式中的另一种互交方法的流程图。
具体实施方式:
参看图1-图2,本具体实施方式采用如下技术方案:它的交互方法包括以下步骤:
(一)、利用移动终端自带的第一图像采集设备,采集包含人手的图像;
(二)、对采集的图像进行分析,划分人手所在的感兴趣区域;
(三)、对人手所在区域进行进一步分类,划分出人手关键部位;
(四)、利用人手生理约束,对划分的部位进行补充与修正;
(五)、建立人手各个部分的运动轨迹,将运动轨迹与应用领域所设置的手势进行对比,进行交互模式判别,并发出对应控制命令。
所述的一种基于移动终端的非接触式交互方法还可包括:第二图像采集设备与第一图像采集设备参数相同,并列放置,同步采集包含人手的图像;对采集的图像进行匹配与深度恢复,得到参考深度图像。
如图1,所示,本具体实施方式的具体操作流程如下:
图像采集设备101采集包含人手的图像;
现有的主流移动终端所配备的图像采集设备,普遍具有近距离对焦功能,可以得到较为清晰的图像。
在步骤102中,对采集的图像进行目标分割,得到包含人手的感兴趣区域范围。该步骤首先将所采集的图像转换到HSV空间,HSV空间采用将亮度和色调分离的存储方式,受外界光照影响较小。同时,转换到HSV空间后,人体肤色的范围更为集中,可以基于肤色与连通性进行目标分割。
在步骤103中,对分割的结果进行去噪声操作。去掉过小的噪声区域。
在步骤104中,对人手所在区域像素进行分类,划分出人手的各个关键部位。所述分类器采用随机决策树方式,由预先标注的人手图像150通过步骤151进行离线训练。
如分类结果中存在缺失部位,在步骤111中,读取之前存储的一段时间内的图像,判断是否存在对应部位。在步骤112中,通过轨迹拟合,初步预测缺失部位的位置。
在步骤105中,基于人手的生理约束,对人手指部位进行修正。
在步骤106中,将人手指部位的信息,与应用程序预先定义的手势161进行比较,识别手势;
在步骤107中,执行对应控制命令。
附图2示出本具体实施方式的另一实施例,该移动终端的非接触式交互方法还可以包括两个图像采集设备与深度恢复模块。
第一图像采集设备201与第二图像采集设备202的光学参数相同,在驱动装置200作用下,同步采集包含人手的图像;
在步骤203中,对采集的图像进行目标分割,得到包含人手的感兴趣区域,与图1的步骤102原理相同;
在步骤204中,对分割的结果进行去噪声操作。去掉过小的噪声区域。
在步骤205中,在两幅图像的感兴趣区域内查找匹配特征点,并进行深度信息恢复,得到图像匹配结果与参考深度图像;
在步骤206中,同时使用彩色图像与深度图像,对人手所在区域像素进行分类,划分出人手各个关键部位。所述分类器采用随机决策树方式,由预先标注的人手图像250通过步骤251进行离线训练。
图2中的其它为提及步骤与图1的对应步骤相同。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于移动终端的非接触式交互方法,其特征在于它的交互方法包括以下步骤:
(一)、利用移动终端自带的第一图像采集设备,采集包含人手的图像;
(二)、对采集的图像进行分析,划分人手所在的感兴趣区域;
(三)、对人手所在区域进行进一步分类,划分出人手关键部位;
(四)、利用人手生理约束,对划分的部位进行补充与修正;
(五)、建立人手各个部分的运动轨迹,将运动轨迹与应用领域所设置的手势进行对比,进行交互模式判别,并发出对应控制命令。
2.根据权利要求1所述的一种基于移动终端的非接触式交互方法,其特征在于所述的一种基于移动终端的非接触式交互方法还可包括:第二图像采集设备与第一图像采集设备参数相同,并列放置,同步采集包含人手的图像;对采集的图像进行匹配与深度恢复,得到参考深度图像。
3.根据权利要求1所述的一种基于移动终端的非接触式交互方法,其特征在于所述的划分人手所在的感兴趣区域包括:
(i)、将采集的图像转换到HSV彩色空间;
(ii)、利用人肤色特征,初步划分人手区域;
(iii)、对划分结果进行去噪,去除小区域噪声影响。
4.根据权利要求1所述的一种基于移动终端的非接触式交互方法,其特征在于所述的划分人体部位包括以下步骤:
(I)、预先收集人工标注的人手彩色图像,并进行位置预校正;
(II)、对人手各个部位的每个像素,提取8个方向的梯度值以及不同步长下的差分值,作为候选特征;
(III)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法,离线训练人手关键部位的分类器;
(Ⅳ)、在移动终端应用该分类器,对人手关键部位进行分类。
5.根据权利要求1所述的一种基于移动终端的非接触式交互方法,其特征在于所述的对划分部位进行补充与修正包括以下步骤:
①、在分类步骤的结果中,标出像素过少以及缺失的部位;
②、在前面一定时间内的图像中,查找对应部位位置;
③、如果查找到足够的位置信息,使用轨迹拟合,得到本帧初步预测的缺失部位信息;
④、根据人手指指节刚体约束,除拇指外四指的共面约束,手指关节的弯曲角度约束,优先级从高到低,对上一步预测的部位信息做修正;如没有足够的预测信息,根据这些约束推断缺失部位的位置。
6.根据权利要求2所述的一种基于移动终端的非接触式交互方法,其特征在于所述的划分人体部位包括以下步骤:
(1)、预先收集人工标注的人手的彩色图像与深度图像组合,并进行位置预校正;
(2)、对人手各个部位的每个像素,在图像组中分别提取8个方向的梯度值以及不同步长下的差分值,作为候选特征;
(3)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法,离线训练人手关键部位的分类器。
(4)、在移动终端应用该分类器,对人手关键部位进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310514379.3A CN104375631A (zh) | 2013-10-22 | 2013-10-22 | 一种基于移动终端的非接触式交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310514379.3A CN104375631A (zh) | 2013-10-22 | 2013-10-22 | 一种基于移动终端的非接触式交互方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104375631A true CN104375631A (zh) | 2015-02-25 |
Family
ID=52554611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310514379.3A Pending CN104375631A (zh) | 2013-10-22 | 2013-10-22 | 一种基于移动终端的非接触式交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104375631A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915014A (zh) * | 2015-07-07 | 2015-09-16 | 安徽瑞宏信息科技有限公司 | 一种基于移动终端的非接触式交互方法 |
CN106022211A (zh) * | 2016-05-04 | 2016-10-12 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
CN106127138A (zh) * | 2016-06-21 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种手型识别的初始化方法和装置以及虚拟现实终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090252423A1 (en) * | 2007-12-21 | 2009-10-08 | Honda Motor Co. Ltd. | Controlled human pose estimation from depth image streams |
US20090315740A1 (en) * | 2008-06-23 | 2009-12-24 | Gesturetek, Inc. | Enhanced Character Input Using Recognized Gestures |
CN102662460A (zh) * | 2012-03-05 | 2012-09-12 | 清华大学 | 移动终端的非接触式控制装置及其控制方法 |
CN103294996A (zh) * | 2013-05-09 | 2013-09-11 | 电子科技大学 | 一种3d手势识别方法 |
-
2013
- 2013-10-22 CN CN201310514379.3A patent/CN104375631A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090252423A1 (en) * | 2007-12-21 | 2009-10-08 | Honda Motor Co. Ltd. | Controlled human pose estimation from depth image streams |
US20090315740A1 (en) * | 2008-06-23 | 2009-12-24 | Gesturetek, Inc. | Enhanced Character Input Using Recognized Gestures |
CN102662460A (zh) * | 2012-03-05 | 2012-09-12 | 清华大学 | 移动终端的非接触式控制装置及其控制方法 |
CN103294996A (zh) * | 2013-05-09 | 2013-09-11 | 电子科技大学 | 一种3d手势识别方法 |
Non-Patent Citations (2)
Title |
---|
吕颖: "基于摄像头的手势交互***的研究", 《中国优秀硕士学位论文全文数据库》 * |
邬大鹏: "基于视觉的手势识别及人机交互研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915014A (zh) * | 2015-07-07 | 2015-09-16 | 安徽瑞宏信息科技有限公司 | 一种基于移动终端的非接触式交互方法 |
CN106022211A (zh) * | 2016-05-04 | 2016-10-12 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
CN106022211B (zh) * | 2016-05-04 | 2019-06-28 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
CN106127138A (zh) * | 2016-06-21 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种手型识别的初始化方法和装置以及虚拟现实终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394334B2 (en) | Gesture-based control system | |
CN105487673B (zh) | 一种人机交互***、方法及装置 | |
CN102915111B (zh) | 一种腕上手势操控***和方法 | |
Berman et al. | Sensors for gesture recognition systems | |
CN103345064B (zh) | 一种集成3d识别的帽子及帽子的3d识别方法 | |
WO2018076523A1 (zh) | 手势识别的方法、装置及车载*** | |
CN202584010U (zh) | 一种腕上手势操控*** | |
CN102231093B (zh) | 一种屏幕定位控制方法及装置 | |
CN110070056A (zh) | 图像处理方法、装置、存储介质及设备 | |
CN103713738B (zh) | 一种基于视觉跟踪和手势识别的人机交互方法 | |
CN103135753A (zh) | 手势输入的方法及*** | |
CN103970264B (zh) | 手势辨识与控制方法及其装置 | |
US20120262366A1 (en) | Electronic systems with touch free input devices and associated methods | |
CN103353935A (zh) | 一种用于智能家居***的3d动态手势识别方法 | |
US9904372B2 (en) | Method by which eyeglass-type display device recognizes and inputs movement | |
KR20130088104A (ko) | 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법 | |
CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
CN105739702A (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
CN102262476A (zh) | 传输触觉信息的***和方法 | |
CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
CN103677265A (zh) | 一种智能感应手套及智能感应方法 | |
CN105242776A (zh) | 一种智能眼镜的控制方法及智能眼镜 | |
CN104898971B (zh) | 一种基于视线跟踪技术的鼠标指针控制方法及*** | |
KR101465894B1 (ko) | 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150225 |