CN103440035A - 一种三维空间中的手势识别***及其识别方法 - Google Patents
一种三维空间中的手势识别***及其识别方法 Download PDFInfo
- Publication number
- CN103440035A CN103440035A CN201310364900XA CN201310364900A CN103440035A CN 103440035 A CN103440035 A CN 103440035A CN 201310364900X A CN201310364900X A CN 201310364900XA CN 201310364900 A CN201310364900 A CN 201310364900A CN 103440035 A CN103440035 A CN 103440035A
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- module
- user
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种三维空间中的手势识别***,包括图像采集单元,图像处理单元,图像比较单元和手势识别单元。本发明还公开了一种实现三维空间中的手势识别***的手势识别方法,包括以下步骤:步骤1、红外照明模块照亮手势操作区域;步骤2、手势采集模块中各个摄像头采集用户手势操作图像;步骤3、图像处理单元对多个摄像头所采集的图像进行处理,提取出各个摄像头在同一时刻采集到的用户手势;步骤4、图像比较单元对比同一时刻所提取的各个用户手势图像,依照选取规则,选择其中最优的手势图像;步骤5、输出识别结果。具有真正使用户能够在实际空间中灵活地对物件进行非接触手势操作等优点。
Description
技术领域
本发明涉及一种图像识别技术,特别涉及一种三维空间中的手势识别***及其识别方法。
背景技术
随着人机交互技术的发展,自然和谐的人机交互方式日益受到人们的重视.在人机交互领域中,非接触手势交互方式摆脱了遥控器,鼠标等的束缚,为人们提供了一种更加方便的交互方法.基于视觉的非接触手势识别技术,以其自然性、简洁性和直接性的特点,提供了一个自然的人机接口,受到了人们的普遍关注。
现有的手势识别技术可以分为两大类:基于三维手势建模的方法和基于表现建模的方法。其中,基于表现的手势识别方法直接从图像中提取相应的特征进行识别,受视角和手指遮掩等因素影响较大,可有效识别的手势种类较少。而目前已有的三维手势建模的方法主要是使用深度摄像头(如kinect等),或者使用双目或多目摄像头进行建模。用户在使用此类方法进行手势识别时,需要对着特定的方向进行操作,如果用户操作超出图像采集区域,就会造成丢失,降低用户体验。
发明内容
本发明的首要目的在于克服现有技术的缺点与不足,提供一种三维空间中的手势识别***,该***操作简单方便。
本发明的另一目的在于克服现有技术的缺点与不足,提供一种实现三维空间中的手势识别***的识别方法,该方法使手势识别的精度高,误识别率低。
本发明的首要目的通过下述技术方案实现:一种三维空间中的手势识别***,包括图像采集单元,图像处理单元和图像比较单元,手势识别单元。图像采集单元包括红外照明模块和手势采集模块;图像处理单元包括图像预处理模块,区域分割模块和特征提取模块;图形比较单元为手势选取模块;手势识别单元包括手势数据库及手势匹配模块,手势识别模块。
所述红外照明模块用于提供复杂环境下的可靠照明,确保采集图像的质量。
所述手势采集模块,具体为多个摄像头,用于对用户手势图像进行采集。
所述图像处理单元用于对所采集图像的处理,并提取出用户的手势。
所述图像比较单元用于对所述图像处理单元所提取的用户手势进行对比,确定最优的用户手势。
所述手势数据库及手势匹配模块,用于图像比较单元所选取的最优手势与手势数据库的匹配。
所述手势识别模块,用于对最优图像的图像处理并进行手势识别,并输出识别结果。
本发明的另一目的通过以下技术方案实现,一种实现三维空间中的手势识别***的识别方法,包括以下步骤:
1、红外照明模块照亮手势操作区域;
2、手势采集模块中各个摄像头采集用户手势操作图像;
3、图像处理单元对多个摄像头所采集的图像进行处理,提取出各个摄像头在同一时刻采集到的用户手势;
4、图像比较单元对比同一时刻所提取的各个用户手势图像,依照选取规则,选择其中最优的手势图像;所述特定的选取规则可以根据实际需要灵活设定,比如面积最大选取或者手势特征值最优选取。具体可为:三维空间中的手势识别***包括图像采集单元,图像处理单元,图像比较单元和手势识别单元。其中,图像采集单元通过三维空间中的多摄像头进行手势图像的采集;图像处理单元则通过图像预处理,区域分割,特征提取等方式对采得的图像数据进行处理,进而获得相应的手势数据;图像比较单元,用于选取其中最优的手势特征值;最后,手势识别单元则根据已有的手势数据库进行比较分析最后完成对手势类型的识别。本发明中,通过多方位,多角度的摄像头对手势进行捕捉,为用户摆脱摄像头对操作的束缚提供了条件,真正使用户能够在实际空间中灵活地对物件进行非接触手势操作;
5、手势识别单元对最优手势图像进行匹配和识别,并输出识别结果。
本发明的工作原理:通过布置在三维空间中的多个摄像头进行手势图像采集,依照特定的选取原则,从同一时间采集的多个手势图像中选取最优的手势图像,并对该手势图像进行识别,输出识别结果。
本发明相对于现有技术具有如下的优点及效果:
1、使用者进行非接触手势识别时不必对着特定的摄像头进行手势识别,可以更加自然的姿态进行非接触手势操作,操作简单方便;
2、一定程度上解决了超过识别区域所造成的手势跟丢现象,提升用户体验;
3、提取多个手势图像并进行最优选择,使得手势识别的精确高,误识别率低。
附图说明
图1是本发明的三维空间中非接触式手势识别***框架图。
图2是本发明的识别方法的识别流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图2所示,用户按照以下步骤进行操作:1、红外照明模块照亮手势操作区域;2、手势采集模块采集多个用户手势操作图像;3、图像对多个手势图像进行处理,提取出各个图像的用户手势;4、图像比较单元对比同一时刻所提取的各个手势图像,选择其中最优的手势图像;5、手势识别模块对该手势图像进行识别。
如图1所示,图像采集单元中的手势采集模块主要通过多方位、多角度的摄像头进行用户手势图像的采集工作,并且在采集时必须运用红外照明模块以有效获得图像数据。在图像处理单元中,图像采集及预处理模块是通过多摄像头的联网汇总接口收集所捕捉了的图像数据并进行初步的A/D转换。同时,由于所采集的图像由于光照和背景等原因,可能会存在噪点,为了减小图像在区域分割时产生的误差,需要对采集的图像进行预处理,采用图像中值滤波对图像进行平滑和滤波处理。具体方法如下:
用某种结构的二维滑动模板,将板内像素按照像素值的大小进行排序,生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为g(x,y)=med{f(x-k,y-1),(k,1∈w)},其中f(x,y),g(x,y)分别为原始图像和处理后图像。W为二维模板,通常为2×2,3×3区域,也可以是不同的的形状,如线状,圆形,十字形,圆环形等。
区域分割和手势特征提取用于检测图像中是否有手势,若存在手势则将手势区域与背景分离,从而得到手势识别分析的具体区域,便于下一步对手势进行比较识别。具体方法如下:
为了削弱光照情况对手势的影响,采用转换色彩空间的方法将RGB空间转HSV空间,得到更为明显的肤色聚类特征。
从RGB到HSL或HSV的转换
设(r,g,b)分别是一个颜色的红、绿和蓝坐标,它们的值是在0到1之间的实数。设maX等价于r,g和b中的最大者。设min等于这些值中的最小值。要找到在HSL空间中的(h,s,l)值,这里的h∈[0,360)是角度的色相角,而s,1∈[0,1]是饱和度和亮度,计算为:
v=max
以上公式采用转换色彩空间的方法将RGB空间转HSV空间,以得到更为明显的肤色聚类特征。其中,(r,g,b)分别是一个颜色的红、绿和蓝坐标,它们的值是在0到1之间的实数。(h,s,l)分别是色相角,饱和度和亮度。色相角的值介于0到360度,饱和度和亮度的值介于0到1.max为r,g和b中的最大值。min为r,g和b中的最小值。
将RGB空间转化到HSV空间后,使用Hue色度分量来构建阈值分割模型并引入色度信息。在此实施例中,我们使用的分割模型为:
O<Hue<360,
350<Hue<360,
设置Hue色度分量用于构建阈值分割模型并引入色度信息。
应用这种阈值分割模型对一个手势图像进行分割。为了使分割效果进一步提升,在分割后进行连通性去噪,从而得到二值的手势图,实现复杂背景下的肤色分割。
而在图像比较单元中,以经过区域分割和特征提取的手势图像数据为基础,通过计算及比较分割提取后的手势面积,我们选取面积最大的图像作为最佳手势图像以供手势识别使用。
手势识别即在获得最佳判别的手势图像后,对其采用梯度方向直方图方法提取手势特征,具体步骤如下:
将二值化图像划分为2×2的单元;
分别在水平和垂直方向上,利用一维离散微分模板计算出每个单元的梯度;
统计每一个单元的梯度直方图;
将若干个单元组成一个区间,一幅图像由若干个区间构成;
利用L2范数为因子在区间中进行梯度归一化:
其中:
||V||表示V的一阶范数,e表示常数。
f表示以L2范数为因子进行上式梯度归一化得到的结果。
根据以上式子计算出每个手势图像的特征向量维数。
采用基于支持向量机(SVM)的动态手势识别的方法进行手势识别。SVM通过把特征向量映射到高维空间并建立能够充分区分不同种类的最大间隔超平面,从而可以实现对特征的非线性分类。对装置采用大量样本训练的方法,每一个手势采集700张不同背景、角度和光照的图像提取特征值,将特征值与手势数据库中的相应手势进行匹配并识别出手势。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种三维空间中的手势识别***,其特征在于,包括图像采集单元,图像处理单元,图像比较单元和手势识别单元。
2.根据权利要求1所述的手势识别***,其特征在于,所述图像采集单元包括红外照明模块和手势采集模块;所述红外照明模块用于提供;所述手势采集模块具有若干个摄像头,所述手势采集模块用于对用户手势图像进行采集。
3.根据权利要求1所述的手势识别***,其特征在于,所述图像处理单元包括图像预处理模块,区域分割模块和特征提取模块;所述图像处理单元用于对所采集图像的预处理,提取出用户的手势,并进行手势的特征提取。
4.根据权利要求1所述的手势识别***,其特征在于,所述图形比较单元为手势选取模块;所述图像比较单元用于对图像处理单元所提取的用户手势进行对比,以确定用户手势图像。
5.根据权利要求1所述的手势识别***,其特征在于,所述手势识别单元包括手势数据库及手势匹配模块,手势识别模块;所述手势数据库及手势匹配模块,用于图像比较单元所选取的最优手势与手势数据库的匹配;所述手势识别模块,用于对最优图像的图像处理并进行手势识别,并输出识别结果。
6.一种实现权利要求1所述的三维空间中的手势识别***的手势识别方法,其特征在于,包括以下步骤:
步骤1、红外照明模块照亮手势操作区域;
步骤2、手势采集模块中各个摄像头采集用户手势操作图像;
步骤3、图像处理单元对多个摄像头所采集的图像进行处理,提取出各个摄像头在同一时刻采集到的用户手势;
步骤4、图像比较单元对比同一时刻所提取的各个用户手势图像,依照选取规则,选择同一时刻所提取的各个用户手势图像中最优的手势图像;
步骤5、手势识别单元对所述最优的手势图像进行匹配和识别,并输出识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310364900XA CN103440035A (zh) | 2013-08-20 | 2013-08-20 | 一种三维空间中的手势识别***及其识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310364900XA CN103440035A (zh) | 2013-08-20 | 2013-08-20 | 一种三维空间中的手势识别***及其识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103440035A true CN103440035A (zh) | 2013-12-11 |
Family
ID=49693730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310364900XA Pending CN103440035A (zh) | 2013-08-20 | 2013-08-20 | 一种三维空间中的手势识别***及其识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103440035A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217197A (zh) * | 2014-08-27 | 2014-12-17 | 华南理工大学 | 一种基于视觉手势的点读方法和装置 |
CN105945953A (zh) * | 2016-06-17 | 2016-09-21 | 小船信息科技(上海)有限公司 | 一种机器人的视觉识别*** |
CN106074021A (zh) * | 2016-06-08 | 2016-11-09 | 山东建筑大学 | 基于脑机接口的智能轮椅***及其动作方法 |
CN107038416A (zh) * | 2017-03-10 | 2017-08-11 | 华南理工大学 | 一种基于二值图像改进型hog特征的行人检测方法 |
CN107598917A (zh) * | 2016-07-12 | 2018-01-19 | 浙江星星冷链集成股份有限公司 | 一种机器人的视觉识别*** |
TWI618027B (zh) * | 2016-05-04 | 2018-03-11 | 國立高雄應用科技大學 | 基因演算三維手勢影像辨識方法及其系統 |
CN108732969A (zh) * | 2018-05-21 | 2018-11-02 | 哈尔滨拓博科技有限公司 | 一种基于单片机的汽车手势控制装置及其控制方法 |
CN109086747A (zh) * | 2013-03-13 | 2018-12-25 | 英特尔公司 | 使用肤色检测的视频流的姿势预处理 |
CN109558000A (zh) * | 2017-09-26 | 2019-04-02 | 京东方科技集团股份有限公司 | 一种人机交互方法及电子设备 |
CN111625087A (zh) * | 2020-04-28 | 2020-09-04 | 中南民族大学 | 一种手势采集与识别*** |
CN113781586A (zh) * | 2021-09-08 | 2021-12-10 | 广州光锥元信息科技有限公司 | 对图像中人体皮肤区域进行肤色调整的方法及*** |
CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090103780A1 (en) * | 2006-07-13 | 2009-04-23 | Nishihara H Keith | Hand-Gesture Recognition Method |
CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
CN103092334A (zh) * | 2011-10-31 | 2013-05-08 | 财团法人资讯工业策进会 | 虚拟鼠标驱动装置及虚拟鼠标仿真方法 |
-
2013
- 2013-08-20 CN CN201310364900XA patent/CN103440035A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090103780A1 (en) * | 2006-07-13 | 2009-04-23 | Nishihara H Keith | Hand-Gesture Recognition Method |
CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
CN103092334A (zh) * | 2011-10-31 | 2013-05-08 | 财团法人资讯工业策进会 | 虚拟鼠标驱动装置及虚拟鼠标仿真方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086747A (zh) * | 2013-03-13 | 2018-12-25 | 英特尔公司 | 使用肤色检测的视频流的姿势预处理 |
CN104217197B (zh) * | 2014-08-27 | 2018-04-13 | 华南理工大学 | 一种基于视觉手势的点读方法和装置 |
CN104217197A (zh) * | 2014-08-27 | 2014-12-17 | 华南理工大学 | 一种基于视觉手势的点读方法和装置 |
TWI618027B (zh) * | 2016-05-04 | 2018-03-11 | 國立高雄應用科技大學 | 基因演算三維手勢影像辨識方法及其系統 |
CN106074021A (zh) * | 2016-06-08 | 2016-11-09 | 山东建筑大学 | 基于脑机接口的智能轮椅***及其动作方法 |
CN105945953A (zh) * | 2016-06-17 | 2016-09-21 | 小船信息科技(上海)有限公司 | 一种机器人的视觉识别*** |
CN107598917A (zh) * | 2016-07-12 | 2018-01-19 | 浙江星星冷链集成股份有限公司 | 一种机器人的视觉识别*** |
CN107038416A (zh) * | 2017-03-10 | 2017-08-11 | 华南理工大学 | 一种基于二值图像改进型hog特征的行人检测方法 |
CN109558000A (zh) * | 2017-09-26 | 2019-04-02 | 京东方科技集团股份有限公司 | 一种人机交互方法及电子设备 |
US10866649B2 (en) | 2017-09-26 | 2020-12-15 | Boe Technology Group Co., Ltd. | Gesture identification method and electronic device |
CN108732969A (zh) * | 2018-05-21 | 2018-11-02 | 哈尔滨拓博科技有限公司 | 一种基于单片机的汽车手势控制装置及其控制方法 |
CN108732969B (zh) * | 2018-05-21 | 2019-04-05 | 哈尔滨拓博科技有限公司 | 一种基于单片机的汽车手势控制装置及其控制方法 |
CN111625087A (zh) * | 2020-04-28 | 2020-09-04 | 中南民族大学 | 一种手势采集与识别*** |
CN113781586A (zh) * | 2021-09-08 | 2021-12-10 | 广州光锥元信息科技有限公司 | 对图像中人体皮肤区域进行肤色调整的方法及*** |
CN113781586B (zh) * | 2021-09-08 | 2023-12-08 | 广州光锥元信息科技有限公司 | 对图像中人体皮肤区域进行肤色调整的方法及*** |
CN114327038A (zh) * | 2021-11-19 | 2022-04-12 | 广州德纳智谷科技有限公司 | 一种基于人工智能技术的虚拟现实人机交互*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103440035A (zh) | 一种三维空间中的手势识别***及其识别方法 | |
Wiley et al. | Computer vision and image processing: a paper review | |
Liu et al. | A detection method for apple fruits based on color and shape features | |
CN102646193B (zh) | 一种环形排布字符图像分割方法 | |
CN104408449B (zh) | 智能移动终端场景文字处理方法 | |
CN102704215B (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
CN103618918A (zh) | 一种智能电视的显示控制方法及装置 | |
CN103177445B (zh) | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 | |
CN103679145A (zh) | 一种手势自动识别方法 | |
CN102663411B (zh) | 一种目标人体识别方法 | |
CN102521565A (zh) | 低分辨率视频的服装识别方法及*** | |
CN103295013A (zh) | 一种基于成对区域的单幅图像阴影检测方法 | |
CN101551853A (zh) | 复杂静态彩色背景下的人耳检测方法 | |
CN102831404A (zh) | 手势检测方法及*** | |
CN103258201A (zh) | 一种融合全局和局部信息的表格线提取方法 | |
CN104182765A (zh) | 一种互联网图像驱动的三维模型最优视图自动选择方法 | |
CN102194108A (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
CN102122390A (zh) | 基于深度图像进行人体检测的方法 | |
CN103413145A (zh) | 基于深度图像的关节点定位方法 | |
CN103955949A (zh) | 基于Mean-shift算法的运动目标检测方法 | |
CN102915432A (zh) | 一种车载微机图像视频数据提取方法及装置 | |
CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
Zhu et al. | Detecting natural scenes text via auto image partition, two-stage grouping and two-layer classification | |
CN102222234A (zh) | 基于均值偏移和k均值聚类技术的图像对象提取方法 | |
CN103295009A (zh) | 基于笔画分解的车牌字符识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131211 |