CN107942717A - 一种基于手势识别的智能家居控制*** - Google Patents

一种基于手势识别的智能家居控制*** Download PDF

Info

Publication number
CN107942717A
CN107942717A CN201810028085.2A CN201810028085A CN107942717A CN 107942717 A CN107942717 A CN 107942717A CN 201810028085 A CN201810028085 A CN 201810028085A CN 107942717 A CN107942717 A CN 107942717A
Authority
CN
China
Prior art keywords
gesture
state
hand model
dimensional hand
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810028085.2A
Other languages
English (en)
Inventor
黄信文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shengda Machine Design Co Ltd
Original Assignee
Shenzhen Shengda Machine Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shengda Machine Design Co Ltd filed Critical Shenzhen Shengda Machine Design Co Ltd
Priority to CN201810028085.2A priority Critical patent/CN107942717A/zh
Publication of CN107942717A publication Critical patent/CN107942717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于手势识别的智能家居控制***，包括至少一个家居设备，还包括：手势记录模块，用于获取用户手势图像；手势识别模块，用于对所述用户手势图像进行处理，识别出图像中的手势信息；中央控制模块，用于将从所述手势识别模块识别出的手势信息转换为对应的控制命令，并将该控制命令发送至所述家具设备以控制所述家居设备。本发明采用手势的方式对家居设备进行控制，能够准确识别用户手势，适应性强，准确度高，能够有效地防止传统方法在对手势进行跟踪时，由于遮挡等原因导致识别效果不佳，适应智能家居控制***的需要。

Description

一种基于手势识别的智能家居控制***
技术领域
本发明涉及智能家居***领域，特别是一种基于手势识别的智能家居控制***。
背景技术
现有技术中，用户对家居设备的控制通常是采用遥控器对其进行控制，但是不同的家居设备采用不同的控制器，这必然造成控制***的臃肿，十分不便于用户对家居设备的控制；同时采用外部控制器对家居设备进行控制也会导致控制器不好控制或者占用过多空间等问题。
发明内容
针对上述问题，本发明旨在提供一种基于手势识别的智能家居控制***。
本发明的目的采用以下技术方案来实现：
一种基于手势识别的智能家居控制***，包括至少一个家居设备，还包括：
手势记录模块，用于获取用户手势图像；
手势识别模块，用于对所述用户手势图像进行处理，识别出图像中的手势信息；
中央控制模块，用于将从所述手势识别模块识别出的手势信息转换为对应的控制命令，并将该控制命令发送至所述家具设备以控制所述家居设备。
优选地，所述手势记录模块为三维深度摄像头，通过三维深度摄像头获取的手势图像为深度图像。
优选地，所述手势识别模块包括：
三维模型建立单元，用于在虚拟空间中建立三维手部模型和状态特征模型；
同步匹配单元，用于根据手势图像的手势状态信息，将三维手部模型和手势图像进行同步状态匹配；
手势跟踪单元，用于对三维手部模型进行跟踪，获取三维手部模型的状态变化，其中所述状态变化包括移动和变形；
手势识别单元，用于根据三维模型的状态变化，对三维手部模型表达的手势进行识别，输出相应的手势信息结果。
本发明的有益效果为：本发明采用手势的方式对家居设备进行控制，能够准确识别用户手势，适应性强，准确度高，能够有效地防止传统方法在对手势进行跟踪时，由于遮挡等原因导致识别效果不佳，适应智能家居控制***的需要。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图；
图2为本发明手势识别模块的框架结构图。
附图标记：
手势记录模块1、手势识别模块2、中央控制模块3、三维模型建立单元20、同步匹配单元21、手势跟踪单元22、手势识别单元23
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1，一种基于手势识别的智能家居控制***，包括至少一个家居设备，还包括：
手势记录模块1，用于获取用户手势图像；
手势识别模块2，用于对所述用户手势图像进行处理，识别出图像中的手势信息；
中央控制模块3，用于将从所述手势识别模块2识别出的手势信息转换为对应的控制命令，并将该控制命令发送至所述家具设备以控制所述家居设备，其中所述控制命令及其对应的手势信息由用户预先录入到***中。
优选地，所述手势记录模块1为三维深度摄像头，通过三维深度摄像头获取的手势图像为深度图像。
优选地，参见图2，所述手势识别模块2包括：
三维模型建立单元20，用于在虚拟空间中建立三维手部模型和状态特征模型；
同步匹配单元21，用于根据手势图像的手势状态信息，将三维手部模型和手势图像进行同步状态匹配；
手势跟踪单元22，用于对三维手部模型进行跟踪，获取三维手部模型的状态变化，其中所述状态变化包括移动和变形；
手势识别单元23，用于根据三维模型的状态变化，对三维手部模型表达的手势进行识别，输出相应的手势信息结果。
本发明上述实施例，采用手势的方式对家居设备进行控制，能够准确识别用户手势，适应性强，准确度高，能够有效地防止传统方法在对手势进行跟踪时，由于遮挡等原因导致识别效果不佳，适应智能家居控制***的需要；通过建立三维手部模型，将用户手势图像和虚拟空间中的三位首部模型进行匹配，当用户手势发生变化时，三维手部模型发生同步变化，在虚拟空间中通过对三维手部模型进行跟踪，获取三维手部模型的手势变化，并对其进行识别，获取最终的识别结果，通过对三维手部模型识别用户手势，鲁棒性强，准确度高。
优选地，所述状态特征模型包括：三维手部模型状态特征HR包括26个自由度，其中6个全局自由度和20个局部自由度，6个全局自由度包括3个平移和3个旋转自由度，由三维手部模型掌心的一个固定点表示，5个手指的运动对应20个局部自由度，除拇指外，各手指的MCP关节均包含1个屈伸和1个外展内收自由度，而拇指的MCP关节只包含1个屈伸自由度，拇指的IP关节，其余4个手指的PIP和DIP关节均各包含1个屈伸自由度，拇指的TM关节包含2个自由度；其中，MCP(Metacarpophalangeal point)表示掌指关节，PIP(proximalinterphalangeal point)表示近侧指间关节，DIP(distal interphalangeal point)表示远侧指间关节，IP(interphalangeal point)表示指间关节，TM(trapezio-metacarpal)关节表示角骨关节。
本优选实施例，采用上述方式建立三维手部状态特征模型，采用特殊设计的26自由度模型，能够很好地适应模型的精准度和计算的复杂度，提高了***的性能。
优选地，所述同步匹配单元21，用于根据手势图像的手势状态信息，将三维手部模型和手势图像进行同步状态匹配，具体包括：
当手势图像中手势状态特征发生变化时，对三维手部模型做出相应的状态假设，并且计算三维手部模型的状态参数与手势图像之间的状态匹配误差，选取匹配误差最小的状态参数作为三维手部模型对应的最优解，并根据该状态参数更新三维手部模型的状态特征；
其中，采用的状态匹配模型为：
Q(C,H′R)＝vαQα(C,H′R)+vβQβ(C,H′R)+vγQγ(H′R)
式中，Q(C,H′R)表示手势图像C与三维手部模型状态假设H′R之间的匹配误差，Qβ(C,HR)表示剪影特征项，其中Qβ(C,H′R)表示剪影特征匹配度，Cβ(C)表示手势图像剪影图，rβ(H′R)表示三维手部模型渲染剪影图，表示属于Cβ(C)区域而不属于rβ(H′R)区域的像素面积，表示属于rβ(H′R)区域而不属于Cβ(C)区域的像素面积，Qα(C,H′R)表示深度特征项，其中Qα(C,H′R)表示手部深度图像Cα(C)和三维手部模型状态假设H′R对应渲染深度图rα(H′R)之间的深度偏差，Tα表示设定的最大深度偏差常量，Qγ(H′R)表示状态平滑项，其中 H′R,t表示当前帧的三维手部模型状态假设，表示上一帧选取的三维手部模型状态假设，vα、vβ和vγ分别表示深度特征项、剪影特征项和状态平滑项的权重因子。
其中，同步匹配单元21中在对三维手部模型进行匹配时，可以通过使用三维手部模型上一帧所获得的最优解来预测下一帧的状态参数，有效地缩小了状态参数的搜索空间。
本优选实施例，采用上述的方法对手部图像和三维手部模型进行匹配，通过结合三维手部模型的剪影特征、深度特征和平滑状态，在上一状态的基础上搜索匹配度最高的状态作为当前状态的特征参数，并且根据此特征参数更新三维手部模型的状态特征，实现三维手部模型与手势图像的同步匹配，适应性强，准确度高，实时性良好，为***后续对三维手部模型手势的跟踪识别奠定了基础。
优选地，手势跟踪单元22，用于对三维手部模型进行跟踪，获取三维手部模型的状态变化，具体包括：
(1)对手势跟踪单元22进行初始化：从先验分布ρ(HR,0)采样得U个粒子，权值均为表示为其中表示三维手部模型在t＝0时状态特征的第u个粒子；
(2)获取粒子初始位置，将最新观测值引入待优化目标函数中，具体采用的粒子初始化函数为：
式中，表示t时刻第u个粒子的粒子初始位置，表示t-1时刻以迭代次数N为止，第u个粒子所经历的最优位置，即个体历史最优解，ε～τ(0,δ)表示均值为0的多变量高斯噪声，δ表示其协方差矩阵，δ的对角线元素由待跟踪序列的最大帧间角度或位移差决定；
(3)对粒子进行迭代演化，驱动粒子向高似然概率区域运动，具体采用的迭代函数为：
式中，表示迭代次数为N+1第u个粒子的粒子位置，表示迭代次数为N+1时第u个粒子的粒子速度，其中 表示当前迭代次数N为止，第u个粒子所经历的最优位置，即个体历史最优解，gN表示整个粒子群体在当前迭代次数N为止得到的最优解，即全局最优解，|Rα|表示结果为正的高斯分布的随机数；
(4)利用观测似然更新粒子权值并对权值进行归一化处理，以最大后验准则输出***状态估计值，其中表示观测似然函数， λ为常数规范化因子，表示匹配误差值；
(5)根据权值大小对样本集进行重采样，得到新的等权样本集
(6)根据样本集变化输出三维手部模型的状态变化，跳转到步骤(3)，直到跟踪结束。
优选地，在上述实施例中，为了避免粒子过早收敛，导致效果不好，在步骤(3)后采用下列函数来提高粒子的多样性：
式中，表示当前迭代次数N+1为止，第u个粒子所经历的最优位置，表示迭代次数为N+1第u个粒子的粒子位置，TN+1表示第N+1次迭代的退火温度，其中TN+1＝ηTN，η表示降温系数且η∈(0,1)，表示粒子失真变化， 和分别表示新粒子适应值和旧粒子个体最优适应值，b(·)＝ρ(C|·)，ρ(C|·)表示观测似然函数，εu表示设定的判定阈值。
本优选实施例，采用上述的方法对三维手部模型的状态特征变化进行跟踪，能够准确地获取三维手部模型的状态特征变化，适应性强，准确度高。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种基于手势识别的智能家居控制***，包括至少一个家居设备，其特征在于，包括：
手势记录模块，用于获取用户手势图像；
手势识别模块，用于对所述用户手势图像进行处理，识别出图像中的手势信息；
中央控制模块，用于将从所述手势识别模块识别出的手势信息转换为对应的控制命令，并将该控制命令发送至所述家具设备以控制所述家居设备。
2.根据权利要求1所述的一种基于手势识别的智能家居控制***，其特征在于，所述手势记录模块为三维深度摄像头。
3.根据权利要求1所述的一种基于手势识别的智能家居控制***，其特征在于，所述手势识别模块包括：
三维模型建立单元，用于在虚拟空间中建立三维手部模型和状态特征模型；
同步匹配单元，用于根据手势图像的手势状态信息，将三维手部模型和手势图像进行同步状态匹配；
手势跟踪单元，用于对三维手部模型进行跟踪，获取三维手部模型的状态变化，其中所述状态变化包括移动和变形；
手势识别单元，用于根据三维模型的状态变化，对三维手部模型表达的手势进行识别，输出相应的手势信息结果。
4.根据权利要求3所述的一种基于手势识别的智能家居控制***，其特征在于，所述状态特征模型包括：三维手部模型状态特征HR包括26个自由度，其中6个全局自由度和20个局部自由度，6个全局自由度包括3个平移和3个旋转自由度，由三维手部模型掌心的一个固定点表示，5个手指的运动对应20个局部自由度，除拇指外，各手指的MCP关节均包含1个屈伸和1个外展内收自由度，而拇指的MCP关节只包含1个屈伸自由度，拇指的IP关节，其余4个手指的PIP和DIP关节均各包含1个屈伸自由度，拇指的TM关节包含2个自由度。
5.根据权利要求4所述的一种基于手势识别的智能家居控制***，其特征在于，所述同步匹配单元，用于根据手势图像的手势状态信息，将三维手部模型和手势图像进行同步状态匹配，具体包括：
当手势图像中手势状态特征发生变化时，对三维手部模型做出相应的状态假设，并且计算三维手部模型的状态参数与手势图像之间的状态匹配误差，选取匹配误差最小的状态参数作为三维手部模型对应的最优解，并根据该状态参数更新三维手部模型的状态特征；
其中，采用的状态匹配模型为：
Q(C,H′R)＝vαQα(C,H′R)+vβQβ(C,H′R)+vγQγ(H′R)
式中，Q(C,H′R)表示手势图像C与三维手部模型状态假设H′R之间的匹配误差，Qβ(C,HR)表示剪影特征项，其中Qβ(C,H′R)表示剪影特征匹配度，Cβ(C)表示手势图像剪影图，rβ(H′R)表示三维手部模型渲染剪影图，表示属于Cβ(C)区域而不属于rβ(H′R)区域的像素面积，表示属于rβ(H′R)区域而不属于Cβ(C)区域的像素面积，Qα(C,H′R)表示深度特征项，其中Qα(C,H′R)表示手部深度图像Cα(C)和三维手部模型状态假设H′R对应渲染深度图rα(H′R)之间的深度偏差，Tα表示设定的最大深度偏差常量，Qγ(H′R)表示状态平滑项，其中 H′R,t表示当前帧的三维手部模型状态假设，表示上一帧选取的三维手部模型状态假设，vα、vβ和vγ分别表示深度特征项、剪影特征项和状态平滑项的权重因子。
CN201810028085.2A 2018-01-11 2018-01-11 一种基于手势识别的智能家居控制*** Pending CN107942717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810028085.2A CN107942717A (zh) 2018-01-11 2018-01-11 一种基于手势识别的智能家居控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810028085.2A CN107942717A (zh) 2018-01-11 2018-01-11 一种基于手势识别的智能家居控制***

Publications (1)

Publication Number Publication Date
CN107942717A true CN107942717A (zh) 2018-04-20

Family

ID=61938590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810028085.2A Pending CN107942717A (zh) 2018-01-11 2018-01-11 一种基于手势识别的智能家居控制***

Country Status (1)

Country Link
CN (1) CN107942717A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212991A (zh) * 2018-10-10 2019-01-15 安徽省鹏徽物业管理有限公司 一种智能家居远程控制***及智能家居服务器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019589A1 (en) * 2006-07-19 2008-01-24 Ho Sub Yoon Method and apparatus for recognizing gesture in image processing system
CN102824092A (zh) * 2012-08-31 2012-12-19 华南理工大学 一种窗帘的智能手势和语音控制***及其控制方法
CN103035115A (zh) * 2012-12-10 2013-04-10 Tcl通力电子（惠州）有限公司 一种基于智能终端手势识别的家居设备控制***及方法
CN103353935A (zh) * 2013-07-19 2013-10-16 电子科技大学 一种用于智能家居***的3d动态手势识别方法
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
CN103760976A (zh) * 2014-01-09 2014-04-30 华南理工大学 基于Kinect的手势识别智能家居控制方法及***
CN105116743A (zh) * 2015-07-21 2015-12-02 合肥智凯电子科技有限公司 一种可手势操作的智能家居控制***
CN107145871A (zh) * 2017-05-10 2017-09-08 深圳众厉电力科技有限公司 一种可手势操作的智能家居控制***
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019589A1 (en) * 2006-07-19 2008-01-24 Ho Sub Yoon Method and apparatus for recognizing gesture in image processing system
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
CN102824092A (zh) * 2012-08-31 2012-12-19 华南理工大学 一种窗帘的智能手势和语音控制***及其控制方法
CN103035115A (zh) * 2012-12-10 2013-04-10 Tcl通力电子（惠州）有限公司 一种基于智能终端手势识别的家居设备控制***及方法
CN103353935A (zh) * 2013-07-19 2013-10-16 电子科技大学 一种用于智能家居***的3d动态手势识别方法
CN103760976A (zh) * 2014-01-09 2014-04-30 华南理工大学 基于Kinect的手势识别智能家居控制方法及***
CN105116743A (zh) * 2015-07-21 2015-12-02 合肥智凯电子科技有限公司 一种可手势操作的智能家居控制***
CN107145871A (zh) * 2017-05-10 2017-09-08 深圳众厉电力科技有限公司 一种可手势操作的智能家居控制***
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李东年: "基于深度图像序列的三维人手运动跟踪技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212991A (zh) * 2018-10-10 2019-01-15 安徽省鹏徽物业管理有限公司 一种智能家居远程控制***及智能家居服务器

Similar Documents

Publication Publication Date Title
Nibali et al. 3d human pose estimation with 2d marginal heatmaps
CN111209861B (zh) 一种基于深度学习的动态手势动作识别方法
Kim et al. Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs
CN108256461A (zh) 一种用于虚拟现实设备的手势识别装置
CN110555408B (zh) 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
CN110222580A (zh) 一种基于三维点云的人手三维姿态估计方法和装置
CN110427938A (zh) 一种基于深度学习的不规则文字识别装置和方法
CN105989625A (zh) 数据处理的方法和装置
WO2021051526A1 (zh) 多视图3d人体姿态估计方法及相关装置
CN113191243B (zh) 基于相机距离的人手三维姿态估计模型建立方法及其应用
CN112651262A (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN110232727A (zh) 一种连续姿态动作评估智能算法
CN106127125A (zh) 基于人体行为特征的分布式dtw人体行为意图识别方法
CN112183184B (zh) 基于非同步视频的运动捕捉方法
CN108510520B (zh) 一种图像处理方法、装置及ar设备
CN112749512A (zh) 手势估计优化的方法、***和电子装置
CN111191630A (zh) 适用于智能交互观演场景的演艺动作识别方法
CN108537156B (zh) 一种抗遮挡的手部关键节点追踪方法
CN110348359B (zh) 手部姿态追踪的方法、装置及***
CN113989928A (zh) 一种动作捕捉和重定向方法
CN108089715A (zh) 一种基于深度摄像头的演示辅助***
CN116206328A (zh) 一种基于多视点几何的三维人体姿态估计方法
CN107942717A (zh) 一种基于手势识别的智能家居控制***
CN107220634A (zh) 基于改进d‑p算法与多模板匹配的手势识别方法
Liu et al. Sim-and-real reinforcement learning for manipulation: A consensus-based approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420