CN115035592A - 一种用于美术作品在线教育的手势识别方法及装置 - Google Patents

一种用于美术作品在线教育的手势识别方法及装置 Download PDF

Info

Publication number
CN115035592A
CN115035592A CN202210478919.6A CN202210478919A CN115035592A CN 115035592 A CN115035592 A CN 115035592A CN 202210478919 A CN202210478919 A CN 202210478919A CN 115035592 A CN115035592 A CN 115035592A
Authority
CN
China
Prior art keywords
gesture
gamma
points
point
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210478919.6A
Other languages
English (en)
Inventor
林东姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiqi Network Technology Co ltd
Original Assignee
Beijing Yiqi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yiqi Network Technology Co ltd filed Critical Beijing Yiqi Network Technology Co ltd
Priority to CN202210478919.6A priority Critical patent/CN115035592A/zh
Publication of CN115035592A publication Critical patent/CN115035592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于美术作品在线教育的手势识别方法及装置，所述方法包括以下步骤：利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部；对分割后的手势图像进行轮廓简化；根据简化后的手势轮廓进行手势指尖点特征提取；将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。本发明能够在复杂环境下对手势进行分割，对于不同用户的手势可快速识别出手势类型，交互实时性好，同时提高了手势提取和识别工作的可靠性，能够得到更精准的识别结果。

Description

一种用于美术作品在线教育的手势识别方法及装置
技术领域
本发明涉及在线教育技术领域，尤其涉及一种用于美术作品在线教育的手势识别方法及装置。
背景技术
在线教育顾名思义，是以网络为介质的教学方式，通过网络，学员与教师即使相隔万里也可以开展教学活动；此外，借助网络课件，学员还可以随时随地进行学习，真正打破了时间和空间的限制，对于工作繁忙，学习时间不固定的职场人而言网络远程教育是最方便不过的学习方式。
随着计算机技术的突飞猛进，人机交互技术在人们的生活中越来越普及。人机交互(Human-ComputerInteraction,HCI)技术是指用户与计算机之间使用某种操作方式而执行的一种人与计算机之间的交互过，它的发展大致经历了纯手工作业阶段、语言命令控制阶段、用户界面阶段等，然而随着近年来人工智能等技术的不断发展，逐渐引起对人机交互技术发展的重视。
而在在线教育领域，美术课程方面的学习经常通过肢体语言教学，由于在肢体语言当中，手扮演着极为重要的角色，因此，基于手势行为的交互方式即手势行为识别，也即手势识别受到人们的广泛关注。
目前现有的手势识别方法，由于受到复杂背景或者其他因素的影响，在进行手势识别时，无法准确的将手势进行识别，交互实时性差，大大影响了在线教育的教学质量及效率。
发明内容
为了现有技术存在的上述技术缺陷，本发明提供了一种用于美术作品在线教育的手势识别方法及装置，可以有效解决背景技术中的问题。
为了解决上述技术问题，本发明提供的技术方案具体如下：
本发明实施例公开了一种用于美术作品在线教育的手势识别方法，所述方法包括以下步骤：
利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部；
对分割后的手势图像进行轮廓简化；
根据简化后的手势轮廓进行手势指尖点特征提取；
将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
在上述任一方案中优选的是，利用Kinect传感器获取的深度数据将用户与背景分割，再通过设置特定阈值为用户在深度图像中创建独立空间，对人体部位进行分类并识别出关节点坐标，完成骨骼三维建模。
在上述任一方案中优选的是，深度数据和骨骼数据定位包括用户手部区域的彩色感兴趣区域ROI，结合YCrCb颜色空间对ROI区域进行肤色检测并提取手部的区域。
在上述任一方案中优选的是，将YCrCb颜色空间进行非线性色彩变换，生成YCr'Cb'颜色空间，将YCr'Cb'颜色空间的肤色聚类分布情况投影至YCr'Cb'二维子空间，建立肤色聚类椭圆模型，椭圆的标准方程为：(x-ecx)2/a2+(y-ect)2/b2＝1其中，待检测图像中的像素点坐标(x,y)满足式
Figure BDA0003626896270000031
ecx、ecy、cx、cy、a、b为椭圆的标准方程中各常量，Cb为RGB输入信号红色部分与RGB信号亮度值之间的差异，Cr为RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
在上述任一方案中优选的是，根据建立的肤色聚类椭圆模型，设
Figure BDA0003626896270000032
当A＞1时，则被检测像素点位于肤色聚类椭圆模型区域外，属于背景像素点；当A＜1时，则被检测像素点位于肤色聚类椭圆模型区域内，属于肤色像素点。
在上述任一方案中优选的是，通过以下方式对分割后的手势图像进行轮廓简化：
(Ⅰ)选取阈值T；
(Ⅱ)在曲线距离最远的两点之间连接一条基准线EF；
(Ⅲ)计算轮廓上其他点到该基准线之间的距离，找出距离该基准线最远的点记为G，最大距离为Dmax；
(Ⅳ)若Dmax比阈值T大，则将E、F、G都作为基准点，E、F、G三点之间的连线作为基准线，并重复(Ⅱ)-(Ⅳ)直至轮廓上所有的点到基准线的距离都小于等于T；若Dmax比阈值T小，则所有的基准点和基准线就构成了轮廓的逼近，完成轮廓简化。
在上述任一方案中优选的是，对轮廓简化结果进行凹凸点检测，凸点包括所有指尖点和非指尖点。
在上述任一方案中优选的是，通过公式
Figure BDA0003626896270000033
计算凹凸点之间的夹角，其中，j为某凸点到临近凹点之间的距离，k为该凸点到另一个临近凸点之间的距离，c为该凹点的两个临近凸点之间的距离，θ为该凹点与相邻两个顶点连线的夹角，0°＜θ＜90°；对于符合公式
Figure BDA0003626896270000041
的凸点视为指尖点，进行手指计数，反之视为噪声点进行去除。
在上述任一方案中优选的是，通过以下方式进行手势识别：
1)输入手势，根据获得的手势指尖点特征在数据库中进行识别，得到类匹配手势；
2)计算输入手势与全部类匹配手势的相似度γi；
3)将计算得到的输入手势与全部类匹配手势的相似度γi进行排序并得到最大相似度γmax；
4)将最大相似度γmax与相似度阈值γ进行判别，若γmax＜γ，则输入手势与数据库内手势均不匹配，为无效手势；若γmax＞γ，则判断输入手势为γmax所对应的类匹配手势，并输出手势类别。
一种用于美术作品在线教育的手势识别装置，所述装置包括：
构建模块，用于利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部手势；
简化模块，用于根据分割后的手部手势图像进行轮廓简化；
提取模块，用于根据简化后的手势轮廓进行手势指尖点特征提取；
判别模块，用于将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
与现有技术相比，本发明的有益效果：
本发明提供的一种用于美术作品在线教育的手势识别方法及装置通过利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割；对分割后的手势图像进行轮廓简化；根据简化后的手势轮廓进行手势指尖点特征提取；将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别；能够在复杂环境下对手势进行分割，对于不同用户的手势可快速识别出手势类型，交互实时性好，同时提高了手势提取和识别工作的可靠性，能够得到更精准的识别结果。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明一种用于美术作品在线教育的手势识别方法流程图；
图2是本发明一种用于美术作品在线教育的手势识别方法逻辑图；
图3是本发明一种用于美术作品在线教育的手势识别装置模块图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
如图1所示，本发明提供了一种用于美术作品在线教育的手势识别方法，所述方法包括以下步骤：
步骤1，利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部。
具体的，在对于美术作品的在线教育时，不同的手势往往对应不同的操作命令，在复杂的环境影响下，例如光照、复杂背景、手势的自身遮挡等因素都会影响手势的识别；进而可通过Kinect传感器采集用户的骨骼和深度信息，Kinect传感器是由微软公司推出的一款体感设备，它内置了深度传感器，可以捕捉空间的三维信息，在骨骼跟踪以及姿态估计方面有着出色的表现。
进一步的，利用深度数据将用户与背景分割，再通过设置特定阈值为用户在深度图像中创建独立空间，进而对人体部位进行分类并进一步识别出关节点坐标从而完成骨骼三维建模。
进一步的，通过深度数据和骨骼数据定位包括用户手部区域的彩色感兴趣区域ROI，结合YCrCb颜色空间对ROI区域进行肤色检测并提取手部的区域。
进一步的，由于YCrCb颜色空间是由RGB颜色空间经过线性变换得到，在YCrCb颜色空间中肤色聚类呈两头尖的纺锤形状，Y值在较大和较小的部分，肤色聚类也随之缩减，在Y值的不同地方，Cb-Cr子平面的投影是不同的；进而可将YCrCb颜色空间进行非线性色彩变换，生成YCr'Cb'颜色空间，在此空间中，肤色的亮度以及红、蓝色度相互独立，互相不会构成影响。
进一步的，将YCr'Cb'颜色空间的肤色聚类分布情况投影至YCr'Cb'二维子空间，建立肤色聚类椭圆模型，其椭圆的标准方程为：
(x-ecx)2/a2+(y-ecy)2/b2＝1，其中，待检测图像中的像素点坐标(x,y)满足式
Figure BDA0003626896270000071
作为优选的，椭圆的标准方程中各常量分别为cx＝109.38，cy＝152.02，ecx＝1.60，ecy＝2.41，a＝25.39，b＝14.03，Cb为RGB输入信号红色部分与RGB信号亮度值之间的差异，Cr为RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
进一步的，根据建立的肤色聚类椭圆模型，设
Figure BDA0003626896270000081
当A＞1时，则被检测像素点位于肤色聚类椭圆模型区域外，属于背景像素点；当A＜1时，则被检测像素点位于肤色聚类椭圆模型区域内，属于肤色像素点。
进一步的，由于图像背景中可能存在类肤区域或者人脸等肤色区域，需先对输入图像进行肤色检测处理，遍历整个图像，将判定为肤色像素的点赋值为白色，将非肤色像素点赋值为黑色，得到肤色的二值图像，并采用“十字形”模板，对肤色二值图像进行腐蚀操作以消除图像中的噪点；其次遍历肤色二值图像，获取肤色像素点的深度值，统计出各个深度距离上肤色点个数，并得到统计直方图，获取直方图第一个波谷位置的深度值作为分割阈值；最后重新对肤色二值图像进行遍历，只保留深度距离小于分割阈值的肤色像素点，其余像素点均按背景处理，像素值设为黑色，得到分割后的手势图像。
步骤2，对分割后的手势图像进行轮廓简化。
具体的，由于不同的用户在进行手势交互时，其相同的手势往往表现不同，需要对手势轮廓进行简化，以弱化不同用户的手势差异，保证对不同用户的手势进行几何特征提取时特征值的相对稳定性。
进一步的，通过以下方式对分割后的手势图像进行轮廓简化：
(Ⅰ)选取阈值T；
(Ⅱ)在曲线距离最远的两点之间连接一条基准线EF；
(Ⅲ)计算轮廓上其他点到该基准线之间的距离，找出距离该基准线最远的点记为G，最大距离为Dmax；
(Ⅳ)若Dmax比阈值T大，则将E、F、G都作为基准点，E、F、G三点之间的连线作为基准线，并重复(Ⅱ)-(Ⅳ)直至轮廓上所有的点到基准线的距离都小于等于T；若Dmax比阈值T小，则所有的基准点和基准线就构成了轮廓的逼近，完成轮廓简化。
步骤3，根据简化后的手势轮廓进行手势指尖点特征提取。
具体的，通过手势轮廓简化后，手势轮廓的闭合曲线在全局最优的情况下被拟合成任意顶点数的多边形，进而对多边拟合结果进行凹凸点检测，凸点包括所有指尖点和非指尖点。
进一步的，通过公式
Figure BDA0003626896270000091
计算凹凸点之间的夹角，其中，j为某凸点到临近凹点之间的距离，k为该凸点到另一个临近凸点之间的距离，c为该凹点的两个临近凸点之间的距离，θ为该凹点与相邻两个顶点连线的夹角，0°＜θ＜90°；对于符合公式
Figure BDA0003626896270000092
的凸点视为指尖点，进行手指计数，反之视为噪声点进行去除。
步骤4，将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
具体的，由于手势所表达的含义大多体现在其手部指尖特征上，而一个手势的指尖特征可能对应的手势含义不止一种，在手势指尖特征提取完成后，需进一步对手势的其他特征进行识别，以实现准确对手势判断类型。
进一步的，如图2所示，可通过以下方式进行手势识别：
1)输入手势，根据获得的手势指尖点特征在数据库中进行识别，得到类匹配手势。
2)计算输入手势与全部类匹配手势的相似度γi；其相似度γi的计算方式为：用梯度算子获得手势图像每个像素的横向和纵向梯度，并计算每个像素的梯度方向和梯度大小，其中梯度方向取值范围为0°-180°；将其平均分成9份，统计每个细胞中每个像素的梯度方向直方图，形成一组特征向量；在块区间内，以细胞为单位，采用l2范数为因子对向量进行归一化处理，获得手势的HOG特征向量；通过直方图交方法计算，得到输入手势与数据库中类匹配手势的相似度γi。
3)将计算得到的输入手势与全部类匹配手势的相似度γi进行排序并得到最大相似度γmax。
4)将最大相似度γmax与相似度阈值γ进行判别，若γmax＜γ，则输入手势与数据库内手势均不匹配，为无效手势；若γmax＞γ，则判断输入手势为γmax所对应的类匹配手势，并输出手势类别。
如图3所示，本发明还提供了一种用于美术作品在线教育的手势识别装置，所述装置包括：
构建模块，用于利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部手势。
简化模块，用于根据分割后的手部手势图像进行轮廓简化。
提取模块，用于根据简化后的手势轮廓进行手势指尖点特征提取。
判别模块，用于将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
与现有技术相比，本发明提供的有益效果是：
本发明提供的一种用于美术作品在线教育的手势识别方法及装置通过利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割；对分割后的手势图像进行轮廓简化；根据简化后的手势轮廓进行手势指尖点特征提取；将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别；能够在复杂环境下对手势进行分割，对于不同用户的手势可快速识别出手势类型，交互实时性好，同时提高了手势提取和识别工作的可靠性，能够得到更精准的识别结果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于美术作品在线教育的手势识别方法，其特征在于：所述方法包括以下步骤：
利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部；
对分割后的手势图像进行轮廓简化；
根据简化后的手势轮廓进行手势指尖点特征提取；
将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
2.根据权利要求1所述的用于美术作品在线教育的手势识别方法，其特征在于：利用Kinect传感器获取的深度数据将用户与背景分割，再通过设置特定阈值为用户在深度图像中创建独立空间，对人体部位进行分类并识别出关节点坐标，完成骨骼三维建模。
3.根据权利要求2所述的用于美术作品在线教育的手势识别方法，其特征在于：深度数据和骨骼数据定位包括用户手部区域的彩色感兴趣区域ROI，结合YCrCb颜色空间对ROI区域进行肤色检测并提取手部的区域。
4.根据权利要求3所述的用于美术作品在线教育的手势识别方法，其特征在于：将YCrCb颜色空间进行非线性色彩变换，生成YCr′Cb′颜色空间，将YCr′Cb′颜色空间的肤色聚类分布情况投影至YCr′Cb′二维子空间，建立肤色聚类椭圆模型，椭圆的标准方程为：(x-ecx)2/a2+(y-ecy)2/b2＝1，其中，待检测图像中的像素点坐标(x，y)满足式
Figure FDA0003626896260000021
ecx、ecy、cx、cy、a、b为椭圆的标准方程中各常量，Cb为RGB输入信号红色部分与RGB信号亮度值之间的差异，Cr为RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
5.根据权利要求4所述的用于美术作品在线教育的手势识别方法，其特征在于：根据建立的肤色聚类椭圆模型，设
Figure FDA0003626896260000022
当A＞1时，则被检测像素点位于肤色聚类椭圆模型区域外，属于背景像素点；当A＜1时，则被检测像素点位于肤色聚类椭圆模型区域内，属于肤色像素点。
6.根据权利要求5所述的用于美术作品在线教育的手势识别方法，其特征在于：通过以下方式对分割后的手势图像进行轮廓简化：
(I)选取阈值T；
(II)在曲线距离最远的两点之间连接一条基准线EF；
(III)计算轮廓上其他点到该基准线之间的距离，找出距离该基准线最远的点记为G，最大距离为Dmax；
(IV)若Dmax比阈值T大，则将E、F、G都作为基准点，E、F、G三点之间的连线作为基准线，并重复(II)-(IV)直至轮廓上所有的点到基准线的距离都小于等于T；若Dmax比阈值T小，则所有的基准点和基准线就构成了轮廓的逼近，完成轮廓简化。
7.根据权利要求6所述的用于美术作品在线教育的手势识别方法，其特征在于：对轮廓简化结果进行凹凸点检测，凸点包括所有指尖点和非指尖点。
8.根据权利要求7所述的用于美术作品在线教育的手势识别方法，其特征在于：通过公式
Figure FDA0003626896260000031
计算凹凸点之间的夹角，其中，j为某凸点到临近凹点之间的距离，k为该凸点到另一个临近凸点之间的距离，c为该凹点的两个临近凸点之间的距离，θ为该凹点与相邻两个顶点连线的夹角，0°＜θ＜90°；对于符合公式
Figure FDA0003626896260000032
的凸点视为指尖点，进行手指计数，反之视为噪声点进行去除。
9.根据权利要求8所述的用于美术作品在线教育的手势识别方法，其特征在于：通过以下方式进行手势识别：
1)输入手势，根据获得的手势指尖点特征在数据库中进行识别，得到类匹配手势；
2)计算输入手势与全部类匹配手势的相似度γi；
3)将计算得到的输入手势与全部类匹配手势的相似度γi进行排序并得到最大相似度γmax；
4)将最大相似度γmax与相似度阈值γ进行判别，若γmax＜γ，则输入手势与数据库内手势均不匹配，为无效手势；若γmax＞γ，则判断输入手势为γmax所对应的类匹配手势，并输出手势类别。
10.一种用于美术作品在线教育的手势识别装置，其特征在于：所述装置包括：
构建模块，用于利用Kinect传感器构建肤色聚类椭圆模型，根据肤色聚类椭圆模型对手势图像进行分割，以实现对手势图像提取手部手势；
简化模块，用于根据分割后的手部手势图像进行轮廓简化；
提取模块，用于根据简化后的手势轮廓进行手势指尖点特征提取；
判别模块，用于将获得的手势指尖点特征与数据库进行匹配得到类匹配手势，计算手势与类匹配手势的相似度γi，并根据相似度γi与相似度阈值γ进行判别，完成手势识别。
CN202210478919.6A 2022-05-05 2022-05-05 一种用于美术作品在线教育的手势识别方法及装置 Pending CN115035592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210478919.6A CN115035592A (zh) 2022-05-05 2022-05-05 一种用于美术作品在线教育的手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210478919.6A CN115035592A (zh) 2022-05-05 2022-05-05 一种用于美术作品在线教育的手势识别方法及装置

Publications (1)

Publication Number Publication Date
CN115035592A true CN115035592A (zh) 2022-09-09

Family

ID=83118764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210478919.6A Pending CN115035592A (zh) 2022-05-05 2022-05-05 一种用于美术作品在线教育的手势识别方法及装置

Country Status (1)

Country Link
CN (1) CN115035592A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173153A (zh) * 2023-09-28 2023-12-05 江苏运动健康研究院 基于计算机视觉的手指月牙主体识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173153A (zh) * 2023-09-28 2023-12-05 江苏运动健康研究院 基于计算机视觉的手指月牙主体识别方法及装置

Similar Documents

Publication Publication Date Title
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
Alyuz et al. Regional registration for expression resistant 3-D face recognition
Xu et al. Online dynamic gesture recognition for human robot interaction
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN103971102A (zh) 基于手指轮廓和决策树的静态手势识别方法
CN105335719A (zh) 活体检测方法及装置
CN105243374A (zh) 三维人脸识别方法、***及应用其的数据处理装置
CN104318202A (zh) 通过人脸照片识别五官点的方法及***
CN112114675B (zh) 基于手势控制的非接触电梯键盘的使用方法
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN110991258B (zh) 一种人脸融合特征提取方法及***
CN109033978A (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
Cupec et al. Object recognition based on convex hull alignment
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN105975906B (zh) 一种基于面积特征的pca静态手势识别方法
Cai et al. Accurate eye center localization via hierarchical adaptive convolution
CN104794441A (zh) 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
Fernando et al. Novel approach to use HU moments with image processing techniques for real time sign language communication
CN112381047A (zh) 一种人脸表情图像的增强识别方法
Manal et al. Survey on the approaches based geometric information for 3D face landmarks detection
CN115035592A (zh) 一种用于美术作品在线教育的手势识别方法及装置
CN109886091A (zh) 基于带权重局部旋度模式的三维人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination