CN114399789A - 一种基于静态手势识别的机械臂远程控制方法 - Google Patents

一种基于静态手势识别的机械臂远程控制方法 Download PDF

Info

Publication number
CN114399789A
CN114399789A CN202111675180.XA CN202111675180A CN114399789A CN 114399789 A CN114399789 A CN 114399789A CN 202111675180 A CN202111675180 A CN 202111675180A CN 114399789 A CN114399789 A CN 114399789A
Authority
CN
China
Prior art keywords
mechanical arm
image
gesture
upper computer
convex hull
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111675180.XA
Other languages
English (en)
Other versions
CN114399789B (zh
Inventor
张青春
姚胜
吴峥
周玲
孟凡东
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jiuzhou Longteng Scientific And Technological Achievement Transformation Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202111675180.XA priority Critical patent/CN114399789B/zh
Publication of CN114399789A publication Critical patent/CN114399789A/zh
Application granted granted Critical
Publication of CN114399789B publication Critical patent/CN114399789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于静态手势识别的机械臂远程控制方法,包括机械臂本体，所述的机械臂本体的驱动装置与机械臂控制器连接，由机械臂控制器下达命令，控制机械臂运作；所述的机械臂控制器通过无线网络或信号线与上位机信号连接，进行信号传输；其特征在于：所述的上位机信号连接有用于采集手势的摄像头，摄像头与上位机连接，将采集的图像传送至上位机，由上位机进行图像处理和识别，判定手势下达的命令；上位机得到手势下达的指令后，发出控制指令至机械臂控制器，机械臂控制器将控制指令发送至机械臂驱动装置，控制机械臂根据手势映射的指令，完成相应的操作。本发明降低了手势识别设备的成本；同时还提高手势的识别率以及加快手势识别的时间。

Description

一种基于静态手势识别的机械臂远程控制方法
技术领域
本发明涉及机械臂控制的技术领域，具体涉及一种基于静态手势识别的机械臂远程控制方法。
背景技术
随着机器人产业的快速发展，各种机器人层出不穷。语音对话机器人、陪伴机器人、遥控机器人开始普及，让普通百姓体验高科技产品带来的乐趣和方便性。而作为机器人产业中的支柱机械臂，一直应用于工厂，不断重复相同的工作。
目前，基于传感器的手势识别遥控需依赖昂贵的外接设备来实现对手势的识别从而控制机械臂，如在论文《人机交互手势的超声波检测及其HMM融合SVM识别算法》中，利用超声波多普勒频移的SVM-HMM手势识别算法对提取到的手势特征序列进行识别分类,最终总体手势识别率达到94.625％。或者，在专利专利公开号为CN110695990A，专利名称为一种基于Kinect手势识别的机械臂控制***中，手势识别依赖的设备是Kinect。这种手势识别的成本很高，而采用普通相机对静态手势识别来控制机械臂的方法很少，已知的算法识别在效率和时间上还需要被进一步的提高。
发明内容
针对上述的技术问题，本发明提供了一种基于静态手势识别的机械臂远程控制方法,***与传统的基于手势识别的机械臂控制***相比，仅需一个与PC机相连的彩色相机即可，不仅帮助操作者摆脱了笨重的穿戴设备，而且也降低了设备成本；可有效的解决上述问题。本发明通过以下技术方案实现：
一种基于静态手势识别的机械臂远程控制方法,包括机械臂本体，所述的机械臂本体的驱动装置与机械臂控制器连接，由机械臂控制器下达命令，控制机械臂运作；所述的机械臂控制器通过无线网络或信号线与上位机信号连接，进行信号传输；所述的上位机信号连接有用于采集手势的摄像头，摄像头与上位机连接，将采集的图像传送至上位机，由上位机进行图像处理和识别，判定手势下达的命令；具体操作流程如下：
S1：开启相机，相机开始工作，以帧数据形式采集视野范围内的图像，并将图像发送至上位机进行处理；
S2：上位机对相机上传的图像进行初步处理，逐帧进行检测；检测相机上传的图像是否存在手势；若图像上出现相应的肤色，则判断为手势出现，进行下一步S3；若未出现，则返回S1，继续采集图像；
S3：对图片中的手势数据进行特征提取；
上位机先将带有手势的图像进行灰度处理，再对带有手势的图像进行归一化处理，然后计算图像水平和垂直方向的梯度，做方向梯度直方图特征的HOG提取，最后提取得到图片中的手部特征；
S4：将提取的手势特征信息与存储的特征信息进行比对，若比对成功，则进行S5，否则返回S1；
S5：机械臂根据手势映射的指令，完成相应的操作。
进一步的，步骤1所述的相机在装机时，需要对相机先进行数值设定。
进一步的，所述的数值设定是结合运动帧差法与HSV肤色空间阈值限定法获取操作者的肤色数据区域，将当前帧图像与相邻帧图像做差分获取运动区域，摆动手臂，使运动区域包括手势部分的肤色区域；在获取运动区域后，将图像从RGB颜色空间转换到HSV颜色空间，采用HSV肤色模型进行阈值限定；确定肤色模型的色调H，饱和度S，明度V的范围。
进一步的，步骤3所述的对图片中的手势数据进行特征提取，具体操作步骤如下：
S31：将获取的图像进行灰度化处理，包括参数信息x，y，z；其中，x，y为像素坐标，z为在(x,y)处像素的像素灰度值；
S32：用伽马校正法对手势图像进行归一化处理，调节图像的对比度；
S33：计算图像水平和垂直方向的梯度，梯度为向量，包括大小和方向，在HOG特征提取中，用于求取特征向量；其中包括数据Gh(x,y)，Gv(x,y)和θ(x,y)；Gh(x,y)为像素点在水平方向上的梯度值，Gv(x,y)为像素点在垂直方向上的梯度值，θ(x,y)为像素点的梯度方向；像素点(x,y)的梯度强度M(x,y)和方向θ(x,y)的计算公式为：
M(x,y)≈|Gh(x,y)+Gv(x,y)|；
θ(x,y)＝arctan(Gh(x,y)/Gv(x,y))；
S34：提取HOG特征；将图像压缩到28*28大小，分成36个定义块，每个定义块分成4个细胞单元，再将每个细胞单元的方向分成9段，每段20°，对每一个细胞单元的梯度强度M(x,y)和方向θ(x,y)进行权重投影，在重叠定义块内的细胞单元进行对比度归一化处理，把所有的细胞单元的特征向量串行融合即可得到HOG特征向量；
将向量组成特征向量X，计算特征向量X的协方差矩阵C，对矩阵C求特征值和对应的特征向量，将特征向量对应的特征值按大小从上到下按行排列成矩阵，取前100行组成矩阵P，按下列公式获得新矩阵Y：
Y＝PX；
其中，矩阵Y的维数为100维；
S35：手部特征提取；手部特征包括三个参数，分别为：n，m，L；其中n为轮廓的凸包点数，m为轮廓的凸包缺陷数；L为圆形度；
遍历轮廓每个点，通过坐标求出两个极端点A，B；连接AB，分别对上凸包和下凸包内的点求凸包，在递归中找到距离AB最远的点C，做线段AC和BC，再将AC作为极端点进行递归，依次循环，直到无法找到凸包，则最远点即为凸包顶点，轮廓的凸包点数n得出；
每相邻的两个凸包点之间包含一个凸包凹陷，在求n过程中，对凸包点进行标记，得到凸包凹陷数m＝n-1；
轮廓的圆形度L由轮廓构成的面积和周长求出，分别用matalab中的bwarea()和bwperim()函数求出轮廓的面积S和周长C，圆形度的计算公式如下：
Figure BDA0003450963780000051
S36：HOG特征与手部特征归一化；求取HOG降维后的矩阵Y的特征向量α＝[h1，h2，…，h100]，并将向量α与手部特征向量β＝[n，m，L]进行串行融合，得到融合特征向量R＝[h1，h2，…，h100，n，m，L]；得到最终的手部特征。
进一步的，步骤S4所述的将提取的手势特征信息与存储的特征信息进行比对，其具体操作方式为：将步骤S3提取得到的手部特征信息与在matalab中经过训练的SVM分类器进行分类和匹配，若匹配成功，则下发相应的指令给机械臂。
进一步的，所述下发相应的指令包括Mreset，Mpause和Mstart；其中，Mreset控制机械臂的复位，Mpause控制机械臂的暂停，Mstart控制机械臂的启动。
进一步的，所述的上位机和机械臂控制器设置在同一个5G CPE环境下，两者的数据传输的信息结构如下：
0 1 2 3 4 5 N N+6 N+7
STX LEN SEQ SYS COMP MSG PAYLOAD CKA CKB
其中，STX用于消息识别，解析；LEN记录负载信息的长度；SEQ为消息发送序列码，用于通信可靠性检验；SYS为发送该消息***的***ID；COMP为发送该消息***组件的组件ID；MSG为标识该消息的种类；PAYLOAD为指令信息；CKA和CKB为消息校验位。
有益效果
本发明提出的一种基于静态手势识别的机械臂远程控制方法，与现有技术相比较，其具有以下有益效果：
(1)本技术方案通过相机获取图像，经手势分割、形态学处理以及轮廓提取来消除干扰信息，在手势特征提取中，先提取手势图像的HOG特征，对HOG特征进行PCA降维处理，再利用快速凸包算法计算手部多个特征，将HOG特征和手部多特征进行归一化处理后串联融合形成最终的分类特征，最后将最终分类特征通过SVM(支持向量机)进行分类识别，平均识别率达到96％，较HOG+SVM和HOG+Hu+SVM在速度上和精度上都有明显的提高。
附图说明
图1是本发明中整体流程图。
图2是本发明中的硬件设备架构框图。
图3是本发明中的硬件设备连接示意图。
附图中的标号：1-机械臂本体、2-机械臂控制器、3-上位机、4-摄像头。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。
实施例1：
如图1-图3所示，一种基于静态手势识别的机械臂远程控制方法,包括机械臂本体，所述的机械臂本体的驱动装置与机械臂控制器连接，由机械臂控制器下达命令，控制机械臂运作；所述的机械臂控制器通过无线网络或信号线与上位机信号连接，进行信号传输；所述的上位机信号连接有用于采集手势的摄像头，摄像头与上位机连接，将采集的图像传送至上位机，由上位机进行图像处理和识别，判定手势下达的命令；具体操作流程如下：
S1：开启相机，相机开始工作，以帧数据形式采集视野范围内的图像，并将图像发送至上位机进行处理；
相机在装机时，需要对相机先进行数值设定。所述的数值设定是结合运动帧差法与HSV肤色空间阈值限定法获取操作者的肤色数据区域，将当前帧图像与相邻帧图像做差分获取运动区域，摆动手臂，使运动区域包括手势部分的肤色区域；在获取运动区域后，将图像从RGB颜色空间转换到HSV颜色空间，采用HSV肤色模型进行阈值限定；确定肤色模型的色调H，饱和度S，明度V的范围。
S2：上位机对相机上传的图像进行初步处理，逐帧进行检测；检测相机上传的图像是否存在手势；若图像上出现相应的肤色，则判断为手势出现，进行下一步S3；若未出现，则返回S1，继续采集图像；
S3：对图片中的手势数据进行特征提取；
上位机先将带有手势的图像进行灰度处理，再对带有手势的图像进行归一化处理，然后计算图像水平和垂直方向的梯度，做方向梯度直方图特征的HOG提取，最后提取得到图片中的手部特征；
对图片中的手势数据进行特征提取，具体操作步骤如下：
S31：将获取的图像进行灰度化处理，包括参数信息x，y，z；其中，x，y为像素坐标，z为在(x,y)处像素的像素灰度值；
S32：用伽马校正法对手势图像进行归一化处理，调节图像的对比度；
S33：计算图像水平和垂直方向的梯度，梯度为向量，包括大小和方向，在HOG特征提取中，用于求取特征向量；其中包括数据Gh(x,y)，Gv(x,y)和θ(x,y)；Gh(x,y)为像素点在水平方向上的梯度值，Gv(x,y)为像素点在垂直方向上的梯度值，θ(x,y)为像素点的梯度方向；像素点(x,y)的梯度强度M(x,y)和方向θ(x,y)的计算公式为：
M(x,y)≈|Gh(x,y)+Gv(x,y)|；
θ(x,y)＝arctan(Gh(x,y)/Gv(x,y))；
S34：提取HOG特征；将图像压缩到28*28大小，分成36个定义块，每个定义块分成4个细胞单元，再将每个细胞单元的方向分成9段，每段20°，对每一个细胞单元的梯度强度M(x,y)和方向θ(x,y)进行权重投影，在重叠定义块内的细胞单元进行对比度归一化处理，把所有的细胞单元的特征向量串行融合即可得到HOG特征向量；
将向量组成特征向量X，计算特征向量X的协方差矩阵C，对矩阵C求特征值和对应的特征向量，将特征向量对应的特征值按大小从上到下按行排列成矩阵，取前100行组成矩阵P，按下列公式获得新矩阵Y：
Y＝PX；
其中，矩阵Y的维数为100维；
S35：手部特征提取；手部特征包括三个参数，分别为：n，m，L；其中n为轮廓的凸包点数，m为轮廓的凸包缺陷数；L为圆形度；
遍历轮廓每个点，通过坐标求出两个极端点A，B；连接AB，分别对上凸包和下凸包内的点求凸包，在递归中找到距离AB最远的点C，做线段AC和BC，再将AC作为极端点进行递归，依次循环，直到无法找到凸包，则最远点即为凸包顶点，轮廓的凸包点数n得出；
每相邻的两个凸包点之间包含一个凸包凹陷，在求n过程中，对凸包点进行标记，得到凸包凹陷数m＝n-1；
轮廓的圆形度L由轮廓构成的面积和周长求出，分别用matalab中的bwarea()和bwperim()函数求出轮廓的面积S和周长C，圆形度的计算公式如下：
Figure BDA0003450963780000091
S36：HOG特征与手部特征归一化；求取HOG降维后的矩阵Y的特征向量α＝[h1,h2,…,h100]，并将向量α与手部特征向量β＝n,m,L]进行串行融合，得到融合特征向量R＝[h1,h2,…,h100,n,m,L]；得到最终的手部特征。
S4：将提取的手势特征信息与存储的特征信息进行比对，若比对成功，则进行S5，否则返回S1；
骤S4所述的将提取的手势特征信息与存储的特征信息进行比对，其具体操作方式为：将步骤S3提取得到的手部特征信息与在matalab中经过训练的SVM分类器进行分类和匹配，若匹配成功，则下发相应的指令给机械臂。所述下发相应的指令包括Mreset,Mpause和Mstart；其中，Mreset控制机械臂的复位，Mpause控制机械臂的暂停，Mstart控制机械臂的启动。
S5：机械臂根据手势映射的指令，完成相应的操作。
所述的上位机和机械臂控制器设置在同一个5G CPE环境下，两者的数据传输的信息结构如下：
0 1 2 3 4 5 N N+6 N+7
STX LEN SEQ SYS COMP MSG PAYLOAD CKA CKB
其中，STX用于消息识别，解析；LEN记录负载信息的长度；SEQ为消息发送序列码，用于通信可靠性检验；SYS为发送该消息***的***ID；COMP为发送该消息***组件的组件ID；MSG为标识该消息的种类；PAYLOAD为指令信息；CKA和CKB为消息校验位。
本实施例的实验环境是基于Windows10操作***下进行实验验证的，采用的是AMD26003.4GHz，16GB内存，256G固态硬盘的台式电脑，和分辨率为640*480的普通摄像头作为采集设备，使用Matalab2020a作为图像处理软件。
分别采集三种手势各586张，随机选取200张用于训练SVM模型，另外386张用于测试，共采集586*3张手势图像，其中200*3张用于测试，386*3张用于训练，分别对采集的图像进行归一化、二值化以及形态学等图像处理保存为训练集和数据集。
为了验证本次实验的鲁棒性，用训练集和测试集分别对HOG+SVM，HOG+Hu+SVM和HOG+手部多特征(本文算法)进行实验对比。对比表如下所示：
表1三种算法性能对比
Figure BDA0003450963780000111
本发明主要围绕静态手势以及根据手势远程遥控机械臂展开研究，针对当前手势识别存在价格昂贵，识别率低的缺点，提出了一种基于静态手势识别的机械臂远程控制方法，该方法通过相机获取图像，经手势分割、形态学处理以及轮廓提取来消除干扰信息，在手势特征提取中，先提取手势图像的HOG特征，对HOG特征进行PCA降维处理，再利用快速凸包算法计算手部多个特征，将HOG特征和手部多特征进行归一化处理后串联融合形成最终的分类特征，最后将最终分类特征通过SVM(支持向量机)进行分类识别，平均识别率达到96％，较HOG+SVM和HOG+Hu+SVM在速度上和精度上都有明显的提高。
在实验中，选取了HOG+SVM算法和HOG+Hu+SVM算法进行实验，与本文算法进行比较，得到下列结果：
HOG+SVM为采用方向梯度直方图特征(HOG)提取算法提取手势特征，采用支持向量机(SVM)作为分类器识别手势；HOG+Hu+SVM为采用采用方向梯度直方图特征(HOG)和Hu矩特征融合的方法提取收拾特征，采用支持向量机(SVM)作为分类器识别手势，其中图像Hu矩是一种具有平移、旋转和尺度不变性的图像特征，说明提取手部多特征与HOG特征融合能够一定程度上弥补单独提取HOG特征的不足，也说明基于单一特征的手势识别方法不能保证手势识别的准确性。

Claims (7)

1.一种基于静态手势识别的机械臂远程控制方法,包括机械臂本体，所述的机械臂本体的驱动装置与机械臂控制器连接，由机械臂控制器下达命令，控制机械臂运作；所述的机械臂控制器通过无线网络或信号线与上位机信号连接，进行信号传输；其特征在于：所述的上位机信号连接有用于采集手势的摄像头，摄像头与上位机连接，将采集的图像传送至上位机，由上位机进行图像处理和识别，判定手势下达的命令；具体操作流程如下：
S1：开启相机，相机开始工作，以帧数据形式采集视野范围内的图像，并将图像发送至上位机进行处理；
S2：上位机对相机上传的图像进行初步处理，逐帧进行检测；检测相机上传的图像是否存在手势；若图像上出现相应的肤色，则判断为手势出现，进行下一步S3；若未出现，则返回S1，继续采集图像；
S3：对图片中的手势数据进行特征提取；
上位机先将带有手势的图像进行灰度处理，再对带有手势的图像进行归一化处理，然后计算图像水平和垂直方向的梯度，做方向梯度直方图特征的HOG提取，最后提取得到图片中的手部特征；
S4：将提取的手势特征信息与存储的特征信息进行比对，若比对成功，则进行S5，否则返回S1；
S5：机械臂根据手势映射的指令，完成相应的操作。
2.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：步骤1所述的相机在装机时，需要对相机先进行数值设定。
3.根据权利要求2所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：所述的数值设定是结合运动帧差法与HSV肤色空间阈值限定法获取操作者的肤色数据区域，将当前帧图像与相邻帧图像做差分获取运动区域，摆动手臂，使运动区域包括手势部分的肤色区域；在获取运动区域后，将图像从RGB颜色空间转换到HSV颜色空间，采用HSV肤色模型进行阈值限定；确定肤色模型的色调H，饱和度S，明度V的范围。
4.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：步骤3所述的对图片中的手势数据进行特征提取，具体操作步骤如下：
S31：将获取的图像进行灰度化处理，包括参数信息x，y，z；其中，x，y为像素坐标，z为在(x,y)处像素的像素灰度值；
S32：用伽马校正法对手势图像进行归一化处理，调节图像的对比度；
S33：计算图像水平和垂直方向的梯度，梯度为向量，包括大小和方向，在HOG特征提取中，用于求取特征向量；其中包括数据Gh(x,y)，Gv(x,y)和θ(x,y)；Gh(x,y)为像素点在水平方向上的梯度值，Gv(x,y)为像素点在垂直方向上的梯度值，θ(x,y)为像素点的梯度方向；像素点(x,y)的梯度强度M(x,y)和方向θ(x,y)的计算公式为：
M(x,y)≈|Gh(x,y)+Gv(x,y)|；
θ(x,y)＝arctan(Gh(x,y)/Gv(x,y))；
S34：提取HOG特征；将图像压缩到28*28大小，分成36个定义块，每个定义块分成4个细胞单元，再将每个细胞单元的方向分成9段，每段20°，对每一个细胞单元的梯度强度M(x,y)和方向θ(x,y)进行权重投影，在重叠定义块内的细胞单元进行对比度归一化处理，把所有的细胞单元的特征向量串行融合即可得到HOG特征向量；
将向量组成特征向量X，计算特征向量X的协方差矩阵C，对矩阵C求特征值和对应的特征向量，将特征向量对应的特征值按大小从上到下按行排列成矩阵，取前100行组成矩阵P，按下列公式获得新矩阵Y：
Y＝PX；
其中，矩阵Y的维数为100维；
S35：手部特征提取；手部特征包括三个参数，分别为：n，m，L；其中n为轮廓的凸包点数，m为轮廓的凸包缺陷数；L为圆形度；
遍历轮廓每个点，通过坐标求出两个极端点A，B；连接AB，分别对上凸包和下凸包内的点求凸包，在递归中找到距离AB最远的点C，做线段AC和BC，再将AC作为极端点进行递归，依次循环，直到无法找到凸包，则最远点即为凸包顶点，轮廓的凸包点数n得出；
每相邻的两个凸包点之间包含一个凸包凹陷，在求n过程中，对凸包点进行标记，得到凸包凹陷数m＝n-1；
轮廓的圆形度L由轮廓构成的面积和周长求出，分别用matalab中的bwarea()和bwperim()函数求出轮廓的面积S和周长C，圆形度的计算公式如下：
Figure FDA0003450963770000041
S36：HOG特征与手部特征归一化；求取HOG降维后的矩阵Y的特征向量α＝[h1，h2，…，h100]，并将向量α与手部特征向量β＝[n，m，L]进行串行融合，得到融合特征向量R＝[h1，h2，…，h100，n，m，L]；得到最终的手部特征。
5.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：步骤S4所述的将提取的手势特征信息与存储的特征信息进行比对，其具体操作方式为：将步骤S3提取得到的手部特征信息与在matalab中经过训练的SVM分类器进行分类和匹配，若匹配成功，则下发相应的指令给机械臂。
6.根据权利要求5所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：所述下发相应的指令包括Mreset，Mpause和Mstart；其中，Mreset控制机械臂的复位，Mpause控制机械臂的暂停，Mstart控制机械臂的启动。
7.根据权利要求1所述的一种基于静态手势识别的机械臂远程控制方法，其特征在于：所述的上位机和机械臂控制器设置在同一个5G CPE环境下，两者的数据传输的信息结构如下：
0 1 2 3 4 5 N N+6 N+7 STX LEN SEQ SYS COMP MSG PAYLOAD CKA CKB
其中，STX用于消息识别，解析；LEN记录负载信息的长度；SEQ为消息发送序列码，用于通信可靠性检验；SYS为发送该消息***的***ID；COMP为发送该消息***组件的组件ID；MSG为标识该消息的种类；PAYLOAD为指令信息；CKA和CKB为消息校验位。
CN202111675180.XA 2021-12-31 2021-12-31 一种基于静态手势识别的机械臂远程控制方法 Active CN114399789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111675180.XA CN114399789B (zh) 2021-12-31 2021-12-31 一种基于静态手势识别的机械臂远程控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111675180.XA CN114399789B (zh) 2021-12-31 2021-12-31 一种基于静态手势识别的机械臂远程控制方法

Publications (2)

Publication Number Publication Date
CN114399789A true CN114399789A (zh) 2022-04-26
CN114399789B CN114399789B (zh) 2023-03-21

Family

ID=81228398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111675180.XA Active CN114399789B (zh) 2021-12-31 2021-12-31 一种基于静态手势识别的机械臂远程控制方法

Country Status (1)

Country Link
CN (1) CN114399789B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN111694428A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于Kinect的手势与轨迹远程控制机器人***
CN111702755A (zh) * 2020-05-25 2020-09-25 淮阴工学院 一种基于多目立体视觉的机械臂智能控制***
CN112836662A (zh) * 2021-02-15 2021-05-25 苏州优它科技有限公司 一种基于Kinect传感器静态手势识别方法
CN113211439A (zh) * 2021-05-10 2021-08-06 淮阴工学院 一种基于bm匹配机械臂控制***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN111694428A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于Kinect的手势与轨迹远程控制机器人***
CN111702755A (zh) * 2020-05-25 2020-09-25 淮阴工学院 一种基于多目立体视觉的机械臂智能控制***
CN112836662A (zh) * 2021-02-15 2021-05-25 苏州优它科技有限公司 一种基于Kinect传感器静态手势识别方法
CN113211439A (zh) * 2021-05-10 2021-08-06 淮阴工学院 一种基于bm匹配机械臂控制***和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张青春等: "基于AR技术机械臂物料抓取***设计", 《中国测试》 *
葛立: "基于双目视觉的六自由度机械臂手势识别控制***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN114399789B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN109033954B (zh) 一种基于机器视觉的空中手写识别***及方法
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
US7912253B2 (en) Object recognition method and apparatus therefor
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US8781221B2 (en) Hand gesture recognition system
US7929771B2 (en) Apparatus and method for detecting a face
CN111428731B (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
US8090151B2 (en) Face feature point detection apparatus and method of the same
CN107220664B (zh) 一种基于结构化随机森林的油瓶装箱清点方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN110164139B (zh) 一种侧方停车检测识别***及方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN110751619A (zh) 一种绝缘子缺陷检测方法
US20240203097A1 (en) Method and apparatus for training image processing model, and image classifying method and apparatus
CN107527368A (zh) 基于二维码的三维空间姿态定位方法与装置
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN113269234B (zh) 一种基于目标检测的连接件装配检测方法和***
CN107368847B (zh) 一种作物叶部病害识别方法及***
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉***
CN114399789B (zh) 一种基于静态手势识别的机械臂远程控制方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN111738062A (zh) 一种基于嵌入式平台的自动再识别方法及***
CN111553217A (zh) 一种驾驶员打***测方法与***
CN112418085B (zh) 一种部分遮挡工况下的面部表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240509

Address after: 230000 Room 203, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Hefei Jiuzhou Longteng scientific and technological achievement transformation Co.,Ltd.

Country or region after: China

Address before: 223005 Huaian 1 Jiangsu Economic Development Zone

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right