CN109514550A - 一种基于图像处理的机械爪控制方法和*** - Google Patents

一种基于图像处理的机械爪控制方法和*** Download PDF

Info

Publication number
CN109514550A
CN109514550A CN201811268329.0A CN201811268329A CN109514550A CN 109514550 A CN109514550 A CN 109514550A CN 201811268329 A CN201811268329 A CN 201811268329A CN 109514550 A CN109514550 A CN 109514550A
Authority
CN
China
Prior art keywords
clipped object
target
gripper
clipped
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811268329.0A
Other languages
English (en)
Inventor
张俊卿
王儒敬
陈翔宇
高钧
魏圆圆
刘宜
朱利凯
刘洋
黄河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201811268329.0A priority Critical patent/CN109514550A/zh
Publication of CN109514550A publication Critical patent/CN109514550A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的机械爪控制方法和***，包括：控制摄像头运动到目标被夹物上方，采集目标被夹物图片；通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型；基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数；控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。

Description

一种基于图像处理的机械爪控制方法和***
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于图像处理的机械爪控制方法和***。
背景技术
在自动化检测的实验装置中，需要使用一个可以XYZ三轴运动的机械爪抓取不同位置上的被夹物(如玻璃器皿)。针对不同的玻璃器皿，比如锥形瓶、三角瓶、试管、烧杯，他们的外形尺寸相差较大，机械爪张开的角度是不同的，同时由于不同器皿的机械强度不同，机械爪在夹取过程中使用的力矩大小也不同。如果选择一个折中的张角和力矩抓取不同的器皿，会存在器皿掉落、夹碎等故障，针对不同的玻璃器皿，机械爪会有不同的最优张角和抓取力矩，目前使用的方法是把不同的玻璃器皿分区，分别放置，这样针对不同的器皿都有一个独立的流水线，该方法成本非常高，同时增加了***的复杂度，降低了可靠性。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于图像处理的机械爪控制方法和***；
本发明提出的一种基于图像处理的机械爪控制方法，包括：
S1、控制摄像头运动到目标被夹物上方，采集目标被夹物图片；
S2、通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型；
S3、基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数；
S4、控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
优选地，步骤S2中，在所述通过被夹物SVM分类器对目标被夹物图片进行识别之前，还包括：
控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片；
提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量；
通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
优选地，步骤S3，具体包括：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数。
优选地，步骤S3中，所述机械爪参数，包括：张角和抓取力矩。
一种基于图像处理的机械爪控制***，包括：
图片采集模块，用于控制摄像头运动到目标被夹物上方，采集目标被夹物图片；
类型识别模块，用于通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型；
参数确定模块，用于基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数；
抓取控制模块，用于控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
优选地，还包括分类器构建模块，与类型识别模块连接，分类器构建模块用于在类型识别模块通过被夹物SVM分类器对目标被夹物图片进行识别之前，控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片，提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量，通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
优选地，所述参数确定模块，具体用于：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数。
优选地，所述参数确定模块，具体用于：机械爪参数包括张角和抓取力矩。
本发明通过控制摄像头运动到目标被夹物上方，采集目标被夹物图片，通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型，基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数，控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取，如此，通过梯度方向直方图(HOG)和支持向量机(SVM)自动对被夹物进行识别得到被夹物类型，再根据被夹物类型设置与被夹物类型对应的机械爪张角和力矩对被夹物进行抓取，防止被夹物在抓取的过程中掉落、夹碎，同时通过对被夹物进行识别，无需事先对被夹物进行分类，使流水线自动化程度更高，减少人力成本，提高了机械爪抓取被夹物的可靠性。
附图说明
图1为本发明提出的一种基于图像处理的机械爪控制方法的流程示意图；
图2为本发明提出的一种基于图像处理的机械爪控制***的模块示意图。
具体实施方式
参照图1，本发明提出的一种基于图像处理的机械爪控制方法，包括：
步骤S1，控制摄像头运动到目标被夹物上方，采集目标被夹物图片。
在具体方案中，控制与机械爪配合使用的摄像头运动到待目标被夹物的上方，与机械爪配合使用的摄像头采集目标被夹物的目标被夹物图片。
步骤S2，通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型，在所述通过被夹物SVM分类器对目标被夹物图片进行识别之前，还包括：控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片；提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量；通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
在具体方案中，基于梯度方向直方图(HOG)的核心思想是用梯度方向密度分布来描述玻璃器皿局部特征，它将目标图像划分成许多大小相同的连通域，称为细胞单元(cell),然后统计每个细胞单元中各像素点的梯度的方向，生成直方图，这些直方图串连起来就构成了被夹物的特征描述器。由于HOG特征是在图像的局部方格单元上获得的，所以它对图像几何和光学的形变都能保持很好的鲁棒性，适合自动化检测线的复杂环境。支持向量机(SVM)作为一种统计学理论，建立在结构风险最小原理基础上，在模型的复杂度和学习能力间寻找最佳折中，从而获得最好的泛化能力。不同于传统的将原输入空间降维的思路，基于核函数的SVM分类器把原来线性不可分的输入空间通过非线性变换得到一个高维空间，将原来线性不可分的问题变成线性可分。由于升维操作采用核函数，运算的复杂度并没有相应提高。通过N张被夹物图片的特征向量对SVM分类器进行离线训练后，得到的被夹物SVM分类器就可以实现对不同的被夹物进行识别。
步骤S3，基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数，具体包括：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数，其中，机械爪参数包括张角和抓取力矩。
在具体方案中，针对不同的被夹物类型，预设与被夹物类型对应的机械爪张角和抓取力矩，并建立被夹物类型与机械爪参数对应关系表，如此，在获取目标被夹物类型后，将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，即可得到与目标被夹物类型对应的目标机械爪参数。
步骤S4，控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
在具体方案中，根据与目标被夹物类型对应的目标机械爪参数对目标被夹物进行抓取，防止被夹物在抓取的过程中掉落、夹碎。
参照图2，本发明提出的一种基于图像处理的机械爪控制***，包括：
图片采集模块，用于控制摄像头运动到目标被夹物上方，采集目标被夹物图片。
在具体方案中，控制与机械爪配合使用的摄像头运动到待目标被夹物的上方，与机械爪配合使用的摄像头采集目标被夹物的目标被夹物图片。
类型识别模块，用于通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型。
分类器构建模块，与类型识别模块连接，分类器构建模块用于在类型识别模块通过被夹物SVM分类器对目标被夹物图片进行识别之前，控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片，提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量，通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
在具体方案中，基于梯度方向直方图(HOG)的核心思想是用梯度方向密度分布来描述玻璃器皿局部特征，它将目标图像划分成许多大小相同的连通域，称为细胞单元(cell),然后统计每个细胞单元中各像素点的梯度的方向，生成直方图，这些直方图串连起来就构成了被夹物的特征描述器。由于HOG特征是在图像的局部方格单元上获得的，所以它对图像几何和光学的形变都能保持很好的鲁棒性，适合自动化检测线的复杂环境。支持向量机(SVM)作为一种统计学理论，建立在结构风险最小原理基础上，在模型的复杂度和学习能力间寻找最佳折中，从而获得最好的泛化能力。不同于传统的将原输入空间降维的思路，基于核函数的SVM分类器把原来线性不可分的输入空间通过非线性变换得到一个高维空间，将原来线性不可分的问题变成线性可分。由于升维操作采用核函数，运算的复杂度并没有相应提高。通过N张被夹物图片的特征向量对SVM分类器进行离线训练后，得到的被夹物SVM分类器就可以实现对不同的被夹物进行识别。
参数确定模块，用于基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数，具体用于：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数，其中，机械爪参数包括张角和抓取力矩。
在具体方案中，针对不同的被夹物类型，预设与被夹物类型对应的机械爪张角和抓取力矩，并建立被夹物类型与机械爪参数对应关系表，如此，在获取目标被夹物类型后，将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，即可得到与目标被夹物类型对应的目标机械爪参数。
抓取控制模块，用于控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
在具体方案中，根据与目标被夹物类型对应的目标机械爪参数对目标被夹物进行抓取，防止被夹物在抓取的过程中掉落、夹碎。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于图像处理的机械爪控制方法，其特征在于，包括：
S1、控制摄像头运动到目标被夹物上方，采集目标被夹物图片；
S2、通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型；
S3、基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数；
S4、控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
2.根据权利要求1所述的基于图像处理的机械爪控制方法，其特征在于，步骤S2中，在所述通过被夹物SVM分类器对目标被夹物图片进行识别之前，还包括：
控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片；
提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量；
通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
3.根据权利要求1所述的基于图像处理的机械爪控制方法，其特征在于，步骤S3，具体包括：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数。
4.根据权利要求1或3所述的基于图像处理的机械爪控制方法，其特征在于，步骤S3中，所述机械爪参数，包括：张角和抓取力矩。
5.一种基于图像处理的机械爪控制***，其特征在于，包括：
图片采集模块，用于控制摄像头运动到目标被夹物上方，采集目标被夹物图片；
类型识别模块，用于通过被夹物SVM分类器对目标被夹物图片进行识别，得到目标被夹物类型；
参数确定模块，用于基于目标被夹物类型和预设的被夹物类型与机械爪参数对应关系表，得到与目标被夹物类型对应的目标机械爪参数；
抓取控制模块，用于控制机械爪运动到被夹物上方，并控制机械爪根据目标机械爪参数对目标被夹进行抓取。
6.根据权利要求1所述的基于图像处理的机械爪控制***，其特征在于，还包括分类器构建模块，与类型识别模块连接，分类器构建模块用于在类型识别模块通过被夹物SVM分类器对目标被夹物图片进行识别之前，控制摄像头分别运动到N个不同的被夹物上方，获取N张被夹物图片，提取N张被夹物图片的HOG特征，得到N张被夹物图片的特征向量，通过N张被夹物图片的特征向量对SVM分类器进行离线训练，得到被夹物SVM分类器。
7.根据权利要求1所述的基于图像处理的机械爪控制方法，其特征在于，所述参数确定模块，具体用于：将目标被夹物类型代入被夹物类型与机械爪参数对应关系表中，得到与目标被夹物类型对应的目标机械爪参数。
8.根据权利要求1或7所述的基于图像处理的机械爪控制方法，其特征在于，所述参数确定模块，具体用于：机械爪参数包括张角和抓取力矩。
CN201811268329.0A 2018-10-29 2018-10-29 一种基于图像处理的机械爪控制方法和*** Pending CN109514550A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811268329.0A CN109514550A (zh) 2018-10-29 2018-10-29 一种基于图像处理的机械爪控制方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268329.0A CN109514550A (zh) 2018-10-29 2018-10-29 一种基于图像处理的机械爪控制方法和***

Publications (1)

Publication Number Publication Date
CN109514550A true CN109514550A (zh) 2019-03-26

Family

ID=65772585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268329.0A Pending CN109514550A (zh) 2018-10-29 2018-10-29 一种基于图像处理的机械爪控制方法和***

Country Status (1)

Country Link
CN (1) CN109514550A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110202576A (zh) * 2019-06-14 2019-09-06 福耀集团(福建)机械制造有限公司 一种工件二维视觉引导抓取检测***和方法
CN114229451A (zh) * 2021-12-30 2022-03-25 宁波智能成型技术创新中心有限公司 一种基于多轴力和力矩的智能抓取防掉落检测调控方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156726A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于几何形状特征的工件识别方法及装置
US20170140300A1 (en) * 2015-11-18 2017-05-18 Honda Motor Co., Ltd. Classification apparatus, robot, and classification method
CN106737664A (zh) * 2016-11-25 2017-05-31 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及***
CN107443411A (zh) * 2017-09-29 2017-12-08 太仓市三源机电有限公司 一种智能机械手的夹持器
EP3284563A2 (en) * 2016-08-17 2018-02-21 Kabushiki Kaisha Yaskawa Denki Picking system
CN108638054A (zh) * 2018-04-08 2018-10-12 河南科技学院 一种智能排爆机器人五指灵巧手控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156726A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于几何形状特征的工件识别方法及装置
US20170140300A1 (en) * 2015-11-18 2017-05-18 Honda Motor Co., Ltd. Classification apparatus, robot, and classification method
EP3284563A2 (en) * 2016-08-17 2018-02-21 Kabushiki Kaisha Yaskawa Denki Picking system
CN106737664A (zh) * 2016-11-25 2017-05-31 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及***
CN107443411A (zh) * 2017-09-29 2017-12-08 太仓市三源机电有限公司 一种智能机械手的夹持器
CN108638054A (zh) * 2018-04-08 2018-10-12 河南科技学院 一种智能排爆机器人五指灵巧手控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐家宝: "基于视觉的机器人分拣***", 《中国优秀硕士学位论文全文数据库—信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110202576A (zh) * 2019-06-14 2019-09-06 福耀集团(福建)机械制造有限公司 一种工件二维视觉引导抓取检测***和方法
CN114229451A (zh) * 2021-12-30 2022-03-25 宁波智能成型技术创新中心有限公司 一种基于多轴力和力矩的智能抓取防掉落检测调控方法

Similar Documents

Publication Publication Date Title
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN107992881B (zh) 一种机器人动态抓取方法及***
CN112388655B (zh) 一种基于触觉振动信号与视觉图像融合的抓取物识别方法
CN207861446U (zh) 用于机器人拆垛设备的控制***
CN111626117B (zh) 基于目标检测的垃圾分拣***及方法
CN108335331B (zh) 一种钢卷双目视觉定位方法及设备
CN108229665A (zh) 一种以深度卷积神经网络为基础的零件分拣***
CN107009391B (zh) 机器人抓取方法
JP2013541775A (ja) ロボットシステムにおける対象物体画像のフィルタ方法
CN109514550A (zh) 一种基于图像处理的机械爪控制方法和***
CN111539259A (zh) 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手
CN106203455B (zh) 基于机器视觉的物料排正装置及圆柱形物料特征属性的识别方法
CN104101294A (zh) 分析装置、分析程序以及分析***
CN108748149A (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN106807801B (zh) 一种高速精冲机模具表面废料智能在线检测方法及装置
CN110110823A (zh) 基于rfid和图像识别的物体辅助识别***及方法
CN107958253A (zh) 一种图像识别的方法和装置
CN112102289A (zh) 一种基于机器视觉的细胞样本离心处理***及方法
CN111739003A (zh) 一种用于外观检测的机器视觉算法
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉***
CN116984269A (zh) 一种基于图像识别的煤矸石抓取方法及***
CN111275756A (zh) 线轴定位方法及装置
CN207937374U (zh) 一种焊盘焊接缺陷检测装置
CN111127462A (zh) 基于多曝光成像的成衣印花缺陷检测***及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326