CN107598920A - 一种基于视觉控制的机械手 - Google Patents
一种基于视觉控制的机械手 Download PDFInfo
- Publication number
- CN107598920A CN107598920A CN201710731723.2A CN201710731723A CN107598920A CN 107598920 A CN107598920 A CN 107598920A CN 201710731723 A CN201710731723 A CN 201710731723A CN 107598920 A CN107598920 A CN 107598920A
- Authority
- CN
- China
- Prior art keywords
- control
- manipulator
- control module
- view
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉控制的机械手，包括：机械手组件、驱动组件、摄像装置和控制模块；其中，所述摄像装置获取待抓取物体的图像并输出至所述控制模块；所述控制模块基于模式识别处理图像以获取待抓取物体的特征信息和位置信息，基于位置信息和特征信息输出控制指令；所述驱动组件基于所述控制指令驱动所述机械手组件。本发明通过摄像头获取待抓取物体的特征和位置以输出对应的控制指令，基于该控制指令控制机械手抓取对应物体。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于视觉控制的机械手。
背景技术
机械手目前广泛应用于机械制造、轻重工业、物流、冶金及3C等领域，用以取代人手进行抓取和搬运等重复性、机械性工作，能够极大程度上提高生产；同时也能取代人手进行一些复杂、危险性高的工作，较大程度上保证人身安全。
普通的机械手采用刚性的结构，且结构复杂，功能比较单一，只能针对形状和位置固定的物体进行抓取。
发明内容
为了解决上述问题，本发明提供一种基于视觉控制的机械手，通过摄像头获取待抓取物体的特征和位置以输出对应的控制指令，基于该控制指令控制机械手抓取对应物体。
本发明采用的技术方案为一种基于视觉控制的机械手，包括：机械手组件、驱动组件、摄像装置和控制模块；其中，所述摄像装置获取待抓取物体的图像并输出至所述控制模块；所述控制模块基于模式识别处理图像以获取待抓取物体的特征信息和位置信息，基于位置信息和特征信息输出控制指令；所述驱动组件基于所述控制指令驱动所述机械手组件。
优选地，所述控制模块基于模式识别处理图像的步骤包括获取图像、图像预处理、图像匹配、特征提取和位置计算。
优选地，所述控制模块基于预设的物体模板进行图像匹配以获取所述待抓取物体的特征信息，所述特征信息包括形状、大小和姿态。
优选地，所述控制模块获取所述特征信息，基于远近法计算待抓取物体与摄像装置之间的距离，基于所述距离和机械手坐标系进行位置计算以获取位置信息。
优选地，所述机械手组件包括传动结构和弹性材料制成的手指，所述传动结构分别连接所述驱动组件和所述手指，所述驱动组件驱动所述传动结构以控制手指。
优选地，所述驱动组件包括驱动电机和电源电路，所述电源电路分别连接所述控制模块和所述驱动电机。
优选地，所述控制模块基于所述电源电路的输出功率判断机械手组件的运行状态。
本发明的有益效果为通过摄像头获取待抓取物体的特征和位置以输出对应的控制指令，基于该控制指令控制机械手抓取对应物体。
附图说明
图1所示为基于本发明实施例的一种基于视觉控制的机械手示意图。
具体实施方式
以下结合实施例对本发明进行说明。
基于发明的实施例，如图1所示一种基于视觉控制的机械手，包括：机械手组件1、驱动组件2、摄像装置3和控制模块；其中，所述摄像装置获取待抓取物体的图像并输出至所述控制模块；所述控制模块基于模式识别处理图像以获取待抓取物体的特征信息和位置信息，基于位置信息和特征信息输出控制指令；所述驱动组件基于所述控制指令驱动所述机械手组件。
为了实现夹持的目的，首先是需要一个机械手，该机械手包括正常的手指结构4(用于抓取物体)，传动结构(用于控制手指运动)，驱动结构(用于驱动传动结构)；在机械手上设置一个摄像头，通过该摄像头获取待抓取物体的图像；一般的图像处理方法是，通过分析图像以获取各种轮廓，根据轮廓判断所属物体，再确定一个参考坐标系，(由于机械手工作的环境是一个相对固定的环境，作为图像背景的一些环境要素都是固定的，例如待抓取物体在生产线上运动，则摄像头获取的图像会包括传送带之类的结构，这类的结构相对于待抓取物体是不变的，则以这些结构作为参照的坐标系)，然后根据坐标系计算出待抓取物体的位置，这样的图像处理方式耗时较多，涉及的算法也较为复杂，而本方案主要采取的是基于预设模版的模式识别处理图像，即识别的目标是面向标准化的、种类数量有限制的物体，基于预设模板进行识别，能够很快的识别出预定的待抓取物体，同时由于远近原理，根据待抓取物体的大小，可以算出待抓取物体离摄像头的距离，(发出移动指令)移动机械手(也即移动摄像头)，根据待抓取物体的图像的大小的变化知道对应的距离变化，当到达一定距离的时候，(发出控制指令)驱动手指进行抓取。
所述控制模块基于模式识别处理图像的步骤包括获取图像、图像预处理、图像匹配、特征提取和位置计算。
所述控制模块基于预设的物体模板进行图像匹配以获取所述待抓取物体的特征信息，所述特征信息包括形状、大小和姿态。
所述控制模块获取所述特征信息，基于远近法计算待抓取物体与摄像装置之间的距离，基于所述距离和机械手坐标系进行位置计算以获取位置信息。
基于上述实施例的机械手，包括控制模块，该模块用于处理图像并输出控制命令，处理图像的步骤包括图像预处理(例如滤波，余弦转换等本领域惯用的用于处理图像的方式以增加图像效果)，然后根据预设的模板进行特征提取(例如先通过轮廓辨识基本位置，然后代入模板进行匹配确认，最后进行特征的识别和提取，相对与一般的图像处理方法区别在于只识别一个待抓取物体)，根据远近法的原理进行位置确认(主要是距离确认，因为摄像头会一直随着机械手进行运动，而机械手和摄像头是固定在一起的，所以机械手运动的目的只需要确定待抓取图像是否在中心位置即可)，同时根据特征信息中的姿态信息调整手指的姿态，可以方便的正确抓取物体(例如待抓取物体的不同摆放角度对应不同的手指方位等)。
所述机械手组件包括传动结构和弹性材料制成的手指，所述传动结构分别连接所述驱动组件和所述手指，所述驱动组件驱动所述传动结构以控制手指。
动力装置(驱动组件)通过四连杆机构(传动机构)将动力传递到柔性软体手指驱动部位，驱动手指发生变形，当抓取小物体时，利用手指的抓取部位的变形自适应被抓取物体，依靠手指与被抓取物体间的摩擦力，实现抓取；当抓取体积较大的物体时，利用手指间闭合形成的包络空腔自适应包裹物体，完成物体抓取，同时手指在接触到物体之后，需要施加一定的力，当手指抓紧物体时，对应的驱动组件的出力也达到高点，据此可以推断是否正在抓取物体。
所述驱动组件包括驱动电机和电源电路，所述电源电路分别连接所述控制模块和所述驱动电机。
所述控制模块基于所述电源电路的输出功率判断机械手组件的运行状态。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (7)
1.一种基于视觉控制的机械手，其特征在于，包括：
机械手组件、驱动组件、摄像装置和控制模块；其中，
所述摄像装置获取待抓取物体的图像并输出至所述控制模块；
所述控制模块基于模式识别处理图像以获取待抓取物体的特征信息和位置信息，基于位置信息和特征信息输出控制指令；
所述驱动组件基于所述控制指令驱动所述机械手组件。
2.根据权利要求1所述一种基于视觉控制的机械手，其特征在于，所述控制模块基于模式识别处理图像的步骤包括获取图像、图像预处理、图像匹配、特征提取和位置计算。
3.根据权利要求2所述一种基于视觉控制的机械手，其特征在于，所述控制模块基于预设的物体模板进行图像匹配以获取所述待抓取物体的特征信息，所述特征信息包括形状、大小和姿态。
4.根据权利要求3所述一种基于视觉控制的机械手，其特征在于，所述控制模块获取所述特征信息，基于远近法计算待抓取物体与摄像装置之间的距离，基于所述距离和机械手坐标系进行位置计算以获取位置信息。
5.根据权利要求1所述一种基于视觉控制的机械手，其特征在于，所述机械手组件包括传动结构和弹性材料制成的手指，所述传动结构分别连接所述驱动组件和所述手指，所述驱动组件驱动所述传动结构以控制手指。
6.根据权利要求1或5所述一种基于视觉控制的机械手，其特征在于，所述驱动组件包括驱动电机和电源电路，所述电源电路分别连接所述控制模块和所述驱动电机。
7.根据权利要求6所述一种基于视觉控制的机械手，其特征在于，所述控制模块基于所述电源电路的输出功率判断机械手组件的运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710731723.2A CN107598920A (zh) | 2017-08-23 | 2017-08-23 | 一种基于视觉控制的机械手 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710731723.2A CN107598920A (zh) | 2017-08-23 | 2017-08-23 | 一种基于视觉控制的机械手 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107598920A true CN107598920A (zh) | 2018-01-19 |
Family
ID=61065609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710731723.2A Pending CN107598920A (zh) | 2017-08-23 | 2017-08-23 | 一种基于视觉控制的机械手 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107598920A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108278126A (zh) * | 2018-04-03 | 2018-07-13 | 长沙矿山研究院有限责任公司 | 一种智能型溜井放矿*** |
| CN108500989A (zh) * | 2018-04-07 | 2018-09-07 | 广州未名雷蒙特实验室科技有限公司 | 实验室智能机械手***及其操作方法 |
| CN108994414A (zh) * | 2018-09-12 | 2018-12-14 | 东莞景金智能设备有限公司 | 一种智能电子组件锡焊*** |
| CN109436786A (zh) * | 2018-12-21 | 2019-03-08 | 广东赛德英斯智能装备有限公司 | 一种尺寸自适应式物品抓取方法及实现该方法的装置 |
| CN109822568A (zh) * | 2019-01-30 | 2019-05-31 | 北京镁伽机器人科技有限公司 | 机器人控制方法、***及存储介质 |
| WO2019184487A1 (zh) * | 2018-03-30 | 2019-10-03 | 北京进化者机器人科技有限公司 | 机器人的控制方法、装置和机器人 |
| CN110654601A (zh) * | 2019-09-29 | 2020-01-07 | 珠海格力智能装备有限公司 | 装配设备和电饭煲包装生产线 |
| CN112459734A (zh) * | 2020-11-26 | 2021-03-09 | 湖南三一石油科技有限公司 | 一种机械手定位方法、装置、机械手及存储介质 |
| CN113088438A (zh) * | 2021-05-07 | 2021-07-09 | 广东威科质量检测有限公司 | 浮游菌采样检测一体化机器人 |
| CN113352314A (zh) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | 基于闭环反馈的机器人运动控制***及方法 |
| CN113752279A (zh) * | 2021-10-08 | 2021-12-07 | 吉林大学 | 一种用于回收auv的智能仿生软体机械手 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05127724A (ja) * | 1991-10-30 | 1993-05-25 | Nippondenso Co Ltd | 山積み部品の高速ピツキング装置 |
| JP2006102881A (ja) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | 把持ロボット装置 |
| CN102729250A (zh) * | 2011-04-02 | 2012-10-17 | 北京石油化工学院 | 象棋开局摆棋***和方法 |
| JP2015044257A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社デンソーアイティーラボラトリ | ロボット、ロボット制御方法、及びロボット制御プログラム |
| EP2919155A1 (en) * | 2014-03-13 | 2015-09-16 | Omron Corporation | Image processing device, system, image processing method, and image processing program |
| CN105835060A (zh) * | 2016-05-23 | 2016-08-10 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手*** |
| CN207223965U (zh) * | 2017-08-23 | 2018-04-13 | 深圳果力智能科技有限公司 | 一种机械手 |
-
2017
- 2017-08-23 CN CN201710731723.2A patent/CN107598920A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05127724A (ja) * | 1991-10-30 | 1993-05-25 | Nippondenso Co Ltd | 山積み部品の高速ピツキング装置 |
| JP2006102881A (ja) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | 把持ロボット装置 |
| CN102729250A (zh) * | 2011-04-02 | 2012-10-17 | 北京石油化工学院 | 象棋开局摆棋***和方法 |
| JP2015044257A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社デンソーアイティーラボラトリ | ロボット、ロボット制御方法、及びロボット制御プログラム |
| EP2919155A1 (en) * | 2014-03-13 | 2015-09-16 | Omron Corporation | Image processing device, system, image processing method, and image processing program |
| CN105835060A (zh) * | 2016-05-23 | 2016-08-10 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手*** |
| CN207223965U (zh) * | 2017-08-23 | 2018-04-13 | 深圳果力智能科技有限公司 | 一种机械手 |
Non-Patent Citations (1)
| Title |
|---|
| 斯华龄&张立明: "《只能视觉图像处理》", vol. 1, 《上海科技教育出版社, pages: 53 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019184487A1 (zh) * | 2018-03-30 | 2019-10-03 | 北京进化者机器人科技有限公司 | 机器人的控制方法、装置和机器人 |
| CN108278126A (zh) * | 2018-04-03 | 2018-07-13 | 长沙矿山研究院有限责任公司 | 一种智能型溜井放矿*** |
| CN108500989A (zh) * | 2018-04-07 | 2018-09-07 | 广州未名雷蒙特实验室科技有限公司 | 实验室智能机械手***及其操作方法 |
| CN108994414A (zh) * | 2018-09-12 | 2018-12-14 | 东莞景金智能设备有限公司 | 一种智能电子组件锡焊*** |
| CN109436786A (zh) * | 2018-12-21 | 2019-03-08 | 广东赛德英斯智能装备有限公司 | 一种尺寸自适应式物品抓取方法及实现该方法的装置 |
| CN109822568A (zh) * | 2019-01-30 | 2019-05-31 | 北京镁伽机器人科技有限公司 | 机器人控制方法、***及存储介质 |
| CN110654601A (zh) * | 2019-09-29 | 2020-01-07 | 珠海格力智能装备有限公司 | 装配设备和电饭煲包装生产线 |
| CN113352314A (zh) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | 基于闭环反馈的机器人运动控制***及方法 |
| CN112459734A (zh) * | 2020-11-26 | 2021-03-09 | 湖南三一石油科技有限公司 | 一种机械手定位方法、装置、机械手及存储介质 |
| CN113088438A (zh) * | 2021-05-07 | 2021-07-09 | 广东威科质量检测有限公司 | 浮游菌采样检测一体化机器人 |
| CN113752279A (zh) * | 2021-10-08 | 2021-12-07 | 吉林大学 | 一种用于回收auv的智能仿生软体机械手 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107598920A (zh) | 一种基于视觉控制的机械手 | |
| US7289884B1 (en) | Hand control system, method, program, hand, and robot | |
| JP6454960B2 (ja) | ロボット、ロボットシステム、ロボット制御装置 | |
| CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及*** | |
| CN110963298A (zh) | 基于视觉跟随的取料装置及方法 | |
| CN111203849A (zh) | 一种移动机器人抓取作业***及控制方法 | |
| US12030191B2 (en) | Vision-guided picking and placing method, mobile robot and computer-readable storage medium | |
| TW201710052A (zh) | 注塑機機械手之控制系統及控制方法 | |
| Yang et al. | Real-time human-robot interaction in complex environment using kinect v2 image recognition | |
| CN111085993A (zh) | 与人进行协同作业的机器人***以及机器人控制方法 | |
| Kumar et al. | Computer vision based object grasping 6DoF robotic arm using picamera | |
| CN105128009A (zh) | 具有精确感测物体形状位姿的仿生机器人及其感测方法 | |
| JP6898374B2 (ja) | ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法 | |
| CN208645339U (zh) | 一种具有视觉监控功能的机械手 | |
| JP4591043B2 (ja) | ロボットによる任意形状物体の把持方法 | |
| CN114670189A (zh) | 存储介质、以及生成机器人的控制程序的方法及*** | |
| CN116749233A (zh) | 基于视觉伺服的机械臂抓取***及方法 | |
| CN111225554B (zh) | 散装目标抓取、装配方法、装置、控制器和*** | |
| Li et al. | Design of a tactile sensing robotic gripper and its grasping method | |
| Zhou et al. | Visual servo control system of 2-DOF parallel robot | |
| Gao et al. | Vision-based grasping and manipulation of flexible USB wires | |
| Funakubo et al. | Recognition and handling of clothes with different pattern by dual hand-eyes robotic system | |
| JP2003062775A (ja) | 人間型ハンドロボット用教示システム | |
| JP4222338B2 (ja) | 適応型ビジュアルフィードバック制御方法 | |
| KR101198920B1 (ko) | 로보틱 그래스퍼 장치 및 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |