CN111360840A - 一种基于视觉算法的机械臂分拣方法 - Google Patents
一种基于视觉算法的机械臂分拣方法 Download PDFInfo
- Publication number
- CN111360840A CN111360840A CN202010348476.XA CN202010348476A CN111360840A CN 111360840 A CN111360840 A CN 111360840A CN 202010348476 A CN202010348476 A CN 202010348476A CN 111360840 A CN111360840 A CN 111360840A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- algorithm
- initial position
- method based
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 title claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000003066 decision tree Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于视觉算法的机械臂分拣方法,包括:零件的初始位置已经完全确定;机械臂计算部分完成;将计算结果输入司服电机驱动器,完成实际抓取动作。在于解决零件初始位置的问题,通过特定算法,完成抓取动作,适合推广,能够产生很好的经济效益。
Description
技术领域
本发明涉及工业以及物流分拣相关领域,具体涉及计算机视觉以及神经网络的识别算法,特别涉及一种基于视觉算法的机械臂分拣方法。
技术背景
已经有的技术,靠事先把零件摆到适当的位置,然后靠写好的机械臂实现抓取分类;原来的技术,在形状不规则或者相互跌压的情况,以及其他比较复杂混乱的情况,无法识别,只能靠人工分拣。
发明内容
针对上述问题,本发明提供一种基于视觉算法的机械臂分拣方法,在于解决零件初始位置的问题,通过特定算法,完成抓取动作,适合推广,能够产生很好的经济效益。
采用的技术方案:
一种基于视觉算法的机械臂分拣方法,包括:先由工业相机采集一针图像,靠特征点识别算法,匹配出大多数跟图像模版相匹配的特征点,由最小二乘法算,以及回归算法,解出单应矩阵的值,用此矩阵对图像模版做放射变换,解除零件的中心以及角度,再利用标定板标定出像素点坐标,以及世界坐标中转换的矩阵,此时,零件的初始位置已经完全确定;
当确定初始位置后,六轴机械臂进入准备状态,根据上位机发送的工件坐标位置,进入解逆算法,算出六轴关节角度,同理将目的位置发送给逆解器,得到目的坐标的六轴关节角度,机械臂计算部分完成;
将计算结果输入司服电机驱动器,完成实际抓取动作。
对于上述特定算法与传统算法的区别和进步在于:
a.传统方法:
选择某个像素,其像素值为,以为圆心,半径为3,确定一个圆,圆上有16个像素,
记为。确定一个阀值,记为;让圆上的n个连续的像素的像素值分别与的像素值
做差,若这些差值的绝对值都比大或都比小,则像素为角点。现在我们令(经
验数据)。接下来是实现这一步的具体步骤:分别计算与的像素值与的差,若差值的绝
对值都比大或都比小,则进入下一步判断,否则点被直接pass掉;分别计算,,,四个点像素值与的差值,若有个点的差值的绝对值都比大或都比小,则
进入下一步判断,否则pass掉p点;对圆上16个像素点的像素值分别与做差,若有个像素
点的差值的绝对值都比大或都比小,则p点为角点缺陷。
传统方法的缺陷在于:
这种检测方法对特征点的空间分布有隐含假设; 这种检测方法得到的判断信息最后也被丢弃了。
大量测试得到这样的结论:大量特征点都是相邻分布的,因此现在都通过ID3算法构建决策树来判断围绕待测目标点的Bresenham圆环上是否有n个连续的亮点或者暗点,进而判断该目标点是否是特征点。
本发明采用的特征算法:
b.基于机器学习方法的FAST算法:
1.确定一组训练图像;
2.使用FAST算法对每幅图像做角点检测;
4.对于图像中所有像素都重复如上操作;
9.停止条件为上述划分的每一个等级熵值均为零;
10.训练结束后得到一个确定的决策树,以后可对类似场景使用这个决策树来检测角
点,Step2:非极大值抑制在筛选出来的候选角点中有很多是紧挨在一起的,需要通过非极
大值抑制来消除这种影响,为所有的候选角点计算一个打分函数:;
算法代码:
import numpy as np
import cv2
src = cv2.imread("peiqi.jpg")
grayImg = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY)
fast = cv2.FastFeatureDetector_create(threshold=35)
kp = fast.detect(grayImg, None)
img2 = cv2.drawKeypoints(src, kp, None, (255, 0, 0), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
print('Threshold: ', fast.getThreshold())
print('nonmaxSuppression: ', fast.getNonmaxSuppression())
print('neighborhood: ', fast.getType())
print('Total Keypoints with nonmaxSuppression: ', len(kp))
cv2.imshow('fast_true', img2)
fast.setNonmaxSuppression(False)
kp = fast.detect(grayImg, None)
print('Total Keypoints without nonmaxSuppression: ', len(kp))
img3 = cv2.drawKeypoints(src, kp, None, (255, 0, 0), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.imshow('fast_false', img3)
cv2.waitKey()
cv2.destroyAllWindows.
本发明的优势和特点在于:
由于现阶段,社会进入老龄化,人工成本急剧上升,而且这种重复性高,劳动强度大的工作,对人身心不利,工厂出现用工荒的问题,带有机器视觉的机器人,可以很大程度缓解此类社会问题。
附图说明
图1为本发明的训练图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
一种基于视觉算法的机械臂分拣方法,包括:先由工业相机采集一针图像,靠特征点识别算法,匹配出大多数跟图像模版相匹配的特征点,由最小二乘法算,以及回归算法,解出单应矩阵的值,用此矩阵对图像模版做放射变换,解除零件的中心以及角度,再利用标定板标定出像素点坐标,以及世界坐标中转换的矩阵,此时,零件的初始位置已经完全确定;
当确定初始位置后,六轴机械臂进入准备状态,根据上位机发送的工件坐标位置,进入解逆算法,算出六轴关节角度,同理将目的位置发送给逆解器,得到目的坐标的六轴关节角度,机械臂计算部分完成;
将计算结果输入司服电机驱动器,完成实际抓取动作。
以上对本发明及其实施方式进行了描述,这种描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。总而言之,如果本领域的普通技术人员受其启示,在不脱离本发明的创造宗旨的情况下,不经创造者的允许设计出与该技术方案相似的结构方案与实施例,均应属于本发明的保护范围。
Claims (1)
1.一种基于视觉算法的机械臂分拣方法,其特征在于包括:先由工业相机采集一针图像,靠特征点识别算法,匹配出大多数跟图像模版相匹配的特征点,由最小二乘法算,以及回归算法,解出单应矩阵的值,用此矩阵对图像模版做放射变换,解除零件的中心以及角度,再利用标定板标定出像素点坐标,以及世界坐标中转换的矩阵,此时,零件的初始位置已经完全确定;
当确定初始位置后,六轴机械臂进入准备状态,根据上位机发送的工件坐标位置,进入解逆算法,算出六轴关节角度,同理将目的位置发送给逆解器,得到目的坐标的六轴关节角度,机械臂计算部分完成;
将计算结果输入司服电机驱动器,完成实际抓取动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010348476.XA CN111360840A (zh) | 2020-04-28 | 2020-04-28 | 一种基于视觉算法的机械臂分拣方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010348476.XA CN111360840A (zh) | 2020-04-28 | 2020-04-28 | 一种基于视觉算法的机械臂分拣方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111360840A true CN111360840A (zh) | 2020-07-03 |
Family
ID=71201743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010348476.XA Pending CN111360840A (zh) | 2020-04-28 | 2020-04-28 | 一种基于视觉算法的机械臂分拣方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111360840A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06262568A (ja) * | 1993-03-08 | 1994-09-20 | Nippondenso Co Ltd | 視覚に基く三次元位置および姿勢の認識方法とその装置 |
CN102243620A (zh) * | 2011-06-02 | 2011-11-16 | 安凯 | 六关节机械臂逆运动学问题的快速求解方法 |
CN105196292A (zh) * | 2015-10-09 | 2015-12-30 | 浙江大学 | 一种基于迭代变时长视觉伺服控制方法 |
US20190143525A1 (en) * | 2017-11-16 | 2019-05-16 | Kabushiki Kaisha Toshiba | Actuation system and computer program product |
CN109848987A (zh) * | 2019-01-22 | 2019-06-07 | 天津大学 | 一种并联机器人视觉伺服控制方法 |
CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学(深圳) | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
CN110744541A (zh) * | 2019-10-08 | 2020-02-04 | 哈尔滨工程大学 | 一种视觉引导的水下机械臂控制方法 |
-
2020
- 2020-04-28 CN CN202010348476.XA patent/CN111360840A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06262568A (ja) * | 1993-03-08 | 1994-09-20 | Nippondenso Co Ltd | 視覚に基く三次元位置および姿勢の認識方法とその装置 |
CN102243620A (zh) * | 2011-06-02 | 2011-11-16 | 安凯 | 六关节机械臂逆运动学问题的快速求解方法 |
CN105196292A (zh) * | 2015-10-09 | 2015-12-30 | 浙江大学 | 一种基于迭代变时长视觉伺服控制方法 |
US20190143525A1 (en) * | 2017-11-16 | 2019-05-16 | Kabushiki Kaisha Toshiba | Actuation system and computer program product |
CN109848987A (zh) * | 2019-01-22 | 2019-06-07 | 天津大学 | 一种并联机器人视觉伺服控制方法 |
CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学(深圳) | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
CN110744541A (zh) * | 2019-10-08 | 2020-02-04 | 哈尔滨工程大学 | 一种视觉引导的水下机械臂控制方法 |
Non-Patent Citations (3)
Title |
---|
刘代志: "《数字图像物体识别理论详解与实战》", vol. 1, 北京邮电大学出版社, pages: 87 - 90 * |
晁衍凯等: "基于双目视觉的机器人目标定位与机械臂控制", vol. 23, no. 7, pages 6 - 9 * |
赵艳花等: "基于位置的机器人视觉伺服控制", no. 2, pages 77 - 79 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104992449B (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
CN106570511B (zh) | 基于计算机视觉的键盘字符缺陷在线检测***和方法 | |
JP2885823B2 (ja) | 視覚認識装置 | |
CN104156726B (zh) | 一种基于几何形状特征的工件识别方法及装置 | |
US11030436B2 (en) | Object recognition | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及*** | |
Neto et al. | Brazilian vehicle identification using a new embedded plate recognition system | |
US11037319B2 (en) | Contaminant detection and bird risk management at airports | |
CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
CN111027526B (zh) | 一种提高车辆目标检测识别效率的方法 | |
CN110910363A (zh) | 基于机器视觉和深度学习的虚焊检测方法、***及介质 | |
CN114863464B (zh) | 一种pid图纸图件信息的二阶识别方法 | |
Babri et al. | Feature based correspondence: a comparative study on image matching algorithms | |
CN113313725A (zh) | 含能材料药桶的桶口识别方法及*** | |
CN111360840A (zh) | 一种基于视觉算法的机械臂分拣方法 | |
CN110689005A (zh) | 一种基于深度学习融合位置和形状信息的商品识别方法 | |
CN116188763A (zh) | 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 | |
Trang et al. | Irregular moving object detecting and tracking based on color and shape in real-time system | |
Xiong et al. | Research on real-time multi-object detections based on template matching | |
Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
Wang et al. | Pose estimation based on pnp algorithm for the racket of table tennis robot | |
Kumar et al. | Texture and shape based object detection strategies | |
Park et al. | An efficient vision algorithm for fast and fine mask-panel alignment | |
Umeda et al. | Three-dimensional vision system for mechanical assembly/disassembly | |
Dominguez et al. | Object recognition and inspection in difficult industrial environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |
|
RJ01 | Rejection of invention patent application after publication |