CN111360840A - 一种基于视觉算法的机械臂分拣方法 - Google Patents

一种基于视觉算法的机械臂分拣方法 Download PDF

Info

Publication number
CN111360840A
CN111360840A CN202010348476.XA CN202010348476A CN111360840A CN 111360840 A CN111360840 A CN 111360840A CN 202010348476 A CN202010348476 A CN 202010348476A CN 111360840 A CN111360840 A CN 111360840A
Authority
CN
China
Prior art keywords
mechanical arm
algorithm
initial position
method based
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010348476.XA
Other languages
English (en)
Inventor
任成鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Youcheng Automation Engineering Co ltd
Original Assignee
Shenyang Youcheng Automation Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Youcheng Automation Engineering Co ltd filed Critical Shenyang Youcheng Automation Engineering Co ltd
Priority to CN202010348476.XA priority Critical patent/CN111360840A/zh
Publication of CN111360840A publication Critical patent/CN111360840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于视觉算法的机械臂分拣方法，包括：零件的初始位置已经完全确定；机械臂计算部分完成；将计算结果输入司服电机驱动器，完成实际抓取动作。在于解决零件初始位置的问题，通过特定算法，完成抓取动作，适合推广，能够产生很好的经济效益。

Description

一种基于视觉算法的机械臂分拣方法
技术领域
本发明涉及工业以及物流分拣相关领域，具体涉及计算机视觉以及神经网络的识别算法，特别涉及一种基于视觉算法的机械臂分拣方法。
技术背景
已经有的技术，靠事先把零件摆到适当的位置，然后靠写好的机械臂实现抓取分类；原来的技术，在形状不规则或者相互跌压的情况，以及其他比较复杂混乱的情况，无法识别，只能靠人工分拣。
发明内容
针对上述问题，本发明提供一种基于视觉算法的机械臂分拣方法，在于解决零件初始位置的问题，通过特定算法，完成抓取动作，适合推广，能够产生很好的经济效益。
采用的技术方案：
一种基于视觉算法的机械臂分拣方法，包括：先由工业相机采集一针图像，靠特征点识别算法，匹配出大多数跟图像模版相匹配的特征点，由最小二乘法算，以及回归算法，解出单应矩阵的值，用此矩阵对图像模版做放射变换，解除零件的中心以及角度，再利用标定板标定出像素点坐标，以及世界坐标中转换的矩阵，此时，零件的初始位置已经完全确定；
当确定初始位置后，六轴机械臂进入准备状态，根据上位机发送的工件坐标位置，进入解逆算法，算出六轴关节角度，同理将目的位置发送给逆解器，得到目的坐标的六轴关节角度，机械臂计算部分完成；
将计算结果输入司服电机驱动器，完成实际抓取动作。
对于上述特定算法与传统算法的区别和进步在于：
a.传统方法：
选择某个像素
Figure 421429DEST_PATH_IMAGE001
，其像素值为
Figure 276252DEST_PATH_IMAGE002
，以
Figure 180623DEST_PATH_IMAGE001
为圆心，半径为3，确定一个圆，圆上有16个像素， 记为
Figure 575833DEST_PATH_IMAGE003
。确定一个阀值，记为
Figure 78620DEST_PATH_IMAGE004
；让圆上的n个连续的像素的像素值分别与
Figure 838766DEST_PATH_IMAGE001
的像素值 做差，若这些差值的绝对值都比
Figure 292750DEST_PATH_IMAGE005
大或都比
Figure 52502DEST_PATH_IMAGE006
小，则像素
Figure 908332DEST_PATH_IMAGE001
为角点。现在我们令
Figure 839378DEST_PATH_IMAGE007
（经 验数据）。接下来是实现这一步的具体步骤：分别计算
Figure 282123DEST_PATH_IMAGE008
与
Figure 19135DEST_PATH_IMAGE009
的像素值与
Figure 480204DEST_PATH_IMAGE002
的差，若差值的绝 对值都比
Figure 910048DEST_PATH_IMAGE005
大或都比
Figure 338624DEST_PATH_IMAGE006
小，则进入下一步判断，否则
Figure 551431DEST_PATH_IMAGE001
点被直接pass掉；分别计算
Figure 194902DEST_PATH_IMAGE008
，
Figure 233132DEST_PATH_IMAGE010
，
Figure 962054DEST_PATH_IMAGE009
，
Figure 978551DEST_PATH_IMAGE011
四个点像素值与
Figure 663479DEST_PATH_IMAGE002
的差值，若有
Figure 372809DEST_PATH_IMAGE012
个点的差值的绝对值都比
Figure 323448DEST_PATH_IMAGE005
大或都比
Figure 894369DEST_PATH_IMAGE006
小，则 进入下一步判断，否则pass掉p点；对圆上16个像素点的像素值分别与
Figure 184536DEST_PATH_IMAGE002
做差，若有
Figure 127084DEST_PATH_IMAGE013
个像素 点的差值的绝对值都比
Figure 751969DEST_PATH_IMAGE005
大或都比
Figure 795755DEST_PATH_IMAGE006
小，则p点为角点缺陷。
传统方法的缺陷在于：
这种检测方法不能推广到连续亮点或者暗点个数
Figure 268325DEST_PATH_IMAGE014
的情况；
这种检测方法对特征点的空间分布有隐含假设； 这种检测方法得到的判断信息最后也被丢弃了。
大量测试得到这样的结论：大量特征点都是相邻分布的，因此现在都通过ID3算法构建决策树来判断围绕待测目标点的Bresenham圆环上是否有n个连续的亮点或者暗点，进而判断该目标点是否是特征点。
本发明采用的特征算法：
b.基于机器学习方法的FAST算法：
1.确定一组训练图像；
2.使用FAST算法对每幅图像做角点检测；
3.在向量
Figure 506408DEST_PATH_IMAGE015
中存储每幅图像的每个焦点周围16个像素值。
4.对于图像中所有像素都重复如上操作；
5.对于圆环上的16个点（
Figure 369322DEST_PATH_IMAGE016
）安如下规则分为三类
Figure 593630DEST_PATH_IMAGE017
Figure 343542DEST_PATH_IMAGE018
是状 态（兴趣点是p，圆环上的点x）
Figure 565576DEST_PATH_IMAGE019
是像素x的值t是阀值6.根据状态，
Figure 165054DEST_PATH_IMAGE020
可以划分为三个子向 量
Figure 193053DEST_PATH_IMAGE021
，
Figure 312318DEST_PATH_IMAGE022
，
Figure 193336DEST_PATH_IMAGE023
；
6.确定一个布尔变量
Figure 93159DEST_PATH_IMAGE024
，当
Figure 596953DEST_PATH_IMAGE025
为角点时为True，当p不是角点是为False；
7.使用ID3决策树，按照
Figure 898621DEST_PATH_IMAGE024
的真假对
Figure 383829DEST_PATH_IMAGE020
的三个子向量进行训练；
8.ID3算法的的运行原则依据熵值最小（信息最多）以检测出像素点的位置
Figure 459364DEST_PATH_IMAGE026
其中
Figure 766848DEST_PATH_IMAGE027
是每个区域的角点个数
Figure 844395DEST_PATH_IMAGE028
是每个区域的非角点个数；
9.停止条件为上述划分的每一个等级熵值均为零；
10.训练结束后得到一个确定的决策树，以后可对类似场景使用这个决策树来检测角 点，Step2:非极大值抑制在筛选出来的候选角点中有很多是紧挨在一起的，需要通过非极 大值抑制来消除这种影响，为所有的候选角点计算一个打分函数
Figure 579132DEST_PATH_IMAGE029
:
Figure 187968DEST_PATH_IMAGE030
；
11.比较相邻候选角点的
Figure 46947DEST_PATH_IMAGE029
值，把V值较小的候选角点PASS掉至此，FAST算法结束。
算法代码：
import numpy as np
import cv2
src = cv2.imread("peiqi.jpg")
grayImg = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY)
fast = cv2.FastFeatureDetector_create(threshold=35)
kp = fast.detect(grayImg, None)
img2 = cv2.drawKeypoints(src, kp, None, (255, 0, 0), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
print('Threshold: ', fast.getThreshold())
print('nonmaxSuppression: ', fast.getNonmaxSuppression())
print('neighborhood: ', fast.getType())
print('Total Keypoints with nonmaxSuppression: ', len(kp))
cv2.imshow('fast_true', img2)
fast.setNonmaxSuppression(False)
kp = fast.detect(grayImg, None)
print('Total Keypoints without nonmaxSuppression: ', len(kp))
img3 = cv2.drawKeypoints(src, kp, None, (255, 0, 0), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.imshow('fast_false', img3)
cv2.waitKey()
cv2.destroyAllWindows.
本发明的优势和特点在于：
由于现阶段，社会进入老龄化，人工成本急剧上升，而且这种重复性高，劳动强度大的工作，对人身心不利，工厂出现用工荒的问题，带有机器视觉的机器人，可以很大程度缓解此类社会问题。
附图说明
图1为本发明的训练图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
一种基于视觉算法的机械臂分拣方法，包括：先由工业相机采集一针图像，靠特征点识别算法，匹配出大多数跟图像模版相匹配的特征点，由最小二乘法算，以及回归算法，解出单应矩阵的值，用此矩阵对图像模版做放射变换，解除零件的中心以及角度，再利用标定板标定出像素点坐标，以及世界坐标中转换的矩阵，此时，零件的初始位置已经完全确定；
当确定初始位置后，六轴机械臂进入准备状态，根据上位机发送的工件坐标位置，进入解逆算法，算出六轴关节角度，同理将目的位置发送给逆解器，得到目的坐标的六轴关节角度，机械臂计算部分完成；
将计算结果输入司服电机驱动器，完成实际抓取动作。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之，如果本领域的普通技术人员受其启示，在不脱离本发明的创造宗旨的情况下，不经创造者的允许设计出与该技术方案相似的结构方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.一种基于视觉算法的机械臂分拣方法，其特征在于包括：先由工业相机采集一针图像，靠特征点识别算法，匹配出大多数跟图像模版相匹配的特征点，由最小二乘法算，以及回归算法，解出单应矩阵的值，用此矩阵对图像模版做放射变换，解除零件的中心以及角度，再利用标定板标定出像素点坐标，以及世界坐标中转换的矩阵，此时，零件的初始位置已经完全确定；
当确定初始位置后，六轴机械臂进入准备状态，根据上位机发送的工件坐标位置，进入解逆算法，算出六轴关节角度，同理将目的位置发送给逆解器，得到目的坐标的六轴关节角度，机械臂计算部分完成；
将计算结果输入司服电机驱动器，完成实际抓取动作。
CN202010348476.XA 2020-04-28 2020-04-28 一种基于视觉算法的机械臂分拣方法 Pending CN111360840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010348476.XA CN111360840A (zh) 2020-04-28 2020-04-28 一种基于视觉算法的机械臂分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010348476.XA CN111360840A (zh) 2020-04-28 2020-04-28 一种基于视觉算法的机械臂分拣方法

Publications (1)

Publication Number Publication Date
CN111360840A true CN111360840A (zh) 2020-07-03

Family

ID=71201743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348476.XA Pending CN111360840A (zh) 2020-04-28 2020-04-28 一种基于视觉算法的机械臂分拣方法

Country Status (1)

Country Link
CN (1) CN111360840A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262568A (ja) * 1993-03-08 1994-09-20 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法とその装置
CN102243620A (zh) * 2011-06-02 2011-11-16 安凯 六关节机械臂逆运动学问题的快速求解方法
CN105196292A (zh) * 2015-10-09 2015-12-30 浙江大学 一种基于迭代变时长视觉伺服控制方法
US20190143525A1 (en) * 2017-11-16 2019-05-16 Kabushiki Kaisha Toshiba Actuation system and computer program product
CN109848987A (zh) * 2019-01-22 2019-06-07 天津大学 一种并联机器人视觉伺服控制方法
CN109895099A (zh) * 2019-03-28 2019-06-18 哈尔滨工业大学（深圳） 一种基于自然特征的飞行机械臂视觉伺服抓取方法
CN110744541A (zh) * 2019-10-08 2020-02-04 哈尔滨工程大学 一种视觉引导的水下机械臂控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262568A (ja) * 1993-03-08 1994-09-20 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法とその装置
CN102243620A (zh) * 2011-06-02 2011-11-16 安凯 六关节机械臂逆运动学问题的快速求解方法
CN105196292A (zh) * 2015-10-09 2015-12-30 浙江大学 一种基于迭代变时长视觉伺服控制方法
US20190143525A1 (en) * 2017-11-16 2019-05-16 Kabushiki Kaisha Toshiba Actuation system and computer program product
CN109848987A (zh) * 2019-01-22 2019-06-07 天津大学 一种并联机器人视觉伺服控制方法
CN109895099A (zh) * 2019-03-28 2019-06-18 哈尔滨工业大学（深圳） 一种基于自然特征的飞行机械臂视觉伺服抓取方法
CN110744541A (zh) * 2019-10-08 2020-02-04 哈尔滨工程大学 一种视觉引导的水下机械臂控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘代志: "《数字图像物体识别理论详解与实战》", vol. 1, 北京邮电大学出版社, pages: 87 - 90 *
晁衍凯等: "基于双目视觉的机器人目标定位与机械臂控制", vol. 23, no. 7, pages 6 - 9 *
赵艳花等: "基于位置的机器人视觉伺服控制", no. 2, pages 77 - 79 *

Similar Documents

Publication Publication Date Title
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN106570511B (zh) 基于计算机视觉的键盘字符缺陷在线检测***和方法
JP2885823B2 (ja) 視覚認識装置
CN104156726B (zh) 一种基于几何形状特征的工件识别方法及装置
US11030436B2 (en) Object recognition
CN111507976B (zh) 基于多角度成像的缺陷检测方法及***
Neto et al. Brazilian vehicle identification using a new embedded plate recognition system
US11037319B2 (en) Contaminant detection and bird risk management at airports
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN111027526B (zh) 一种提高车辆目标检测识别效率的方法
CN110910363A (zh) 基于机器视觉和深度学习的虚焊检测方法、***及介质
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
Babri et al. Feature based correspondence: a comparative study on image matching algorithms
CN113313725A (zh) 含能材料药桶的桶口识别方法及***
CN111360840A (zh) 一种基于视觉算法的机械臂分拣方法
CN110689005A (zh) 一种基于深度学习融合位置和形状信息的商品识别方法
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
Trang et al. Irregular moving object detecting and tracking based on color and shape in real-time system
Xiong et al. Research on real-time multi-object detections based on template matching
Guo et al. Real-time detection and classification of machine parts with embedded system for industrial robot grasping
Wang et al. Pose estimation based on pnp algorithm for the racket of table tennis robot
Kumar et al. Texture and shape based object detection strategies
Park et al. An efficient vision algorithm for fast and fine mask-panel alignment
Umeda et al. Three-dimensional vision system for mechanical assembly/disassembly
Dominguez et al. Object recognition and inspection in difficult industrial environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication