CN112975970A - 一种视觉抓取机械臂*** - Google Patents

一种视觉抓取机械臂*** Download PDF

Info

Publication number
CN112975970A
CN112975970A CN202110224918.4A CN202110224918A CN112975970A CN 112975970 A CN112975970 A CN 112975970A CN 202110224918 A CN202110224918 A CN 202110224918A CN 112975970 A CN112975970 A CN 112975970A
Authority
CN
China
Prior art keywords
mechanical arm
mechanical
camera
grabbing
garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110224918.4A
Other languages
English (en)
Inventor
赵天乐
刘瑞彪
马年龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Science and Technology
Original Assignee
Qingdao University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Science and Technology filed Critical Qingdao University of Science and Technology
Priority to CN202110224918.4A priority Critical patent/CN112975970A/zh
Publication of CN112975970A publication Critical patent/CN112975970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种视觉抓取机械臂***,包括视觉部分、抓取部分、动力部分;所述视觉部分包括树莓派开发板、高清免驱480p摄像头,所述抓取部分包括机械臂、机械轴,所述动力部分包括机械臂的六个舵机。基于深度学习的视觉抓取机械臂***利用深度学习技术,通过大量训练不断提高机器识别的准确性和灵敏度,实现垃圾投放的准确高效,最终实现垃圾的减量化和资源化,达到节约环保,提高垃圾分类效率的目的。

Description

一种视觉抓取机械臂***
技术领域
本发明涉及机械臂抓取领域,具体涉及一种视觉抓取机械臂***。
背景技术
随着城市建设的高速发展,优化环境管理与服务一直是关注的重点,也是一项民生重要工程。不断改善市民的生活居住环境,将融入了新一代的信息技术,打造智慧城市建设。首要是解决城市垃圾作为一大难题,而且对智慧城市发展充满了诸多挑战。
目前,我国的垃圾分类回收体系的构建依然处于初步阶段,由于随意地垃圾投放造成的环境压力和经济损失越来越大,而无法准确分类投放垃圾使得回收成本进一步升高,人们对于垃圾分类意识的淡薄,以及缺少准确将垃圾进行分类投放的能力,又使垃圾分类效率低下。传统的分类垃圾桶以及垃圾分类设备来推进垃圾分类愈显效率低、覆盖面小、成本高等局限性。且目前市场上也没有使用基于深度学习的视觉抓取机械臂***这一概念所做出的垃圾分类产品。社会对垃圾分类投放准确性的需求越来越高,如何能将垃圾准确分类投放是当下需要解决的问题。
发明内容
为了解决上述问题,本发明提供了一种基于深度学习的视觉抓取机械臂***,利用深度学习技术,实现垃圾投放的准确高效,通过基于深度学习的大量训练,不断提高机器识别的准确性和灵敏度,并对无法识别的垃圾进行归类,进一步等待专业人员进行核查处理,保证垃圾分类的有效、准确、合理,提高垃圾分类投放的价值。最终实现垃圾的减量化和资源化。达到节约环保,提高垃圾分类效率的目的。
本发明通过以下技术方案实现:一种视觉抓取机械臂***,所述视觉抓取机械臂***包括视觉部分、抓取部分、动力部分,所述视觉部分包括树莓派开发板、高清免驱480p摄像头(以下简称为摄像头),所述抓取部分包括机械臂、机械轴,所述动力部分包括机械臂的六个舵机.
进一步地,所述树莓派开发板与摄像头连接。
进一步地,所述机械臂之间通过六个机械轴连接,所述机械臂包括机械臂位姿控制模块、控制器、电机部分、减速装置,所述机械臂位姿控制模块提供两种控制方式,一种是通过软件Tonyrobot studio来实现,另一种是通过Python API进行控制,所述控制器采用ARM对机械臂进行控制,所述电机部分采用机械臂自带的步进电机对机械臂进行电力供给,所述减速装置采用机械臂自带的同步带和行星减速机来对装置进行减速处理。
进一步地,所述机械臂的六个舵机通过供电实现各自的动作,从而实现各种角度的抓取。
本发明使用生活中各种垃圾大量的图片对作品进行训练、学习,使该作品可以精确识别出每个垃圾的种类。同时本文还采用张正友标定法对该作品的摄像头的内外参数进行了测量,并对畸变参数进行纠正,基本消除了图像畸变对垃圾位置的影响。并且通过坐标转换得到垃圾位置后,利用运动学方程逆解计算出各个转轴转动角度,使机械臂末端可以精准的夹起垃圾,完成分类操作。作品的独特之处在于没有使用复杂的算法,而是通过各部分的紧密配合实现垃圾的精确识别和精准分类。
附图说明
通过阅读参照一下附图对非限制性实施例所作的详细描述,本发明的其他特征、目的和优点将会变的更为明显:
图1为本发明的视觉抓取机械臂***框架;
图2为本发明的基于机械臂的世界坐标系图;
图3为本发明的像素坐标系与图像坐标系的位置关系图;
图4为本发明的摄像头坐标系与图像坐标系几何关系图;
图5为本发明的9*7棋盘标定板。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
一种视觉抓取机械臂***,包括硬件部分和软件部分。
实施例1:
本实施例的一种视觉抓取机械臂***,所述视觉抓取机械臂***包括硬件部分和软件部分,所述硬件部分包括视觉部分、抓取部分、动力部分,参考图1。所述视觉部分包括树莓派开发板、高清免驱480p摄像头(以下简称为摄像头),所述抓取部分包括机械臂、机械轴,所述动力部分包括机械臂的六个舵机;
实施例2:
本实施例是在上述实施例的基础上,进一步的限定,其特征在于:所述视觉部分包括树莓派开发板和摄像头,树莓派开发板与摄像头连接,摄像头内设麦克风,树莓派用于对摄像头拍摄到的画面进行视觉识别,找出画面中所对应的垃圾分类,摄像头的内置麦克风用于语音输出识别结果;
实施例3:
本实施例是在上述实施例的基础上,进一步的限定,其特征在于:所述抓取部分包括机械臂和机械轴,机械臂安装在机械轴上,所述机械臂包括机械臂位姿控制模块、控制器、电机部分和减速装置,所述机械臂位姿控制模块用于控制提供两种控制方式,一种是通过软件Tonyrobot studio来实现,另一种是通过Python API进行控制,所述控制器用于对机械臂进行控制,所述电机部分用于对机械臂供电,所述减速装置用于对机械臂进行减速;
实施例4:
本实施例是在上述实施例的基础上,进一步的限定,其特征在于:所述动力部分包括舵机,所述舵机用于实现机械臂的不同角度的垃圾抓取、垃圾丢弃动作;
实施例5:
本实施例是在实施例1的基础上,进一步的限定,其特征在于:智能机械臂抓取***的软件部分包括数据集收集模块、垃圾识别模块、垃圾中心位置坐标模块、抓取模块。
实施例6:
本实施例是在上述实施例5的基础上,进一步的限定,其特征在于:所述数据集收集模块采用的图片数据来自于华为云人工智能大赛·垃圾分类挑战杯所提供的20000多张图片,共40种不同的生活垃圾,根据2019年住房和城乡***发布《生活垃圾分类标志》标准,将40种不同的垃圾分为以下四类:可回收垃圾,有害垃圾,厨余垃圾和其他垃圾等,为了后期编程的方便,对垃圾类型进行统一编号。
实施例7:
本实施例是在上述实施例5的基础上,进一步的限定,其特征在于:所述垃圾识别模块利用残差网络ResNet50进行训练,并通过迁移学习的方式实现,在预模型的基础上采用50层的深度残差网络ResNet-50对不同类型的垃圾数据集进行训练,快速实现了对原始图像的分类与预测。包括图片归类、训练集数据增强、网络搭建与微调、模型装配与训练几个步骤。
实施例8:
本实施例是在上述实施例7的基础上,进一步的限定,其特征在于:所述图片归类收集足够种类和足够数量的生活垃圾的图片,并对垃圾类型进行分类和编号;
实施例9:
本实施例是在上述实施例7的基础上,进一步的限定,其特征在于:所述训练集数据增强利用平移、缩放、颜色等变躁,人工增大训练、集样本的个数。
实施例10:
本实施例是在上述实施例7的基础上,进一步的限定,其特征在于:所述网络搭建与微调将深度学习率设置为0.0001,损失率为0.005,步长为4。通过两次迭代,对模型进行微调。
实施例11:
本实施例是在上述实施例7的基础上,进一步的限定,其特征在于:所述模型装配与训练采用的是Adam优化器,Categorical Crossentropy交叉熵损失函数,以及accuracy测试精确度,每训练完一个eopchs后,打印出平均分类精确度,并且利用当前epochs训练出的参数,对验证集进行测试,打印出当前epochs的验证机测试精确度,最后保存模型参数,训练运行train.py,训练结束会创建output文件夹,并将结果权重best.h5写入该文件夹,best.h5即为模型的权重文件。
实施例12:
本实施例是在上述实施例5的基础上,进一步的限定,其特征在于:所述获取垃圾中心位置坐标为了后期机械臂的精确抓取,本项目通过使用opencv对垃圾进行识别,找到中心位置坐标。首先对图像进行高斯滤波,灰度处理,然后进行二值化,开元运算,最后对轮廓进行提取,计算中心点位置的像素坐标;
具体包括以下步骤:
(1)以机械臂基座中心为原点,以机械臂正前方为x轴,正上方为z轴,左侧为y轴,建立机器人坐标系,将世界坐标与机器人坐标重合;
(2)以拍摄图像左上角为原点建立以像素为单位的像素坐标系u-v,像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数;
(3)建立以物理单位(如毫米)表示的图像坐标系x-y,将摄像头光轴与图像平面的交点(一般位于图像平面的中心处)定义为该坐标系的原点O1,且x轴与u轴平行,y轴与v轴平行;
(4)定义摄像头坐标系,O点是摄像头的光心,P是摄像头坐标系下的点,Xc轴和Yc轴和x、y轴平行,Zc轴为摄像头的光轴,和图像平面垂直,交点为O1,Zc轴与Xc轴、Yc轴满足右手法则,根据摄像头的成像原理,OO1即为摄像头的焦距f。根据三角形相似,本文可以得到图像平面坐标(x,y)和摄像头坐标(Xc,Yc,Zc)的关系用齐次坐标与矩阵表示为:
Figure BDA0002956883810000031
其中设Zc为固定的常数。
(5)通过上述四个坐标系的转换就可以得到一个点从像素坐标系到图像坐标系到摄像头坐标系最后到世界坐标系的转换:
Figure BDA0002956883810000032
其中,M1为摄像头的内部参数、M2为外部参数;
所述M1采用以下方法获取:
本文主要采用张正友标定法对摄像头的内外参进行标定,在参数标定时,本文使用9*7的棋盘作为标定板,参考图5。本文将标定板打印,使用同一摄像头从不同的位置,不同的角度,拍摄标定板的多张照片,将照片放到文件夹中。在摄像头的制作过程中,难免会产生一些误差,这些误差将导致摄像头成像中产生径向畸变与切向畸变。因此,在使用摄像头时为了减少这些畸变对于识别精度的影响,就要进行内部参数标定。由于一个没有畸变的像素点在(x,y)坐标中因为畸变成了(Xd,Yd)。径向畸变会导致图像出现“水桶状”或者“鱼眼”效果。
对于径向畸变,我们使用如下公式进行描述:
x_distored=x(1+k1r2+k2r4+k3r6)
y_distored=y(1+k1r2+k2r4+k3r6)
切向畸变的出现,是由于透镜没有和图像平面完美得平行导致的,可以用以下公式来进行描述切向畸变:
x_distorted=x+[2p1xy+p2(r2+2x2)]
y_distorted=y+[p1(r2+2y2)+2p2xy]
在内参标定后,通过运行代码,就会得到内部参数矩阵,用于校正摄像头畸变,得到没有畸变的图像。
所述M2采用以下方法获取:
为了将机器视觉集成到机械臂,还需要确定摄像头坐标与世界坐标的变换参数,即外部参数。因此本文使用一个4x4矩阵来描述各坐标系之间的平移与旋转变换。
Figure BDA0002956883810000041
其中,R为一个3x3的旋转矩阵,表示刚体在参考坐标系中的旋转变换,t为3x1的平移变换,表示刚体在参考系中的平移变换。
按照摄像头相对于机器人安装位置的不同,可以分为摄像头安装在机器人外和摄像头安装在机器人末端上两种方式。本文采用眼在手上的摄像头安装方式,即摄像头固定在机器人末端,摄像头坐标与机器人末端的相对坐标是不变的。
对于眼在手上这种安装方式,本文中存在四种坐标转换,分别为机器人末端在世界坐标系下的位姿
Figure BDA0002956883810000042
摄像头相对机器人末端的位姿
Figure BDA0002956883810000043
标定板在摄像头坐标系下的位姿
Figure BDA0002956883810000044
摄像头在世界坐标系下的位姿
Figure BDA0002956883810000045
其中
Figure BDA0002956883810000046
可以直接在Python API内规划,
Figure BDA0002956883810000047
则可以通过识别棋盘格的方式找到,
Figure BDA0002956883810000048
变换和
Figure BDA0002956883810000049
变换是固定的,只要知道这两个变换,我们就可以随时计算摄像头的实际位置,手眼标定的目的正是通过这些已知的坐标变换,找到摄像头坐标与世界坐标之间的平移和旋转变换。
对于眼在手上:
Figure BDA00029568838100000410
将已知矩阵进行整理后:
Figure BDA00029568838100000411
最终可以抽象成:
AX=XB
手眼标定问题转换为了求解矩阵方程AX=XB的问题。其中A为机器人末端在机器人坐标下移动前后的相对关系,B为物体在摄像头坐标中移动前后的相对关系,我们能计算得到
Figure BDA0002956883810000051
变换,那么摄像头在机器人坐标系下的位姿
Figure BDA0002956883810000052
也就自然得到。
Figure BDA0002956883810000053
要唯一确定手眼矩阵的各分量,至少需要旋转轴不平行的两组运动。由于在观测中一般存在噪声,因此在实际测量中一般需要多组运动来求解该方程。
标定的具体流程如下:
将一张标定板放在桌面上,设定一组十个左右的机器人的动作。在保证这些动作下摄像头可以拍摄到完整棋盘的前提下,通过机器人提供的API控制机器人末端位姿,将每个动作依次执行。在每一次机器人末端规划完毕后,机器人控制器会返回一个规划成功的信息。当收到这个到位信息后,运行OpenCV图像拍摄功能的程序捕获一张当前画面,并且将所拍摄的图像自动按照***数字编号,这个编号与机器人位姿是匹配的。
对上一步捕获得到的每张标定板图像样本进行处理,得到标定板在摄像头坐标系下的变换矩阵
Figure BDA0002956883810000054
再通过C++编写的转换程序对Python API规划的机器人末端位姿数据
Figure BDA0002956883810000055
进行转化,将其存储为YAML格式;运行手眼标定程序。通过计算得到所需要的手眼矩阵,并存储为TXT格式文件以供视觉程序使用;完成手眼标定流程,将标定结果拷贝到树莓派,并在视觉伺服部分读取这个变换矩阵,经计算,得到
Figure BDA0002956883810000056
的变换矩阵即外部参数矩阵。
实施例16:
本实施例是在上述实施例的基础上,进一步的限定,其特征在于:本设计将***的各个部分相对独立实现,不同模块之间通过ROS topic或ROS service机制实现互联通讯。在机械臂部分,通过OpenCV视觉识别完成后的工件位姿,再与手眼矩阵做运算,得到手抓应有的位姿,并做出决策。
在获得物品的位姿后,首先检查是否在机械臂的工作空间。如果在工作空间内,则进行下一步的抓取:首先将机器人夹子打开,机械臂移动到抓取位置,到达位置后关闭夹子,此时机械臂就会将物品夹起来。然后再规划一个笛卡尔路径到达固定垃圾箱,保证在放到指定容器的过程中不会与场景中的障碍物发生碰撞,到达垃圾箱上方时,打开夹子,物品落入容器;如果不在工作空间内则放弃抓取。
以上所述是对本发明的较佳实施进行了具体说明,并不用于限制本发明,对于熟悉本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改﹑等同替换,改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种视觉抓取机械臂***,其特征在于,所述视觉抓取机械臂***包括视觉部分、抓取部分、动力部分、音频输出部分;所述视觉部分包括树莓派开发板、高清免驱480p摄像头(以下简称为摄像头),所述抓取部分包括机械臂、机械轴,所述动力部分包括机械臂的六个舵机。
2.根据权利要求1所述的一种视觉抓取机械臂***,其特征在于,所述树莓派开发板与摄像头连接。
3.根据权利要求1所述的一种视觉抓取机械臂***,其特征在于,所述机械臂之间通过六个机械轴连接,所述机械臂包括机械臂位姿控制模块、控制器、电机部分、减速装置,所述机械臂位姿控制模块提供两种控制方式,一种是通过软件Tonyrobot studio来实现,另一种是通过Python API进行控制,所述控制器采用ARM对机械臂进行控制,所述电机部分采用机械臂自带的步进电机对机械臂进行电力供给,所述减速装置采用机械臂自带的同步带和行星减速机来对装置进行减速处理。
4.根据权利要求1所述的一种视觉抓取机械臂***,其特征在于,所述机械臂的六个舵机通过供电实现各自的动作,从而实现各种角度的抓取。
CN202110224918.4A 2021-03-01 2021-03-01 一种视觉抓取机械臂*** Pending CN112975970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110224918.4A CN112975970A (zh) 2021-03-01 2021-03-01 一种视觉抓取机械臂***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110224918.4A CN112975970A (zh) 2021-03-01 2021-03-01 一种视觉抓取机械臂***

Publications (1)

Publication Number Publication Date
CN112975970A true CN112975970A (zh) 2021-06-18

Family

ID=76351538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110224918.4A Pending CN112975970A (zh) 2021-03-01 2021-03-01 一种视觉抓取机械臂***

Country Status (1)

Country Link
CN (1) CN112975970A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113911586A (zh) * 2021-12-09 2022-01-11 四川大学 智能垃圾分拣***及分拣方法
CN113963253A (zh) * 2021-07-16 2022-01-21 长沙理工大学 基于视觉识别的低水头枢纽漂污物自动处理设施
CN114228950A (zh) * 2021-11-26 2022-03-25 江苏科技大学 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963253A (zh) * 2021-07-16 2022-01-21 长沙理工大学 基于视觉识别的低水头枢纽漂污物自动处理设施
CN114228950A (zh) * 2021-11-26 2022-03-25 江苏科技大学 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船
CN113911586A (zh) * 2021-12-09 2022-01-11 四川大学 智能垃圾分拣***及分拣方法
CN113911586B (zh) * 2021-12-09 2022-03-18 四川大学 智能垃圾分拣***及分拣方法

Similar Documents

Publication Publication Date Title
CN112975970A (zh) 一种视觉抓取机械臂***
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN107590835B (zh) 一种核环境下机械臂工具快换视觉定位***与定位方法
CN106000904B (zh) 一种生活垃圾自动分拣***
CN111974704A (zh) 基于计算机视觉的垃圾分类检测***及方法
CN108121996A (zh) 一种基于机器视觉的电力屏柜硬压板状态识别方法
CN114952809B (zh) 工件识别和位姿检测方法、***及机械臂的抓取控制方法
CN109461184B (zh) 一种机器人机械臂抓取物体的抓取点自动定位方法
CN110089350A (zh) 一种蘑菇采摘机器人***及采摘方法
CN110480637A (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN112906797A (zh) 一种基于计算机视觉和深度学***面抓取检测方法
CN109821763A (zh) 一种基于机器视觉的水果分拣***及其图像识别方法
CN108672316A (zh) 一种基于卷积神经网络的微小零件质量检测***
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN110553650B (zh) 一种基于小样本学习的移动机器人重定位方法
CN108074265A (zh) 一种基于视觉辨识的网球定位***、方法及装置
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN110298885A (zh) 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN116984269A (zh) 一种基于图像识别的煤矸石抓取方法及***
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及***
CN114131603A (zh) 基于感知增强和场景迁移的深度强化学习机器人抓取方法
Gao et al. An automatic assembling system for sealing rings based on machine vision
CN112633090A (zh) 机器人视觉的集中风***内部霉菌与积尘辨识方法及应用
Shi et al. A fast workpiece detection method based on multi-feature fused SSD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication