CN110253588A - 一种新型机械臂动态抓取*** - Google Patents

一种新型机械臂动态抓取*** Download PDF

Info

Publication number
CN110253588A
CN110253588A CN201910719497.5A CN201910719497A CN110253588A CN 110253588 A CN110253588 A CN 110253588A CN 201910719497 A CN201910719497 A CN 201910719497A CN 110253588 A CN110253588 A CN 110253588A
Authority
CN
China
Prior art keywords
steering engine
module
new type
grasping system
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910719497.5A
Other languages
English (en)
Inventor
许志敏
魏海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201910719497.5A priority Critical patent/CN110253588A/zh
Publication of CN110253588A publication Critical patent/CN110253588A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及工业生产领域,具体地说,就是一种新型机械臂动态抓取***,包括自由度机械臂模块、语音识别模块、摄像头模块、VGA显示模块、FPGA模块,自由度机械臂模块包括六个舵机、控制板,将六个舵机分别设定为舵机一、舵机二、舵机三、舵机四、舵机五、舵机零,舵机四控制机械臂的抓取方向,舵机五连接转动关节与机械手,控制机械臂的张合,转动关节部分均设置为最大的转动角度,控制板与六个舵机相连。本发明不同于传统的人工操作机械臂抓取,而是采用FPGA来实现图像识别,后由六自由度机械臂实时智能抓取物体,自动化程度大大提升,且工作效率大大提高,采用语音识别的方式来控制***的启停,更加方便、便捷、安全,适用于工业领域中机械臂抓取任务。

Description

一种新型机械臂动态抓取***
技术领域
本发明涉及工业生产领域,具体地说,就是一种新型机械臂动态抓取***。
背景技术
近年来我国制造业在迎接市场需求的情况下获得了巨大的发展,促使国内工业机器人技术不断革新,大规模/超大规模集成电路(ApplicationSpecific IntegratedCircuits,ASIC)以及现场可编程门阵列FPGA的飞速发展,为图像处理提供了越来越强大的处理性能,它们在图像领域的应用越来越广泛,使图像处理***正朝着速度快、容量大、体积小、重量轻的方向发展。
传统的工业机械臂的动作路线单一、灵活性不够。
发明内容
为了解决上述问题,本发明提供了一种将图像识别与机械臂结合,再结合相关传感器,通过对某区域内的图像处理进行智能识别的机械臂动态抓取***,可用于产品的分拣与收集,该***可以作为升级模块直接为工业生产中的机械臂进行升级加工,使机械臂具有智能抓取功能,提高生产效率,降低生产成本。
为了达到上述目的,本发明披露的技术方案具体如下:
一种新型机械臂动态抓取***,包括自由度机械臂模块、语音识别模块、摄像头模块、VGA显示模块、FPGA模块,自由度机械臂模块包括六个舵机、控制板,将六个舵机分别设定为舵机一、舵机二、舵机三、舵机四、舵机五、舵机零,舵机四控制机械臂的抓取方向,舵机五连接机械手和转动关节,控制机械臂的张合,转动关节部分均设置为最大的转动角度,控制板与六个舵机相连。机械臂模块编好程序后,可以实现机械手的旋转、伸缩、装夹等功能,适用于那些需要角度不断变化并可以保持的控制***。
在本技术方案中,机械臂动态抓取***是基于FPGA实现图像识别功能,可通过摄像头实时拍摄记录工作台情况,经过FPGA对所拍摄图像进行分析处理做出机械臂动作规划,为保证机械臂运行安全性,整个***可由语音识别模块来控制。
本发明的进一步改进,语音识别模块体积为3*4.3CM,语音识别模块的内部设置有STC11系列芯片、一个定时器、一个外部中断、预留16个I/O口、同时还预留与FPGA模块通信的串口,语音识别模块还设置有5V和3.3V的电源接口。通过语音识别模块控制***的启停,在工业领域的实际运用更方便、快捷、安全。
本发明的进一步改进,摄像头模块设置有OV7670图像传感器,摄像头模块与SCCB总线相连。
本发明的进一步改进,VGA显示模块包括电路板、显示器、VGA接口,VGA接口设置有十五针,十五针分为三排,每排五个孔,电路板通过VGA接口与所述显示器相连。
本发明的进一步改进,FPGA模块包括Artix-7核心板、软核MicroBlaze,Artix-7核心板采用XilinxArtix-7FPGA系列芯片,Xilinx 7系列芯片内部嵌入软核MicroBlaze,该软核和其他外设IP核一起,可以完成可编程***芯片(SOPC)的设计。软核MicroBlaze处理器采用RISC架构和哈佛结构的32位指令和数据总线,可以全速执行存储在片上存储器和外部存储器中的程序,并和其他外设IP核一起,可以完成可编程***芯片(SOPC)的设计。Artix-7核心板作为主要处理器处理数据时,实现了图像识别功能,经过FPGA的腐蚀、膨胀、求质心等算法,可以精准的获取物体的坐标。FPGA的软核MicroBlaze实现了六自由度机械臂的路径规划,使得机械臂可以智能抓取图像识别的物体。
本发明的进一步改进,机械臂动态抓取***采用了图像二值法、腐蚀膨胀、质心算法的方法进行图像处理。
本发明的进一步改进,六自由度机械臂舵机的角度采用动态规划算法获得。
本发明的有益效果:本发明不同于传统的人工操作机械臂抓取,而是采用FPGA来实现图像识别,后由六自由度机械臂实时智能抓取物体,自动化程度大大提升,且工作效率大大提高,采用语音识别的方式来控制***的启停,更加方便、便捷、安全,适用于工业领域中机械臂抓取任务。
附图说明
图1是机械臂的示意图。
图2是本发明的工作简图。
图3是本发明的***运行图。
图4是本发明的过程图。
图中:1-被测目标,2-OV7670图像传感器,3-摄像头模块,4-FPGA模块,5-VGA显示模块,6-控制执行,7-光源,8-光源控制器,9-自由度机械臂模块,10-机械手,11-舵机五,12-舵机四,13-语音识别模块,14-舵机三,15-舵机二,16-舵机一,17-舵机零。
具体实施方式
为了加深对本发明的理解,下面将结合附图和实施例对本发明做进一步详细描述,该实施例仅用于解释本发明,并不对本发明的保护范围构成限定。
实施例:如图1和图2所示,一种新型机械臂动态抓取***,包括自由度机械臂模块9、语音识别模块13、摄像头模块3、VGA显示模块5、FPGA模块4,自由度机械臂模块9包括六个舵机、控制板,将六个舵机分别设定为舵机一16,舵机二15,舵机三14、舵机四12、舵机五11、舵机零17,舵机四12控制机械臂的抓取方向,舵机五11连接转动关节与机械手,控制机械臂的张合,其余舵机均为转动关节部分,转动关节部分均设置为最大的转动角度,控制板17与六个舵机相连。机械臂模块9编好程序后,可以实现机械手10的旋转、伸缩、装夹等功能,适用于那些需要角度不断变化并可以保持的控制***。
在本实施例中:语音识别模块13体积为3*4.3CM,语音识别模块的内部设置有STC11系列芯片、一个定时器、一个外部中断、预留16个I/O口、同时还预留与FPGA模块通信的串口,语音识别模块还设置有5V和3.3V的电源接口。STC11芯片可以进行语音数据处理,通过语音识别模块控制***的启停,在工业领域的实际运用更方便、快捷、安全。
在本实施例中:摄像头模块3设置有OV7670图像传感器2,摄像头模块3与SCCB总线相连。
在本实施例中:VGA显示模块5包括电路板、显示器、VGA接口,VGA接口设置有十五针,十五针分为三排,每排五个孔,电路板通过VGA接口与所述显示器相连。
在本实施例中:FPGA模块4包括Artix-7核心板、软核MicroBlaze,Artix-7核心板采用Xilinx Artix-7FPGA系列芯片,Xilinx 7系列芯片内部嵌入软核MicroBlaze,该软核和其他外设IP核一起,可以完成可编程***芯片(SOPC)的设计。软核MicroBlaze处理器采用RISC架构和哈佛结构的32位指令和数据总线,可以全速执行存储在片上存储器和外部存储器中的程序,并和其他外设IP核一起,可以完成可编程***芯片(SOPC)的设计。
在本实施例中:机械臂动态抓取***采用了图像二值法、腐蚀膨胀、质心算法的方法进行图像处理。
图像二值法的过程:FPGA控制板采集的视频帧序列为f(x,y,t1),f(x,y,t2),...,f(x,y,tn),从BRAM中读取出一帧图像做二值化处理,首先将彩色图像转化为灰度图,然后再做二值化处理。RGB转化为灰度图常用的公式是:
Gray=5/16*R+9/16*G+2/16*B
如果直接采用浮点运算,会消耗大量的FPGA资源,可以发现在灰度转化公式中G分量的比重最高,因此,直接采用G分量作运算,可减少占用资源。
图像二值化采用自适应阈值可以有效地减少环境对***的干扰,一幅图像的G分量的平均值为二值化的阈值。二值化设定背景为黑,目标为白色,二值化的公式如下:
threshold为阈值。
腐蚀与膨胀的过程:调用RAM-based Shift Register IP核对视频行进行缓存,随后再用一个3*3的图像矩阵对对图像分别进行腐蚀膨胀操作。
质心算法的过程:生成的二值化图像可看作是分布在一个矩形窗口内像素坐标系,左上角设为起始点坐标(0,0),右下角设为终点坐标(m,n),则:
上式中(X,Y)为目标图像的质心坐标计算值,m、n分别为目标图像的行数和列数(m、n均为大于等于2的整数)。
同时记录目标物体的起始和终点像素坐标,以求得其横截长度。通过像素坐标和实际坐标的映射可得其实际坐标和实际横截长度。
在本实施例中:自由度机械臂舵机的角度采用动态规划算法获得,获取的坐标点和横截长度进入MicroBlaze后经过动态规划算法获得相对应的六自由度机械臂舵机角度,具体算法如下:舵机零17旋转角度为θ0,舵机一16旋转角度为θ1,舵机二15旋转角度为θ2,舵机三14旋转角度为θ3,舵机四12旋转角度为θ4,舵机五11旋转角度为θ5
以机械臂底座旋转中心为三维坐标系原点,根据目标点三维坐标P(x,y,z)与机械臂原点O(0,0,0)距离|p0|判定,若|p0|≤l1+l2+l3,则机械臂可达;若|p0|>l1+l2+l3,则机械臂不可达。
水平方向完全由舵机0决定,旋转角度为
接下来在X-Y平面中求3个竖直方向舵机的旋转角度,先确定机械臂l1的位置,即M(m,n)。将l2和l3视作垂直放置,不断增大θ1,使得机械臂能够到达物体,即满足公式
已知M(m,n),结合物体坐标P'(a,b),l2和l3各一边固定于M,P'两点,N(i,j)即为圆(x-m)2+(y-n)2=l2 2和圆(x-a)2+(y-b)2=l3 2的交点,结果取较高点即可。
由此可得,
本实施例的具体工作原理:首先通过摄像头模块3采集需要监控的区域图像信息,图像的RGB数据经FPGA4缓冲存储后进行并行处理生成二值化图像,为消除噪声,使目标物体突显,分别进行图像的腐蚀和膨胀处理,处理后的RGB图像和二值图像保存后可通过VGA5接口在显示屏的两个窗口中显示。随后通过物体质心算法和虚拟坐标与实际坐标的映射得出物体在目标区域的实际坐标,同时也可求出物体的横截最大宽度,以便机械臂9抓取;利用嵌入在Xilinx Artix-7FPGA芯片内部的软核MicroBlaze处理机械臂的动态规划算法,由坐0标数据和横截长度数据可得机械臂9需要的转动角度,通过语音模块的传感器将信号传送给舵机15,通过舵机15驱动板间串口通信从而控制机械臂9抓取动作。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种新型机械臂动态抓取***,其特征在于,包括自由度机械臂模块、语音识别模块、摄像头模块、VGA显示模块、FPGA模块,所述自由度机械臂模块包括六个舵机、控制板,将六个舵机分别设定为舵机一、舵机二、舵机三、舵机四、舵机五、舵机零,所述舵机四控制机械臂的抓取方向,所述舵机五连接转动关节与机械手,控制机械臂的张合,所述其余舵机均为转动关节部分,所述转动关节部分均设置为最大的转动角度,所述控制板与六个舵机相连。
2.根据权利要求1所述的一种新型机械臂动态抓取***,其特征在于,所述语音识别模块体积为3*4.3CM,所述语音识别模块的内部设置有STC11系列芯片、一个定时器、一个外部中断、预留16个I/O口、同时还预留与FPGA模块通信的串口,所述语音识别模块还设置有5V和3.3V的电源接口。
3.根据权利要求1所述的一种新型机械臂动态抓取***,其特征在于,所述摄像头模块设置有OV7670图像传感器,所述摄像头模块与SCCB总线相连。
4.根据权利要求1所述的一种新型机械臂动态抓取***,其特征在于,所述VGA显示模块包括电路板、显示器、VGA接口,所述VGA接口设置有十五针,所述十五针分为三排,每排五个孔,所述电路板通过VGA接口与所述显示器相连。
5.根据权利要求1所述的一种新型机械臂动态抓取***,其特征在于,所述FPGA模块包括Artix-7核心板、软核MicroBlaze,所述Artix-7核心板采用XilinxArtix-7 FPGA系列芯片,所述Xilinx7系列芯片内部嵌入软核MicroBlaze,所述软核MicroBlaze处理器采用RISC架构和哈佛结构的32位指令和数据总线。
6.根据权利要求1-5任一项所述的一种新型机械臂动态抓取***,其特征在于,所述机械臂动态抓取***采用了图像二值法、腐蚀膨胀、质心算法的方法进行图像处理。
7.根据权利要求1-5任一项所述的一种新型机械臂动态抓取***,其特征在于,所述六自由度机械臂舵机的角度采用动态规划算法获得。
CN201910719497.5A 2019-08-05 2019-08-05 一种新型机械臂动态抓取*** Pending CN110253588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719497.5A CN110253588A (zh) 2019-08-05 2019-08-05 一种新型机械臂动态抓取***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719497.5A CN110253588A (zh) 2019-08-05 2019-08-05 一种新型机械臂动态抓取***

Publications (1)

Publication Number Publication Date
CN110253588A true CN110253588A (zh) 2019-09-20

Family

ID=67912911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719497.5A Pending CN110253588A (zh) 2019-08-05 2019-08-05 一种新型机械臂动态抓取***

Country Status (1)

Country Link
CN (1) CN110253588A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070780A (zh) * 2022-08-24 2022-09-20 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130331986A1 (en) * 2012-06-08 2013-12-12 Hexagon Technology Center Gmbh System and method for a wireless feature pack
CN103826105A (zh) * 2014-03-14 2014-05-28 贵州大学 一种基于机器视觉技术的视频跟踪***及其实现方法
CN105931218A (zh) * 2016-04-07 2016-09-07 武汉科技大学 模块化机械臂的智能分拣方法
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros***的视觉定位及机械臂抓取实现方法
CN207309951U (zh) * 2017-06-30 2018-05-04 南京信息工程大学 一种智能捡球机器人
CN210757741U (zh) * 2019-08-05 2020-06-16 江苏科技大学 一种新型机械臂动态抓取***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130331986A1 (en) * 2012-06-08 2013-12-12 Hexagon Technology Center Gmbh System and method for a wireless feature pack
CN103826105A (zh) * 2014-03-14 2014-05-28 贵州大学 一种基于机器视觉技术的视频跟踪***及其实现方法
CN105931218A (zh) * 2016-04-07 2016-09-07 武汉科技大学 模块化机械臂的智能分拣方法
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros***的视觉定位及机械臂抓取实现方法
CN207309951U (zh) * 2017-06-30 2018-05-04 南京信息工程大学 一种智能捡球机器人
CN210757741U (zh) * 2019-08-05 2020-06-16 江苏科技大学 一种新型机械臂动态抓取***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘妍;张聪;王晨升;: "基于6自由度机械臂***的路径规划算法", 建筑机械, no. 13, pages 89 - 92 *
杨帆: "数字图像处理与分析(第4版)", 31 January 2019, 北京航空航天大学出版社, pages: 258 *
潘美莺;李荣景;: "语音遥控小车的设计", 绵阳师范学院学报, no. 11, pages 33 - 37 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070780A (zh) * 2022-08-24 2022-09-20 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质
CN115070780B (zh) * 2022-08-24 2022-11-18 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Ishii et al. 2000 fps real-time vision system with high-frame-rate video recording
CN103049879B (zh) 一种基于fpga的红外图像预处理方法
CN111673735A (zh) 一种基于单目视觉定位的机械臂控制方法及装置
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN108171734B (zh) 一种orb特征提取与匹配的方法及装置
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真***及方法
CN107813313A (zh) 机械臂运动的校正方法和装置
CN107071324A (zh) 一种视觉图像处理***及其设计方法
CN100351867C (zh) 高效地进行图像处理的信息处理装置
CN110253588A (zh) 一种新型机械臂动态抓取***
CN101067803A (zh) 一种图像处理***及其方法
CN205835288U (zh) 基于Arduino的具有图像识别功能的搬运机器人
CN105165255A (zh) 一种基于计算机视觉技术的智能采棉机***及其方法
Wan et al. An energy-efficient quad-camera visual system for autonomous machines on fpga platform
CN106541413B (zh) 基于Arduino平台和机器视觉模块的水下机器人控制***
CN1132121C (zh) 图形处理器和应用该处理器的数据处理***
KR910000203B1 (ko) 화상처리장치
CN113627328A (zh) 电子设备及其图像识别方法、片上***和介质
CN210757741U (zh) 一种新型机械臂动态抓取***
CN104835111A (zh) 一种基于fpga的单sram实现乒乓算法的方法及实时红外图像处理方法
KR910000202B1 (ko) 화상 처리장치
CN204666185U (zh) 一种仿生机器鱼用测量平台
CN208262843U (zh) 一种桌面级搬运机械臂
CN114998573A (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
CN206363326U (zh) 一种基于异构多核架构的机器视觉装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination