CN110640743A - 一种具有视觉跟踪的单目工业机器人 - Google Patents
一种具有视觉跟踪的单目工业机器人 Download PDFInfo
- Publication number
- CN110640743A CN110640743A CN201911019411.4A CN201911019411A CN110640743A CN 110640743 A CN110640743 A CN 110640743A CN 201911019411 A CN201911019411 A CN 201911019411A CN 110640743 A CN110640743 A CN 110640743A
- Authority
- CN
- China
- Prior art keywords
- industrial robot
- workpiece
- image
- error
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 8
- 238000005314 correlation function Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000002699 waste material Substances 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000005316 response function Methods 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 239000012636 effector Substances 0.000 abstract description 13
- 210000000707 wrist Anatomy 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 231100000481 chemical toxicant Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
一种具有视觉跟踪的单目工业机器人，包括工业机器人控制***、传感器***、操控***、网络集成控制***、视觉跟踪***以及执行机构，传感器***与工业机器人控制***连接，采用眼在手上的单目视觉结构，将跟踪摄像机安装在末端执行器的正下方，实时观察并测量运动工件相对于执行机构的位置，通过控制执行机构运动来对运动工件逐渐逼近，利用跟踪摄像机对目标图像完成实时采集，并将采集到的信息通过传递给工控机，工控机根据图像处理技术来获取运动工件的形状和质心，进行抓取，并将误差信号作为反馈量传递到工控机，对执行机构的动作进行跟踪。
Description
技术领域
本发明属于工业机器人领域，特别涉及一种具有视觉跟踪的单目工业机器人。
背景技术
随着当前工业自动化水平越来越高,在各行各业占有越来越重要的地位,它们能够娴熟、精准地执行多种复杂任务,这些任务由于环境或者其他因素的限制可能是人根本无法完成的。工业机器人的应用场景主要有汽车零部件制造和装配、机械自动化制造、有毒化工产品生产、标准流水线作业、高危环境设备安装、核辐射场地作业、极限环境作业等。
但是现有技术中缺少对对单目机器人末端执行器的运动轨迹进行跟踪并修正的相关技术。
发明内容
本发明要解决的技术问题是如何跟踪末端执行器的运动轨迹并实现对工件抓取的及时修正，对此本发明提供一种具有视觉跟踪的单目工业机器人。
本发明的技术方案为：一种具有视觉跟踪的单目工业机器人，包括工业机器人控制***、传感器***、操控***、网络集成控制***、视觉跟踪***以及执行机构，传感器***与工业机器人控制***连接，
操控***通过网络集成控制***接收传感器***和视觉跟踪***的数据并向工业机器人控制***发送控制指令，工业机器人控制***控制执行机构，传感器***安装在执行机构上，实时监控执行机构的位姿状态，传感器***、视觉跟踪***还与工业机器人控制***连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制***包括示教器、运动控制器，
其中，操控***包括工控机，
其中，视觉跟踪***包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器***包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制***搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控***与工业机器人控制***的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制***与传感器***、视觉跟踪***之间的通信，采用工业现场总线通信技术。
采用眼在手上的单目视觉结构，将跟踪摄像机安装在末端执行器的正下方，实时观察并测量运动工件相对于执行机构的位置，通过控制执行机构运动来对运动工件逐渐逼近，利用跟踪摄像机对目标图像完成实时采集，并将采集到的信息通过传递给工控机，工控机根据图像处理技术来获取运动工件的形状和质心，进行抓取，并将误差信号作为反馈量传递到工控机，对执行机构的动作进行跟踪
本发明的有益效果：
(1)使用视觉跟踪实现了对工业机器人末端执行器动作的跟踪修正；
(2)使用光耦隔离电路极大提高了硬件的可靠性；
(3)使用二级通信,实现了对工业机器人的灵活控制；
(4)执行机构使用平行四边形，增加了整个结构刚度,增加***稳定性；
(5)通过模糊控制自动有效实现工业机器人伺服电机的精确控制，减少了人工设定的反复修改带来的效率上浪费以及精度的不准确；
(6)使用图像处理算法精确获得工件的中心位置，便于机器人的准确抓取。
附图说明
图1为本发明的工业机器人***框图；
图2为本发明的执行机构的机械结构图；
图3为本发明的视觉跟踪的流程图；
图4为本发明的图像处理获取中心位置流程图；
图5为本发明的模糊控制原理图；
具体实施方式
下面结合附图对本发明作进一步的说明。
一种具有视觉跟踪的单目工业机器人，包括工业机器人控制***、传感器***、操控***、网络集成控制***、视觉跟踪***以及执行机构，传感器***与工业机器人控制***连接，
操控***通过网络集成控制***接收传感器***和视觉跟踪***的数据并向工业机器人控制***发送控制指令，工业机器人控制***控制执行机构，传感器***安装在执行机构上，实时监控执行机构的位姿状态，传感器***、视觉跟踪***还与工业机器人控制***连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制***包括示教器、运动控制器，
其中，操控***包括工控机，
其中，视觉跟踪***包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器***包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制***搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控***与工业机器人控制***的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制***与传感器***、视觉跟踪***之间的通信，采用工业现场总线通信技术。
其中，机械部分包括底座、连接件、大臂、小臂、腕部、末端执行器以及旋转关节，旋转关节分别位于底座与连接件之间、连接件与大臂之间、大臂与小臂之间以及腕部与末端执行器之间，底座是承重基础部件，固定在地面或支架上，连接件是大臂的支撑部件，实现机器人的回转功能，连接件在底座上进行旋转，大臂是小臂的支撑部件，大臂的摆动改变末端执行器在水平方向上的行程，小臂的俯仰实现末端执行器在垂直方向上的位置变换，腕部的末端执行器旋转关节调整承载目标的旋转角度和位置。
底座的关节座与轴线垂直于地面的旋转关节联接，关节座安装在底座上，为大臂提供支撑，其上安装有大臂、小臂和保持腕部水平的连杆，大臂、小臂与连杆相互构成平行四边形，增加了整个臂部的刚度，通过串联平行四边形机构的叠加效应,满足腕部的易控性，腕部是法兰盘，根据用户的不同需要，在法兰盘上联接真空吸盘。
该结构增加整个臂部的刚度，平行四边形的相互作用,增加了整个机器人传动***的刚度,减小了启动与急停情况下造成的机器人颤动，行程放大，减小***惯量，节约成本，同时增加了***的稳定性，搬运机器人利用“平行四边形”原理简化了机器人位姿的控制,降低了过程控制的难度,可以缩短机器人的工作周期和研发设计成本。
其中，电力部分包括编码器、解码电路、光耦隔离电路、永磁同步伺服电机(PMSM)、减速器以及智能功率控制模块(IPM)，霍尔电流传感器采集永磁同步伺服电机的U相和V相电流，反馈给运动控制器，编码器通过解码电路实时向运动控制器反馈永磁同步伺服电机实际位置，运动控制器通过串行总线接收目标位置信息，目标位置、实际位置和实际电流在运动控制器内做单轴逻辑控制，通过矢量控制的时序调度输出脉宽调制通过光耦隔离电路提供给智能功率控制模块并转换为功率控制信号，光耦隔离电路实现控制部分电路和功率部分电路完全隔离，极大提高了硬件的可靠性，智能功率控制模块驱动永磁同步伺服电机运转，永磁同步伺服电机输出轴与减速器，减速器与机械部分的旋转关节连接，减速器受运动控制器的控制，实现动作的精细化调整。
采用眼在手上的单目视觉结构，将跟踪摄像机安装在末端执行器的正下方，实时观察并测量运动工件相对于执行机构的位置，通过控制执行机构运动来对运动工件逐渐逼近，利用跟踪摄像机对目标图像完成实时采集，并将采集到的信息通过传递给工控机，工控机根据图像处理技术来获取运动工件的形状和中心位置，进行抓取，并将误差信号作为反馈量传递到工控机，对执行机构的动作进行跟踪，跟踪过程如下：
步骤1，利用跟踪摄像机对运动工件进行图像采集，利用网线将采集到的图像信息传递给工控机，保存在工控机内存中；
步骤2，读取工件的图像信息，利用图像处理对运动工件的形状和质心特征进行识别，与上一次识别的结果进行比对，生成误差信号；
步骤3，将获得运动工件的误差信号作为反馈信号，输入工控机的模糊控制装置中，利用模糊控制方法计算出相应的控制信号，并将控制信号以运动指令的形式发送到执行机构；
步骤4，在执行机构获得接受指令信号后，按照要求完成动作运动，跟踪摄像机完成对运动工件的跟踪任务；
步骤5，工控机将控制指令发送给执行机构时，执行机构的伺服装置就会进入下一个伺服周期，来继续完成与之前伺服周期相同的任务。
其中，使用图像处理获取工件中心位置的具体过程如下：
步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；
步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声，噪声的滤波过程如下式所示：
其中，以原始图像的中心为原点建立直角坐标系x-0-y，fR(x,y)、fG(x,y)、fB(x,y)分别为原始图像中位于坐标(x,y)的像素的R、G、B值函数，其中x＝(0,1,……255),y∈(0,1,……255)，而FR(x,y)、FG(x,y)、FB(x,y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3,5,7......)，优选为N＝3，P表示窗口内的像素组成的点集；
该滤波方式对像素的RGB值分别进行滤波，抑制无用信息,很好的保留了原始图片的色彩的信息；
步骤,3，图像分割，获取工件目标图像。
步骤3.1，对RGB颜色空间进行转换，生成新的颜色空间U1U2U3。
经过滤波后的FR(x,y)、FG(x,y)、FB(x,y)经过下述转换变为相应的系数函数：
其中，U1(x,y)为红绿相关函数，U2(x,y)为红蓝相关函数，U3(x,y)为绿蓝相关函数；
步骤3.2，工件与工件输送线的区分。
构建工件与工件输送线的分割函数GS(x,y)，使用U1(x,y)、U2(x,y)作为判断条件：
其中，TS为分割阈值；
分割阈值TS可以为预先设定的固定值，例如TS＝4。
步骤4，图像去噪。
经过运算得到目标工件的图像，但是不可避免的存在一些小面积的噪声，即图像上的斑点噪声，这些斑点噪声显然不是工件的图像，需要滤除，这里使用数学形态学的开运算和闭运算进行去噪
步骤4.1，构建二值分割函数G'A(x,y)，在运算前首先将分割函数GA(x,y)进行二值化，二值分割函数为：
步骤4.2，使用开运算，先对二值图像进行腐蚀运算然后在进行膨胀运算；
步骤4.3，使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算；
步骤4.4，生成最终的工件目标函数GF(x,y)。经过开合运算后的二值图像与分割函数G'A(x,y)构成的二值图像进行与运算，在1值的区域将GA(x,y)的值按照坐标逐一赋值，构成最终的工件目标函数GF(x,y)；
步骤5，获取工件目标的中心位置(xcen,ycen)。其目的在于让工业机器人能够定位工件的位置，进而实现抓取。
运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：
其中，δ为尺度因子，可根据实际情况设定；
对GF(x,y)进行卷积计算，得到高斯卷积响应函数：
h(x,y)＝GF(x,y)*g(x,y)，
计算当h(x,y)的最大值时的坐标，即目标的中心位置(xcen,ycen)。
其中，跟踪过程步骤3的工控机的模糊控制装置具体为：模糊控制装置包括差分器、微分器、模糊化接口、输出量转换模块、推理机、知识库，负载估计模块将测得的伺服电机的测量负载电压通过带通滤波器提供给差分器，差分器将操作人员输入的设定负载电压与测量负载电压相减得到误差值E，误差值E经过微分器得到误差变化率dE/dt，误差值E和误差变化率dE/dt提供给模糊化接口，对误差值E和误差变化率dE/dt进行模糊化赋值，分别得到模糊化误差值ME和模糊化误差变化值MEC，模糊化误差值ME和模糊化误差变化值MEC提供给推理机，推理机根据知识库中的输入输出隶属度矢量值以及逻辑推理规则对模糊化误差值ME和模糊化误差变化值MEC进行模糊推理得到模糊控制量MU，输出量转换模块将模糊控制量MU转换为实际控制量U，根据实际控制量U控制电源向伺服电机提供电压。
模糊控制装置为可编程逻辑控制器，可编程逻辑控制器与主控器的处理器之间采用RS232通信。
其中，跟踪过程步骤3的模糊控制方法具体为：按照操作人员的语言变量的选取参量PL、PB、PM、PS、ZO、NS、NM、NB、BL分别表示正超大、正大、正中、正小、零、负小、负中、负大、负超大，对应的模糊集{-n,-n+1,......,0,......,n-1,n},n＝4，n为初级模糊集变量；
确定量化因子，ke＝n/e,其中,ke为误差值量化因子，e为测量的最大误差值，kec＝n/ec，kec为误差变化率量化因子，ec为测量的最大误差变化率，
如果m≤keE≤m+1,m<n，则模糊化误差值ME为经过四舍五入的keE,m为次级模糊集变量；
如果keE<-n，则模糊化误差值ME为-n；
如果keE>n，则模糊化误差值ME为n；
如果m≤kecE≤m+1,m<n，则模糊化误差变化值MEC为经过四舍五入的kecE；
如果kecE<-n，则模糊化误差变化值MEC为-n；
如果kecE>n，则模糊化误差变化值MEC为n。
进一步的说，知识库包括数据库以及规则库，
数据库中存放输入、输出变量的模糊隶属度矢量值，此矢量值是输入、输出量经过对应论域等离散化后所对应值的集合，所对应论域若是连续的，则可作为为隶属度函数，对于输入的模糊变量，隶属度函数保存于数据库中，在模糊推理关系中向推理机提供数据。
规则库中存储有模糊规则，模糊规则是操作人员长期积累的经验并结合专家知识的基础上形成的，由相关的逻辑关系的词汇来表达，例如if-then、else、end、and、or等。
通过模糊控制可以自动有效实现工业机器人伺服电机的精确控制，减少了人工设定的反复修改带来的效率上浪费以及精度的不准确。
以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种具有视觉跟踪的单目工业机器人，包括工业机器人控制***、传感器***、操控***、网络集成控制***、视觉跟踪***以及执行机构，传感器***与工业机器人控制***连接，工业机器人控制***包括示教器、运动控制器，操控***包括工控机，视觉跟踪***包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，传感器***包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，执行机构包括机械部分和电力部分，采用眼在手上的单目视觉结构，将跟踪摄像机安装在末端执行器的正下方，实时观察并测量运动工件相对于执行机构的位置，通过控制执行机构运动来对运动工件逐渐逼近，利用跟踪摄像机对目标图像完成实时采集，并将采集到的信息通过传递给工控机，工控机根据图像处理技术来获取运动工件的形状和质心，进行抓取，并将误差信号作为反馈量传递到工控机，对执行机构的动作进行跟踪。
2.根据权利要求1所述的一种具有视觉跟踪的单目工业机器人，其特征在于跟踪过程如下：
步骤1，利用跟踪摄像机对运动工件进行图像采集，利用网线将采集到的图像信息传递给工控机，保存在工控机内存中；
步骤2，读取工件的图像信息，利用图像处理对运动工件的形状和质心特征进行识别，与上一次识别的结果进行比对，生成误差信号；
步骤3，将获得运动工件的误差信号作为反馈信号，输入工控机的模糊控制装置中，利用模糊控制方法计算出相应的控制信号，并将控制信号以运动指令的形式发送到执行机构；
步骤4，在执行机构获得接受指令信号后，按照要求完成动作运动，跟踪摄像机完成对运动工件的跟踪任务；
步骤5，工控机将控制指令发送给执行机构时，执行机构的伺服装置就会进入下一个伺服周期，来继续完成与之前伺服周期相同的任务。
3.根据权利要求2所述的一种具有视觉跟踪的单目工业机器人，其特征在于跟踪过程步骤3的工控机的模糊控制装置具体为：模糊控制装置包括差分器、微分器、模糊化接口、输出量转换模块、推理机、知识库，负载估计模块将测得的伺服电机的测量负载电压通过带通滤波器提供给差分器，差分器将操作人员输入的设定负载电压与测量负载电压相减得到误差值E，误差值E经过微分器得到误差变化率dE/dt，误差值E和误差变化率dE/dt提供给模糊化接口，对误差值E和误差变化率dE/dt进行模糊化赋值，分别得到模糊化误差值ME和模糊化误差变化值MEC，模糊化误差值ME和模糊化误差变化值MEC提供给推理机，推理机根据知识库中的输入输出隶属度矢量值以及逻辑推理规则对模糊化误差值ME和模糊化误差变化值MEC进行模糊推理得到模糊控制量MU，输出量转换模块将模糊控制量MU转换为实际控制量U，根据实际控制量U控制电源向伺服电机提供电压。
4.根据权利要求3所述的一种具有视觉跟踪的单目工业机器人，其特征在于：知识库包括数据库以及规则库，
数据库中存放输入、输出变量的模糊隶属度矢量值，此矢量值是输入、输出量经过对应论域等离散化后所对应值的集合，所对应论域若是连续的，则可作为为隶属度函数，对于输入的模糊变量，隶属度函数保存于数据库中，在模糊推理关系中向推理机提供数据。
规则库中存储有模糊规则，模糊规则是操作人员长期积累的经验并结合专家知识的基础上形成的，由相关的逻辑关系的词汇来表达，例如if-then、else、end、and、or等。
通过模糊控制可以自动有效实现工业机器人伺服电机的精确控制，减少了人工设定的反复修改带来的效率上浪费以及精度的不准确。
5.根据权利要求3所述的一种具有视觉跟踪的单目工业机器人，其特征在于：模糊控制装置为可编程逻辑控制器，可编程逻辑控制器与主控器的处理器之间采用RS232通信。
6.根据权利要求3所述的一种具有视觉跟踪的单目工业机器人，其特征在于：其中，跟踪过程步骤3的模糊控制方法具体为：按照操作人员的语言变量的选取参量PL、PB、PM、PS、ZO、NS、NM、NB、BL分别表示正超大、正大、正中、正小、零、负小、负中、负大、负超大，对应的模糊集{-n,-n+1,......,0,......,n-1,n},n＝4，n为初级模糊集变量；
确定量化因子，ke＝n/e,其中,ke为误差值量化因子，e为测量的最大误差值，kec＝n/ec，kec为误差变化率量化因子，ec为测量的最大误差变化率，
如果m≤keE≤m+1,m<n，则模糊化误差值ME为经过四舍五入的keE,m为次级模糊集变量；
如果keE<-n，则模糊化误差值ME为-n；
如果keE>n，则模糊化误差值ME为n；
如果m≤kecE≤m+1,m<n，则模糊化误差变化值MEC为经过四舍五入的kecE；
如果kecE<-n，则模糊化误差变化值MEC为-n；
如果kecE>n，则模糊化误差变化值MEC为n。
7.根据权利要求1所述的一种具有视觉跟踪的单目工业机器人，其特征在于使用图像处理获取工件中心位置的具体过程如下：
步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；
步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声，噪声的滤波过程如下式所示：
其中，以原始图像的中心为原点建立直角坐标系x-0-y，fR(x,y)、fG(x,y)、fB(x,y)分别为原始图像中位于坐标(x,y)的像素的R、G、B值函数，其中x＝(0,1,……255),y∈(0,1,……255)，而FR(x,y)、FG(x,y)、FB(x,y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3,5,7......)，优选为N＝3，P表示窗口内的像素组成的点集；
该滤波方式对像素的RGB值分别进行滤波，抑制无用信息,很好的保留了原始图片的色彩的信息；
步骤3，图像分割，获取工件目标图像。
步骤4，图像去噪。
经过运算得到目标工件的图像，但是不可避免的存在一些小面积的噪声，即图像上的斑点噪声，这些斑点噪声显然不是工件的图像，需要滤除，这里使用数学形态学的开运算和闭运算进行去噪；
步骤5，获取工件目标的中心位置(xcen,ycen)。其目的在于让工业机器人能够定位工件的位置，进而实现抓取。
运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：
其中，δ为尺度因子，可根据实际情况设定；
对GF(x,y)进行卷积计算，得到高斯卷积响应函数：
h(x,y)＝GF(x,y)*g(x,y)，
计算当h(x,y)的最大值时的坐标，即目标的中心位置(xcen,ycen)。
8.根据权利要求7所述的一种具有视觉跟踪的单目工业机器人，其特征在于使用图像处理获取工件中心位置的具体过程的步骤3具体为：
步骤3.1，对RGB颜色空间进行转换，生成新的颜色空间U1U2U3。
经过滤波后的FR(x,y)、FG(x,y)、FB(x,y)经过下述转换变为相应的系数函数：
其中，U1(x,y)为红绿相关函数，U2(x,y)为红蓝相关函数，U3(x,y)为绿蓝相关函数；
步骤3.2，工件与工件输送线的区分。
构建工件与工件输送线的分割函数GS(x,y)，使用U1(x,y)、U2(x,y)作为判断条件：
其中，TS为分割阈值；
分割阈值TS为预先设定的固定值。
9.根据权利要求1所述的一种具有视觉跟踪的单目工业机器人，其特征在于使用图像处理获取工件中心位置的具体过程的步骤4具体为：
步骤4.1，构建二值分割函数G'A(x,y)，在运算前首先将分割函数GA(x,y)进行二值化，二值分割函数为：
步骤4.2，使用开运算，先对二值图像进行腐蚀运算然后在进行膨胀运算；
步骤4.3，使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算；
步骤4.4，生成最终的工件目标函数GF(x,y)。经过开合运算后的二值图像与分割函数G'A(x,y)构成的二值图像进行与运算，在1值的区域将GA(x,y)的值按照坐标逐一赋值，构成最终的工件目标函数GF(x,y)。
10.根据权利要求1所述的一种具有视觉跟踪的单目工业机器人，其特征在于：操控***通过网络集成控制***接收传感器***和视觉跟踪***的数据并向工业机器人控制***发送控制指令，工业机器人控制***控制执行机构，传感器***安装在执行机构上，实时监控执行机构的位姿状态，传感器***、视觉跟踪***还与工业机器人控制***连接用于实时反馈执行机构的工作状态以及监控周围环境。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811321411 | 2018-11-07 | ||
| CN2018113214115 | 2018-11-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110640743A true CN110640743A (zh) | 2020-01-03 |
Family
ID=69013471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911019411.4A Pending CN110640743A (zh) | 2018-11-07 | 2019-10-24 | 一种具有视觉跟踪的单目工业机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110640743A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112340435A (zh) * | 2020-10-23 | 2021-02-09 | 哈尔滨工程大学 | 一种物流搬运机器人的抓取感知及控制方法 |
| CN114603597A (zh) * | 2022-03-04 | 2022-06-10 | 北京软体机器人科技有限公司 | 一种刚软耦合机械臂 |
| CN114653558A (zh) * | 2022-05-25 | 2022-06-24 | 苏州柳溪机电工程有限公司 | 用于涂装流水线的吹水*** |
-
2019
- 2019-10-24 CN CN201911019411.4A patent/CN110640743A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112340435A (zh) * | 2020-10-23 | 2021-02-09 | 哈尔滨工程大学 | 一种物流搬运机器人的抓取感知及控制方法 |
| CN114603597A (zh) * | 2022-03-04 | 2022-06-10 | 北京软体机器人科技有限公司 | 一种刚软耦合机械臂 |
| CN114653558A (zh) * | 2022-05-25 | 2022-06-24 | 苏州柳溪机电工程有限公司 | 用于涂装流水线的吹水*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110640743A (zh) | 一种具有视觉跟踪的单目工业机器人 | |
| CN106737673B (zh) | 一种基于深度学习的端到端的机械臂控制的方法 | |
| CN110202583B (zh) | 一种基于深度学习的仿人机械手控制***及其控制方法 | |
| CN110640744A (zh) | 一种电机模糊控制的工业机器人 | |
| Chen et al. | Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection | |
| CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生***及其运行方法 | |
| CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取*** | |
| CN109848983A (zh) | 一种高顺应性人引导机器人协同作业的方法 | |
| CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及*** | |
| CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
| CN102799191B (zh) | 基于动作识别技术的云台控制方法及*** | |
| CN110640741A (zh) | 一种规则形状工件匹配的抓取工业机器人 | |
| CN104408788B (zh) | 一种巡检电力仪表的方法 | |
| CN111015649A (zh) | 一种驱控一体化控制*** | |
| CN113172629A (zh) | 一种基于时序触觉数据处理的物体抓取方法 | |
| CN111203880A (zh) | 基于数据驱动的图像视觉伺服控制***及方法 | |
| CN107671838B (zh) | 机器人示教记录***、示教的工艺步骤及其算法流程 | |
| Mujiarto et al. | Colored object detection using 5 dof robot arm based adaptive neuro-fuzzy method | |
| CN117282580A (zh) | 一种用于喷涂流水线的智能机械手及控制方法 | |
| Ali et al. | An intelligent adjustable spanner for automated engagement with multi-diameter bolts/nuts during tightening/loosening process using vision system and fuzzy logic | |
| Liu et al. | An image based visual servo approach with deep learning for robotic manipulation | |
| Zhao et al. | POSITIONING AND GRABBING TECHNOLOGY OF INDUSTRIAL ROBOT BASED ON VISION. | |
| CN117111660A (zh) | 一种无人值守智能粮仓***及方法 | |
| CN202607670U (zh) | 带有机器视觉目标精准检测的物流转载机器人控制*** | |
| CN113977609B (zh) | 一种基于双臂移动机器人的自动打菜***及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200728 Address after: Room 1207, building 8, block B, R & D Park, Ningbo, Zhejiang Province, 315000 Applicant after: Zhang Huanhuan Address before: 315000 No.014, 3 / F, building 2, No.128 Jingyuan Road, Ningbo hi tech Zone, Zhejiang Province Applicant before: NINGBO SAILANG TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200103 |
|
| WD01 | Invention patent application deemed withdrawn after publication |