基于双目视觉引导的自动抓取档案机器人控制***及方法
技术领域
本发明涉及双目视觉技术领域、AGV导航技术领域和机械臂控制技术领域,特别是一种基于双目视觉引导的自动抓取档案机器人控制***及方法。
背景技术
随着科技的迅速发展,大量的技术被广泛的应用到我们的生产、生活、学习和工作中,档案的管理就是其中的一个应用。在以往的档案管理中,人们将档案放到仓库的档案柜上,拿取和放回档案都是人工操作,这样带来的不便就是,在寻找档案的时候会花费很多的时间,而且记录和放回都比较麻烦,且容易造成放回出错。当放回出错时,会使得下次取档案变得更加的不方便。随着时间的推移,档案的数量越来越多,进一步提高了档案管理的难度。另外,当有些档案需要不同的保密级别时,就会使得档案的管理变得更难,传统的方法是另开一间仓库来存储保密的档案,但是由于档案的保密的等级不同,不同权限级别的人只能查看相应保密等级的档案,这样档案的管理只能在不同的保密等级下建立不同的仓库,当某些保密文件不是很多时,也要占用一个仓库,造成了仓库资源的浪费。
所以在这种情况下,如何高效科学的对档案进行管理变成了一个难题。主要的难点在于:(1)当取出档案或放回档案时,如何高效记录档案的存取信息、存取位置、存取时间和保密等级;(2)如何高效的使用档案存储仓库,使得不同人查阅不同保密等级档案的同时,最大程度的有效利用仓库;(3)当想要查阅一些档案时,如何根据要取放档案的先后顺序,选择一个最佳路径,使得取放档案变得又快又准。
解决这些问题的方法是使用自动抓取档案机器人。首先建立一个大型的无人库房,只允许机器人和固定的维护人员进出,然后建立数据库,当机器人取放档案时,会将档案的信息、取放的位置信息、取放的时间和档案的保密等级都存入数据库。当人们取放档案时,机器人会根据查阅人的权限和档案的安全等级来判断查阅人是否可以取放目标档案,如果满足要求,机器人会去取放档案。这样,因为人们不能进入无人库房,所有不同的保密等级的档案都可以存放在一起,大大减少了库房的个数,同时也解决不同的人参阅不同等级档案的问题。在取放档案的时候,机器人会根据要取放档案的位置,通过算法计算出最佳的路线,根据最佳路线来取放档案,使得档案的存放变得又快又准。
但是在机器人长时间运行的时候,会带来一些不可避免的误差。第一,由于AGV是通过贴在地上的二维码标签进行导航的,长时间的运行会造成二维码标签的磨损,降低AGV定位的准确度,带来的角度和位置的偏差;第二,由于档案柜的位置移动,会使得机器人与档案柜之间的相对位置发生了变化,造成定位误差;第三,档案在入柜的时候,由于各种原因,使得档案放偏,造成档案位置的误差。这些误差在自动抓取档案的控制***中会造成插坏档案、损坏文件的后果。
发明内容
本发明的目的在于提供一种准确度高、容错性强、抓取效率高、速度快的自动抓取档案机器人控制***及方法。
实现本发明目的的技术解决方案为:一种基于双目视觉引导的自动抓取档案机器人控制***,包括双目视觉、机械臂、夹具和AGV;
所述双目视觉,用于识别档案二维码标签的内容、定位档案所在的位置以及位姿、进行抓取档案的机器人和档案柜之间相对位置的校准;
所述机械臂和夹具,用于抓取档案,将档案放入指定的收纳盒中;
所述AGV,用于存放档案和带动整个设备运动。
进一步地,所述AGV通过二维码进行导航;上位机***控制AGV行进、转向、避障和急停;当AGV的电量不足时,上位机***控制AGV进行自动充电。
一种基于双目视觉引导的自动抓取档案机器人控制方法,包括以下步骤:
步骤1、机器人获取上位机指令,如果是抓取档案指令则进入步骤2,如果是存放指令则进入步骤6;
步骤2、机器人获取上位机传输的目标档案的数量和位置信息,计算出AGV的最优路径,AGV根据计算的结果,运动到第一个目标档案柜前;
步骤3、机器人的机械臂运动到能够拍到档案柜上相应两个标签的位置,拍摄一张图片,计算机器人相对档案柜的偏差,并计算出目标档案的位置;
步骤4、机械臂调整角度,运动到目标档案前,拍摄一张图片,识别档案标签,判断是否所需的档案,如果是则计算档案相对档案柜的偏角,调整机械臂;否则向上位机反馈错误信息,进入下一个目标位置;
步骤5、抓取档案放入收纳盒,抓取下一个目标档案,如果已抓取完所有目标档案则将档案放到指定窗口供人参阅;
步骤6、机器人获取上位机传输的目标档案的数量和位置信息,运动到窗口,将档案放到机器人的收纳盒中,计算出AGV的最优路径,AGV根据计算的结果,运动到第一个目标档案柜前;
步骤7、机器人的机械臂运动到能够拍到档案柜上相应两个标签的位置,拍摄一张图片,计算机器人相对档案柜的偏差,并计算出目标档案的位置;
步骤8、机械臂调整角度,运动到目标档案前,拍摄一张图片,判断档案所在的位置是否为空,如果为空,则将机器人收纳盒中的相应档案放入该位置;否则向上位机反馈错误信息,进入下一个目标位置;
步骤9、存放下一个目标档案,如果已存放完所有目标档案则返回待机;
步骤10、判断机器人***电量,当机器人***电量低于设定的时候,自动行走到充电桩进行充电,充电完成后进入待机状态,等待上位机的任务指令。
进一步地,步骤3中所述的计算机器人相对档案柜的偏差,具体如下:
步骤3.1、将档案柜的边框贴上两个小标签,标签之间设置一定的距离;
步骤3.2、机械臂运动到拍摄两个小标签的位置,拍摄一张图片,进行图像处理,计算出两个小标签中心位置的三维坐标,两个坐标分别记为(Xa,Ya,Za),(Xb,Yb,Zb);
步骤3.3、设定从机械臂末端左相机中心点垂直指向档案柜的方向为x的正方向,垂直指向地面的方向为z轴的正方向,y轴的正方向根据坐标系的右手定则水平向左;当档案柜与机器人的相对位置平行时,所拍摄的两个小标签的三维坐标中的x和z值应该是相同的;当档案柜与机器人的相对位置不平行时,两个小标签的x和z值会有一定的偏差,记为dx和dz;
步骤3.4、将偏差dx和dy转换为机械臂的位姿角度θx和θy,将θx和θz传送到机械臂的第4和第5个关节,从而调整机器人与档案柜之间的误差。
进一步地,步骤4中所述的拍摄一张图片,识别档案标签,判断是否所需的档案,具体如下:
步骤4.1.1、机械臂运动到需要识别的档案区域,拍摄一张图片,对图像进行中值滤波;
步骤4.1.2、通过Retinex图像增项算法,增强二维码图像的对比度;
步骤4.1.3、通过大津算法算法,对图像进行自适应二值化处理;
步骤4.1.4、使用canny算子对图像进行边缘提取,获得所有的轮廓;
步骤4.1.5、通过轮廓之间的层级关系,以及二维码标签的特殊层级关系,找到二维码的轮廓;
步骤4.1.6、通过识别算法,识别出目标档案二维码内容,及目标档案所在的位置信息。
进一步地,步骤4中所述的计算档案相对档案柜的偏角,具体如下:
步骤4.2.1、截取二维码所在档案的区域;
步骤4.2.2、通过霍夫变换,得到档案边缘的所在直线,从而得到档案相对相机拍摄的图片的夹角,即档案的偏角;
步骤4.2.3、将档案偏角添加到机械臂中,通过调整机械臂,使得夹具与档案平行。
本发明与现有技术相比,其显著优点在于:(1)可以在机器人本身停不准的情况下,准确地调整机器人的机械臂,使得AGV的相应误差为0,提高了抓取和存放的准确性;(2)在档案柜发生一定的偏移时,能够自动的调整机器人中的机械臂,使得机器人相对档案柜平行;(3)可以让档案在放偏一定角度的情况下,自动的调整夹具使得夹具随着档案的偏转而转动;(4)通过算法方面的优化,增强了机器人***的鲁棒性,降低了对硬件精准的要求,提高了***的容错性,算法简明高效,提高了***的实现速度。
附图说明
图1是本发明基于双目视觉引导的自动抓取档案机器人控制方法的流程示意图。
图2是本发明实施例中机器人工作环境的使用场所示意图。
图3是本发明实施例中校准误差的原理示意图。
图4是本发明实施例中档案放偏的示意图。
图5是本发明实施例中校准误差的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
结合图1,本发明一种基于双目视觉引导的自动抓取档案机器人控制***,包括双目视觉、机械臂、夹具和AGV;
所述双目视觉,用于识别档案二维码标签的内容、定位档案所在的位置以及位姿、进行抓取档案的机器人和档案柜之间相对位置的校准;
所述机械臂和夹具,用于抓取档案,将档案放入指定的收纳盒中;
所述AGV,用于存放档案和带动整个设备运动。
进一步地,所述AGV通过二维码进行导航;上位机***控制AGV行进、转向、避障和急停;当AGV的电量不足时,上位机***控制AGV进行自动充电。
结合图1,本发明一种基于双目视觉引导的自动抓取档案机器人控制方法,包括以下步骤:
步骤1、机器人获取上位机指令,如果是抓取档案指令则进入步骤2,如果是存放指令则进入步骤6;
步骤2、机器人获取上位机传输的目标档案的数量和位置信息,计算出AGV的最优路径,AGV根据计算的结果,运动到第一个目标档案柜前;
步骤3、机器人的机械臂运动到可以拍到档案柜上相应两个标签的位置,拍摄一张图片,计算机器人相对档案柜的偏差,并计算出目标档案的位置;
图2是机器人的工作环境中的档案柜,档案柜中放入的档案上面贴有二维码标签,用来区分不同的档案;档案柜下边缘为一排二维码标识,其目的是为了校准机器人与档案柜之间的相对位置。
进一步地,结合图3,计算机器人相对档案柜的偏差,具体如下:
步骤3.1、将档案柜的边框贴上两个小标签,标签之间设置一定的距离;
步骤3.2、机械臂运动到拍摄两个小标签的位置,拍摄一张图片,进行图像处理,计算出两个小标签中心位置的三维坐标,两个坐标分别记为(Xa,Ya,Za),(Xb,Yb,Zb)。;
步骤3.3、设定从机械臂末端左相机中心点垂直指向档案柜的方向为x的正方向,垂直指向地面的方向为z轴的正方向,y轴的正方向根据坐标系的右手定则水平向左;当档案柜与机器人的相对位置平行时,所拍摄的两个小标签的三维坐标中的x和z值应该是相同的;当档案柜与机器人的相对位置不平行时,两个小标签的x和z值会有一定的偏差,记为dx和dz;两个标签之间的距离是固定的,设为D;
步骤3.4、将偏差dx和dy转换为机械臂的位姿角度θx和θy,具体如下:
dx=Xa-Xb;dz=Xa-Xb
将θx和θz传送到机械臂的第4和第5个关节,从而调整机器人与档案柜之间的误差。
步骤4、机械臂调整角度,运动到目标档案前,拍摄一张图片,识别档案标签,判断是否所需的档案,如果是则计算档案相对档案柜的偏角,调整机械臂;否则向上位机反馈错误信息,进入下一个目标位置;
进一步地,图4为档案在放置的过程中由于一些原因导致放置倾斜,使得档案与档案柜之间存在一定的偏角,结合图5,校准的流程具体步骤如下:
步骤4.1.1、机械臂运动到需要识别的档案区域,拍摄一张图片,对图像进行中值滤波,以减少图片的噪声对标签识别的影响;
步骤4.1.2、通过Retinex图像增项算法,增强二维码图像的对比度;
由于拍摄的图像会受到室内光线的影响,通过Retinex图像增项算法,将增强图像的对比度,让要识别的二维码变得更清晰。一般我们把照射图像假设为空间平滑图像,原始图像为S(x,y),反射图像为R(x,y),亮度图像为L(x,y),由此可以得到单尺度Reticex算法公式为:
S(x,y)=R(x,y)·L(x,y)
这里r(x,y)为输出图像,即为增强后的图像。
步骤4.1.3、通过大津算法算法,对图像进行自适应二值化处理;
假设存在阈值TH将图像所有的像素分成两类C1(小于TH)和C2(大于TH),则这两类像素各自的均值就为m1、m2,图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1和p2。因此就有:
p1*m1+p2*m2=mG; (1)
p1+p2=1; (2)
根据方差的概念,类间方差的表达式为:
σ2=p1(m1-mG)2+p2(m2-mG)2 (3)
将上式化简,将式(1)代入式(3),可得:
σ2=p1p2(m2-m2)2 (4)
其中求得能使上式最大化的灰度值k即为OTSU的阈值。
步骤4.1.4、使用canny算子对图像进行边缘提取,获得所有的轮廓;
步骤4.1.5、通过轮廓之间的层级关系,以及二维码标签的特殊层级关系,找到二维码的轮廓;
步骤4.1.6、通过识别算法,识别出目标档案二维码内容,及其所在的位置信息。
进一步地,所述的计算档案相对档案柜的偏角,具体如下:
步骤4.2.1、截取二维码所在档案的区域;
步骤4.2.2、通过霍夫变换,得到档案边缘的所在直线,从而得到档案相对相机拍摄的图片的夹角,即档案的偏角;
步骤4.2.3、将档案偏角添加到机械臂中,通过调整机械臂,使得夹具与档案平行。
步骤5、抓取档案放入收纳盒,抓取下一个目标档案,如果已抓取完所有目标档案则将档案放到指定窗口供人参阅;
步骤6、机器人获取上位机传输的目标档案的数量和位置信息,运动到窗口,将档案放到机器人的收纳盒中,计算出AGV的最优路径,AGV根据计算的结果,运动到第一个目标档案柜前;
步骤7、机器人的机械臂运动到可以拍到档案柜上相应两个标签的位置,拍摄一张图片,计算机器人相对档案柜的偏差,并计算出目标档案的位置;
步骤8、机械臂调整角度,运动到目标档案前,拍摄一张图片,判断档案所在的位置是否为空,如果为空,则将机器人收纳盒中的相应档案放入该位置;否则向上位机反馈错误信息,进入下一个目标位置;
步骤9、存放下一个目标档案,如果已存放完所有目标档案则返回待机;
步骤10、判断机器人***电量,当机器人***电量低于设定的时候,自动行走到充电桩进行充电,充电完成后进入待机状态,等待上位机的任务指令。
综上所述,本发明可以在机器人本身停不准的情况下,准确地调整机器人的机械臂,使得AGV的相应误差为0,提高了抓取和存放的准确性;在档案柜发生一定的偏移时,能够自动的调整机器人中的机械臂,使得机器人相对档案柜平行;可以让档案在放偏一定角度的情况下,自动的调整夹具使得夹具随着档案的偏转而转动;通过算法方面的优化,增强了机器人***的鲁棒性,降低了对硬件精准的要求,提高了***的容错性,算法简明高效,提高了***的实现速度。