CN109352646A - 纱线自动装卸方法及*** - Google Patents
纱线自动装卸方法及*** Download PDFInfo
- Publication number
- CN109352646A CN109352646A CN201811159687.8A CN201811159687A CN109352646A CN 109352646 A CN109352646 A CN 109352646A CN 201811159687 A CN201811159687 A CN 201811159687A CN 109352646 A CN109352646 A CN 109352646A
- Authority
- CN
- China
- Prior art keywords
- yarn
- robot
- point
- point cloud
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种纱线自动装卸方法,机器人夹具携带纱线运动至若干标定点,利用若干图像采集装置各自采集每个标定点的纱线深度图像;各个图像采集装置从各自的深度图像中提取出各自对应的局部坐标系下的纱线点云数据集合;对各个纱线点云数据集合进行预处理,利用预处理后的纱线点云数据计算从各个局部坐标系到机器人绝对坐标系的转移矩阵;确定局部坐标系下的纱柱点云数据,利用转移矩阵进行机器人绝对坐标系下的纱柱坐标标定;根据纱柱标定,机器人执行纱线的装卸任务。本发明还提供了实现上述方法的纱线自动装卸***。本发明能够实现纱柱的自动标定以及纱线的主动装卸,提高纱线装卸工作的自动化、智能化以及工作效率。
Description
技术领域
本发明属于纺织技术领域,特别涉及一种纱线自动装卸方法及***。
背景技术
在纺织行业,在纱柱(串纱线的柱子)上进行纱线的装卸是一个重要步 骤。在实际工作过程中,大量的纱柱呈圆盘状垂直分布在托盘上,托盘先被 放置在机械抓手下方且位于支承框架下方中部位置。为了让机器抓手正确到 达每一纱柱顶端进行纱线的装卸工作,在机器抓手动作之前首先要对每一托 盘的纱柱位置坐标通过人工逐个进行坐标标注,然后将每一纱柱对应的坐标 点逐个输入至控制***,而后机器抓手按照预定的坐标运行进行纱线装卸。 例如申请号为2008201827153,申请日为2008年12月23日的中国专利文献 公开了名为“一种新型搬运机器手”的实用新型专利,在实际应用中,该搬 运机器手顶部通过移动机构连接在支承框架上和其底部设置有可开合的机器 抓手,通过控制***控制移动机构和移动机构带动搬运机器手移动至某一纱 柱正上方,然后控制机器抓手往纱柱顶端方向运动,当机器抓手运动至设定 位置时再通过控制***控制机械抓手进行柱纱的抓取,抓取成功之后,再通 过控制***控制搬运机器手将纱柱搬运至指定位置。
但是在实际工作中,托盘纱柱数量多,上述坐标标注工作量大且容易标 注错误,标注过程费时费力。在纺织行业,虽然抓取柱纱工作只是很简单的 一个步骤,但是该步骤的快慢及其自动化程度严重影响着整个纺织行业的发 展程度,因此如何提高托盘上每一纱线的装卸自动化程度一直是纺织行业研 究与探讨的关键课题。
发明内容
本发明要解决的技术问题是,提供一种纱线自动装卸方法及***,实现 纱柱的自动标定以及纱线的主动装卸,提高纱线装卸工作的自动化、智能化 以及工作效率。
为解决上述技术问题,本发明所提供的纱线自动装卸方法,包括以下步 骤:
S1:机器人夹具携带纱线运动至若干标定点,利用若干图像采集装置各 自采集每个标定点的纱线深度图像;
S2:各个图像采集装置从各自的深度图像中提取出各自对应的局部坐标 系下的纱线点云数据集合;
S3:对各个纱线点云数据集合进行预处理,利用预处理后的纱线点云数 据计算从各个局部坐标系到机器人绝对坐标系的转移矩阵;
S4:确定局部坐标系下的纱柱点云数据,利用所述转移矩阵进行机器人 绝对坐标系下的纱柱坐标标定;
S5:根据所述纱柱标定,机器人执行纱线的装卸任务。
在上述技术方案中,通过采集局部坐标系下的纱线点云数据可得到各个 局部坐标系到机器人绝对坐标系的转移矩阵,进而根据局部坐标系下的纱柱 点云数据得到机器人绝对坐标系下的纱柱顶端坐标,从而实现了各个纱柱顶 端坐标的自动标定,在此基础上再进行纱线的装卸任务。上述技术方案整个 过程无需人工参与,自动化和智能化程度高且省时省力,能够提高纱线装卸 工作效率,降低工作成本,从而大大促进整个纺织行业发展。
作为本发明技术方案的进一步改进,上述预处理包括以下方式或者各方 式的结合:
去除不具备物理意义或与任何物体上没有连接的点;去除与机器人执行 任务无关的场景数据;去除不符合机器人已知运动的移动点。
通过预处理过程可以去除与转移矩阵计算无关的信息,并缩减用于计算 转移矩阵的点云数据集合的大小,从而降低数据计算代价,提高转移矩阵的 计算精度。
作为本发明技术方案的进一步改进,所述图像采集装置有n个,所述纱 线点云数据中的每一个测量点,其坐标通过概率密度分布表示:
求测量点之间的概率分布的乘积,根据乘积值确定所述纱线点云数据中 相同的点,可以得到不同图像采集装置视野重叠处描述相同物理对象的点。 这些点用于经典迭代就近点算法,以得到更加准确的转移矩阵。
作为本发明技术方案的进一步改进,根据所述纱柱标定,机器人执行纱 线的装卸任务包括:
在所述机器人夹具上安装图像采集装置,当纱柱顶部中心在该图像采集 装置所采集图像上的投影点位于虚拟图像中心点时,机器人夹具与纱柱中心 轴保持一致,可以执行纱线的装卸任务;所述虚拟图像中心点按照如下方式 获得:
S51:提取属于纱柱顶尖的像素;
S52:执行椭圆拟合程序以获得纱柱顶尖的投影轮廓和中心;
S53:变换机器人夹具与纱柱顶端之间的高度并检测椭圆的中心;
S54:构建关于虚拟图像中心点函数如下:
其中:
及:
及:
Hi是S53中第i次检测时机器人夹具与纱柱顶端之间的高度,(xHi, yHi)是虚拟图像中心。
通过本技术方案,能够使机器人夹具处于执行装卸任务的最佳姿态,提 高装卸工作效率。
为解决上述技术问题,本发明所提供的纱线自动装卸***包括局部场景 建模模块、预处理模块、控制模块以及PLC控制单元;其中,
局部场景建模模块,包括若干图像采集装置,每个图像采集装置用于采 集各自局部坐标系下的纱线点云数据以及纱柱点云数据;
预处理模块,用于对所述纱线点云数据进行预处理;
控制模块,用于根据预处理后的纱线点云数据计算从各个局部坐标系到 机器人绝对坐标系的转移矩阵以及利用所述转移矩阵进行机器人绝对坐标系 下的纱柱坐标标定,并向所述PLC控制单元发送控制信号;
PLC控制单元,用于根据所述控制模块的控制信号控制机器人执行纱线 的装卸任务。
在上述技术方案中,通过局部场景建模模块采集局部坐标系下的纱线点 云数据和纱柱点云数据,通过控制模块计算各个局部坐标系到机器人绝对坐 标系的转移矩阵以及机器人绝对坐标系下的纱柱顶端坐标,从而实现了各个 纱柱顶端坐标的自动标定,在此基础上再通过PLC控制单元控制机器人进行 纱线的装卸任务。上述技术方案整个过程无需人工参与,自动化和智能化程 度高且省时省力,能够提高纱线装卸工作效率,降低工作成本,从而大大促 进整个纺织行业发展。
作为本发明技术方案的进一步改进,该纱线自动装卸***还包括定位模 块,所述定位模块包括设置于机器人夹具上的图像采集装置,用于采集纱柱 图像以及纱柱顶部中心在所采集图像上的投影点;所述控制模块还用于计算 虚拟图像中心点,并向所述PLC控制单元发送控制信号以控制机器人运动, 使纱柱顶部中心在所采集图像上的投影点与所述虚拟图像中心点重合。通过 定位模块可以使机器人夹具与纱柱中心轴保持一致,从而处于执行装卸任务 的最佳姿态,提高装卸工作效率。
作为本发明技术方案的进一步改进,所述图像采集装置为RGB-D传感 器,具有色彩检测可靠性好,应用性好的特点。
作为本发明技术方案的进一步改进,所述局部场景建模模块包括两个 RGB-D传感器,分别安装在机器人支承框架的两侧,能够完全覆盖机器人的 整个活动区域。
作为本发明技术方案的进一步改进,所述定位模块还包括惯性测量模块, 所述惯性测量模块至少用于测量机器人的加速度和角运动,所述控制模块还 用于根据所述惯性测量模块的检测数据计算机器人的位置和速度。
作为本发明技术方案的进一步改进,机器人夹具设置有压力传感器,所 述控制模块还用于根据所述压力传感器的法向受力计算出压力的模拟量测量 值,根据所述模拟量测量值判断所述机器人夹具与纱线是否产生接触。若机 器人的夹具在非装卸阶段时触碰到纱线,则将此情况判断此为异常情况并发 出警报。
附图说明
图1所示为本发明的框架流程图;
图2所示为本发明机器人夹具上的元件示意图;
图3所示为本发明圆柱***置示意图;
图4所示为本发明纱柱图像示意图;
图5所示为本发明概率示意图;
图6所示为本发明验证纱柱垂直状态示意图;
图7所示为本发明验证纱柱非垂直状态示意图;
图8所示为本发明虚拟图像示意图;
图9所示为本发明速度曲线示意图。
图中:1,RGB-D传感器Ⅰ;2,预处理单元Ⅰ;3,RGB-D传感器Ⅱ;4, 预处理单元Ⅱ;5,控制模块;6,PLC控制单元;7,RGB-D传感器Ⅲ;8,预 处理单元Ⅲ;9,微程序控制器;10,3D加速度仪;11,陀螺仪;12,压力 传感器,13,夹具。
具体实施方式
本实施方式所提供的纱线自动装卸方法包括以下步骤:
S1:机器人夹具(即机器人末端夹持部)携带纱线运动至若干标定点(提 前随机设定),利用n个图像采集装置各自采集每个标定点的纱线深度图像, 这n个图像采集装置能够完全覆盖机器人的整个活动区域。
S2:各个图像采集装置从各自的深度图像中提取出各自对应的局部坐标 系下的纱线点云数据集合。
S3:对各个纱线点云数据集合进行预处理,预处理包括以下方式或者各 方式的结合。
去除不具备物理意义或与任何物体上没有连接的点;去除与机器人执行 任务无关的场景数据;去除不符合机器人已知运动的移动点。
通过预处理过程可以去除与转移矩阵计算无关的信息,并缩减用于计算 转移矩阵的点云数据集合的大小,从而降低数据计算代价,提高转移矩阵的 计算精度。
利用预处理后的纱线点云数据计算从上述各个局部坐标系到机器人绝对 坐标系的转移矩阵。
当图像采集装置有n个时,所述纱线点云数据中的每一个测量点,其坐 标通过概率密度分布表示:
概率表示在该位置(X,Y,Z)有物理点的可能性,这样可以减少测量 噪声的影响。随着时间的推移,在同一位置看到的点越多,概率就越接近1。
求测量点之间的概率分布的乘积,乘积值较大(可以根据需要确定“较 大”的标准)的概率分布所对应的点是相同的点,从而可以得到不同图像采 集装置视野重叠处描述相同物理对象的点。这些点用于经典迭代就近点算法, 以得到更加准确的转移矩阵。
S4:确定局部坐标系下的纱柱点云数据,利用所述转移矩阵进行机器人 绝对坐标系下的纱柱坐标标定;
S5:根据所述纱柱标定,机器人执行纱线的装卸任务。具体包括:在纱 柱标定的基础上,机器人夹具携带纱线运动到步骤S4所标定的纱柱坐标正上 方,进而执行纱线的装卸任务。
在S5的基础上,机器人夹具实际运动到的位置与实际所要到达的纱柱目 标的正上方位置可能存在偏差。故进一步,在所述机器人夹具上安装图像采 集装置,当纱柱顶部中心在该图像采集装置所采集图像上的投影点位于虚拟 图像中心点时,机器人夹具与纱柱中心轴保持一致,即机器人夹具位于纱柱 目标的正上方,可以执行纱线的装卸任务。上述虚拟图像中心点按照如下方 式获得:
S51:提取属于纱柱顶尖的像素;
S52:执行椭圆拟合程序以获得纱柱顶尖的投影轮廓和中心;
S53:变换机器人夹具与纱柱顶端之间的高度并检测椭圆的中心;
S54:构建关于虚拟图像中心点函数如下:
其中:
及:
及:
Hi是S53中第i次检测时机器人夹具与纱柱顶端之间的高度,(xHi,yHi) 是虚拟图像中心。
通过上述过程,即可实现各个纱柱顶端坐标的自动标定,并能够使机器 人夹具运动至与纱柱中心轴保持一致,即与实际所要到达的纱柱目标的正上 方位置一致,从而位于实际处于执行装卸任务的最佳姿态,提高装卸工作效 率。
如图1所示,本实施方式所提供的纱线自动装卸***包括局部场景建模 模块、预处理模块、控制模块5以及PLC控制单元6。其中,
局部场景建模模块,包括若干图像采集装置,每个图像采集装置用于采 集各自对应的局部坐标系下的纱线点云数据以及纱柱点云数据;
预处理模块,用于对所述纱线点云数据进行预处理;
控制模块5,用于根据预处理后的纱线点云数据计算从各个局部坐标系 到机器人绝对坐标系的转移矩阵以及利用所述转移矩阵进行机器人绝对坐标 系下的纱柱坐标标定,并向所述PLC控制单元6发送控制信号;
PLC控制单元6,用于根据所述控制模块5的控制信号控制机器人执行 纱线的装卸任务。
下面对本纱线自动装卸***进行进一步说明:
该***包括局部场景建模模块、预处理模块、控制模块5和定位模块, 所述局部场景建模模块包括RGB-D传感器Ⅰ1和RGB-D传感器Ⅱ3,预处理 模块包括预处理单元Ⅰ2和预处理单元Ⅱ4,所述RGB-D传感器Ⅰ1连接预处 理单元Ⅰ2,所述RGB-D传感器Ⅱ3连接预处理单元Ⅱ4,预处理单元Ⅰ2和 预处理单元Ⅱ4均与控制模块5连接,控制模块5连接PLC控制单元6。所 述RGB-D传感器Ⅰ1和RGB-D传感器Ⅱ3分别安装在机械人支承框架的两 侧,以保证能够完全覆盖机器人的整个活动区域。
如图2所示,该纱线自动装卸***还包括定位模块,定位模块包括设置 于机器人夹具13上的图像采集装置,该图像采集装置可以采用RGB传感器 Ⅲ7。RGB传感器Ⅲ7连接相应的嵌入式预处理单元Ⅲ8,预处理单元Ⅲ8连 接控制模块5。
下面介绍自标定过程:
1)从深度图像中提取点云数据
RGB-D传感器Ⅰ1与RGB-D传感器Ⅱ3获得的是im(i,j,d)灰度图像I (对应图像平面而言,深度数据由于显示需要将深度数据转化到0-255的灰 度值范围内,其中(i,j)是点P(X,Y,Z)在图像平面上的投影点,d是从 RGB-D传感器到点P(X,Y,Z)点的距离,(P点是RGB-D 传感器在三维坐标系下的点,点P(X,Y,Z)和图像平面中im(i,j,d)是一一对 应的)。
RGB-D传感器Ⅰ1和Ⅱ3所得到的点云数据集合表示如下:
所述PC1表示由RGB-D传感器Ⅰ1获得的N1=9个相对于局部坐标R1的 点云数据集合,PC2表示由RGB-D传感器Ⅱ3获得的N2=9个相对于局部坐标 R2的点云数据集合。
对PC1和PC2集合数据通过各自连接的预处理单元进行滤波处理以除去以 下无用信息:
去除孤立点,不具备物理意义或与任何物体上没有连接的点会被认为是 噪声并去除;
缩减PC1和PC2集合大小:RGB-D传感器Ⅰ1和Ⅱ3覆盖范围大于机器人工 作空间范围,除去与机器人执行任务无关的场景数据以降低数据计算代价;
警戒点:不符合机器人已知运动的移动点被认为是异常点,它们将会被 标记为报警点并去除;
在上述预处理过程中预处理单元Ⅰ2、预处理单元Ⅱ4可以根据数据预定 义属性提取点云数据集合PC1和PC2的子集用于机器人夹具13的自标定过程, 标定借助:
移动点;
特定颜色点;
具有给定对称性(球体,圆柱体,锥体等)的形状的点;
上述两个或更多条件的组合;
本实施方式中,我们可以使用移动点信息子集MPC1和MPC2进行自标定。 两个子集存贮关于同一移动对象的局部信息,其中MPC2具有各向异性对称, 通常为轴向对称,以便在任意观察位置都能获取相同的形状信息。
2)提取机器人夹具13和纱线的移动信息
从2个RGB-D传感器Ⅰ1和Ⅱ3获取的图像信息中,机器人移动部分会产 生颜色改变,而静止部分颜色保持不变,因此从两幅图像的颜色差值提取机 器人移动部分信息。
Pm(X,Y,Z),DifImage(i,j,t)=||Im(i,j,d,t)-Im(i,j,d,t-1)||>Threshold
Pm表示图像差异大于给定阈值的点的集合,即为机器人抓取纱线运动时检测 到的空间中所运动的点。
3)提取纱线信息
已知纱线品种颜色(ry,gy,by),提取相对应的Pyarn(X,Y,Z,r,g,b)点位 置(Pyarn是机器人空间中纱线纱柱上的点,(x,y,z)对应空间坐标,(r,g,b) 对应坐标位置上的颜色)。
首先对图像中颜色信息作归一化处理:
对于每个移动点Pm,检测其颜色信息是否在相应颜色域内,当且仅当满 足如下条件时判断点Pm是纱线上某一点:
Pm(Xm,Ym,Zm,rm,gm,bm)∈YARN,iif
其中0<α<1。
4)估计纱线轴和移动物体中心
纱线在2个RGB-D图像中应为圆柱体形状。使用一类经典的形状拟合方 法提取2个RGB-D传感器Ⅰ1和Ⅱ3中的圆柱信息。纱线两侧分别由2个RGB-D 传感器Ⅰ1和Ⅱ3显示。从RGB-D传感器1和RGB-D传感器2,可以取得两组 代表纱线一部分的点云数据。已知,点云数据中的点可能是属于纱线的。因 此,我们可以通过将得到的点云拟合到纱线的理论形状来获得纱线的坐标。 换句话说,我们发现纱线的坐标,最大限度地减少实际的点云和给出的纱线 坐标间的距离。在纱线两个3D模型中,分别用Pi1(Xi1,Yi1,Zi1)表示 RGB-D传感器Ⅰ1的第ith个视图中提取到以圆柱体下底面为中心。Pi2(Xi2, Yi2,Zi2)表示RGB-D传感器Ⅱ3中的第ith个视图中提取到以圆柱体下底 面为中心。本实施方式中,选用了9个位置作为标定点(提前随机设定)用 于标定,圆柱体在9个位置上分别得到一个视图,如图3所示。根据实际需 要,也可以变换用于标定的位置的个数。
5)RGB-D传感器到机器人转移矩阵
当机器人移动时,2个RGB-D传感器Ⅰ1和Ⅱ3捕获机器人位置Qi(Xi,Yi,Zi) 下的2*N个3D点云数据[Pi1(Xi1,Yi1,Zi1),Pi2(Xi2,Yi2,Zi2)]。
求解如下运动方程,分别获得从RGB-D传感器Ⅰ1和RGB-D传感器Ⅱ3到 机器人位置的转移矩阵TS1-R,TS2-R,
其中R是旋转矩阵是平移向量,旋转矩阵求解如下:
R=V
V是由矩阵Pi和Qi的协方差矩阵S通过奇异值分解,
S=U.Σ.VT=X.YT
其中X和Y矩阵表示:
平移矩阵为:
根据已知物体(机器人末端执行器上点)的移动信息,可以分别推导出 机器人夹具13与PC1之间的转移矩阵TS1-R及其与PC2之间的转移矩阵 TS2-R。根据转移矩阵TS1-R和TS2-R将局部点云集合PC1和PC2中的数据 转化为以机器人夹具13为绝对坐标系的3D点云集合Pi(Xi,Yi,Zi)i=(1,N),其 中0<N<N1+N2,集合中每个点Pi(Xi,Yi,Zi)i=(1,N)表示在机器人工作空间中 物体表面点的3D坐标,利用物体的对称性,用形状拟合的方法提取物体对 称轴验证自标定过程的准确性。
特别地,本实施方式中还进行了2个RGB-D传感器Ⅰ1和Ⅱ3数据的并 置融合,具体如下:
RGB-D传感器Ⅰ1和Ⅱ3采集深度信息从而获取一组局部坐标系下关于X、 Y、Z方向的3D点云数据集合。自标定完成后,两个RGB-D传感器Ⅰ1和Ⅱ3 就能够提供机器人绝对坐标系下的3D点集。
RGB-D传感器能够通过红外线反射捕捉物理点的坐标,这些点属于物体 的表面。捕捉到的点的坐标值X,Y,Z带有噪声P*(X,Y,Z)=P(X,Y,Z)+(εx,εy,εz), P(X,Y,Z)是测量点的实际位置,(εx,εy,εz)是在3个维度上的噪声。
考虑到不同的RGB-D传感器的视角不同以及受到噪声的影响,3D点云数 据存在误差:由于标定和测量的误差,即使是描述同一个物理对象的3D点, 当它处于不同传感器视野中时,点的3D坐标也会有轻微的偏差。
点云中的每一个测量点的坐标都可以用一个概率密度分布表示,即实际 的点坐标服从一个概率分布,即高斯分布:我们假 设测量误差遵循高斯分布。例如,P(X,Y,Z)在球心上时,概率取最大值, 其概率值会随着距离球心的距离增大而逐渐减小。最后,求测量点之间的概 率分布的乘积,乘积值较大的概率分布所对应的两个点是相同的点。
这样,不同传感器视野重叠处,描述相同物理对象的点就可以被检测出 来。这些点之后被用于经典ICP(迭代就近点算法)以得到更加精确的变换 TS1-R和TS2-R,(解释下ICP算法)从而减小3D重构的误差。迭代就近点 算方法(IPC)是一种已知的优化算法,通过迭代减少点云数据假定代表的形 状和给定的形状的距离。方法的输入是理论形状的位置和点云数据,输出是 理论形状的位置。
6)纱线立柱(简称纱柱)定位
检测立柱时,只有X和Y坐标方向被考虑到,从而一个概率圆((X,Y) 二维对应一个圆)代替了概率球((X,Y,Z)三维对应一个球)。因此,每个 3D场景点P(Xk,Yk,Zk)被表示为以此点为中心的高斯概率分布:
A和σ为常数。为了确定立柱在垂直方向的概率分布,对N*M个单元上所 有的点做水平方向上做概率积分,得出灰度图Im(i,j):
其中i=integer(Xk)和j=interger(Yk)对应待确定概率的点;。
如图4所示,给定纱柱形状求得图像Im(i,j),考虑到圆柱体的形状, 最终概率图在大多数情况下像一叠墨西哥帽(如图5所示):由于顶端包括 的点相互之间距离非常的接近,所以在概率图上会有一个中心最大值。对于 柱状体,最大值所在区域是一个圆就像外部的柱体一样,称之为圆柱。由此 可以提取局部最大值推导出在机器人绝对坐标系X-Y平面的纱柱顶尖位置。
其中:外部最大轮廓线用于验证纱柱是否垂直,如图6所示是垂直状态, 图7所示为非垂直状态。
如果立柱不是垂直的,那么相应的最大值区域的轮廓是椭圆(倾斜的立 柱在平面上的投影)并且,立柱顶部的最大值点将不会投影到椭圆中心处。
综上,RGB-D传感器Ⅰ1和RGB-D传感器Ⅱ3分别将收集的数据经相应 的预处理单元进行滤波处理并重构局部的3D场景观测模型,之后再将这些 局部坐标系下场景重建数据发送给控制模块5,控制模块5首先执行上述的 自标定程序,计算相对于机器人坐标系下的垂直纱柱顶尖位置信息,再通过 局部坐标系与机器人绝对坐标系的坐标转换,就可以构造关于垂直纱柱位置 的似然函数的概率图,由于纱柱垂直投影属于同心圆,由此约束进行数据拟 合获取纱柱顶尖的精确位置。
由上可知,整个***的各个纱柱顶端坐标的自标定程序在机器人夹具13 装载或移动纱线时自动进行,既不需要人为增加视觉的或磁力的特征点,也 不需要在工作环境中的添加其他辅助元素。
根据纱柱顶尖位置信息和装卸工序要求,控制模块5将控制指令传给系 统PLC控制单元6,PLC控制单元6控制机器人并使其向纱柱目标位置移动。 由于机械结构的限制和安装误差,机器人夹具13实际运动到的位置与实际所 要到达的纱柱目标的正上方位置可能存在偏差,因而可以当机器人夹具13运 动到预定的纱柱目标位置(或标定位置)附近(根据实际需要确定“附近” 的标准)时,与控制模块5相连RGB传感器Ⅲ7定位传感激活,并将实时捕 获每一纱柱相应的图像信息发送给嵌入式预处理单元Ⅲ8进行处理,处理后 提取每一纱柱的颜色和形状,根据HSV编码来选择对应于纱柱顶端颜色的色 彩带,处理后的图像再根据相应投影中心来提取椭球轮廓,所述椭球轮廓用 于判断机器人夹具13是否精准垂直于纱柱正上方,再根据视觉伺服原理控制 模块5向PLC控制单元6发出控制信号调整机器人夹具13姿态并使其达到 垂直精度,即处于执行装卸任务的最佳姿态后开始装卸纱线。控制模块5根 据视觉伺服原理的计算控制过程具体如下:
理论上,如果RGB传感器Ⅲ7完美的安装在机器人夹具13上,传感器图 像中心轴与立柱中心轴保持一致,那么不管传感器距离立柱顶部的高度如何, 立柱中心始终保持在传感器提供的图像中心处。但是,由于机械结构的限制 和安装的误差,传感器图像中心与机器人夹具13旋转中心轴无法保持一致 (即无法保持在一条直线上),从而传感器图像中心也就无法与立柱中心轴保 持一致(即无法保持在一条直线上)。相应的,立柱顶部中心在图像上的投影 坐标会与图像中心坐标存在差异,这种差异会因为传感器距离立柱顶部高度的不同而有所不同。这样图像中心就不能作为参考点,用于调节不同高度上 机器人夹具13和立柱以使它们的中心轴保持在一条直线上。
考虑到这样的情况,选择立柱顶部在图像上的虚拟图像中心点,而不是 图像中心点,帮助调节机器人夹具13位置。虚拟图像中心点:在给定机器人 夹具13和立柱顶部距离情况下,移动机器人夹具13使得立柱顶端在传感器 图像上的投影处于这某一点时,机器人夹具13和立柱中心轴保持一致。
该虚拟中心由控制模块5通过以下过程自动获得(如图8所示):
1-提取属于纱柱顶尖的像素,
2-执行椭圆拟合程序以获得纱柱顶尖的投影轮廓和中心,
3-在3个(或其他数量)不同的高度(机器人夹具13与纱柱顶端的高 度)H1,H2,H3处检测椭圆的中心(尖端投影)
4-构成摄像头关于虚拟中心高度微分的函数。
所构建的虚拟图像中心的函数如下:
其中:
及:
及:
Hi是S53中第i次检测时机器人夹具13与纱柱顶端之间的高度,(xHi, yHi)是虚拟图像中心。
有了高度与投影点的位置函数以及机器人夹具13距离立柱中心的高度 信息,就可以得到在任意高度上虚拟图像中心的坐标(x,y),以此控制模块 5向PLC控制单元6发送信号,来帮助调节机器人夹具13使得中心轴与立柱 中心轴一致。此时虚拟图像中心(xHi,yHi)和当前观测到的立柱顶部投影点 (xtip,ytip)之间的位置误差(dist)等于0。
通过上述过程,能够调整机器人夹具13姿态并使其达到垂直精度,即处 于执行装卸任务的最佳姿态后开始装卸纱线。
如图2所示,所述定位模块还包括惯性测量单元,所述惯性测量单元(简 称IMU)包括分别安装在机器人夹具13的3D加速度仪10和陀螺仪11,所 述3D加速度仪10和陀螺仪11两者集成在同一电路板上并分别由微程序控制 器9通过USB串口连接嵌入式预处理单元Ⅲ8,所述嵌入式预处理单元Ⅲ8 分别计算出机器人夹具13的位置、速度:IMU根据三轴X,Y和Z提供加 速度。通过积分,我们可以根据X,Y和Z轴得出3种速度。通过双重积分, 我们得到X,Y和Z的位置。如下所示:
是惯性测量单元测得的加速度向量,是速度向量,对惯性测量单元的 加速度向量求积分得出。是传感器的初始速度,传感器的位置向量通 过对速度向量求积分得到是传感器在机器人绝对坐标系中的初始位置。
同时在机器人移动过程中,微程序控制器9对IMU提供的数据进行卡尔 曼滤波处理并对机器人夹具13的速度进行估计,根据估值进而矫正由机器人 编码器提供的机器人的位置或速度信息。
由于机器人结构的问题,主要是机械结构的柔韧性,所以有必要设计一 套特定的控制策略,以避免激发可能损坏机器人机械结构的振动。除此之外, 对于一些非对称机器人,考虑到运动和加速度的具体方向,有必要设计特定 的控制器。
机械手的运动按照以下公式以速度模式控制:机器人可以实现多种模式 下控制(位置模式、速度模式、加速度模式、转矩控制等)。在此例中使用 速度控制机器人,意味着是输入以速度表示,期望的输出是机器人的位置。
·V是速度;
·di是距离起始位置的距离;
·df是距离最终位置的距离;
·M是加速度系数;机器人速度在时间单位中的变化,机器人在减速停止或 加速启动时的速度
·K是全局增益系数;K是一个简单的增益,换句话说,它是一个增加或 减少最终速度的常数)
·L和K分别是开始和结束使能距离。
速度曲线如图9所示。
本实施方式中,在机器人夹具13两侧分别设置压力传感器12,所述压力 传感器12呈阵列分布并设置为两行两列,压力传感器12通过微程序控制器 9连接嵌入式预处理单元Ⅲ8,微程序控制器9通过压力传感器12的法向受 力推导出压力的模拟量测量值,所述模拟量测量值由USB串口发送给嵌入式 预处理单元Ⅲ8。所述模拟量测量值对应机器人夹具13与纱线之间的压力大 小,通过模拟量测量值即可判断机器人夹具13与纱线是否有接触以及接触力 度以及机器人夹具13上的纱线有无情况。若机器人夹具13在非装卸阶段时 触碰到纱线,压力传感器12、微程序控制器9、嵌入式预处理单元Ⅲ8判断 此为异常情况并发出警报。
综上,本发明既能够实现纱线装卸过程中各个纱柱顶端坐标的自动标定, 又能够对纱线装卸的机器人的包括速度和位置在内的运动过程进行控制,使 得机器人夹具以最佳姿态自动进行纱线装卸工作,并能够保障机器人的运行 安全性。另外,本发明还能够对纱线有无情况进行判断,避免机器人在非装 卸阶段时触碰到纱线。本发明的整个纱线装卸过程无需人工参与,能够提高 纱线装卸工作的自动化、智能化以及工作效率,降低纱线装卸成本,从而大 大促进整个纺织行业发展。
Claims (10)
1.纱线自动装卸方法,包括以下步骤:
机器人夹具携带纱线运动至若干标定点,利用若干图像采集装置各自采集每个标定点的纱线深度图像;
各个图像采集装置从各自的深度图像中提取出各自对应的局部坐标系下的纱线点云数据集合;
对各个纱线点云数据集合进行预处理,利用预处理后的纱线点云数据计算从各个局部坐标系到机器人绝对坐标系的转移矩阵;
确定局部坐标系下的纱柱点云数据,利用所述转移矩阵进行机器人绝对坐标系下的纱柱坐标标定;
根据所述纱柱标定,机器人执行纱线的装卸任务。
2.根据权利要求1所述的纱线自动装卸方法,其特征在于:所述预处理包括以下方式或者各方式的结合:
去除不具备物理意义或与任何物体上没有连接的点;
去除与机器人执行任务无关的场景数据;
去除不符合机器人已知运动的移动点。
3.根据权利要求1所述的纱线自动装卸方法,其特征在于:所述图像采集装置有n个,所述纱线点云数据中的每一个测量点,其坐标通过概率密度分布表示:
求测量点之间的概率分布的乘积,根据乘积值确定所述纱线点云数据中相同的点。
4.根据权利要求1所述的纱线自动装卸方法,其特征在于:根据所述纱柱标定,机器人执行纱线的装卸任务包括:
在所述机器人夹具上安装图像采集装置,当纱柱顶部中心在该图像采集装置所采集图像上的投影点位于虚拟图像中心点时,执行纱线的装卸任务;
所述虚拟图像中心点按照如下方式获得:
提取属于纱柱顶尖的像素;
执行椭圆拟合程序以获得纱柱顶尖的投影轮廓和中心;
变换机器人夹具与纱柱顶端之间的高度并检测椭圆的中心;
构建关于虚拟图像中心点函数如下:
其中:
及:
及:
Hi是第i次检测时机器人夹具与纱柱顶端之间的高度,(xHi,yHi)是虚拟图像中心。
5.纱线自动装卸***,其特征在于:包括局部场景建模模块、预处理模块、控制模块以及PLC控制单元;其中,
局部场景建模模块,包括若干图像采集装置,每个图像采集装置用于采集各自局部坐标系下的纱线点云数据以及纱柱点云数据;
预处理模块,用于对所述纱线点云数据进行预处理;
控制模块,用于根据预处理后的纱线点云数据计算从各个局部坐标系到机器人绝对坐标系的转移矩阵以及利用所述转移矩阵进行机器人绝对坐标系下的纱柱坐标标定,并向所述PLC控制单元发送控制信号;
PLC控制单元,用于根据所述控制模块的控制信号控制机器人执行纱线的装卸任务。
6.根据权利要求5所述的纱线自动装卸***,其特征在于:还包括定位模块,所述定位模块包括设置于机器人夹具上的图像采集装置,用于采集纱柱图像以及纱柱顶部中心在所采集图像上的投影点;所述控制模块还用于计算虚拟图像中心点,并向所述PLC控制单元发送控制信号以控制机器人运动,使纱柱顶部中心在所采集图像上的投影点与所述虚拟图像中心点重合。
7.根据权利要求5所述的纱线自动装卸***,其特征在于:所述图像采集装置为RGB-D传感器。
8.根据权利要求5至7中任一项所述的纱线自动装卸***,其特征在于:所述局部场景建模模块包括两个RGB-D传感器,分别安装在机器人支承框架的两侧。
9.根据权利要求5至7中任一项所述的纱线自动装卸***,其特征在于:所述定位模块还包括惯性测量模块,所述惯性测量模块至少用于测量机器人的加速度和角运动,所述控制模块还用于根据所述惯性测量模块的检测数据计算机器人的位置和速度。
10.根据权利要求5至7中任一项所述的纱线自动装卸***,其特征在于:机器人夹具设置有压力传感器,所述控制模块还用于根据所述压力传感器的法向受力计算出压力的模拟量测量值,根据所述模拟量测量值判断所述机器人夹具与纱线是否产生接触。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811159687.8A CN109352646B (zh) | 2018-09-30 | 2018-09-30 | 纱线自动装卸方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811159687.8A CN109352646B (zh) | 2018-09-30 | 2018-09-30 | 纱线自动装卸方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109352646A true CN109352646A (zh) | 2019-02-19 |
CN109352646B CN109352646B (zh) | 2023-01-06 |
Family
ID=65348621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811159687.8A Active CN109352646B (zh) | 2018-09-30 | 2018-09-30 | 纱线自动装卸方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109352646B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110405774A (zh) * | 2019-08-29 | 2019-11-05 | 广东博智林机器人有限公司 | 机器人的控制***和机器人 |
CN112348941A (zh) * | 2020-09-17 | 2021-02-09 | 重庆知至科技有限公司 | 一种基于点云与图像数据的实时融合方法及装置 |
CN112672282A (zh) * | 2020-12-25 | 2021-04-16 | 山东建筑大学 | 基于imu的地排车输送窑车用实时定位***及方法 |
WO2024141034A1 (zh) * | 2022-12-29 | 2024-07-04 | 长园视觉科技(珠海)有限公司 | 上下料控制方法、控制器、上下料设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101943595A (zh) * | 2009-11-18 | 2011-01-12 | 中国矿业大学(北京) | 一种基于立体视觉的煤仓料位测量方法和*** |
CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
CN103587719A (zh) * | 2013-11-11 | 2014-02-19 | 中航沈飞民用飞机有限责任公司 | 平板件的全自动钻铆定位方法 |
US20160314593A1 (en) * | 2015-04-21 | 2016-10-27 | Hexagon Technology Center Gmbh | Providing a point cloud using a surveying instrument and a camera device |
CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
CN107507235A (zh) * | 2017-08-31 | 2017-12-22 | 山东大学 | 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法 |
EP3311960A1 (en) * | 2016-10-20 | 2018-04-25 | Intelligrated Headquarters LLC | 3d-2d vision system for robotic carton unloading |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
-
2018
- 2018-09-30 CN CN201811159687.8A patent/CN109352646B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101943595A (zh) * | 2009-11-18 | 2011-01-12 | 中国矿业大学(北京) | 一种基于立体视觉的煤仓料位测量方法和*** |
CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
CN103587719A (zh) * | 2013-11-11 | 2014-02-19 | 中航沈飞民用飞机有限责任公司 | 平板件的全自动钻铆定位方法 |
US20160314593A1 (en) * | 2015-04-21 | 2016-10-27 | Hexagon Technology Center Gmbh | Providing a point cloud using a surveying instrument and a camera device |
EP3311960A1 (en) * | 2016-10-20 | 2018-04-25 | Intelligrated Headquarters LLC | 3d-2d vision system for robotic carton unloading |
CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
CN107507235A (zh) * | 2017-08-31 | 2017-12-22 | 山东大学 | 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
Non-Patent Citations (1)
Title |
---|
赵矿军: "激光雷达和摄像机联合标定应用于室内场景深度图像的提取方法", 《电子测试》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110405774A (zh) * | 2019-08-29 | 2019-11-05 | 广东博智林机器人有限公司 | 机器人的控制***和机器人 |
CN110405774B (zh) * | 2019-08-29 | 2021-03-30 | 广东博智林机器人有限公司 | 机器人的控制***和机器人 |
CN112348941A (zh) * | 2020-09-17 | 2021-02-09 | 重庆知至科技有限公司 | 一种基于点云与图像数据的实时融合方法及装置 |
CN112672282A (zh) * | 2020-12-25 | 2021-04-16 | 山东建筑大学 | 基于imu的地排车输送窑车用实时定位***及方法 |
WO2024141034A1 (zh) * | 2022-12-29 | 2024-07-04 | 长园视觉科技(珠海)有限公司 | 上下料控制方法、控制器、上下料设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109352646B (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109352646A (zh) | 纱线自动装卸方法及*** | |
Rohan et al. | Convolutional neural network-based real-time object detection and tracking for parrot AR drone 2 | |
US10894324B2 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
CN108171748A (zh) | 一种面向机器人智能抓取应用的视觉识别与定位方法 | |
Wunsch et al. | Real-time visual tracking of 3D objects with dynamic handling of occlusion | |
US9721184B2 (en) | Apparatus and method for picking up article randomly piled using robot | |
CN110193832A (zh) | 验证和更新机器人控制用相机校准的方法和控制*** | |
CN108555908A (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN108073167A (zh) | 一种基于深度相机与激光雷达的定位与导航方法 | |
CN110355754A (zh) | 机器人手眼***、控制方法、设备及存储介质 | |
CN110378325B (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
US11315264B2 (en) | Laser sensor-based map generation | |
CN109101966A (zh) | 基于深度学习的工件识别定位和姿态估计***和方法 | |
CN110796700B (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
CN113537096A (zh) | 基于ros的agv叉车库位托盘识别及辅助定位方法及*** | |
CN109341532A (zh) | 一种面向自动装配的基于结构特征的零件坐标标定方法 | |
CN106247943A (zh) | 物品三维定位方法、装置和*** | |
CN108748149A (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
KR20110095700A (ko) | 작업대상물 픽업을 위한 산업용 로봇 제어방법 | |
CN109454501A (zh) | 一种车床在线监测*** | |
Xu et al. | Industrial robot base assembly based on improved Hough transform of circle detection algorithm | |
CN209342062U (zh) | 3d视觉引导拆垛测量*** | |
Almaghout et al. | Robotic pick and assembly using deep learning and hybrid vision/force control | |
Andersen et al. | Using robot skills for flexible reprogramming of pick operations in industrial scenarios | |
Gemeiner et al. | Improving localization robustness in monocular SLAM using a high-speed camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |