CN114280153B - 一种复杂曲面工件智能检测机器人及检测方法和应用 - Google Patents

Abstract

本发明公开了一种复杂曲面工件智能检测机器人及检测方法和应用，通过机器人手眼标定和末端工具标定，实现相机坐标系、机器人坐标系及工具坐标系转换；采用双目视觉多角度采集复杂曲面工件外形轮廓，完成工件模型重建，自动识别待检工件已标记的特征点，从而确定工件位置；裁剪工件重建模型以确定检测区域、识别数据边界，按照检测工艺要求完成检测路径离线规划；再通过EtherCAT总线和TCP/IP协议分别向机器人控制器、机器人末端位姿解算模块发布检测任务和同步参数；按照已规划的检测路径，安装机器人末端的柔性浮动跟随器夹持传感器完成路径规划任务；采用位姿快速解算模块来解算机器人末端工具位姿，同步检测仪器设备并完成检测工作。

Description

一种复杂曲面工件智能检测机器人及检测方法和应用

技术领域

本发明涉及机器人、机器视觉及无损检测的交叉技术领域，尤其涉及一种复杂曲面工件智能检测机器人及检测方法和应用。

背景技术

因机器人具有多自由度、低成本等优点，被广泛应用于生产制造行业。目前机器人控制主要采用示教模式和离线编程模式。前者通过示教器向机器人控制器输入待完成任务的空间坐标点，机器人控制器再对相邻点插值，从而实现路径规划；后者先依据工件理论模型进行离线编程，然后通过标定实现机器人与工件位置对准，进而实现机器人路径精准规划，最后完成生产制造任务。但当面对理论模型未知、形貌不规则曲面和高定位精度时（如自动磨抛、喷涂等），这两种方式不能完全适用。

结构光机器视觉采用激光器向物体表面投射出一定模式光（如条纹等），由相机探测被测物体表面所调制的结构光图像，再依次恢复相位、高度信息，最终实现物体形貌点云测量。结构光机器视觉可快速重建被测物体轮廓形貌、支持多位置多角度形貌拼接，但测量精度低于接触式三坐标测量。

目前，机器人检测技术受到曲面工件定位、检测效率、绝对位置精度、待检工件种类多等因素影响，在无损检测领域没有得到广泛应用，主要体现在：首先，当待检工件理论模型未知，手动示教完成路径规划的工作量庞大且精度低，而离线编程模式无法完成路径规划；其次，无损检测需要高检测效率（2~20KHz）和高定位精度（小于1mm），现有机器人的通信速率和绝对定位精度无法满足检测需要；再次，当待检工件种类繁多且为不规则曲面时，工件的定位收到一定限制，路径规划工作量庞大；最后，当采用接触式检测方法时，规划路径与待检测工件表面不会完全切合，需要传感器自适应待检工件的接触面。

因此，本申请有必要设计一种复杂曲面工件智能检测机器人及检测方法和应用，以解决上述技术问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种复杂曲面工件智能检测机器人及检测方法和应用，采用视觉引导机器人完成复杂曲面工件的无损检测工作，具体包括多角度曲面重建及拼接、杂曲面工件定位、检测路径规划、自适应待检工件表面、高检测效率（16KHz）及同步其他无损检测仪器设备等。

为了实现上述目的，本发明采用了如下技术方案：

一种复杂曲面工件智能检测机器人的检测方法，采用视觉引导机器人完成复杂曲面工件的无损检测工作：

首先机器人手眼标定和末端工具标定，实现相机坐标系、机器人坐标系及工具坐标系转换；

然后待检测工件定位和模型重建，采用双目视觉多角度采集复杂曲面工件外形轮廓，完成工件模型重建，自动识别待检工件已标记的特征点，从而确定工件位置；

再进行离线路径规划，裁剪已采集的点云数据以确定检测区域、识别数据边界，按照检测工艺要求完成检测路径离线规划；

再通过EtherCAT总线和TCP/IP协议分别向机器人控制器、机器人末端位姿解算模块发布检测任务和同步参数；按照已规划的检测路径，安装机器人末端的柔性浮动跟随器和夹持传感器完成路径规划任务；

采用位姿快速解算模块来解算机器人末端工具位姿，同步检测仪器设备并完成检测工作。

优选地，具体包括以下步骤：

步骤1）、根据需要标定双目相机，确定两相机的内外参数；

步骤2）、根据需要标定固定在机器人末端的柔性浮动跟随器，确定工具矩阵；

步骤3）、根据实际检测需求，选择对应的传感器及其夹持工装并固定在柔性浮动跟随器末端，再标定工具坐标系（传感器及其夹持工装），确定坐标变换矩阵；

步骤4）、机器人手眼标定，确定手眼变换矩阵；

步骤5）、检测路径规划分为待检工件模型已知和未知两种情况；针对工件模型已知的情况，在步骤4）基础上采用双目视觉采集复杂曲面工件外形轮廓并进行特征点识别，进而确定复杂曲面工件实际位姿，再结合工件模型和检测工艺需求进行检测路径规划；针对工件模型未知的情况，在步骤4）基础上双目视觉采集复杂曲面工件外形轮廓及识别特征点，同时对复杂曲面工件进行定位，再根据检测工艺需求进行路径规划；

步骤6）、通过TCP/IP协议，工业PC将步骤5）路径规划结果发送给位机器人位姿快速解算模块，解算模块根据路径规划结果设置检测仪器同步参数，包括检测方法、检测模式、检测精度、触发频率；

步骤7）、通过EtherCAT总线，工业PC将步骤5）路径规划结果发布给机器人控制器，待接收到工业PC发布的检测命令控制机器人完成相应的检测任务；

步骤8）、工业PC向机器人控制器发布检测命令，按照路径规划结果机器人控制器控制机器人完成相应的检测轨迹，同时，步骤6）中的位姿快速解算模块解算机器人末端工具位姿并按照设置的同步参数同步检测仪器，检测仪器完成检测任务的同时将检测数据实时回传给工业PC，以供后续处理，检测仪器可实时显示检测结果；

步骤9）、根据实际检测节拍，工业PC决策实时或后续处理检测数据，包括检测结果成像、边界识别、缺陷定位/定量、工件剩余寿命预判。

优选地，所述步骤4）中，机器人手眼标定有两种，分别为手动标定和棋盘格标定：手动标定采用双目视觉采集标定板中的特征点并手动提供标定点在机器人坐标系下的空间坐标，确定相机坐标系和机器人坐标系的之间的变换矩阵；棋盘格标定采用眼在手上或眼在手外，求解AX=XB问题，确定双目相机和机器人末端工具的变换矩阵X，其中，A、B矩阵分别为机器人两次移动末端工具的位姿矩阵。

通过采用上述技术方案：离线路径规划不受理论模型及加工精度限制：针对已知曲面工件理论模型且加工精度高的情况，可采用理论模型进行离线路径规划；针对理论模型未知或加工精度粗大的情况，采用双目视觉采集工件待检表面轮廓，再进行离线路径规划。

通过采用上述技术方案：可高速（16KHz）同步无损检测仪器设备，具有高检测效率：采用位姿解算模块快速解算机器人位姿并输出精度可调的同步触发信号，可将同步触发频率提升至16KHz，克服机器人控制器EtherCAT总线输出速率低（250Hz）且不可直接用于同步无损检测仪器设备的问题。

本发明还提供了一种复杂曲面工件智能检测机器人，所述智能检测机器人包括六轴机器人、安装在六轴机器人末端的视觉单元和柔性浮动单元，所述柔性浮动单元上安装有检测探头，所述检测探头包括检测仪器和水循环耦合器，所述检测仪器与工业PC连接，所述工业PC与视觉单元连接，所述六轴机器人与控制器连接。

优选地，所述六轴机器人末端内部安装有位姿解算模块，所述位姿解算模块分别与视觉单元和柔性浮动单元连接。

优选地，所述视觉单元为双目相机。

优选地，所述检测仪器包括常规超声检测仪、相控阵检测仪、涡流检测仪和漏磁检测仪。

通过采用上述技术方案：智能检测机器人属于通用检测平台，根据实际检测需要，可完成超声、涡流、漏磁等高精度定位检测需求。

本发明还提供了一种复杂曲面工件智能检测机器人的检测方法的应用，所述智能检测机器人可实现复杂曲面工件的超声、相控阵、涡流、漏磁等无损检测。

本发明具有以下有益效果：

1、本发明可根据复杂曲面工件实际检测需求，选择相应的检测工艺和探头，完成复杂曲面工件的超声、相控阵、涡流、漏磁等检测。

2、本发明离线路径规划不受复杂曲面工件的理论模型和加工精度限制，兼顾理论模型未知、理论模型已知但加工精度低，可有效完成检测路径规划。

3、本发明机器人末端位姿快速解算模块可将获取位姿速率和同步触发频率提升至16KHz，触发精度可调（小于1mm），克服机器人绝对定位精度低（KUKA KR210R2700绝对定位精度±0.6mm），打通机器人和检测仪器之间的通信壁垒。

附图说明

图1为本发明的流程图；

图2为本发明智能检测机器人的结构示意图；

图3为本发明智能检测机器人的手眼标定示意图；其中(a)图为眼在手上，即双目视觉固定在机器人末端上；(b)图为眼在手外，即双目视觉固定在外部固定架上；

图4为本发明智能检测机器人的手眼标定所用标定板的示意图；

图5为本发明实施例工模拟试样和实际检测结果图，其中(a)图为人工模拟试样的实际检测结果，(b)图和(c)图为人工模拟试样。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-图5，一种复杂曲面工件智能检测机器人，所述智能检测机器人包括六轴机器人1、安装在六轴机器人1末端的视觉单元2和柔性浮动单元3，所述柔性浮动单元3上安装有检测探头4，所述检测探头4包括检测仪器5和水循环耦合器6，所述检测仪器5与工业PC7连接，所述工业PC7与视觉单元2连接，所述六轴机器人1与控制器8连接。

具体的，所述六轴机器人1末端内部安装有位姿解算模块，所述位姿解算模块分别与视觉单元2和柔性浮动单元3连接。

具体的，所述视觉单元2为双目相机。

具体的，所述检测仪器5包括常规超声检测仪、相控阵检测仪、涡流检测仪和漏磁检测仪。

采用上述智能检测机器人对人工模拟试样进行检测实验。人工模拟试样为半圆柱型，长150mm，内径50mm，外径60mm，内表面刻有“IMR NDT”人工缺陷，缺陷“IMR”深度3mm，缺陷“NDT”深度5mm，检测范围为140×100mm，触发间隔和步进间隔均为0.2mm。

本发明对上述曲面工件进行相控阵检测，具体步骤如下：

步骤1）、根据需要标定双目相机，确定两相机的内外参数；

步骤2）、根据需要标定固定在机器人末端的柔性浮动跟随器，确定工具矩阵；

步骤3）、根据实际检测需求，选择对应的传感器及其夹持工装并固定在柔性浮动跟随器末端，再标定工具坐标系（传感器及其夹持工装），确定坐标变换矩阵；

步骤4）、机器人手眼标定，确定手眼变换矩阵，标定方法有两种，分别为手动标定和棋盘格标定：手动标定采用双目视觉采集标定板中的特征点并手动提供标定点在机器人坐标系下的空间坐标，确定相机坐标系和机器人坐标系的之间的变换矩阵；棋盘格标定采用眼在手上或眼在手外，求解AX=XB问题，确定双目相机和机器人末端工具的变换矩阵X（其中，A、B矩阵分别为机器人两次移动末端工具的位姿矩阵）；

步骤5）、检路径规划分为待检工件模型已知和未知两种情况。针对工件模型已知的情况，在步骤4）基础上采用双目视觉采集复杂曲面工件外形轮廓并进行特征点识别，进而确定复杂曲面工件实际位姿，再结合工件模型和检测工艺需求进行检测路径规划；针对工件模型未知的情况，在步骤4）基础上双目视觉采集复杂曲面工件外形轮廓及识别特征点，同时对复杂曲面工件进行定位，再根据检测工艺需求进行路径规划；

步骤6）、通过TCP/IP协议，工业PC将步骤5）路径规划结果发送给位机器人位姿快速解算模块，解算模块根据路径规划结果设置检测仪器同步参数，主要包括检测方法、检测模式、检测精度、触发频率等检测参数；

步骤7）、通过EtherCAT总线，工业PC将步骤5）路径规划结果发布给机器人控制器，待接收到工业PC发布的检测命令控制机器人完成相应的检测任务；

步骤8）、工业PC向机器人控制器发布检测命令，按照路径规划结果机器人控制器控制机器人完成相应的检测轨迹，同时，步骤6）中的位姿快速解算模块解算机器人末端工具位姿并按照设置的同步参数同步检测仪器，检测仪器完成检测任务的同时将检测数据实时回传给工业PC，以供后续处理，检测仪器可实时显示检测结果；

步骤9）、根据实际检测节拍，工业PC决策实时或后续处理检测数据，包括检测结果成像、边界识别、缺陷定位/定量、工件剩余寿命预判等。

综上所述，本发明采用视觉引导机器人完成复杂曲面工件的无损检测工作，具体包括多角度曲面重建及拼接、杂曲面工件定位、检测路径规划、自适应待检工件表面、高检测效率（16KHz）及同步其他无损检测仪器设备等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种复杂曲面工件智能检测机器人的检测方法，其特征在于，采用视觉引导机器人完成复杂曲面工件的无损检测工作：

首先机器人手眼标定和末端工具标定，实现相机坐标系、机器人坐标系及工具坐标系转换；

然后待检测工件定位和模型重建，采用双目视觉多角度采集复杂曲面工件外形轮廓，完成工件模型重建，自动识别待检工件已标记的特征点，从而确定工件位置；

再进行离线路径规划，裁剪已采集的点云数据以确定检测区域、识别数据边界，按照检测工艺要求完成检测路径离线规划；

再通过EtherCAT总线和TCP/IP协议分别向机器人控制器、机器人末端位姿解算模块发布检测任务和同步参数；按照已规划的检测路径，安装机器人末端的柔性浮动跟随器和夹持传感器完成路径规划任务；

采用位姿快速解算模块来解算机器人末端工具位姿，同步检测仪器设备并完成检测工作；

具体包括以下步骤：

步骤1)、根据需要标定双目相机，确定两相机的内外参数；

步骤2)、根据需要标定固定在机器人末端的柔性浮动跟随器，确定工具矩阵；

步骤3)、根据实际检测需求，选择对应的传感器及其夹持工装并固定在柔性浮动跟随器末端，再标定工具坐标系，确定坐标变换矩阵；

步骤4)、机器人手眼标定，确定手眼变换矩阵；

步骤5)、检测路径规划分为待检工件模型已知和未知两种情况；针对工件模型已知的情况，在步骤4)基础上采用双目视觉采集复杂曲面工件外形轮廓并进行特征点识别，进而确定复杂曲面工件实际位姿，再结合工件模型和检测工艺需求进行检测路径规划；针对工件模型未知的情况，在步骤4)基础上双目视觉采集复杂曲面工件外形轮廓及识别特征点，同时对复杂曲面工件进行定位，再根据检测工艺需求进行路径规划；

步骤6)、通过TCP/IP协议，工业PC将步骤5)路径规划结果发送给位机器人位姿快速解算模块，解算模块根据路径规划结果设置检测仪器同步参数，包括检测方法、检测模式、检测精度、触发频率；

步骤7)、通过EtherCAT总线，工业PC将步骤5)路径规划结果发布给机器人控制器，待接收到工业PC发布的检测命令控制机器人完成相应的检测任务；

步骤8)、工业PC向机器人控制器发布检测命令，按照路径规划结果机器人控制器控制机器人完成相应的检测轨迹，同时，步骤6)中的位姿快速解算模块解算机器人末端工具位姿并按照设置的同步参数同步检测仪器，检测仪器完成检测任务的同时将检测数据实时回传给工业PC，以供后续处理，检测仪器可实时显示检测结果；

步骤9)、根据实际检测节拍，工业PC决策实时或后续处理检测数据，包括检测结果成像、边界识别、缺陷定位/定量、工件剩余寿命预判；

所述步骤4)中，机器人手眼标定有两种，分别为手动标定和棋盘格标定：手动标定采用双目视觉采集标定板中的特征点并手动提供标定点在机器人坐标系下的空间坐标，确定相机坐标系和机器人坐标系的之间的变换矩阵；棋盘格标定采用眼在手上或眼在手外，求解AX＝XB问题，确定双目相机和机器人末端工具的变换矩阵X，其中，A、B矩阵分别为机器人两次移动末端工具的位姿矩阵。

2.一种根据权利要求1所述的复杂曲面工件智能检测机器人的检测方法的智能检测机器人，其特征在于，所述智能检测机器人包括六轴机器人、安装在六轴机器人末端的视觉单元和柔性浮动单元，所述柔性浮动单元上安装有检测探头，所述检测探头包括检测仪器和水循环耦合器，所述检测仪器与工业PC连接，所述工业PC与视觉单元连接，所述六轴机器人与控制器连接；

所述六轴机器人末端内部安装有位姿解算模块，所述位姿解算模块分别与视觉单元和柔性浮动单元连接；

所述视觉单元为双目相机；

所述检测仪器包括常规超声检测仪、相控阵检测仪、涡流检测仪和漏磁检测仪。

3.一种根据权利要求1所述的复杂曲面工件智能检测机器人的检测方法的应用，其特征在于，所述智能检测机器人可实现复杂曲面工件的超声、相控阵、涡流、漏磁无损检测。

Images