CN113370268B - 基于视觉检测的机械臂运动控制延迟测量***及其方法 - Google Patents

Abstract

基于视觉检测的机械臂运动控制延迟测量***及其方法，该***包括上位机、实时装置、图像采集装置和LED灯，上位机分别与实时装置、图像采集装置相连，实时装置分别与LED灯、机械臂的控制接口相连；上位机用于和用户交互，将用户命令下发至实时装置，以及通过图像采集装置采集的图像数据计算机械臂运动控制延迟；实时装置用于接收上位机发送的机械臂运动控制指令，并利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令；图像采集装置用于采集机械臂的姿态与LED灯的状态图像。还包括基于视觉检测的机械臂运动控制延迟测量方法。本发明能提高测量结果的准确性，测量过程不干扰设备正常运行。

Description

基于视觉检测的机械臂运动控制延迟测量***及其方法

技术领域

本发明涉及工业机械臂测试领域，具体是涉及一种基于视觉检测的机械臂运动控制延迟测量***及其方法。

背景技术

随着工业生产规模的不断扩大，工业设备间的协同变得愈发频繁。多轴工业机器人作为重要的装备得到广泛的应用。对于一个工业***来说，尤其是高精度多机协同应用中，设备控制延迟对***稳定运行至关重要。通常上位机通过网络/串口等总线将执行命令下发至机器人本体处理器，机器人本体处理器接收到命令内容，进行解析处理后驱动电机工作执行动作。其中各阶段时间分布如图1所示，t0时刻上位机数据发送到机器人的总线传输延迟t1’(毫秒级)，机器人于t1时刻接收到命令数据，随后进行命令解析耗时t_robot_sw(微秒级)，以及硬件执行t_robot_hw(毫秒级)。

然而由于上位机与机器人时钟的不同步，实际处理过程中总线传输延迟t1’，无法直接通过t1-t0求得。考虑到对于固定硬件结构运行实时操作***的机器人，t_robot_sw与t_robot_hw都是相对固定的，目前的现场采取的延迟测量方法忽略二者，只对传输延迟进行测量。具体的时序逻辑如图2所示。机器人t1时刻接收到命令指令后，随即于t2进行应答响应通知上位机。上位机t3时刻接收到应答消息。由于t_robot较小一般为微秒级，则传输延迟t1’＝(t3-t0)/2。

上述测试方案简单易行，但仅通过间接方式测量总线传输延迟，没有考虑机器人实体间的差异，测量结果误差较大，并且该方案中机器人需切换至测试模式，而非正常工作模式，测量结果将进一步失真，且对机器人正常运行造成干扰。

发明内容

本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种基于视觉检测的机械臂运动控制延迟测量***及其方法，能够提高测量结果的准确性，测量过程不干扰设备正常运行。

本发明解决其技术问题采用的技术方案是，一种基于视觉检测的机械臂运动控制延迟测量***，包括上位机、实时装置、图像采集装置和LED灯，上位机分别与实时装置、图像采集装置相连，实时装置分别与LED灯、机械臂的控制接口相连；

所述上位机用于和用户交互，将用户命令下发至实时装置，以及通过图像采集装置采集的图像数据计算机械臂运动控制延迟；

所述实时装置用于接收上位机发送的机械臂运动控制指令，并利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令；

所述图像采集装置用于采集机械臂的姿态与LED灯的状态图像。

进一步，所述上位机包括控制模块、图像获取模块、图像处理延迟计算模块、用户交互模块和第一通信模块，所述控制模块分别与图像获取模块、图像处理延迟计算模块、用户交互模块、第一通信模块相连，所述图像获取模块与图像采集装置相连；

所述图像获取模块用于初始化图像采集装置，获取图像采集装置采集的图像数据；

所述图像处理延迟计算模块用于对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1；根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率；

所述用户交互模块用于接收用户配置命令；

所述第一通信模块用于与实时装置通信，下发机械臂运动控制指令。

进一步，所述上位机还包括测试结果输出模块，测试结果输出模块与控制模块相连，所述测试结果输出模块用于输出机械臂运动控制延迟测量结果。

进一步，所述实时装置包括具有实时特性的控制单元、第二通信模块和IO控制模块，控制单元分别与第二通信模块、IO控制模块连接，第二通信模块与上位机的第一通信模块相连，所述IO控制模块与LED灯连接，所述第二通信模块还与机械臂的控制接口连接；

所述第二通信模块用于接收机械臂运动控制指令，并向机械臂下发运动控制指令；

所述IO控制模块用于控制LED灯亮灭。

进一步，所述图像采集装置为高速相机。

进一步，所述机械臂为六轴工业机器人的机械臂或类似的多臂工业机器人。

一种基于视觉检测的机械臂运动控制延迟测量方法，包括以下步骤：

步骤S1：上位机下发机械臂运动控制指令，实时装置接收机械臂运动控制指令后，利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令；

步骤S2：图像采集装置采集机械臂的姿态与LED灯的状态图像；

步骤S3：对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1；

步骤S4：根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟时间，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率。

进一步，还包括步骤S5：重复步骤S1～S4至N次，取N次延迟时间t的平均值。

进一步，所述N≥2。

与现有技术相比，本发明的优点如下：

本发明能够实现机械臂运动控制延迟的直接测量，基于视觉检测的非接触方式，安全可靠容易部署；测试过程无需进入工厂测试模式，机械臂始终运行在工作状态，提高测量结果的准确性，测量过程不干扰设备正常运行。

附图说明

图1是待测***分段示意图。

图2是现有技术中机械臂运动控制延迟测量的时序逻辑图。

图3是本发明实施例之基于视觉检测的机械臂运动控制延迟测量***的结构框图。

图4是是本发明实施例之基于视觉检测的机械臂运动控制延迟测量方法的实时装置程序流程图。

图5是本发明实施例之基于视觉检测的机械臂运动控制延迟测量方法的上位机程序流程图。

图6是本发明实施例之基于视觉检测的机械臂运动控制延迟测量方法的控制时序图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细描述。

参照图3，本实施例之一种基于视觉检测的机械臂运动控制延迟测量***，包括上位机、实时装置、图像采集装置、LED灯，上位机分别与实时装置、图像采集装置相连，实时装置分别与LED灯、机械臂的控制接口相连。本实施中，被测对象为六轴工业机器人的机械臂，图像采集装置为高速相机，具体为采用800*600分辨率下，帧率高达13000FPS的pco.dimaxHS1高速相机。上位机与实时装置通过以太网方式通信。实时装置与被测六轴工业机器人采用串口通信。图像采集装置通过网线与上位机通信。

上位机用于和用户交互，将用户命令下发至实时装置，以及通过图像采集装置采集图像数据计算机械臂运动控制延迟，并输出测试报告。用户命令即为机械臂运动控制延迟测量命令。本实施例中，上位机采用通用计算机。

实时装置用于接收上位机发送的机械臂运动控制指令，并利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令。本实施例中，实时装置采用主频600MHz的i.MXRT1061单片机***。

图像采集装置用于采集机械臂的姿态与LED灯的状态图像。

上位机包括控制模块、图像获取模块、图像处理延迟计算模块、用户交互模块、测试结果输出模块、第一通信模块，控制模块分别与图像获取模块、图像处理延迟计算模块、用户交互模块、测试结果输出模块、第一通信模块相连，图像获取模块与图像采集装置相连。

图像获取模块用于初始化图像采集装置，获取图像采集装置采集的图像数据。

图像处理延迟计算模块用于对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1；根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率。

用户交互模块用于接收用户配置命令。

测试结果输出模块用于输出机械臂运动控制延迟测量结果。

第一通信模块用于与实时装置通信，下发机械臂运动控制指令。

实时装置包括具有实时特性的控制单元、第二通信模块、IO控制模块，控制单元分别与第二通信模块、IO控制模块连接，第二通信模块与上位机的第一通信模块相连，IO控制模块与LED灯连接，第二通信模块还与机械臂的控制接口连接。

第二通信模块用于接收机械臂运动控制指令，并向机械臂下发运动控制指令。

IO控制模块用于控制LED灯亮灭。

本实施例之一种基于视觉检测的机械臂运动控制延迟测量方法，包括以下步骤：

步骤S1：上位机下发机械臂运动控制指令，实时装置接收机械臂运动控制指令后，利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令。

步骤S2：图像采集装置采集机械臂的姿态与LED灯的状态图像。

步骤S3：对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1。

步骤S4：根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟时间，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率。

步骤S5：重复步骤S1～S4至3次，取3次延迟时间t的平均值。

如图4所示，实时装置的控制单元内写有实时装置程序，实时装置完成通信模块与IO控制模块初始化工作后，开始监听上位机消息，接收机械臂的运动控制指令；并利用其实时性将运动控制指令发放和LED灯点亮动作同步执行。

上位机的控制模块包括上位机程序，上位机程序分为通信交互线程和图像处理延迟计算线程两个线程，通信交互线程负责与实时装置通信，图像处理延迟计算线程基于图像的延迟计算。通信交互线程，负责向实时装置传递指令信息，图像处理延时计算线程负责采集图像识别并计算延迟信息。如图5所示。对通信交互线程来说，首先进行第二通信模块以及用户交互模块的初始化工作，完成后即开始监听用户输入的控制命令；当接收到用户输入命令后，将其转发给实时装置。图像处理延迟计算线程中，主要进行图像采集以及基于图像的延迟测量。延迟计算线程首先进行图像采集装置的初始化工作，随后开始对采集到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息。当LED灯亮时，记录LED灯亮时刻的帧位置f0；继续对图像状态监控，直到机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1。基于帧位置f0、f1，以及已知的相机帧率p，计算出延迟为(f1-f0)/p。

本发明通过高速相机与实时装置将异步时钟源的动作信号统一在同一时间域进行捕获，进而实现工业机械臂运动控制延迟的直接精确测量。本发明控制时序如图6所示，上位机将控制指令发送至实时装置；在t0时刻，实时装置接收到传输给机器人的控制指令后立即点亮LED灯，随后开始向机器人传输指令，期间耗时t_mcu。对于确定的实时***，两条指令执行间隔是确定且非常小，一般为亚微秒级，对于本实施例主频为600MHz的单片机***，两条指令执行间隔是亚微秒级。LED灯响应速度t1_led也是亚微秒级，相比待测时间毫秒级，二者均可忽略，故可以近似认为LED灯点亮时间t0’和指令发送时间t0+t_mcu是同一时刻。随后机器人接收到执行指令，解析并驱动硬件工作，整个流程所消耗的时间t1+t_robot_sw+t_robot_hw，该时间即为期望测试的机械臂运动控制延迟时间t，可以通过t3-t0获得。

t3-t0是通过寻找帧位置计算出，其中t0对应的帧是LED灯由灭到亮的瞬间。通过帧间差分法即可提取出LED灯状态变化时刻的帧位置f0。同理，通过帧间差分法获得机械臂移动时刻的帧位置f1。最后基于已知的高速相机帧率p求得机械臂运动控制延迟时间t，t＝(f1-f0)/p。本实施例可实现微秒级测量精度，满足工业现场多机同步需求精度。

本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (8)

1.一种基于视觉检测的机械臂运动控制延迟测量***，其特征在于：包括上位机、实时装置、图像采集装置和LED灯，上位机分别与实时装置、图像采集装置相连，实时装置分别与LED灯、机械臂的控制接口相连；

所述上位机用于和用户交互，将用户命令下发至实时装置，以及通过图像采集装置采集的图像数据计算机械臂运动控制延迟；

所述实时装置用于接收上位机发送的机械臂运动控制指令，并利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令；

所述图像采集装置用于采集机械臂的姿态与LED灯的状态图像；

所述上位机包括控制模块、图像获取模块、图像处理延迟计算模块、用户交互模块和第一通信模块，所述控制模块分别与图像获取模块、图像处理延迟计算模块、用户交互模块、第一通信模块相连，所述图像获取模块与图像采集装置相连；

所述图像获取模块用于初始化图像采集装置，获取图像采集装置采集的图像数据；

所述图像处理延迟计算模块用于对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1；根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率；

所述用户交互模块用于接收用户配置命令；

所述第一通信模块用于与实时装置通信，下发机械臂运动控制指令。

2.如权利要求1所述的基于视觉检测的机械臂运动控制延迟测量***，其特征在于：所述上位机还包括测试结果输出模块，测试结果输出模块与控制模块相连，所述测试结果输出模块用于输出机械臂运动控制延迟测量结果。

3.如权利要求1或2所述的基于视觉检测的机械臂运动控制延迟测量***，其特征在于：所述实时装置包括具有实时特性的控制单元、第二通信模块和IO控制模块，控制单元分别与第二通信模块、IO控制模块连接，第二通信模块与上位机的第一通信模块相连，所述IO控制模块与LED灯连接，所述第二通信模块还与机械臂的控制接口连接；

所述第二通信模块用于接收机械臂运动控制指令，并向机械臂下发运动控制指令；

所述IO控制模块用于控制LED灯亮灭。

4.如权利要求1或2所述的基于视觉检测的机械臂运动控制延迟测量***，其特征在于：所述图像采集装置为高速相机。

5.如权利要求1或2所述的基于视觉检测的机械臂运动控制延迟测量***，其特征在于：所述机械臂为六轴工业机器人的机械臂。

6.一种基于视觉检测的机械臂运动控制延迟测量方法，其特征在于，包括以下步骤：

步骤S1：上位机下发机械臂运动控制指令，实时装置接收机械臂运动控制指令后，利用其实时性同步发送机械臂运动控制指令和LED灯点亮指令；

步骤S2：图像采集装置采集机械臂的姿态与LED灯的状态图像；

步骤S3：对获取到的图像进行逐帧处理，提取LED灯状态以及机械臂的姿态信息；当LED灯亮时，记录LED灯亮时刻的帧位置f0；当机械臂姿态改变时，记录机械臂姿态改变时刻的帧位置f1；

步骤S4：根据LED灯亮时刻的帧位置f0和机械臂姿态改变时刻的帧位置f1，计算机械臂运动控制延迟时间，延迟时间t＝(f1-f0)/p，p为图像采集装置的帧率。

7.如权利要求6所述的基于视觉检测的机械臂运动控制延迟测量方法，其特征在于，还包括步骤S5：重复步骤S1～S4至N次，取N次延迟时间t的平均值。

8.如权利要求7所述的基于视觉检测的机械臂运动控制延迟测量方法，其特征在于，所述N≥2。

Images