CN107584263A - 一种视觉定位引导装置及引导方法 - Google Patents

Abstract

本发明公开了一种视觉定位引导装置及引导方法，包含视觉***，视觉***标定模块、伺服***标定模块、视觉粗略定位模块、视觉精确定位模块、视觉引导路径优化模块、PLC通讯交互模块等多个功能模块，实现了视觉***与伺服***的精确标定、工业自动化装配过程中的精确定位引导与引导路径优化，能够满足工业自动化装配过程中的精确定位引导需求，尤其是对于大型工业装配具有高定位精度，满足工业自动化装配过程中的精确视觉定位引导需求。

Description

一种视觉定位引导装置及引导方法

技术领域

本发明涉及视觉定位技术领域，更具体地说，本发明涉及一种视觉定位引导装置及引导方法。

背景技术

现代自动化装配生产线中，通常由工业机器人或伺服***完成“抓取－放置”装配动作。为了完成装配任务，对***作物体定位信息的获取是必要的，首先机器人或伺服***必须知道物体***作前的位姿，以保证机器人准确地抓取；其次是必须知道物体***作后的目标位姿，以保证机器人准确地完成任务。在大部分的应用场合，机器人或伺服***只是按照固定的程序进行操作，物体的初始位姿和终止位姿是事先规定的，作业任务完成的质量由生产线的定位精度来保证。为了高质量作业，就要求生产线相对固定，定位精度高，这样的结果是生产柔性下降，成本却大大增加，此时生产线的柔性和产品质量是矛盾的。

视觉定位与引导是解决上述矛盾的理想工具。工业机器人或伺服***可以通过视觉***实时地了解工作环境的变化，相应地调整动作，保证任务的正确完成。这种情况下，即使生产线的调整或定位有较大的误差也不会对准确作业造成多大影响，实际上视觉***提供了外部闭环控制机制，保证机器人或伺服***自动补偿由于环境变化而产生的误差。

视觉定位引导精度除了与视觉***自身分辨率有关系，还取决于工作视场大小。在工业装配中，简单的视觉定位精度往往不能满足精确装配要求。实际应用中需要根据应用需求，综合运用视觉***定位技术，与外部运动控制***建立协作关系，完成工业装配过程中的精确视觉定位。

特别是针对于大型设备的装配线中，常规的机器视觉定位引导装置及方法，无法满足此大视场、高精度的定位需求。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种视觉定位引导装置及引导方法，针对工业自动化装配中精确视觉定位引导需求，综合运用工业视觉定位技术和工业视觉测量技术，实行粗定位和精定位相结合的分步定位策略，实现了米级超大视场的亚毫米定位。

具体的，本发明包含视觉***、视觉***标定模块、伺服***标定模块、视觉粗定位模块、视觉精定位模块、视觉引导路径优化模块、控制模块、***参数配置模块、***状态监视模块等多个功能模块，能够实现视觉***与伺服***(或工业机器人)的精确标定，实现工业装配过程中的精确定位引导与引导路径优化，实现与多种控制***的执行交互逻辑，满足工业自动化操作过程中的精确视觉定位引导需求。

为了实现根据本发明的这些目的和其它优点，提供了一种视觉定位引导装置，包括：

控制模块，其连接一伺服***和视觉***，所述伺服***与视觉***驱动连接；

视觉粗定位模块，其用于确定目标物体在视觉图像中的粗略位置及目标物体上检测特征的整体分布信息；

视觉精定位模块，其用于确定所述检测特征在视觉图像中的精确位置；以及

视觉引导路径优化模块，其根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径；

其中，所述视觉粗定位模块、视觉精定位模块以及视觉引导路径优化模块分别与所述控制模块连接，所述伺服***根据所述视觉引导路径优化模块的优化结果对所述目标物体进行相应操作。

优选的，还包括一与所述控制模块连接的视觉***标定模块，其用于纠正所述视觉***自身的成像畸变。

优选的，还包括一与所述控制模块连接的伺服***标定模块，其用于统一所述伺服***与视觉***的坐标，并确定所述目标物体的基准位置。

优选的，还包括一与所述控制模块连接的姿态调整***，其用于调整所述目标物体的姿态直至与所述基准位置一致，所述姿态调整***包括分别与所述控制模块连接的姿态校正模块和调整平台。

优选的，所述视觉***包括图像采集模块、若干分列在所述姿态调整***两侧的粗定位相机和精定位相机，所述粗定位相机和精定位相机输出端分别与所述图像采集模块的输入端连接，所述图像采集模块的输出端连接所述控制模块。

一种视觉定位引导方法，包括以下步骤：

步骤一、启动视觉定位引导装置，对各个相机的相机参数进行标定，纠正视觉***自身的成像畸变；

步骤二、设定目标物体的基准位置；

步骤三、对伺服***进行标定，使得所述伺服***与视觉***的坐标统一；

步骤四、将目标物体放置到调整平台上并校正姿态，直至将目标物体的姿态调整至与所述基准位置一致；

步骤五、对目标物体上的检测特征进行粗定位；

步骤六、根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径，根据优化结果，将精定位相机移动到第一个操作位置进行拍摄；

步骤七、对所述检测特征进行精定位，伺服***根据精定位信息进行相应操作，直到对单个目标物体的操作全部完成；

步骤八、将操作完成后的目标物体移除，回到步骤四，对下一个目标物体进行相应操作，直到对全部目标物体操作完成。

优选的，所述步骤二中基准位置的设定方法为：初始时，将目标物体放置在调整平台上，并将目标物体调整至所述伺服***正好能对所述目标物体执行相应操作的姿态，将所述目标物体在此姿态下在视觉图像中的位置设定为基准位置。

优选的，所述步骤三中，对伺服***标定过程包括以下步骤：

步骤A、对伺服***X/Y方向与视觉***X/Y方向之间的夹角进行标定；

步骤B、对视觉***粗定位基准点与伺服***粗定位基准点进行标定；

步骤C、对视觉***精定位基准点与伺服***精定位基准点进行标定，得到目标物体相对于所述基准位置的偏移量。

优选的，粗定位过程包括以下步骤：

步骤D、在目标物体姿态校正完成后，粗定位相机对目标物体前端面进行成像；

步骤E、对目标物体ROI区域进行检测；

步骤F、对所有待操作位置进行定位，保存并显示该定位信息；

精定位过程包括以下步骤：

步骤G、带动精定位相机移动到第一个操作位置对第一个操作位置拍摄图像；

步骤H、提取第一个操作位置处的检测特征；

步骤I、通过Canny边缘检测、边缘像素筛选、FitEllipse椭圆拟合算法对该检测特征拟合，得到该检测特征的中心坐标。

优选的，所述步骤六中，对视觉引导路径优化的过程包括以下步骤：

步骤J、读取所有检测特征的粗定位信息；

步骤K、对所有检测特征进行区域划分；

步骤L、建立所有检测特征状态标识数组；

步骤M、计算当前操作的执行数量、设置当前操作分布标识位、提取当前操作中的第一检测特征坐标；

步骤N、计算下一次操作的执行数量、设置下一次操作分布标识位、提取下一次操作中的第一检测特征坐标；

步骤O、将操作信息发送到控制模块，控制模块反馈操作状态，并更新和显示检测特征状态标识数组。

本发明至少包括以下有益效果：

1、针对工业自动化大型装配中精确视觉定位引导需求，本发明综合运用工业视觉定位技术和工业视觉测量技术，实行粗定位和精定位相结合的分步定位策略，实现了米级超大视场的亚毫米引导定位；

2、本发明包含实时图像采集及显示模块、视觉***标定模块、伺服***标定模块、视觉粗定位模块、视觉精定位模块、视觉引导路径优化模块、PLC交互模块、***参数配置模块、***状态监视模块等多个功能模块，能够实现视觉***与伺服***(或工业机器人)的精确标定，实现工业装配过程中的精确定位引导与引导路径优化，实现与多种PLC***的执行交互逻辑，满足工业自动化装配过程中的精确视觉定位引导需求。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明装置的框图；

图2为本发明装置的一种具体应用结构示意图

图3为冷水机容器端面结构示意图；

图4为本发明引导方法的流程示意图；

图5为视觉***标定模块标定流程示意图；

图6为视觉粗定位流程图；

图7为视觉引导路径优化流程图；

图8为视觉精定位流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

将本发明装置和方法应用到中央空调冷水机组自动穿铜管中作为具体实施例来对本发明的技术方案进行详细说明。

本发明电提供了一种视觉定位引导装置，如图1所示，包括控制模块100和分别与控制模块100连接的视觉***200、视觉***标定模块300、伺服***标定模块400、姿态调整***500、视觉粗定位模块600、视觉精定位模块700和视觉引导路径优化模块800。实现了视觉***与伺服***的精确标定、工业自动化装配过程中的精确定位引导与引导路径优化，能够满足工业自动化装配过程中的精确定位引导需求，尤其是对于大型工业装配仍然具有高定位精度。控制模块100连接伺服***以及视觉***200，驱动执行机构动作的伺服***受控制模块400的控制，所述伺服***与视觉***200驱动连接，视觉***200引导伺服***精确动作，伺服***执行穿管操作，同时，伺服***带动视觉***移动对冷水机容器进行成像。

如图2所示的是本发明装置的一种具体应用结构示意图，具体的，所述视觉***200包括图像采集模块、分列在所述姿态调整***500第一侧的第一粗定位相机6、第一精定位相机8以及分列在所述姿态调整***500第二侧的第二粗定位相机13、第二精定位相机11，第一粗定位相机6的镜头上设置有第一粗拍视觉光源7，第一精定位相机8的镜头上设置有第一精拍视觉光源9，第二粗定位相机13的镜头上设置有第二粗拍视觉光源12，第二精定位相机11的镜头上设置有第二精拍视觉光源10，各个粗定位相机和精定位相机输出端分别与所述图像采集模块的输入端连接，两侧的粗定位相机和精定位相机用于对放置在姿态调整***500上的冷水机容器进行拍摄成像，将冷水机容器的视觉图像传送至控制模块100中。

图像采集模块的工作过程为：通过图像采集卡同时采集四个相机传输过来的图像，记录在工业PC15中，并实时显示在显示器16上，工业PC连接控制器14，进行数据处理。每个相机每秒钟传输过来的数据量达上百兆以上，为了防止数据传输阻塞，软件使用了四个独立线程分别读取每个相机的输出图像，同时将图像实时显示在软件界面上。在穿管过程中由于每个完整动作之间的间隔时间较长，采用软件触发采集模式，有效地降低相机工作时间。工作过程为：图像采集模块同时采集4路500万工业相机的输出图像，该模块通过一块Inter PCIE千兆网图像采集卡与相机连接，四个工位触发采集产品图像并显示。通过图像采集卡与四个工业相机连接，分别获取产品整体图像和局部精定位图像，实时采集产品图像，用于后续处理及软件界面显示。

所述姿态调整***500包括分别与所述控制模块100连接的姿态校正模块和调整平台，冷水机容器1放置在调整平台上，调整平台上设置有用于调整所述冷水机容器1姿态的第一伺服电机4和第二伺服电机5，第一伺服电机4和第二伺服电机5受姿态校正模块的控制，姿态校正模块其用于调整所述冷水机容器的姿态直至与所述基准位置一致，冷水机容器1的容器端面3的结构如图3所示，上面分布有若干个待穿管的孔位17，铜管2从孔位17中传入到冷水机容器中，完成对冷水机容器的流水线装配。

本发明的控制模块100采用PLC交互控制模块，在工业自动装配生产线中，PLC控制的伺服***(或者工业机器人)等运动控制***主要完成产品的上下料、传送、加取、装配等多种工作，视觉***负责装配过程中的精确定位，引导PLC或工业机器人完成精准抓取装配。PLC控制的伺服运动机构是整个装配过程的执行机构，PLC交互控制模块负责视觉定位装置与PLC***的全部逻辑交互过程，包括不同阶段的状态信号、姿态信息和定位信息的互相传递。输入PLC***的状态信号，输出视觉***状态信号、姿态信息、定位信息。

在自动穿管机中，PLC***完成冷水机容器姿态校正、带动精定位相机运动、穿引导杆、穿铜管等过程。本装置其他模块与PLC***的交互信号包括设备状态(含工作正常、设备报警)、容器吊装到位、容器姿态信息交互、精定位/穿管启动信号、穿管孔位坐标、穿管数目、穿管策略、穿管完成等。视觉***与PLC***的交互逻辑代表了整个穿管动作流程，交互信号明确表达了每个阶段动作的含义，构成了设备运行中的信息流。

视觉***标定模块300用于纠正所述视觉***200自身的成像畸变，纠正由工业相机自身原因导致的成像畸变，保证视觉定位引导的精确性。输入视觉标定板在视场内各种姿态下采集到的图像(一般大于20帧图像)，输出视觉***中各个工业相机参数矩阵和畸变系数，用于纠正成像畸变在工业视觉测量应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性，高精度相机标定是后续工作的保障。

相机标定中所要确定的几何模型参数分为内参和外参两种类型。相机内参的作用是确定相机从三维空间到二维图像的投影关系。相机外参的作用是确定相机坐标与世界坐标系之间相对位置关系。在二维工业视觉测量中，相机内参是影响测量精度的主要原因，因此这里相机标定主要是对相机内参进行标定。

伺服***标定模块400用于统一所述伺服***与视觉***200的坐标，用于后续视觉定位引导。具体输入视觉***的粗定位和精定位基准点、伺服***的粗定位和精定位基准点，输出视觉***的粗定位和精定位基准点在视觉坐标系下的位置记录，伺服***的粗定位和精定位基准点在伺服坐标系的位置记录，并确定所述冷水机容器安装在调整平台上的基准位置。

在工业自动化装配生产线中，不同装配基体到达装配工位时都有一定空间位置差异性，为了实现精确装配，一种方法是根据当前基体姿态和位置，动态调整待装配工件的位置姿态，另外一种是在装配前调整基***置姿态然后再进行装配，根据不同的应用场景选择合适的姿态校正方式。

具体到自动穿管机的装配中，冷水机容器重达数吨，长度为5米，直径最大为1.6米。在吊装到穿管机上后容器姿态无法准确控制，必须首先校正冷水机容器相对伺服***的姿态，否则穿管根本无法进行。

姿态校正模块用于在穿管前实现冷水机容器姿态的自动校正，保证后续装配动作的有效性及视觉定位引导的精确性。具体输入姿态校正起始信号、连续触发采集冷水机容器前后端面图像和姿态校正完成信号，输出冷水机容器前后端面在水平方向上的偏移距离、冷水机容器前后端面在垂直方向上的偏移距离以及冷水机容器横滚角度。

当冷水机容器吊装到位后操作工人启动自动穿管过程，此时PLC通知视觉***启动姿态校正。视觉***接收到该信号后，同时启动容器前后端面粗定位相机拍照，分别计算两个端面上同一个中心孔位的相对位置，继而计算出容器的水平方向偏移距离、垂直方向偏移距离及横滚角度，将这些信息发送给PLC。PLC根据接收到的姿态信息控制伺服***运动，完成一次容器姿态校正。

视觉粗定位模块600用于确定冷水机容器在视觉图像中的粗略位置及冷水机容器上检测特征的整体分布信息；具体输入产品粗定位图像，输出检测特征的粗略定位并保存至本地。容器姿态校正完成后，视觉***对前端面相机最后一次拍摄图像进行分析，确定图像中容器区域，检测所有穿管孔位的坐标，并将这些坐标保存到本地文件。粗定位计算的粗定位坐标将用于后续的视觉引导路径优化和视觉精定位。

视觉精定位模块700用于确定所述检测特征在视觉图像中的精确位置；具体输入产品局部精定位图像，输出检测特征的精确位置。在超大视场定位引导过程中，视觉粗定位负责产品整体定位，以及检测特征的粗略定位，定位精度只能达到厘米或毫米级别。大型精密装配往往要求达到亚毫米甚至丝级定位，此时需要进一步的视觉精定位。

在自动穿管机中，穿管孔位粗定位完成后，伺服带动前端面精定位相机到达第一个穿管孔位，同时给视觉***到达位置信号。视觉***接收信号后启动精定位相机拍摄图像，完成当前孔位的精定位，并将精定位坐标反馈给PLC。

视觉引导路径优化模块800根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径，以达到高效地完成装配过程。具体输入检测特征的分布规律、***单次装配能力，输出当前装配动作路径、装配工件数目。

通常水冷器容器上需要穿管孔位达到数百个，而自动穿管机最多单次同时穿五根铜管，同时相邻铜管间距有一定的约束。通过分析孔位分布规律(包括孔位行数、每行孔位数目、多种孔间距规格等)，结合自动穿管机的单次穿管能力，开发了视觉引导路径优化模块，实现以最少次数、最短路径完成整个容器的穿管。

所述伺服***根据所述视觉引导路径优化模块800的优化结果对所述冷水机容器进行装配。以某工厂大型中央空调水冷机的自动穿管机项目为例来对视觉定位引导方法进行说明，伺服***控制自动穿管机对冷水机容器进行自动化穿管装配，在此过程中，视觉引导装置的引导方法的流程如图4所示，包括以下步骤：

步骤一、启动视觉定位引导装置，进行开机自检程序，启动视觉***标定模块，对各个相机的相机参数进行标定，纠正视觉***200自身的成像畸变；

步骤二、设定冷水机容器在调整平台上的基准位置，基准位置的设定方法为：初始时，将冷水机容器放置在调整平台上，并将冷水机容器手动调整至所述伺服***控制的自动穿管机正好能对所述冷水机容器执行穿管操作的姿态，将所述冷水机容器在此姿态下在视觉图像中的位置设定为基准位置；

步骤三、启动伺服***标定模块对伺服***进行标定，使得所述伺服***与视觉***200的坐标统一，对伺服***标定过程包括以下子步骤：

步骤A、对伺服***X/Y方向与视觉***200X/Y方向之间的夹角进行标定；

步骤B、对视觉***200粗定位基准点与伺服***粗定位基准点进行标定；

步骤C、对视觉***200精定位基准点与伺服***精定位基准点进行标定，得到冷水机容器的相对于所述基准位置的偏移量；

将上述标定结果进行记录和保存，以在执行穿管过程中，自动补偿上述偏差量，使得伺服***和视觉***坐标统一；

步骤四、将冷水机容器吊装放置到调整平台上并校正姿态，直至将冷水机容器的姿态与所述基准位置一致；具体的，PLC通知视觉***启动姿态校正，视觉***接收到该信号后，同时启动容器前后端面粗定位相机拍照，分别计算两个端面上同一个中心孔位的相对位置，继而计算出容器的水平方向偏移距离、垂直方向偏移距离及横滚角度，将这些信息发送给PLC，PLC根据接收到的姿态信息控制第一伺服电机和第二伺服电机运动，完成一次容器姿态校正；

步骤五、对冷水机容器上的检测特征进行粗定位；容器姿态校正完成后，视觉***对前端面相机最后一次拍摄图像进行分析，确定图像中容器区域，检测所有穿管孔位的坐标，并将这些坐标保存到本地文件。粗定位计算的粗定位坐标将用于后续的视觉引导路径优化和视觉精定位。如图6所示，粗定位过程包括以下子步骤：

步骤D、对冷水机容器姿态校正完成后，粗定位相机对冷水机容器前端面进行成像；

步骤E、对冷水机容器ROI区域进行检测；

步骤F、对所有待穿管孔位进行定位，保存并显示所有孔位信息；

步骤六、根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径，根据优化结果，精定位相机移动到第一个穿管孔位；

具体的，如图7所示，对视觉引导路径优化的过程包括以下子步骤：

步骤J、读取所有粗定位所有孔位的信息；

步骤K、对所有孔位进行区域划分；

步骤L、建立所有孔位状态标识数组；

步骤M、计算当前穿管的执行数量、设置当前穿管分布标识位、提取当前穿管中的第一孔位坐标；

步骤N、计算下一次穿管的执行数量、设置下一次穿管分布标识位、提取下一次穿管中的第一孔位坐标；

步骤O、将穿管信息发送到PLC，PLC反馈穿管状态，并更新和显示孔位状态标识数组；

步骤七、对所述检测特征进行精定位，伺服***根据精定位信息进行相应操作，直到对单个冷水机容器的操作全部完成；

在自动穿管机中，穿管孔位粗定位完成后，伺服带动前端面精定位相机到达第一个穿管孔位，同时给视觉***到达位置信号。视觉***接收信号后启动精定位相机拍摄图像，完成当前孔位的精定位，并将精定位坐标反馈给PLC，具体的，如图8所示，精定位过程包括以下子步骤：

步骤G、带动精定位相机移动到第一个精定位孔位附近位置对第一个孔位位置拍摄图像；

步骤H、提取中心孔位区域图像；

步骤I、通过Canny边缘检测、边缘像素筛选、FitEllipse椭圆拟合算法对该检测特征拟合，得到该检测特征的中心坐标；

步骤八、将操作完成后的冷水机容器移除，回到步骤四，对下一个冷水机容器进行相应操作，直到对全部冷水机容器操作完成。

针对该自动穿管机实施例，通过视觉***与PLC***的闭环交互控制，在自动穿管前完成容器姿态的自动校正，此外，每个容器上需要穿管的孔位数目达到数百个，通过分析孔位分布规律，结合设备的单次穿管能力，开发了视觉引导路径优化模块，实现了以最少次数、最短路径完成整个容器的穿管。经对比，如果通过人工的穿管工时约为1000根/日/人，基于本发明的自动穿管机的设计穿管速度为1000根/小时，相当于10个人的工作效率，大幅度地提高了客户的生产效率。

理想情况下，相机镜头的光轴(就是通过镜头中心垂直于传感器平面的直线)应该穿过图像中心。由于实际安装精度的影响，总是存在误差即光轴偏移，这种误差需要用内参来描述；同时，相机x方向和y方向上的尺寸缩小比例是一样的，实际上，由于镜头加工误差、传感器芯片分布不均匀等因素，导致两个方向的缩小比例不一致。内参中包含两个参数可以描述这两个方向的缩放比例，不仅可以将用像素数量来衡量的长度转换成三维空间中的用其它单位(比如米)来衡量的长度，也可以表示在x和y方向的尺度变换的不一致性；镜头会将一个三维空间中的直线也映射成直线(即射影变换)，但实际上，镜头无法这么完美，通过镜头映射后直线会发生弯曲，所以需要相机的畸变参数来描述这种变形效果。常见的图像畸变有枕形畸变、桶形畸变和线性畸变等。

相机内参共有6个参数(f,k,Sx,Sy,Cx,Cy)，其中：

f为相机焦距；k表示径向畸变量级，如果k为负值则为桶型畸变，如果k为正值则为枕型畸变；Sx,Sy是缩放比例因子。一般情况下相机成像单元不是严格的矩形的，其在水平和垂直方向上的大小是不一致的，这就导致在X和Y方向上的缩放因子不一样，所以需要分别定义两个缩放因子。对***来讲，表示图像传感器上水平和垂直方向上相邻像素之间的距离；Cx,Cy是图像的主点，即过镜头轴心垂直于成像平面与图像平面的交点。对***来讲，这个点是投影中心在成像平面上的垂直投影，同时也是径向畸变的中心。

如图5所示的是视觉***标定模块标定流程，启动视觉***标定程序，在相机视野内任意角度摆放标定板，拍摄图像，判断有效图像帧数是否满足设定要求，如果不满足，则重新摆放标定板后判断图像帧数，直到有效图像帧数是否满足设定要求，提取标定板图像角点，计算相机内参矩阵，将内参矩阵保存/显示。

由上所述，视觉引导定位装置启动后开始自检，如果视觉***出现故障，本装置则通过I/O发送报警信号给PLC，如果设备正常则发送正常启动信号。PLC接收到软件正常启动信号后，当水冷器容器吊装到位后操作工人启动自动穿管过程，此时PLC通知视觉***启动姿态校正。视觉***接收到该信号后，同时启动容器前后端面粗定位相机拍照，分别计算两个端面上同一个中心孔位的相对位置，继而计算出容器的水平方向偏移距离、垂直方向偏移距离及横滚角度，将这些信息发送给PLC。PLC根据接收到的姿态信息控制伺服***运动，完成一次容器姿态校正。视觉***连续拍摄图像、计算容器姿态信息，引导PLC校正容器，形成连续地闭环反馈控制机制。直至容器姿态满足一定阈值，则视觉***通知PLC停止校正动作，完成容器姿态校正。

容器姿态校正完成后，视觉***对前端面相机最后一次拍摄图像进行分析，确定图像中容器区域，检测所有穿管孔位的坐标，并将这些坐标保存到本地文件。粗定位计算的粗定位坐标将用于后续的穿管引导路径优化和穿管孔位精定位。

在完成穿管孔位粗定位后，自动穿管机开始执行穿管动作。PLC通知视觉***开始穿管，视觉***反馈信息包括穿管数目、穿管策略、第一个穿管位置的粗定位坐标。PLC则根据接收的穿管数目、穿管策略完成铜管取料，根据第一个穿管位置的粗定位坐标驱动伺服***，带动前端面精定位相机到达第一个穿管孔位，同时给视觉***到达位置信号。视觉***接收信号后启动精定位相机拍摄图像并完成当前孔位的精定位，将精定位坐标反馈给PLC。PLC根据精定位坐标带动引导杆和铜管到达精定位位置，然后驱动引导杆穿过容器、驱动铜管前端套进引导杆头部，最后反向拉动引导杆退出容器、同时推动铜管前进，完成当前穿管动作。完成当前穿管后，PLC通知视觉***进行下一次穿管动作，直至所有孔位穿管完成，视觉***通知PLC穿管完成，PLC通知操作工人完成容器的吊装下料。

综上可得，针对工业自动化大型装配中精确视觉定位引导需求，本发明综合运用工业视觉定位技术和工业视觉测量技术，实行粗定位和精定位相结合的分步定位策略，实现了米级超大视场的亚毫米引导定位；同时，本发明包含实时图像采集及显示模块、视觉***标定模块、伺服***标定模块、视觉粗定位模块、视觉精定位模块、视觉引导路径优化模块、PLC交互模块、***参数配置模块、***状态监视模块等多个功能模块，能够实现视觉***与伺服***(或工业机器人)的精确标定，实现工业装配过程中的精确定位引导与引导路径优化，实现与多种PLC***的执行交互逻辑，满足工业自动化装配过程中的精确视觉定位引导需求。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种视觉定位引导装置，其特征在于，包括：

控制模块，其连接一伺服***和视觉***，所述伺服***与视觉***驱动连接；

视觉粗定位模块，其用于确定目标物体在视觉图像中的粗略位置及目标物体上检测特征的整体分布信息；

视觉精定位模块，其用于确定所述检测特征在视觉图像中的精确位置；

视觉引导路径优化模块，其根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径；

其中，所述视觉粗定位模块、视觉精定位模块以及视觉引导路径优化模块分别与所述控制模块连接，所述伺服***根据所述视觉引导路径优化模块的优化结果对所述目标物体进行相应操作。

2.如权利要求1所述视觉定位引导装置，其特征在于，还包括一与所述控制模块连接的视觉***标定模块，其用于纠正所述视觉***自身的成像畸变。

3.如权利要求2所述视觉定位引导装置，其特征在于，还包括一与所述控制模块连接的伺服***标定模块，其用于统一所述伺服***与视觉***的坐标，并确定所述目标物体的基准位置。

4.如权利要求3所述视觉定位引导装置，其特征在于，还包括一与所述控制模块连接的姿态调整***，其用于调整所述目标物体的姿态直至与所述基准位置一致，所述姿态调整***包括分别与所述控制模块连接的姿态校正模块和调整平台。

5.如权利要求4所述视觉定位引导装置，其特征在于，所述视觉***包括图像采集模块、若干分列在所述姿态调整***两侧的粗定位相机和精定位相机，所述粗定位相机和精定位相机输出端分别与所述图像采集模块的输入端连接，所述图像采集模块的输出端连接所述控制模块。

6.一种如权利要求5所述视觉定位引导装置的引导方法，其特征在于，包括以下步骤：

步骤一、启动视觉定位引导装置，对各个相机的相机参数进行标定，纠正视觉***自身的成像畸变；

步骤二、设定目标物体的基准位置；

步骤三、对伺服***进行标定，使得所述伺服***与视觉***的坐标统一；

步骤四、将目标物体放置到调整平台上并校正姿态，直至将目标物体的姿态调整至与所述基准位置一致；

步骤五、对目标物体上的检测特征进行粗定位；

步骤六、根据所述检测特征的分布规律和所述伺服***的单次操作容量，优化所述伺服***的执行次数、单次操作的执行数量和动作执行路径，根据优化结果，将精定位相机移动到第一个操作位置进行拍摄；

步骤七、对所述检测特征进行精定位，伺服***根据精定位信息进行相应操作，直到对单个目标物体的操作全部完成；

步骤八、将操作完成后的目标物体移除，回到步骤四，对下一个目标物体进行相应操作，直到对全部目标物体操作完成。

7.如权利要求6所述视觉定位引导方法，其特征在于，所述步骤二中基准位置的设定方法为：初始时，将目标物体放置在调整平台上，并将目标物体调整至所述伺服***正好能对所述目标物体执行相应操作的姿态，将所述目标物体在此姿态下在视觉图像中的位置设定为基准位置。

8.如权利要求7所述视觉定位引导方法，其特征在于，所述步骤三中，对伺服***标定过程包括以下步骤：

步骤A、对伺服***X/Y方向与视觉***X/Y方向之间的夹角进行标定；

步骤B、对视觉***粗定位基准点与伺服***粗定位基准点进行标定；

步骤C、对视觉***精定位基准点与伺服***精定位基准点进行标定，得到目标物体相对于所述基准位置的偏移量。

9.如权利要求8所述视觉定位引导方法，其特征在于，粗定位过程包括以下步骤：

步骤D、在目标物体姿态校正完成后，粗定位相机对目标物体前端面进行成像；

步骤E、对目标物体ROI区域进行检测；

步骤F、对所有待操作位置进行定位，保存并显示该定位信息；

精定位过程包括以下步骤：

步骤G、带动精定位相机移动到第一个操作位置对第一个操作位置拍摄图像；

步骤H、提取第一个操作位置处的检测特征；

步骤I、通过Canny边缘检测、边缘像素筛选、FitEllipse椭圆拟合算法对该检测特征拟合，得到该检测特征的中心坐标。

10.如权利要求9所述视觉定位引导方法，其特征在于，所述步骤六中，对视觉引导路径优化的过程包括以下步骤：

步骤J、读取所有检测特征的粗定位信息；

步骤K、对所有检测特征进行区域划分；

步骤L、建立所有检测特征状态标识数组；

步骤M、计算当前操作的执行数量、设置当前操作分布标识位、提取当前操作中的第一检测特征坐标；

步骤N、计算下一次操作的执行数量、设置下一次操作分布标识位、提取下一次操作中的第一检测特征坐标；

步骤O、将操作信息发送到控制模块，控制模块反馈操作状态，并更新和显示检测特征状态标识数组。