CN114842144A - 双目视觉三维重构方法及*** - Google Patents

双目视觉三维重构方法及*** Download PDF

Info

Publication number
CN114842144A
CN114842144A CN202210483286.8A CN202210483286A CN114842144A CN 114842144 A CN114842144 A CN 114842144A CN 202210483286 A CN202210483286 A CN 202210483286A CN 114842144 A CN114842144 A CN 114842144A
Authority
CN
China
Prior art keywords
workpiece
image
line
welded
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210483286.8A
Other languages
English (en)
Inventor
张轲
阳昊
孙浩瀚
王皖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210483286.8A priority Critical patent/CN114842144A/zh
Publication of CN114842144A publication Critical patent/CN114842144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种双目视觉三维重构方法及***，包括：步骤1：获取待焊工件的视角图像；步骤2：利用第一模型对视角图像进行实例分割，得到待焊工件的特征线，第一模型用于识别待焊工件的特征；步骤3：根据路径压缩算法和特征线，得到待焊工件的特征点；步骤4：对特征点进行配对得到特征点匹配对；步骤5：根据特征点匹配对进行三维重构。与现有技术相比，本发明只需提取少数特征点即可对焊缝路径进行三维重建，操作简单，能够满足实际应用需求。

Description

双目视觉三维重构方法及***
技术领域
本发明涉及智能焊接技术领域，具体地，涉及一种双目视觉三维重构方法及***，尤其是一种基于实例分割与特征线交点的双目视觉三维重构方法及***。
背景技术
随着工业技术的不断升级，自动化程度的不断提高，焊接也从传统的手工操作转向机器人辅助的自动化操作。
工件的三维重建方法包括利用结构光对物品进行扫描、双目视觉+结构光的方式进行测量建模。结构光扫描的方式受激光结构光设备的大小以及测量范围所限，且需对扫描仪以及机械臂进行手眼标定及运动学求解相应的位置关系，该技术多应用于精确建模；而对于指导机器人进行精确建模的前期步骤目前大多依然采用人工示教的方式，为了进一步提高机器人焊接的自动化程度，利用双目视觉***视角更为广阔的特点，可搭建一个利用双目视觉***建模定位的预处理的平台代替手工示教，以实现更高程度自动化的工业生产流程。
在双目视觉的三维重建过程中，目前大多数方法采用的稠密特征点建模的方法，该类方法主要依赖动态视角，即在双目视觉***运动的过程中不断捕捉待建模物体的特征，从而根据运动学求解以及三角测量关系重建物体的三维模型。本发明根据实际工况采用稀疏特征点建模方法，根据需建模物体的特征点的相对关系，以少数点替代多数点从而反应物体的大致三位特征，进而用以指导机器人进行后续的工作。
专利文献CN113427168A公开了一种焊接机器人实时焊缝跟踪装置及方法，该装置包括激光传感器、工控机、控制器、焊接机器人和焊枪。采用扫描、滤波、特征点检测及路径规划的方式，实现对不同类型复杂焊缝的实时跟踪。机器人搭载激光传感器，扫描焊件获取坡口信息并传输给工控机；采用组合滤波的方式处理数据，提取出焊缝特征点；由图像特征点的二维坐标计算出机器人基坐标系下相应的三维坐标值；根据特征点坐标完成焊接路径规划，引导焊枪移动，实现焊缝跟踪。但该方法并未解决双目视觉的三维重建过程中依赖动态视角的技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种双目视觉三维重构方法及***。
根据本发明提供的一种双目视觉三维重构方法，包括：
步骤1：获取待焊工件的视角图像；
步骤2：利用第一模型对视角图像进行实例分割，得到待焊工件的特征线，第一模型用于识别待焊工件的特征；
步骤3：根据路径压缩算法和特征线，得到待焊工件的特征点；
步骤4：对特征点进行配对得到特征点匹配对；
步骤5：根据特征点匹配对进行三维重构。
优选地，特征线包括焊缝曲线和边缘直线，步骤2，包括：
步骤201：利用第一模型的得到视觉图像中的焊件掩模和焊缝掩模；
步骤202：对焊件掩模和焊缝掩模进行去除背景处理，得到待焊工件的工件前景图像；
步骤203：对工件前景图像进行边缘识别处理，得到工件边缘图像；
步骤204：对工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的边缘直线。
优选地，步骤2，还包括：
步骤205：利用焊缝掩模得到单独焊缝的边缘线；
步骤206：对边缘线进行三次平滑样条拟合，得到焊缝曲线。
优选地，步骤3，包括：
步骤301：利用路径压缩算法压缩焊缝曲线以及焊缝曲线与边缘直线交点，得到整条焊缝的特征点。
优选地，视角图像包括：左视角图像和右视角图像，步骤4，包括：
步骤401：根据左视角图像和右视角图像的极性约束条件，得到左视角图像中的特征点在右视角图像中对应的对极线方程；
步骤402：根据对极线方程进行配对得到特征点匹配对。
根据本发明提供的一种双目视觉三维重构***，包括：
模块M1：获取待焊工件的视角图像；
模块M2：利用第一模型对视角图像进行实例分割，得到待焊工件的特征线，第一模型用于识别待焊工件的特征；
模块M3：根据路径压缩算法和特征线，得到待焊工件的特征点；
模块M4：对特征点进行配对得到特征点匹配对；
模块M5：根据特征点匹配对进行三维重构。
优选地，特征线包括焊缝曲线和边缘直线，模块M2，包括：
子模块M201：利用第一模型的得到视觉图像中的焊件掩模和焊缝掩模；
子模块M202：对焊件掩模和焊缝掩模进行去除背景处理，得到待焊工件的工件前景图像；
子模块M203：对工件前景图像进行边缘识别处理，得到工件边缘图像；
子模块M204：对工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的边缘直线。
优选地，模块M2，还包括：
子模块M205：利用焊缝掩模得到单独焊缝的边缘线；
子模块M206：对边缘线进行三次平滑样条拟合，得到焊缝曲线。
优选地，模块M3，包括：
子模块M301：利用路径压缩算法压缩焊缝曲线以及焊缝曲线与边缘直线交点，得到整条焊缝的特征点。
优选地，视角图像包括：左视角图像和右视角图像，模块M4，包括：
子模块M401：根据左视角图像和右视角图像的极性约束条件，得到左视角图像中的特征点在右视角图像中对应的对极线方程；
子模块M402：根据对极线方程进行配对得到特征点匹配对。
与现有技术相比，本发明具有如下的有益效果：
1、本发明只需提取少数特征点即可对焊缝路径进行三维重建，操作简单，能够满足实际应用需求。
2、本发明根据实际工况采用稀疏特征点建模方法，根据需建模物体的特征点的相对关系，以少数点替代多数点从而反应物体的大致三位特征，进而用以指导机器人进行后续的工作。
3、本发明通过左视角图像和右视角图像的极性约束条件进行特征点匹配，提高了特征点对的准确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一个流程示意图；
图2为本发明的另一个流程示意图；
图3为本发明的神经网络架构示意图；
图4为本发明的双目视觉立体结构的示意图；
图5a为本发明的双目视觉左图视角获得的图像的示意图；
图5b为本发明的双目视觉右图视角获得的图像的示意图；
图6a为本发明的左视角图像进行实例分割的示意图；
图6b为本发明的右视角图像进行实例分割的示意图；
图7a为本发明的左视角图像的焊缝曲线的示意图；
图7b为本发明的右视角图像的焊缝曲线的示意图；
图8a为本发明的左视角图像焊缝上的特征点的示意图；
图8b为本发明的右视角图像上对特征点求取的极线的示意图；
图9a为本发明的左视角图像的特征点的三维重建的示意图；
图9b为本发明的右视角图像的特征点的三维重建的示意图；
图10为本发明的三维重建的焊缝曲线的示意图。
附图标记：
1-神经网络输入；2-卷积骨干网络；3-特征图(feature map)；4-特征图修正层(ROI Align Layer)；5-修正好尺寸的特征图；6-全连接层；7-头部预测结构(headstructure)；8-预测结果；9-焊件部分；10-焊缝部分；11-焊件部分掩模；12-焊缝掩模；13-类型识别边框以及置信度；14-去除背景后的焊接工件；15-提取的焊缝的上边缘曲线；16-通过曲线压缩算法获得的曲线路径控制点；17-根据控制点与极线方程求出来的极线；18-极线与焊缝曲线的交点；19-经过三维重建后的焊缝曲线。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为本发明的一个流程示意图，如图1所示，本发明提供了一种双目视觉三维重构方法，包括如下步骤：
步骤1：获取待焊工件的视角图像。
本发明中通过双目视觉相机获取视觉图像，视觉图像包括左视角图像和右视角图像。
具体地，通过双目视觉相机获取待焊工件双目视觉相机左视角图像和右视角图像，即双目视觉测量***的左、右相机分别获得所需三维重建物体的左、右相机视角的图像，分别对应于左视角图像和右视角图像。
在本发明中在获取待焊工件的视角图像之前，需要进行一些预备工作，包括两部分：第一部分，标定双目视觉相机；第二部分，训练深度学习神经网络识别待测物体特征，得到第一模型。
具体地，对双目视觉***进行标定，获取左相机和右相机的内部参数和外部参数。
需要说明的是，在本发明中除特殊说明外，均为对左、右视角相机所获取的左视角图像和右视角图像同时进行处理。
步骤2：利用第一模型对视角图像进行实例分割，得到待焊工件的特征线，第一模型用于识别待焊工件的特征。
其中，特征线包括焊缝曲线和边缘直线，步骤2，包括：步骤201：利用第一模型的得到视觉图像中的焊件掩模和焊缝掩模；步骤202：对焊件掩模和焊缝掩模进行去除背景处理，得到待焊工件的工件前景图像；步骤203：对工件前景图像进行边缘识别处理，得到工件边缘图像；步骤204：对工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的边缘直线；步骤205：利用焊缝掩模得到单独焊缝的边缘线；步骤206：对边缘线进行三次平滑样条拟合，得到焊缝曲线。
具体地，利用训练好的第一模型对视觉图像进行实例分割；提取待焊工件的特征线，特征线包括焊缝曲线和边缘直线；利用霍夫直线检测以及平滑样条曲线拟合边缘直线和焊缝曲线。
在一种可选的实施例中，通过训练好的神经网络预测双目视觉所获图像中的焊件掩模和焊缝掩模，利用深度学***滑样条拟合焊缝曲线。
步骤3：根据路径压缩算法和特征线，得到待焊工件的特征点。
其中，步骤3，包括：步骤301：利用路径压缩算法压缩焊缝曲线以及焊缝曲线与边缘直线交点，得到整条焊缝的特征点。
具体地，利用路径压缩算法压缩焊缝曲线以及焊缝曲线与边缘直线交点作为整条焊缝的特征点。
在一种可选的实施例中，利用所获取的焊缝曲线的曲线方程和焊件直角进行交点计算，交点为焊缝的起始端点，即特征点。
步骤4：对特征点进行配对得到特征点匹配对。
其中，视角图像包括：左视角图像和右视角图像，步骤4，包括：步骤401：根据左视角图像和右视角图像的极性约束条件，得到左视角图像中的特征点在右视角图像中对应的对极线方程；步骤402：根据对极线方程进行配对得到特征点匹配对。
具体地，利用特征点计算在另一视图图像中的极线方程；利用拟合的曲线以及求得的极线求取对应的特征点匹配对。
在一种可选的实施例中，计算双目视觉相机左视角图像和右视角图像匹配所需的极性约束条件；将上述所获取左视角的工件边缘点以及焊缝起始端点通过极性约束条件计算出该特征点在右视角图像中所对应的对极线方程；每个端点所对应的对极线与焊缝边缘相交所得到的点即为其在右视角图像中的匹配点，从而得到特征匹配对。
步骤5：根据特征点匹配对进行三维重构。
具体地，对匹配的特征点进行三维重建。
在一种可选的实施例中，通过三角重构法将起始端点匹配点进行三角测量获取相应点在实际物理三维空间中的坐标。
实施例一
本发明提供的一种双目视觉三维重构方法，本实施例以待重建焊件进行详细说明。
图2为本发明的另一个流程示意图，如图2所示，本发明的双目视觉三维重构方法包含预备工作T100和正常使用工作部分，具体包括以下步骤：
预备工作T100分为两个部分，第一部分为训练深度神经网络，得到第一模型，图3为本发明的神经网络架构示意图，如图3所示，包括：神经网络输入1、卷积骨干网络2，即卷积神经网络(Convolutional Neural Network，CNN)、特征图3(feature map)、特征图修正层4(ROI Align Layer)、修正好尺寸的特征图5、全连接层6、头部预测结构7(headstructure)和预测结果8，其中，预测结构7中包括掩模预测分支(mask Branch)、预测的实例的掩模(Mask)、全连接层和预测结果8，预测结果8包括有预测框(bounding box)、预测类别(classification)，神经网络输入图片经过CNN进行特征提取，提取的特征作为区域生成网络(Region Proposal Network，RPN)的输入用于生成候选区域，通过CNN网络提取的特征与RPN网络生成的候选区域的融合特征图(feature map)，融合特征图(feature map)可以通过ROI Align来修正尺寸，得到统一尺寸的特征图，修正后的特征图作为掩模预测分支的输入，其结果是得到预测的掩模，修正后的特征图也作为全连接层的输入用来预测实例的分类类别以及其所在的预测框；第二部分为标定双目视觉***的内外参数，图4为本发明的双目视觉立体结构的示意图，如图4所示，左成像平面横轴为x1，纵轴为y1，x1和y1组成的左成像平面坐标系，右成像平面横轴为x2，纵轴为y2，x2和y2组成右成像平面坐标系，空间点(P)为实际三维空间中的一点，左成像点(P1)为空间点P再左相机成像平面上的成像点，右成像点(P2)为空间点P再右相机成像平面上的成像点，左极点(f1)为左光心(C1)与右光心(C2)连线与左相机成像平面的交点，右极点(f2)为左光心(C1)与右光心(C2)连线与右相机成像平面的交点，左极线(e1)为左成像点(P1)与左极点(f1)的连线，右极线(e2)为右成像点(P2)与右极点(f2)的连线，左光心(C1)为左相机的光学中心，右光心(C2)为右相机的光学中心。
预备工作T100包括步骤T111、步骤T112、步骤T121和步骤T122，步骤T111、收集实际焊接环境中的待焊接工件的照片，并对其进行标注，制作焊接工件图片数据集；步骤T112、将收集好的焊件数据集输入深度神经网络进行训练，训练好的神经网络，即第一模型将用于后期的待焊工件的工件前景提取；步骤T121、双目视觉***的标定，标定结果计算得出左相机和右相机的内部参数和外部参数。
其中，左相机和右相机标定的内部参数包括：相机CCD芯片(Charge CoupledDevice)上相邻像素点的物理距离dx、dy，其中，dx表示横向距离，dy表示纵向距离，摄像机主距f，摄像机径向畸变参数k1、k2和切向畸变参数p1、p2，以及摄像机光学中心在图像上的投影点坐标(u0,v0)，其中，u0表示成像平面横坐标值，v0表示成像平面纵坐标值。左、右相机的标定的外部参数包括：旋转矩阵R＝R(α,β,γ)和平移向量T＝(tx,ty,tz)T，其中旋转矩阵R＝R(α,β,γ)是由右摄像机坐标系z轴绕左摄像机坐标系z轴旋转角度γ,右摄像机y轴绕左摄像机y轴旋转角度β,右摄像机x轴绕左摄像机轴旋转角度α确定的；平移向量T＝(tx,ty,tz)T由右摄像机坐标系原点在左摄像机坐标系中的坐标(tx,ty,tz)确定。R和T中的参数决定了摄像机坐标系与世界坐标系之间的相对位置关系。
以上标定方法和对各参数的标定均为现有技术，此处不再赘述。
步骤T122、计算相机的畸变系数和基础矩阵，其结果可以用来计算照片上的一像素点对应于另一幅图上的一条极线。
在进行图像匹配之前，通过约束条件，可以缩小匹配点的选取范围，同时也减少了计算量。本发明所采用的约束条件是含有标定信息的极限约束条件，其原理示意图如图4所示，在双目立体结构图中，空间点P、左光心(C1)和右光心(C2)三点确定的平面被称为外极平面，外极平面与相平面的相交的直线称为外极线。对于左图像上任意一点P1，它所对应的空间点P必然在C1和P1所在的直线上，该直线与点C2构成的外极平面与右图像平面相交的而成的外极线称为P1的外极线。容易看出，P1在右图像中的匹配点P2必然在P1的外极线上，这就是外极线约束。
对于左像平面上一点P1[u1,v1,f1]，u1、v1表示该点在图像上的像素坐标点，f1表示左相机的焦距，若P1[u1,v1,f1]为右图像上一点P2的匹配点，则P1在P2的外极线上，满足的约束关系如公式(1)所示：
F⊥·P1＝F⊥·[u1,v1,f1]＝0； (1)
其中，F⊥表示右图像中一点P2及左右相机光心C1、C2构成的外极平面的法向量。
下面为正常使用工作部分。
步骤S101、开始工作；步骤S102、实际焊接工作前，通过双目视觉相机获取左、右视角两张关于焊接工件的照片，图5a为本发明的双目视觉左图视角获得的图像的示意图，图5b为本发明的双目视觉右图视角获得的图像的示意图，如图5a和图5b所示，包括焊接工件9和焊缝部分10，其中待焊工件为9所示部分；步骤S103、对步骤S102获取的两张工件图片，通过T112步骤训练好的神经网络模型对照片中的焊件位置进行预测，获取焊件掩模；具体的，图6a为本发明的左视角图像进行实例分割的示意图，图6b为本发明的右视角图像进行实例分割的示意图，如图6a所示，包括：焊缝部分掩模12、焊件掩模11和类型识别边框以及置信度13，其中，左视角图像的焊件预测值为0.9995(WeldPrice1 score：0.9995)，焊缝的预测值为0.9963(Seam1 score:0.9963)，右视角图像的焊件预测值为0.9994(WeldPrice1score：0.9994)，焊缝的预测值为0.9941(Seam1 score:0.9941)，具体地，将图5a和图5b中的图片放入图3中的神经网络的输入结构作为其输入参数，第一模型预测后获得的焊件掩模11和类型识别边框以及置信度13；步骤S104、利用图6a和图6b中所获取的焊件掩模11对焊件照片进行去背景处理，提取待焊工件照片中焊件的前景图像，获取前景去除背景可以减少背景信息对焊件的边缘提取时带来的干扰，并且能够缩小双目匹配的区域范围，图7a为本发明的左视角图像的焊缝曲线的示意图，图7b为本发明的右视角图像的焊缝曲线的示意图，如图7a和图7b所示，包括去除背景后的焊接工件15，两张图都是利用掩模去除背景，保留了焊接工件14。
图像匹配方法包括区域匹配、特征匹配和相位匹配，区域匹配是根据图像子区域的灰度信息进行相似性度量和匹配；特征匹配基于特征属性定义相似性，特征属性包括边缘、线段的长度等；相位匹配是根据带通信号之间的相关度来进行匹配的。
本实例基于物体的特征线与双目视觉成像***之间所存在的数学关系确定左、右视图中同名点的像素位置，进而求取其三维坐标。
步骤S105、对提取好的焊件前景进行边缘提取处理，我们需要的信息仅包括焊件的边缘以及焊缝的边缘；步骤S106、对提取的焊件边缘的图片进行去噪处理，提取边缘后，我们的照片上存在很多无关信息，因此必要的去噪操作能够有效剔除一些非必要信息，方便后期的匹配过程能够准确匹配，图8a为本发明的左视角图像焊缝上的特征点的示意图，图8b为本发明的右视角图像上对特征点求取的极线的示意图，如图8a所示，包括提取的焊缝的上边缘曲线15，极线与焊缝线相交的点即为匹配点对；步骤S107、提取特征点。对已提取出来的焊件的边缘进行拟合，直线边缘采用最小二乘法拟合，曲线边缘采用三次平滑样条曲线拟合，拟合后的焊件边缘直线与焊缝曲线的交点作为特征点；图9a为本发明的左视角图像的特征点的三维重建的示意图，图9b为本发明的右视角图像的特征点的三维重建的示意图，如图9a和图9b所示，包括：通过曲线压缩算法获得的曲线路径控制点16、根据控制点与极线方程求出来的极线17和极线与焊缝曲线的交点18，具体地，对上述S107步骤求取的特征点代入极限约束关系式求解每个特征点相应的对极线17，求取的极线如图9a和图9b所示；步骤S108、对每一条对极线，在另一幅图像上计算对极线与边缘拟合线的交点18，其中，边缘拟合线即焊件边缘直线或焊缝曲线，如图9a和图9b所示；步骤S109、通过步骤S108求取的交点与极线对应的另一幅中的点获得匹配点对；步骤S110、通过三角测量函数对匹配点对进行三角测量获取对应物理空间的点在相机坐标系下的三维空间坐标；步骤S111、对焊接工件特征点的每一个匹配点对求解的三维空间坐标点进行三维重构，得到的焊缝三维模型，图10为本发明的三维重建的焊缝曲线的示意图，如图10所示，三个坐标轴分别为，x轴，y轴，z轴，且单位均为毫米(mm)，其中的曲线为经过三维重建后的焊缝曲线19。
本发明还提供了一种双目视觉三维重构***，包括：
模块M1：获取待焊工件的视角图像。
模块M2：利用第一模型对视角图像进行实例分割，得到待焊工件的特征线，第一模型用于识别待焊工件的特征。
其中，特征线包括焊缝曲线和边缘直线，模块M2，包括：子模块M201：利用第一模型的得到视觉图像中的焊件掩模和焊缝掩模；子模块M202：对焊件掩模和焊缝掩模进行去除背景处理，得到待焊工件的工件前景图像；子模块M203：对工件前景图像进行边缘识别处理，得到工件边缘图像；子模块M204：对工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的边缘直线。
进一步地，模块M2，还包括：子模块M205：利用焊缝掩模得到单独焊缝的边缘线；子模块M206：对边缘线进行三次平滑样条拟合，得到焊缝曲线。
模块M3：根据路径压缩算法和特征线，得到待焊工件的特征点。
其中，模块M3，包括：子模块M301：利用路径压缩算法压缩焊缝曲线以及焊缝曲线与边缘直线交点，得到整条焊缝的特征点。
模块M4：对特征点进行配对得到特征点匹配对。
其中，视角图像包括：左视角图像和右视角图像，模块M4，包括：
子模块M401：根据左视角图像和右视角图像的极性约束条件，得到左视角图像中的特征点在右视角图像中对应的对极线方程；
子模块M402：根据对极线方程进行配对得到特征点匹配对。
模块M5：根据特征点匹配对进行三维重构。
与现有技术相比，本发明具有如下的有益效果：
1、本发明只需提取少数特征点即可对焊缝路径进行三维重建，操作简单，能够满足实际应用需求。
2、本发明根据实际工况采用稀疏特征点建模方法，根据需建模物体的特征点的相对关系，以少数点替代多数点从而反应物体的大致三位特征，进而用以指导机器人进行后续的工作。
3、本发明通过左视角图像和右视角图像的极性约束条件进行特征点匹配，提高了特征点对的准确度。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法子模块M进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种双目视觉三维重构方法，其特征在于，包括:
步骤1：获取待焊工件的视角图像；
步骤2：利用第一模型对所述视角图像进行实例分割，得到所述待焊工件的特征线，所述第一模型用于识别所述待焊工件的特征；
步骤3：根据路径压缩算法和所述特征线，得到所述待焊工件的特征点；
步骤4：对所述特征点进行配对得到特征点匹配对；
步骤5：根据所述特征点匹配对进行三维重构。
2.根据权利要求1所述的双目视觉三维重构方法，其特征在于，所述特征线包括焊缝曲线和边缘直线，所述步骤2，包括：
步骤201：利用所述第一模型的得到所述视觉图像中的焊件掩模和焊缝掩模；
步骤202：对所述焊件掩模和焊缝掩模进行去除背景处理，得到所述待焊工件的工件前景图像；
步骤203：对所述工件前景图像进行边缘识别处理，得到工件边缘图像；
步骤204：对所述工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的所述边缘直线。
3.根据权利要求2所述的双目视觉三维重构方法，其特征在于，所述步骤2，还包括：
步骤205：利用所述焊缝掩模得到单独焊缝的边缘线；
步骤206：对所述边缘线进行三次平滑样条拟合，得到所述焊缝曲线。
4.根据权利要求1-3任一项所述的双目视觉三维重构方法，其特征在于，所述步骤3，包括：
步骤301：利用所述路径压缩算法压缩所述焊缝曲线以及所述焊缝曲线与所述边缘直线交点，得到整条焊缝的所述特征点。
5.根据权利要求4所述的双目视觉三维重构方法，其特征在于，所述视角图像包括：左视角图像和右视角图像，所述步骤4，包括：
步骤401：根据所述左视角图像和所述右视角图像的极性约束条件，得到所述左视角图像中的所述特征点在所述右视角图像中对应的对极线方程；
步骤402：根据所述对极线方程进行配对得到所述特征点匹配对。
6.一种双目视觉三维重构***，其特征在于，包括：
模块M1：获取待焊工件的视角图像；
模块M2：利用第一模型对所述视角图像进行实例分割，得到所述待焊工件的特征线，所述第一模型用于识别所述待焊工件的特征；
模块M3：根据路径压缩算法和所述特征线，得到所述待焊工件的特征点；
模块M4：对所述特征点进行配对得到特征点匹配对；
模块M5：根据所述特征点匹配对进行三维重构。
7.根据权利要求6所述的双目视觉三维重构***，其特征在于，所述特征线包括焊缝曲线和边缘直线，所述模块M2，包括：
子模块M201：利用所述第一模型的得到所述视觉图像中的焊件掩模和焊缝掩模；
子模块M202：对所述焊件掩模和焊缝掩模进行去除背景处理，得到所述待焊工件的工件前景图像；
子模块M203：对所述工件前景图像进行边缘识别处理，得到工件边缘图像；
子模块M204：对所述工件边缘图像进行降噪处理和霍夫直线检测获取待焊工件的所述边缘直线。
8.根据权利要求7所述的双目视觉三维重构***，其特征在于，所述模块M2，还包括：
子模块M205：利用所述焊缝掩模得到单独焊缝的边缘线；
子模块M206：对所述边缘线进行三次平滑样条拟合，得到所述焊缝曲线。
9.根据权利要求6-8任一项所述的双目视觉三维重构***，其特征在于，所述模块M3，包括：
子模块M301：利用所述路径压缩算法压缩所述焊缝曲线以及所述焊缝曲线与所述边缘直线交点，得到整条焊缝的所述特征点。
10.根据权利要求9所述的双目视觉三维重构***，其特征在于，所述视角图像包括：左视角图像和右视角图像，所述模块M4，包括：
子模块M401：根据所述左视角图像和所述右视角图像的极性约束条件，得到所述左视角图像中的所述特征点在所述右视角图像中对应的对极线方程；
子模块M402：根据所述对极线方程进行配对得到所述特征点匹配对。
CN202210483286.8A 2022-05-05 2022-05-05 双目视觉三维重构方法及*** Pending CN114842144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210483286.8A CN114842144A (zh) 2022-05-05 2022-05-05 双目视觉三维重构方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210483286.8A CN114842144A (zh) 2022-05-05 2022-05-05 双目视觉三维重构方法及***

Publications (1)

Publication Number Publication Date
CN114842144A true CN114842144A (zh) 2022-08-02

Family

ID=82566981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210483286.8A Pending CN114842144A (zh) 2022-05-05 2022-05-05 双目视觉三维重构方法及***

Country Status (1)

Country Link
CN (1) CN114842144A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876429A (zh) * 2024-03-12 2024-04-12 潍坊海之晨人工智能有限公司 一种运动型工业视觉实训平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876429A (zh) * 2024-03-12 2024-04-12 潍坊海之晨人工智能有限公司 一种运动型工业视觉实训平台
CN117876429B (zh) * 2024-03-12 2024-06-07 潍坊海之晨人工智能有限公司 一种运动型工业视觉实训***

Similar Documents

Publication Publication Date Title
CN110524580B (zh) 一种焊接机器人视觉组件及其测量方法
CN210046133U (zh) 基于激光结构光的焊缝视觉跟踪***
CN108766894B (zh) 一种机器人视觉引导的芯片贴装方法及***
CN111192307B (zh) 基于激光切割三维零部件的自适应纠偏方法
CN109470149B (zh) 一种管路位姿的测量方法及装置
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及***
CN113902810B (zh) 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN105844622A (zh) 一种基于激光视觉的v型坡口焊缝检测方法
CN111644935A (zh) 一种机器人三维扫描测量装置及工作方法
CN108107837A (zh) 一种基于视觉引导的玻璃加工装置及方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
JP2903964B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
CN114283139A (zh) 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN114842144A (zh) 双目视觉三维重构方法及***
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
Zou et al. Research on 3D curved weld seam trajectory position and orientation detection method
Tran et al. An intelligent path planning of welding robot based on multisensor interaction
Fang et al. A vision-based method for narrow weld trajectory recognition of arc welding robots
Ma et al. WeldNet: A deep learning based method for weld seam type identification and initial point guidance
CN117584121A (zh) 一种基于点云场景理解的焊接机器人路径规划方法
CN116594351A (zh) 一种基于机器视觉的数控加工单元***
CN114926531A (zh) 基于双目视觉的大视场下工件焊缝自主定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination