CN114383543A - 单ccd双棱镜双目立体视觉传感器 - Google Patents

单ccd双棱镜双目立体视觉传感器 Download PDF

Info

Publication number
CN114383543A
CN114383543A CN202111525330.9A CN202111525330A CN114383543A CN 114383543 A CN114383543 A CN 114383543A CN 202111525330 A CN202111525330 A CN 202111525330A CN 114383543 A CN114383543 A CN 114383543A
Authority
CN
China
Prior art keywords
prism
vision sensor
binocular
single ccd
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111525330.9A
Other languages
English (en)
Other versions
CN114383543B (zh
Inventor
许燕玲
郑洵智
陈善本
张华军
闫俊达
侯震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111525330.9A priority Critical patent/CN114383543B/zh
Publication of CN114383543A publication Critical patent/CN114383543A/zh
Application granted granted Critical
Publication of CN114383543B publication Critical patent/CN114383543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种WAAM熔池三维重建方法，本发明设计了基于棱镜分光的可调节基线长度的双目立体视觉传感器，该传感器利用单个摄像机和一个棱镜，通过调节棱镜距相机光心距离达到改变基线长度的目的，增加了拍摄角度和拍摄距离的灵活性。相较于传统的两左右平行放置相机组成的双目立体视觉传感器，具有基线长度短、采像同步性好、占用空间小的优势，特别适合于对机器人电弧增材制造的过程监控。此外，所设计的传感器结构紧凑、外形美观。

Description

单CCD双棱镜双目立体视觉传感器
技术领域
本发明涉及一种单CCD双棱镜双目立体视觉传感器。
背景技术
GMA-AM成形质量控制的关键在于保持内表面的平整，并使得每层的表面高度与切片模型所预先规划的高度一致。在熔覆道层层堆积的过程中，如果采用恒规范工艺参数，随着堆积高度的不断增加，散热条件逐渐变差，液态金属与前一层已凝固焊道之间的润湿性变好，使得熔覆道高度减少，宽度增加，变得更加扁平。这不仅会使得工件的内表面崎岖不平，整体成型质量下降，更可能随着高度误差的层层堆积产生“撞枪”的危险。因此，对GMA-AM成型质量的控制关键在于对堆积过程中每层单道熔覆道的宽度、高度以及表面平整度的监控。现有方法大都基于单目相机监控熔池并提取熔池宽度，但通过单一视角图像无法获得高度信息。还有一些方法对焊后凝固的熔覆道利用线激光结构光***进行三维重建，并通过点云处理算法提取出熔覆道的宽度和高度，但这类方法只适用于焊后路径修正，无法做到实时控制，存在明显不足。
发明内容
本发明的目的在于提供一种单CCD双棱镜双目立体视觉传感器。
为解决上述问题，本发明提供一种单CCD双棱镜双目立体视觉传感器，包括：
设置单CCD双棱镜双目立体视觉传感器；
对设置好的单CCD双棱镜双目立体视觉传感器进行标定及极线校正；
基于标定及极线校正后的单CCD双棱镜双目立体视觉传感器，进行熔池图像采集及立体匹配，以实现WAAM熔池三维重建。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
采用尼龙材料，3D打印制成盛放CCD摄像机的主体部分。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
采用铝合金薄板，拼装而成单CCD双棱镜双目立体视觉传感器的前端的用来滑动调节双棱镜距离的U形槽结构，通过旋紧和旋松U形槽结构的两侧的六角螺钉固定装载台以及在导轨中水平滑动装载台，以将调节棱镜到CCD摄像机的距离。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
将单CCD双棱镜双目立体视觉传感器，通过燕尾槽与万向节相连，燕尾槽由高强度铝合金制成。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
将单CCD双棱镜双目立体视觉传感器通过万向节与机器人法兰盘相连。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
采用抽屉结构加装滤光片，并将滤光片通过凸台连接到CCD摄像机的透光孔上。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
在单CCD双棱镜双目立体视觉传感器的最前端通过卡槽安装保护玻璃。
进一步的，在上述方法中，设置单CCD双棱镜双目立体视觉传感器，包括：
根据熔池大小及测量距离确定偏折角度δ；
基于确定的偏折角度δ，确定对应的棱镜底角大小α。
进一步的，在上述方法中，对设置好的单CCD双棱镜双目立体视觉传感器进行标定及极线校正，包括：
首先，将采集到的完整的双目图像从中间分开，分成相同分辨率的左、右图像；其次调整角点响应阈值，准确提取棋盘格中的角点坐标；然后进行***标定，双目***的标定分为两步：第一步是利用张正友标定法分别标定左、右相机的内参和外参，第二步是利用第一步中的标定结果优化求解左、右相机的旋转和平移；
对于已标定双目***的极线校正。
进一步的，在上述方法中，基于标定及极线校正后的单CCD双棱镜双目立体视觉传感器，进行熔池图像采集及立体匹配，以实现WAAM熔池三维重建，包括：
用标定和极线校正后的双目立体视觉传感器采集熔池图像，其中，采用660nm滤光片滤去多余弧光，并通过调整光圈大小和曝光时间，在仅利用弧光照射的条件下，采集到完整、清晰的双目熔池图像对；
对采集到的双目熔池图像对，进行稠密立体匹配。
与现有技术相比，本发明首先设计了基于棱镜分光的可调节基线长度的双目立体视觉传感器，该传感器利用单个摄像机和一个棱镜，通过调节棱镜距相机光心距离达到改变基线长度的目的，增加了拍摄角度和拍摄距离的灵活性。相较于传统的两左右平行放置相机组成的双目立体视觉传感器，具有基线长度短、采像同步性好、占用空间小的优势，特别适合于对机器人电弧增材制造的过程监控。此外，所设计的传感器结构紧凑、外形美观。
其次，本发明对双目立体视觉传感器进行了相机标定，求解出左、右相机的相对位姿，并利用标定结果进行Bonguet极线校正，将后续立体匹配的视差搜索由二维简化成一维。
再次，本发明提出了一种两阶段的立体匹配算法，首先利用半全局匹配算法(SGM)进行匹配，并将弱纹理区域的错误匹配剔除；再利用基于深度学习的深度图补全方法对不完整的深度图进行补全，以得到完整的熔池三维点云模型。提出的算法速度快，能够满足实时性要求。提出的完整技术流程如图1所示。
附图说明
图1是本发明一实施例的完整的双目立体视觉WAAM熔池三维重建技术流程；
图2是本发明一实施例的基于双目立体视觉传感的电弧增材制造硬件***的示意图；
图3是本发明一实施例的双目立体视觉传感器solidworks的示意图；
图4是本发明一实施例的棱镜几何光学示意图；
图5是本发明一实施例的光线经过棱镜发生的两次折射示意图；
图6是本发明一实施例的等效双目立体视觉传感器的示意图；
图7是本发明一实施例部分标定图像的示意图；
图8是本发明一实施例的左、右相机角点检测及重投影结果的示意图；
图9是本发明一实施例的极线校正前后的立体图像对的示意图；
图10是本发明一实施例的单道多层不同层双目熔池图像对的示意图；
图11是本发明一实施例的SGM算法立体匹配及后处理的流程图；
图12a是本发明一实施例的SGM算法得到的熔池视差图；
图12b是本发明一实施例的。熔池表面3D点云模型的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明首先设计了基于棱镜分光的可调节基线长度的双目立体视觉传感器，该传感器利用单个摄像机和一个棱镜，通过调节棱镜距相机光心距离达到改变基线长度的目的，增加了拍摄角度和拍摄距离的灵活性。相较于传统的两左右平行放置相机组成的双目立体视觉传感器，具有基线长度短、采像同步性好、占用空间小的优势，特别适合于对机器人电弧增材制造的过程监控。此外，所设计的传感器结构紧凑、外形美观。
其次，本发明对双目立体视觉传感器进行了相机标定，求解出左、右相机的相对位姿，并利用标定结果进行Bonguet极线校正，将后续立体匹配的视差搜索由二维简化成一维。
再次，本发明提出了一种两阶段的立体匹配算法，首先利用半全局匹配算法(SGM)进行匹配，并将弱纹理区域的错误匹配剔除；再利用基于深度学习的深度图补全方法对不完整的深度图进行补全，以得到完整的熔池三维点云模型。提出的算法速度快，能够满足实时性要求。提出的完整技术流程如图1所示。
一、基于双目立体视觉传感的电弧增材制造***
1.电弧增材制造硬件***
如图2所示为基于双目立体视觉传感的电弧增材制造硬件***的各部分实物图。***由工业机器人、机器人控制柜、工控机、焊机及保护气和双目立体视觉传感器组成。其中工控机是WAAM***的信息采集与处理核心，同时还可将预先规划好的机器人移动路径上的各点坐标发送给机器人控制柜，并能实时接收机器人的位姿状态。工控机与控制柜之间通过网络建立了通讯，控制柜与焊机之间也同样建立了通讯关系。实际在执行电弧增材制造时，焊机根据焊枪所处的位置和实时状态自适应地调整工艺参数，以达到较好的焊接效果。双目立体视觉传感器通过万向节固定在机器人第六轴的法兰盘上，随机器人同步运动。视觉传感器所采集到的图像信号通过网络传输到工控机的采像软件上，通过采像软件可动态调整采像帧率、曝光时间等关键参数，以改善采像质量。由于采像软件提供了大量可供二次开发的API接口，因此可方便地对所采图像进行实时处理。
2.双目立体视觉传感器
双目立体视觉传感器是机器人的“眼睛”，在整个***中具有重要意义，其设计图和实物图如图3所示。实际采像时，传感器CCD位置保持不动，通过沿摄像机光轴方向平行移动棱镜装载台来调节基线长度，以达到不同熔池大小、不同采像距离等多种工况下的双目熔池完整成像。
该传感器除了以上可变基线长度的优势外，还具有以下特点：
(1)结构紧凑，占用空间小，生产成本低。传感器盛放CCD摄像机的主体部分由尼龙材料经3D打印而成，质轻、散热性好；双目立体视觉传感器的前端用来滑动调节双棱镜距离的U形槽结构由铝合金薄板拼装而成，通过旋紧和旋松两侧的六角螺钉固定装载台以及在导轨中水平滑动装载台，以调节棱镜到CCD摄像机的距离，铝合金薄板保证了光学***固定所需要的刚性。
(2)传感器通过燕尾槽与万向节相连，燕尾槽由高强度铝合金制成，保证了连接处足够的刚性。传感器通过万向节与机器人法兰盘相连，可以方便地调整采像角度及测量距离，以探索出最适合双目立体视觉成像的采集角度。
(3)改变原有将滤光片内嵌入镜头前的滤光片安装方案，采用“抽屉”结构加装滤光片，并将滤光片通过凸台连接到CCD摄像机的透光孔上，在对焦及标定时将滤光片取出，而在采集熔池图像时将滤光片装入，这样在标定好***后能在不拆卸CCD摄像机的条件下装入滤光片，防止CCD摄像机发生移位而导致左、右相机相对位置关系发生改变。
(4)在传感器的最前端通过卡槽安装保护玻璃，以防止焊接过程产生的大量飞溅破坏双棱镜表面。实际工作时，传感器前端安装棱镜的部件由铝合金薄板盖住，确保光线仅在通过双棱镜后才能被摄像机采集到，完全符合预先设计的光路。
二、具体技术实现
1.基于单CCD棱镜分光的双目立体视觉传感器设计
利用棱镜的二次折射原理，可在仅利用单CCD采像的条件下，人为将单张图像分成左、右虚像，构成双目图像对。理想状态下，当棱镜底边与摄像机光心对齐，棱镜底面与成像平面平行时，构成的***“自校正”成为标准双目立体视觉传感器。该方案利用了棱镜对光线的二次折射，所呈现的双目图像对为实际物体的虚像。由于所呈现的立体图像对实际上是同一个CCD摄像机拍摄的，在一定程度上能够克服采用左、右两个CCD摄像机引起的照度不一致的问题，有助提高立体匹配算法的鲁棒性。
如图4所示为基于棱镜分光的双目立体视觉传感器的几何光学示意图。棱镜坐标系定义为(Op,Xp,Yp,Zp),Op为棱镜原点坐标；摄像机坐标系定义为(O,X,Y,Z)，O是摄像机光心。在放置时保证Zp和Z同轴，即保证棱镜原点坐标通过摄像机光轴；还要保证Xp与X平行，Yp与Y平行，使摄像机成像平面与棱镜底面π保持平行。
如图4所示，当空间中任意三维点Xp发出的光线经过棱镜时将发生角度为δ的偏折，当光线经过棱镜底面后分别经过两个侧面πr和πl时，棱镜对光线的偏折作用在成像平面上成的像等效于在原物点两侧的两个虚拟物点Xr和Xl在成像平面所成像。棱镜对光线的偏折作用是棱镜底面和侧面对光线的两次折射作用的叠加，如图5所示，偏折角大小δ由棱镜几何光学和棱镜的折射率n以及底角α决定。
根据折射定律及图5所示的入射角、折射角之间的几何关系，可以推导出棱镜对光线的偏折角度δ与棱镜折射率n以及棱镜底角之间的基本关系如公式(1)所示。
Figure BDA0003410109830000071
式(1)给出了棱镜选型的依据：首先根据熔池大小及测量距离确定偏折角度δ，由于所用玻璃折射率基本固定，只需选择合适的棱镜底角大小α以满足对偏折角度δ的要求。
记任意三维点Xp的坐标Xp＝[Xp,Yp,Zp]T,右虚拟物点坐标Xr＝[Xpr,Ypr,Zpr]T，左虚拟物点坐标Xl＝[Xpl,Ypl,Zpl]T,由以上几何关系分析，Xr、Xl与三维点Xp的Y、Z方向坐标相同，X方向坐标有公式(2)关系。
Xpr＝Xp+Zp tanδ
Xpl＝Xp-Zp tanδ
Ypr＝Ypl＝Yp
Zpr＝Zpl＝Zp (2)
将式(2)写成矩阵变换形式如公式(3)所示。
Xr＝TrXp Xl＝TlXp (3)
式中，
Figure BDA0003410109830000081
式(3)表明，经棱镜两次折射作用形成的左、右虚拟物点坐标可由原空间点经一个简单矩阵变换得到。
不失一般性，将世界坐标系固定在棱镜坐标系上，推导出空间点Xp在经棱镜两次折射后形成的左、右虚物点Xl、Xr到成像平面左、右像点ml，mr的透射投影变换。将式(3)代入小孔摄像机投影变换方程式，写出两个从Xp分别直接变换到ml和mr的方程如公式(4)所示。
Figure BDA0003410109830000082
式中，
Figure BDA0003410109830000083
Figure BDA0003410109830000084
式(4)构建了棱镜双目立体视觉传感器的任意空间点到成像平面上左、右像点的投影矩阵。其中αu，αv，u0，v0为摄像机内参，R和t分别为摄像机坐标系相对于棱镜坐标系的旋转矩阵和平移向量。理想状态下，棱镜底面与摄像机成像平面平行，双棱镜中心经过摄像机光轴，此时旋转矩阵R＝I3×3，为3×3单位阵，t＝[0,0,tz]T，tz为棱镜中心到摄像机光心的距离。
根据式(4)，用齐次坐标表示三维点Xp＝[Xp,Yp,Zp,1]T，它投影产生的左、右像点ml＝[ul,vl,1]T,mr＝[ur,vr,1]T，将各项展开后的结果代入式(4)，可得到棱镜双目立体视觉传感器的左、右像点与三维点的投影关系方程如公式(5)所示。
Figure BDA0003410109830000091
Figure BDA0003410109830000092
从(5)、(6)式容易看出，vl＝vr，即在理想状态下，由棱镜分光等效成的双目立体视觉传感器的左、右图像同名点对位于同一水平线上，不存在垂直方向上的视差，相当于采用双摄像机水平放置经极线校正后得到的标准双目立体视觉传感器。其水平方向视差可由公式(7)算出。
Figure BDA0003410109830000093
其中，Z＝Zp+tz,表示摄像机坐标系下三维点的深度。式(7)给出了基于棱镜构建的标准双目立体视觉传感器的视差与三维点深度的关系，从中可得出以下结论。
(1)当三维点深度Z趋于无穷时，视差趋于定值d＝2αu tanδ，这与两平行放置的摄像机构成的立体视觉***结论不同，后者当深度Z趋于无穷时视差趋于0。
(2)当三维点深度Z固定时，视差d与摄像机x轴等效焦距αu、棱镜对光线的偏折角大小δ以及棱镜中心距摄像机光心距离tz有关。当选定摄像机(内参固定)和双棱镜材料(折射率n固定)后，根据式(1)棱镜偏折角δ与底角α的关系，增大底角α相当于增大偏折角δ，同等深度下视差d增大；而增大棱镜距摄像机光心距离tz则使视差d减小。
如图6所示为棱镜分光的立体视觉***与左、右摄像机立体视觉***等效性示意图。其中OL与OR分别为等效的左、右摄像机光心，区域①和区域②为左摄像机视场范围，区域①和区域③为右摄像机视场范围，区域①为左、右摄像机重叠的视场范围，也就是实际双目立体视觉传感器的有效区域。等效立体视觉***的基线长度可表示为公式(8)。
B＝2tz tanδ (8)
式(8)表明，当棱镜参数(折射率n和底角大小α)确定后，通过调整棱镜到摄像机光心距离tz，可以构建出基线长度不同的双目立体视觉传感器。由于实际采像过程中，熔池大小根据工艺条件不同会发生变化，测量距离也会因物理空间的限制而应有所调整，因此采用可变基线长度的立体视觉***增加了采像的灵活性，能够方便地通过调整棱镜距摄像机光心距离使得多种大小熔池以及测量距离发生变化时都能在视野范围内采集得到完整的双目熔池图像。以上就是通过单相机棱镜分光的方法等效为双目立体视觉传感器的理论依据。
实验选用大恒MER-200-14GM灰度摄像机拍摄熔池，其分辨率大小为1628×1236，CCD传感器阵列尺寸为1/1.8英寸(7.1mm×5.3mm),镜头选用Computar系列f＝35mm定焦镜头。根据以上数据，可以计算出摄像机在水平方向的视场角半角θw。
Figure BDA0003410109830000101
将w＝5.3mm,f＝35mm代入式(9)求得θw＝4.3°。
首先选定合适的棱镜底面尺寸，考虑到摄像机视场范围不大，且传感器整体空间有限，CCD摄像机的物理尺寸为29mm×29mm×29mm，选择30mm×30mm底面尺寸的双棱镜，与CCD外观尺寸接近，既能满足经棱镜折射后的物点落在CCD上，又能节省空间，便于安装。
其次选择棱镜合适的底角大小α。由于所采集CMT焊接的熔池宽度在5mm-10mm之间，设熔池宽度为l，为使得整个熔池都位于左、右摄像机的重叠区域内，根据图6等效立体视觉***的相似三角形关系，应满足公式(10)。
Figure BDA0003410109830000102
由式(10)，
Figure BDA0003410109830000103
式中Zp为棱镜到所拍熔池之间的距离，主要应考虑传感器整体不宜离熔池太近，否则随着增材层高的增加有发生传感器与焊道碰撞的危险。这里首先假定Zp＝20mm，棱镜所用材质K9玻璃折射率为1.52，结合棱镜几何光学式(1)和式(10)，可选定棱镜底角α＝15°。
当双棱镜底角α选定后，双棱镜折射偏角δ也唯一确定，根据式(8)和图6，等效双目立体视觉传感器的基线长度仅能够通过改变双棱镜到摄像机光心的距离tz而改变。如果被拍摄熔池本身宽度较小，且摄像机距熔池距离较近，可以适当增加tz以增大基线长度，提高熔池在视野中所占比例，同时根据深度与视差的关系，增大基线有利于提高深度方向的测量精度。如果被拍摄熔池自身宽度较大，或者摄像机离熔池距离较远，此时应适当减小tz以减小基线距离，增加两等效摄像机重叠面积，保证较大熔池能在被分光后完整呈现在视野内。所设计的双目立体视觉传感器结构图和实物图如图3所示。
2.双目立体视觉传感器标定及极线校正
双目立体视觉传感器标定的意义是分别确定左、右相机的内参数，以及两相机间的相对位姿(旋转和平移)。标定的结果不仅可用于极线校正，还可用于从视差图转化得到深度图，最终通过三角化得到世界坐标系下的三维点云模型。由于所拍摄熔池的实际长度在10mm以内，为得到较高的标定精度，选择边长为10mm*10mm，棋盘格个数为6mm*7mm的标定板，与实际测量的熔池宽度相当。标定时，摄像机到标定板的距离与实际拍摄熔池时的距离相当，通过调整机器人的位姿改换摄像机到标定板的拍摄角度，采集到12张双目图像，部分图像如图5所示。
利用MATLAB的stereoCameraCalibrator工具箱进行标定。首先，将采集到的完整的双目图像从中间分开，分成相同分辨率的左、右图像。其次调整角点响应阈值，准确提取棋盘格中的角点坐标，如图7所示为左、右相机角点检测结果，角点坐标的提取精度决定了标定精度。然后进行***标定，双目***的标定分为两步：第一步是利用张正友标定法分别标定左、右相机的内参和外参，第二步是利用第一步中的标定结果优化求解左、右相机的旋转和平移。两相机内参和位姿唯一确定后，基础矩阵F也随之确定，只有在调整双棱镜距相机的相对位置关系时才需要重新标定。标定结果如表1所示。经标定后的平均重投影误差为0.64像素，重投影结果如图8所示，精度达到亚像素级别，满足实际工程要求。双目立体视觉传感器标定结果如表1。
Figure BDA0003410109830000121
表1
对于已标定双目***的极线校正，最简单的方法是Bonguet算法，Bonguet算法利用双目图像间的旋转矩阵和平移向量，使左、右图像中的每一幅重投影次数最小化，同时使得观测面积最大化。经极线校正后的两图像对，其左、右同名点都在同一水平线上，因此立体匹配时只需沿水平扫描线进行视差值搜索即可。经校正后的熔池图像结果如图9所示，可见左右图像同名点已位于同一水平扫描线上。
3.熔池图像采集及立体匹配
利用标定和极线校正后的双目立体视觉传感器采集熔池图像。为防止焊接过程中强烈弧光的影响，采用660nm滤光片滤去多余弧光，并通过调整光圈大小和曝光时间，在仅利用弧光照射的条件下，采集到完整、清晰的双目熔池图像对。对于多层单道堆焊，其不同层的双目熔池图像如图10所示。焊接电流：200A，焊接速度：24cm/min。其中，第四层的熔池图像最为清晰，纹理也较为丰富，以该层熔池图像为例进行稠密立体匹配。
立体匹配的目的是寻找到左、右图像上的同名点，进而通过三角化方法可恢复出三维点。分析以上熔池图像，其匹配最大的难点是纹理较弱，因此容易产生较多的误匹配。采用半全局匹配方法(SGM)进行匹配，该算法于2005年提出，兼具了匹配精度和效率，是目前工程上应用最广的算法。具体步骤如图11所示。
匹配后得到的左图像的视差图如图12a所示，可见弱纹理区域视差值缺失，但整体趋势正确。我们进一步利用神经网络对深度图进行补全，以得到更为完整的深度图。经深度图补全后，根据左相机内参数将深度图反投影回三维空间，可得到完整的熔池三维点云模型如图12b所示。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种WAAM熔池三维重建方法，其特征在于，包括：
设置单CCD双棱镜双目立体视觉传感器；
对设置好的单CCD双棱镜双目立体视觉传感器进行标定及极线校正；
基于标定及极线校正后的单CCD双棱镜双目立体视觉传感器，进行熔池图像采集及立体匹配，以实现WAAM熔池三维重建。
2.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
采用尼龙材料，3D打印制成盛放CCD摄像机的主体部分。
3.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
采用铝合金薄板，拼装而成单CCD双棱镜双目立体视觉传感器的前端的用来滑动调节双棱镜距离的U形槽结构，通过旋紧和旋松U形槽结构的两侧的六角螺钉固定装载台以及在导轨中水平滑动装载台，以将调节棱镜到CCD摄像机的距离。
4.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
将单CCD双棱镜双目立体视觉传感器，通过燕尾槽与万向节相连，燕尾槽由高强度铝合金制成。
5.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
将单CCD双棱镜双目立体视觉传感器通过万向节与机器人法兰盘相连。
6.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
采用抽屉结构加装滤光片，并将滤光片通过凸台连接到CCD摄像机的透光孔上。
7.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
在单CCD双棱镜双目立体视觉传感器的最前端通过卡槽安装保护玻璃。
8.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，设置单CCD双棱镜双目立体视觉传感器，包括：
根据熔池大小及测量距离确定偏折角度δ；
基于确定的偏折角度δ，确定对应的棱镜底角大小α。
9.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，对设置好的单CCD双棱镜双目立体视觉传感器进行标定及极线校正，包括：
首先，将采集到的完整的双目图像从中间分开，分成相同分辨率的左、右图像；其次调整角点响应阈值，准确提取棋盘格中的角点坐标；然后进行***标定，双目***的标定分为两步：第一步是利用张正友标定法分别标定左、右相机的内参和外参，第二步是利用第一步中的标定结果优化求解左、右相机的旋转和平移；
对于已标定双目***的极线校正。
10.如权利要求1所述的WAAM熔池三维重建方法，其特征在于，基于标定及极线校正后的单CCD双棱镜双目立体视觉传感器，进行熔池图像采集及立体匹配，以实现WAAM熔池三维重建，包括：
用标定和极线校正后的双目立体视觉传感器采集熔池图像，其中，采用660nm滤光片滤去多余弧光，并通过调整光圈大小和曝光时间，在仅利用弧光照射的条件下，采集到完整、清晰的双目熔池图像对；
对采集到的双目熔池图像对，进行稠密立体匹配。
CN202111525330.9A 2021-12-14 2021-12-14 Waam熔池三维重建方法 Active CN114383543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111525330.9A CN114383543B (zh) 2021-12-14 2021-12-14 Waam熔池三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111525330.9A CN114383543B (zh) 2021-12-14 2021-12-14 Waam熔池三维重建方法

Publications (2)

Publication Number Publication Date
CN114383543A true CN114383543A (zh) 2022-04-22
CN114383543B CN114383543B (zh) 2022-12-27

Family

ID=81196466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111525330.9A Active CN114383543B (zh) 2021-12-14 2021-12-14 Waam熔池三维重建方法

Country Status (1)

Country Link
CN (1) CN114383543B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063567A (zh) * 2022-08-19 2022-09-16 中国石油大学(华东) 一种双棱镜单目立体视觉***三维光路分析方法
CN117664862A (zh) * 2024-01-31 2024-03-08 宁德时代新能源科技股份有限公司 极耳检测***和极耳检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528540A (zh) * 2013-10-11 2014-01-22 河北科技大学 一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置
CN107796328A (zh) * 2017-09-21 2018-03-13 西南交通大学 金属增材制造熔池形貌三维视觉传感器及检测方法
CN108015455A (zh) * 2017-11-01 2018-05-11 清华大学 基于复合激光结构光的多功能视觉传感器装置
CN109259717A (zh) * 2018-08-27 2019-01-25 彭波 一种立体内窥镜及内窥镜测量方法
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜***及测量方法
US20200189114A1 (en) * 2018-12-17 2020-06-18 Divergent Technologies, Inc. System and method for positioning one or more robotic apparatuses

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528540A (zh) * 2013-10-11 2014-01-22 河北科技大学 一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置
CN107796328A (zh) * 2017-09-21 2018-03-13 西南交通大学 金属增材制造熔池形貌三维视觉传感器及检测方法
CN108015455A (zh) * 2017-11-01 2018-05-11 清华大学 基于复合激光结构光的多功能视觉传感器装置
CN109259717A (zh) * 2018-08-27 2019-01-25 彭波 一种立体内窥镜及内窥镜测量方法
US20200189114A1 (en) * 2018-12-17 2020-06-18 Divergent Technologies, Inc. System and method for positioning one or more robotic apparatuses
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜***及测量方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063567A (zh) * 2022-08-19 2022-09-16 中国石油大学(华东) 一种双棱镜单目立体视觉***三维光路分析方法
CN115063567B (zh) * 2022-08-19 2022-10-28 中国石油大学(华东) 一种双棱镜单目立体视觉***三维光路分析方法
CN117664862A (zh) * 2024-01-31 2024-03-08 宁德时代新能源科技股份有限公司 极耳检测***和极耳检测方法

Also Published As

Publication number Publication date
CN114383543B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN107121109B (zh) 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN114383543B (zh) Waam熔池三维重建方法
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
CA3068659A1 (en) Augmented reality displays with active alignment and corresponding methods
CN103776419B (zh) 一种提高测量范围的双目视觉测距方法
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
Strelow et al. Precise omnidirectional camera calibration
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
JP2008096162A (ja) ３次元距離計測センサおよび３次元距離計測方法
CN102155920B (zh) 一种基于微景深的焊接拼缝测量方法
CN107478203A (zh) 一种基于激光扫描的3d成像装置及成像方法
CN103528540A (zh) 一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置
CN109636859A (zh) 一种基于单相机的三维视觉检测的标定方法
CN110657750B (zh) 一种用于刀具刃口钝化的检测***和方法
CN112381888A (zh) 一种h型钢切割路径的动态补偿方法
CN116804537A (zh) 一种双目测距***及方法
Pachidis et al. Pseudo-stereo vision system: a detailed study
CN103317241A (zh) 一种基于平凸柱面透镜的激光焊接拼缝测量***及方法
CN112419418A (zh) 一种基于摄像头机械瞄准的定位方法
CN115713545A (zh) 一种光楔组驱动仿生双目视觉追踪装置和方法
CN110533702B (zh) 一种基于光场多层折射模型的水下双目视觉立体匹配方法
Zeng et al. A 3D passive optical localization system based on binocular infrared cameras
JP5610579B2 (ja) ３次元寸法測定装置
CN115077468B (zh) 一种变焦测距方法及装置
CN111553955B (zh) 一种多目相机三维***及其标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant