CN101214178A - 视频增强现实辅助操作的焊接防护头盔 - Google Patents

Abstract

本发明为视频增强现实辅助操作的焊接防护头盔，该头盔包括焊接防护头盔、双目高动态范围摄像机、头盔显示器、视频输入输出设备、便携式计算机、防护玻璃、风扇、麦克、话筒、呼吸装置。本发明是通过观察头盔显示器的视频来进行焊接，避免了直接或间接观看焊接的危害。同时采用增强现实技术能够增强由于焊接产生的各种干扰而造成的焊工视觉信息不足，而且还可以实时将焊接需要的额外辅助信息叠加到焊接中，对焊接做出指导。该发明可用于手工焊接、有人参与的机器焊接等方面，而且还可以用于切割、打磨等机械加工制造方面。

Description

视频增强现实辅助操作的焊接防护头盔

技术领域：

本发明属于电焊防护领域，更具体的说是涉及到一种具有辅助操作的焊接防护头盔。

背景技术：

从电焊机问世到今的百余年中，焊接方面的研究几乎都集中在焊机上。但作为电焊操作工防护所必备的，同时对焊接质量影响较大的电焊面罩，却一直被人们所忽视，在这方面所进行研究很少，并且在技术上没有什么突破。所以直到今天，焊接在走向智能化、自动化、机器人化的同时，20年代传统的防护面罩仍普遍使用。传统的防护面罩基于变色变光原理，通过焊接时产生的光、电、磁信号触发面罩防护片光阀，控制防护片明暗来达到滤光防护目的。但防护镜片变暗，在排除弧光、飞溅、烟尘的干扰和危害的同时，周围场景也一同变暗，焊工视野变的不清晰，致使不能清除识别焊缝、工件和周围环境。在这种情况下如果没有额外的焊接辅助经验知识，焊工很难对焊接中出现的偏差做出及时反馈，难以判断自己操作是否正常和是否需要做出调整，从而造成焊接质量的不均匀。在实际焊接中，有经验的焊工凭经验，凭感、知觉判断焊接质量，而一般焊工则不得不不时拿开面罩裸眼直接观察焊接效果。这是手工焊接质量难以提高、职业病危害大的主要原因；也是焊工培训成本高、成长周期长，市场优秀焊工缺乏的主要原因。

在传统的基于变色变光原理防护片上，一直致力于改变触发方式以排除焊接时相互之间的干扰、缩短响应时间以减少有害光线进入眼睛等方面的研究。但随着研究的深入，在这些方面的进展越来越难，俩人同时焊接只要接近到一定范围防护就会失效，而要在目前的响应时间上再缩短一个数量级将会涉及到材料、控制等方面的理论性难题。随着先进制造技术的发展，机器人焊接及智能化焊接将逐步取代纯手工焊接，自动、半自动焊接将成为装备制造业的关键技术与发展趋势。当前服役的工业机器人中，已有将近半数是焊接机器人，然而，由于焊接工件的装配误差、焊接环境与条件的变化、焊接动态过程的复杂性以及焊接变形的影响，致使目前实际应用中的机器人焊接还难以满足高技术焊接产品质量、精度与效率的要求。在焊接过程中还缺少不了焊工的参与，焊工对机器人焊接质量的监控、对机械手臂的操控对焊接质量均匀性仍起着关键性的作用。焊工与先进焊接机械之间和谐的结合才能制造出高质量的产品，因此现代先进焊机队焊工的技术熟练程度依赖较大。提高焊工技术熟练程度、辅助焊工经验性知识是提高现代先进焊机焊接质量的有效办法。

发明内容：

本发明的目的正是为了克服上述已有技术的不足而提供的一种弥补目前焊接中焊工视觉信息缺少、额外辅助信息缺失的不足，使之满足手工焊接和机械焊接的需要，提高焊接质量防护头盔。

本发明采用如下技术方案：一种视频透射式增强现实头盔，包括头盔式电焊防护罩、双目高动态范围***机、微型头盔显示器，还包括呼吸器、风扇、耳机、麦克风等辅助设施；此外还有一种便携式计算机，包括与头盔上面摄像机、显示器相连接的传输线以及与网络或者其他电脑进行数据交换的通信模块。本发明的防护原理是通过观察头盔显示器的视频来进行焊接的。头盔上左右两路摄像机、左右眼显示器形成双目立体显示***，摄像机采集的焊接图像通过便携式计算机处理以后，得到增强，焊工在显示器上能看到清晰的、具有深度感的三维立体图像。由于通过视频进行操作，因此焊工不用直接或者间接观看焊接场景，对焊工保护较好。同时其他的辅助防护设备如风扇、呼吸***业可以敷设在头盔内部，可以减少焊接有害物资对焊工身体健康的危害。

本发明摄像机前面安装有防护片，这些防护片可以是有色玻璃或者其他深色滤光材料。这些防护片用以排除焊接时产生的弧光干扰。但这样采集到的图像比较暗，而暗的图像却可以通过图像处理来恢复，采用图像处理实现起来要比解决传统防护面罩存在的视野模糊问题容易的多。图像处理获得的清晰视频弥补了传统防护面罩视野不清的不足。

本发明的便携式计算机的通信模块能够接收焊机上固定计算机数据。焊机上的固定计算机可以把焊枪上面或者机械手臂上面传感器获得的近弧区信息(如焊缝、熔池等)提取并恢复出来。这样通过通信模块便携式计算机能够实时获得近弧区信息。

本发明的便携式计算机还可以生成焊接需要的额外辅助指导知识。在便携式计算机上以图形、文字或声音的形式储存有根据焊接规范和加工工艺要求以及焊工的经验知识预先生成的焊接辅助信息。

本发明采用增强现实技术，将近弧区信息和额外辅助知道信息实时融合到焊接操作中，弥补了现在焊接操作中视觉信息不足、额外辅助信息缺乏的缺陷。将计算机生成的虚拟信息融合到实际场景中并显示给用户，需要实现增强现实的跟踪注册，本发明采用基于模型的跟踪注册方法，来获得虚拟信息在真实视频中的位置，并保持二者之间的一致性。

本发明由于大量采用现代信息技术，***功能强大，技术含量高。采用了独特的焊接防护原理，随着图像处理技术的不断提高，焊接的视觉信息将更加丰富；随着焊枪和焊接机械传感器技术的不断提高，可以融合到焊接场景中的指导信息会越来越丰富；这将方便了焊工的操作，提高焊接质量。本发明也可以应用于手工焊接、机器人焊接等方面，还可以用于切割、打磨等加工领域。

附图说明：

图1为视频透射式增强现实原理图

图2为视频增强现实辅助操作的焊接防护头盔结构草图

图3为视频增强现实辅助操作的焊接防护头盔***结构图

图4为摄像机姿态估计流程图

图5(a)直接观察的焊接场景、

图5(b)透过传统焊接面罩看到场景

图5(c)透过本发明的头盔***看到的有增强信息和辅助信息的场景

1-防护头盔、2-摄像机、3-头盔显示器、4-防护玻璃、5-计算机、6-视频输入设备、7-视频输出设备、8-风扇、麦克、呼吸装置

具体实施方式：

下面通过附图对本发明做进一步详细描述：

图1是一个视频增强现实的原理图。由安装在用户头盔上的两个摄像机摄取真实世界的图像，计算机通过对这些图像进行计算处理，将所要添加的信息叠加在摄像机的视频信号上，通过视频信号融合实现虚拟景象与真实场景的对齐，最后通过类似于虚拟现实沉浸式头盔显示器的显示***呈现给用户。由于用户眼睛不直接看到真实世界，摄像机的位置的方向就代表了用户头部的位置和视线方向。

图2是一个头盔结构草图。它由焊接防护头盔1、摄像机2、头盔显示器3、视频输入输出设备6、7、便携式计算机5、防护玻璃4、风扇、麦克、呼吸装置8等辅具组成。焊接防护头盔1作为头盔的外壳，防护玻璃4保护头盔显示器3和其中内部结构的作用，同时也为头盔维修维护提供方便。头盔上面的摄像机2采用高动态范围摄像机，摄像机的实用照度范围大，被摄视场中存在强光区和阴影区所有细节均可看清。摄像机采集的视频图像由视频输入设备6传输到便携式计算机5，在便携式计算机5上实现虚实融合，融合结果通过视频输出设备7输出到显示器3上，呈现到焊工眼前。

图3是***结构简图。给出的是一个半自动焊接的***结构图。焊机上的计算机将焊枪及机械手臂等的运动参数、焊枪上的传感器参数以及焊机自身参数进行数据融合，并提取和恢复出近弧区信息，焊工配戴的便携式计算机通过通信模块实时获取融合数据。头盔上的摄像机实时获取焊接视频，通过增强现实技术的跟踪注册将近弧区信息和虚拟辅助信息实时融合到摄像机拍摄的视频上，并通过头盔显示器显示给焊工。

图4是摄像机姿态估计流程图。为了获取摄像机的位置和方向，必须得到工件坐标系和相机坐标系之间的变换矩阵，本发明通过基于模型(model-basedmethod)的增强现实跟踪方法来实现这一目的。基于模型的跟踪依赖于工件的3D模型，按照现代加工工艺设计成形的复杂待焊工件一般都有CAD模型，普通焊接工件结构简单可以很快构造其3D轮廓模型，这为基于模型的跟踪提供了方便。将待焊工件的3D模型投影到摄像机视频序列的每一帧上，找出工件模型轮廓线在图像上的投影与工件图像边线之间的对应关系，由于摄像机的运动二者并不完全对应，抽取线段上的采样点根据坐标变换求出摄像机的运动轨迹，从而恢复摄像机姿态。由于在焊接过程中焊工基本固定在原位，头部没有大幅度突然运动，因而采用该方法能获得比较准确的摄像机位置和姿态信息。

在焊接前对摄像机姿态进行与估计，将待焊工件的3D模型投影到摄像机视频序列的每一帧上，找出工件模型轮廓线在图像上的投影与工件图像边线之间的对应关系，采用几何相似性来获得模型轮廓线和工件边缘图像线之间的对应。定义几何相似性为：

σ是常数，w是权重系数，且w₁+w₂＝1，d₁，d₂是图像上两线之间的最小和最大距离，p₀，p_w是两线的相交、合并的长度。

在获得了最初参考图像对应的相机姿态并以此为初始值。通过计算工件模型轮廓在第二帧上的投影和工件图像边线的相似度，找到所有的对应线。由于焊工头部即摄像机的运动，匹配投影线和图像边线并不完全重合，计算二者之间的差值作为修正值，结合初始值确定第二帧图像对应摄像及姿态。T_cw、T_cw′分别是当前帧和参考帧世界坐标系到图像坐标系间的变换。M是沿投影线法线方向的运动矩阵。摄像机姿态修正关键是求运动矩阵M。

T_cw＝comproj(.)                                T_cw＝MT_cw′

$\mathrm{comproj}\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_u& 0& p_u\\ f_v& 0& p_v\end{array}\right]\left[\begin{array}{c}{r}^{\′}x/z\\ r^{\′}y/z\\ 1\end{array}\right]$ 其中， $r=\sqrt{{\left(\frac{x}{z}\right)}^2+{\left(\frac{y}{z}\right)}^2},r^{\′}=1+{\mathrm{\αr}}^2+{\mathrm{\βr}}^4$

T包含了3个平移矢量和3个旋转矢量。M有6个矢量μ。世界坐标系中的到图像坐标系的变换如下

$\left[\begin{array}{c}u\\ v\end{array}\right]=\mathrm{comproj}\left(T_{\mathrm{cw}}^{\′}\right)X_w$ 其中，X_w＝(x_w，y_w，z_w，1)^T

带入各式，对T_cw＝MT_cw′求导可得到一个Nx6的雅各比矩阵。

$J_{i,j}=\frac{\∂d_i}{\∂{\mathrm{\μ}}_j}=n_i\left[\begin{array}{c}\frac{\∂u}{\∂{\mathrm{\μ}}_j}\\ \frac{\∂v}{\∂{\mathrm{\μ}}_j}\end{array}\right]$

d_i是视频图像上轮廓线投影上的采样点和它对应的工件边缘图像点的法线距离，这样得到矢量μ和N维矢量d之间的关系Jμ＝d，进而得到μ＝(J^TJ^-1)J^Td，也即求出了运动矩阵M。通过上述计算，可以求出每一帧图像与参考图像的运动矩阵M，在确定了相机最初的姿态后，就可以知道，焊工的头部运动过程中拍摄的每一帧图像对应的摄像机位置和方向。

根据焊点位置、工件形状、材料以及焊接操作规范、加工工艺等要求可以事先知道增强视觉信息和额外辅助信息在工件上的位置。即相当于已知(x_w，y_w，z_w，1)，求(u，v)。由上述计算已经求出每一帧的转换矩阵，代入反求即可得到要辅助信息在视频序列上的位置。

图5是焊接场景的对比效果图。分别给出直接焊接场景、透过传统焊接面罩看到场景和透过本发明的头盔***看到的场景。

Claims (4)

1.一种视频增强现实辅助操作的焊接防护头盔，包括防护头盔、摄像机、头盔显示器、视频输入输出设备、便携式计算机、防护玻璃、风扇、麦克、话筒、呼吸装置组成，其特征在于：摄像机镜头面安装有防护片，摄像机安装在头盔前面眼位部，头盔显示器安装在头盔内部眼睛前方位置，显示器外面的头盔外层装有防护玻璃，便携式计算机佩戴在焊工身上，摄像机、显示器通过视频输入输出设备和便携式计算机相连，麦克、话筒安装在头盔左右或内壁，风扇安装在头盔内顶部，呼吸器安装在头盔下颌部，通过防护头盔上的视频设备进行焊接操作。

2.根据权利要求1所述的视频增强现实辅助操作的焊接防护头盔，其特征在于摄像机防护片可以是有色玻璃或者其他深色滤光材料。

3.根据权利要求1所述的视频增强现实辅助操作的焊接防护头盔，其特征在于采用增强现实技术和图像处理的方法增强焊工的视觉信息不足。

4.根据权利要求1所述的视频增强现实辅助操作的焊接防护头盔，其特征在于采用增强现实技术将计算机预先生成的焊接辅助信息实时叠加到焊接过程中，对焊工操作做出指导。

Images