CN112329531B - 用于管廊表观病害检测的线阵双目成像***与工作方法 - Google Patents

Abstract

本发明属于管廊表观病害检测领域，提供了用于管廊表观病害检测的线阵双目成像***与工作方法。该线阵双目成像***包括：导轨，其铺设在管廊内；第一旋转云台和第二旋转云台，均悬挂在导轨上且可沿导轨移动；图像采集检测装置，其通过第一旋转支架安装在第一旋转云台上；图像采集检测装置包括双目结构线阵相机和一个面阵相机；辅助标定装置，其通过第二旋转支架安装在第二旋转云台上；处理器，用于接收双目结构线阵相机及面阵相机同时采集的管廊表观图像，识别病害类型及轮廓，通过辅助标定装置位置来标定病害轮廓，得到病害大小。

Description

用于管廊表观病害检测的线阵双目成像***与工作方法

技术领域

本发明属于管廊表观病害检测领域，尤其涉及一种用于管廊表观病害检测的线阵双目成像***与工作方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

管廊是解决地下各类管网布置问题的有效途径。目前实施的城市综合管廊主要是把电力、通信、广播电视、燃气、供水排水、热力等各种管线集于一体，在城市道路的地下空间建造一个集成化的箱涵。城市地下综合管廊正处于高速发展阶段，但在国内的施工技术还不成熟，施工中易产生防水卷材铺设质量不合格、变形缝施工质量不合格等问题，受运输对象以及自然界不可控因素的影响，管道表面难免会产生破损，常见破损有裂痕、孔洞、擦痕等。由于城市地下综合管廊属于空间较封闭、通风条件差、有害气体易聚集、火灾隐患大、人工巡检困难的场所，日常有毒有害气体不易排出，火灾时极易出现轰燃且火灾扑救难度极大。因此对地下综合管廊进行日常巡检，及时发现安全隐患就显得尤为重要。

目前，已建成的城市地下综合管廊日常安全巡检采取安装固定探测设备与人工巡检相结合的方式，以及挂轨式装置巡检的方式。发明人发现，受管廊空间布局、巡检人员的工作经验、技能水平以及外部环境的影响，人工检测工作量大、检测周期长，耗时费力，而通过在管廊内部有限位置布设固定监控节点的方式存在检测盲区，难以全面覆盖管道表面场景，导致误报、漏报等问题。基于自动化巡检装置的管廊检测技术是目前的发展趋势，主流的挂轨式巡检装置主要搭载红外热像仪和气体探测器等监测管廊内部温度和气体变化，并通过可见光高清摄像机来自动检测管廊的结构表观病害，从而综合评估管廊安全隐患。然而，在管廊内不均匀光照等环境下，管廊内部存在的裂缝、剥落等微小表观病害与背景特征差异较小，并且在管廊内部管线等遮挡的条件下，这些微小病害的清晰图像难以有效获取，病害类型及其轮廓识别困难，更无法准确的估算病害尺寸。

双目相机是利用人眼的视差原理获得目标体深度信息进而进行尺寸识别的检测方法，常规的双目相机采用面阵相机，面阵相机图像采集分辨率较低，仅能粗略估计病害的轮廓，难以满足管廊结构小尺度表观病害尺寸测量的需求。与面阵相机相比，线阵相机具有更高的图像分辨率，相同视场下，线阵相机采集的图像分辨率比面阵相机分辨率更高，能够有效测量尺寸微小的表观病害的图像。

由于线阵相机具有高分辨率和高帧率的特性，高分辨率使线阵相机具有较高的精度，高帧率和无缝采集使线阵相机针对大小尺寸物体和实时动态采集也具有良好的优势，且线阵相机结构简单、成本较低，所以可将线阵相机构成双目的结构，利于提高检测微小病害尺寸的精度。

发明人发现，目前对双线阵相机普遍采用双相机共面放置的方式组成双目结构，存在共面结构拍摄视场重叠小，极易受抖动等影响导致两相机重叠图像出现偏移，导致图像无法匹配，尺寸难以测量。

发明内容

为了解决上述问题，本发明的第一个方面提供一种用于管廊表观病害检测的线阵双目成像***，利用线阵相机的高分辨率特点，组成双目结构，进行尺寸测量。线阵相机采用非共面结构的放置方式增大视场重叠，同时面阵相机进行宏观视场的把控，定位特征点，避免由于抖动等造成的图像特征点无法匹配的问题，提高病害测量及尺寸测量的精度。在此基础上，设计了自标定装置，解决不同管廊场景的原位标定问题。

为了实现上述目的，本发明采用如下技术方案：

一种用于管廊表观病害检测的线阵双目成像***，包括：

导轨，其铺设在管廊内；

第一旋转云台和第二旋转云台，均悬挂在导轨上且可沿导轨移动；

图像采集检测装置，其通过第一旋转支架安装在第一旋转云台上；图像采集检测装置包括双目结构线阵相机和一个面阵相机；

辅助标定装置，其通过第二旋转支架安装在第二旋转云台上；

处理器，用于接收双目结构线阵相机及面阵相机同时采集的管廊表观图像，识别病害类型及轮廓，通过辅助标定装置位置来标定病害轮廓，得到病害大小。

为了解决上述问题，本发明的第二个方面提供一种用于管廊表观病害检测的线阵双目成像***的工作方法，其运用在管廊内安装搭载双线阵相机和面阵相机的云台装置沿着导轨移动来实时检测安全状况及安全隐患，避免人为巡检的危险性，还可及时发现危险情况。

为了实现上述目的，本发明采用如下技术方案：

一种用于管廊表观病害检测的线阵双目成像***的工作方法，包括：

触发双目结构线阵相机和面阵相机同时采集管廊表观图像；

识别所采集图像中的病害类型及病害轮廓；

标定病害轮廓，得到病害的大小；

其中，标定病害轮廓的过程为：

任一待测空间点P分别在两个线阵相机上成像，标定出空间点P在像素坐标系下的坐标；

以双线阵相机的光心作为原点建立世界坐标系，将像素坐标系下的点转换为世界坐标系下的点，计算得出点P在世界坐标系下的坐标；

求出病害轮廓上待测两点的三维坐标即世界坐标，求出待测两点的距离，即病害的大小。

本发明的有益效果是：

(1)本发明采用基于深度学习的图像分割算法，自动实现病害识别及轮廓识别，解决由于管廊内部存在严重的管线、人工标记、配电设施、光照不均匀等干扰从而导致病害识别困难的问题，有效避免人为巡检的危险性及固定节点监控的检测盲区，提高多病害识别的准确度。

(2)本发明通过线阵相机前后放置的排布方式组成双目的结构，通过控制云台沿导轨移动带动线阵双目对管廊进行全面巡检，进而根据采集的图像信息获取病害位置及尺寸，***简单，无需激光测距等辅助器件。

(3)本发明利用线阵相机精度高的特点，通过在云台上设计专用的相机装载结构，实现线阵双目，与普通双目相比识别精度更高，显著提高了尺寸检测精度。

(4)本发明利用面阵相机成像更稳定的特点，用于对检测过程总体把控，将面阵相机拍摄图像和线阵相机拍摄图像进行特征匹配，提高匹配的精度。

(5)本发明采用辅助标定装置，通过导轨与图像采集检测装置进行数据传输，实现两个装置在运动上的同步，有利于相机的自动标定并提高自动标定的效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例提供的一种用于管廊表观病害检测的线阵双目成像***的结构示意图；

图2是本发明实施例提供的一种用于管廊表观病害检测的线阵双目成像***的辅助标定装置伸缩杆和折叠杆展开后的侧面结构示意图；

图3是本发明实施例提供的云台控制装置结构示意图；

图4是本发明实施例提供的一种用于管廊表观病害检测的线阵双目成像***的工作方法的流程图；

图5是本发明实施例提供的一种用于管廊表观病害检测的线阵双目成像***的所标记病害上的P点空间位置的坐标关系图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

本发明实施例的用于管廊表观病害检测的线阵双目成像***适用于隧道探测领域。

如图1所示，本实施例的一种用于管廊表观病害检测的线阵双目成像***，包括：导轨1、旋转云台、图像采集检测装置和辅助标定装置；

导轨1，其铺设在管廊内，作为图像采集检测装置和辅助标定装置的轨道以及供电和数据传输设备；

在导轨上悬挂安装有两个旋转云台，可沿导轨移动，并且可以搭载整个***绕垂直轴旋转；这两个旋转云台分别为第一旋转云台2和第二旋转云台6；

图像采集检测装置安装在第一旋转云台2的第一旋转支架13上，采集目标区域图像，并由处理器处理得到目标病害大小，进而完成对管廊的全方位检测；

如图2所示，辅助标定装置安装在第二旋转云台6的第二旋转支架25上，通过控制第二旋转云台6的运动来调整辅助标定装置的标定板7的位置，实现***的自动标定。

在具体实施方式中，图像采集检测装置包括双目结构线阵相机和一个面阵相机5；两个线阵相机4安装在稳定云台上，稳定云台安装在第一旋转支架上。

双目结构线阵相机由两个线阵相机4构成。两个线阵相机4采用非共面结构，呈前后放置的排布方式嵌入所述稳定云台；两个线阵相机的拍摄平面形成预设夹角且两个拍摄平面的法线位于同一平面内，线阵相机以不同视角各自完整扫描同一个平面，形成双目结构；

面阵相机5嵌入所述稳定云台，位于两个线阵相机后面，可以更完整的拍摄平面，对其拍摄图像与两个线阵相机所采集图像共同进行特征匹配，有利于实现对所采集的检测面图像进行整体性把控，提高图像匹配的精度；

云台控制装置8连接并固定在稳定云台上，并和第一旋转云台2连接，用于传输云台的运动数据，通过反馈模块与处理器连接；

处理器，用于接收两个线阵相机及面阵相机同时采集的管廊表观图像，识别所采集图像中的病害类型及病害轮廓，进而对病害轮廓标定，得到病害的大小。

在具体实施中，在处理器中，采用基于focal loss损失函数的深度学习像素级分割算法，如FL-SegNet等识别所采集图像中的病害类型及病害轮廓，其识别过程均为已知过程。

可以理解的是，在其他实施例中，识别所采集图像中的病害类型及病害轮廓的方法也可采用其他现有方法来实现。

具体地，整个***由图像采集检测装置和辅助标定装置组成，图像采集检测装置和辅助标定装置在导轨1同步运动。自动标定过程中图像采集检测装置停止不动，控制辅助标定装置以采集图像相同速度移动，并自动控制伸缩模块伸展标定板高度，方便获取多组多尺度标定数据。

在具体实施方式，所述云台控制装置8包括偏转角度检测模块9、微控模块10、驱动模块11和反馈模块12；

所述偏转角度检测模块9，检测由旋转云台2转动或抖动引起云台的角度变化以及各个相机的角度变化并传送至微控模块10和反馈模块12。

所述微控模块10用于接收由偏转角度检测模块9发送过来的信息，控制驱动模块11通过对第一旋转云台2上的第一旋转支架13和稳定云台3上相机支撑架14的角度控制，进而实现对相机拍摄姿态的调整以达到调整拍摄角度的目的。

在具体实施中，所述偏转角度检测装置9由高灵敏度九轴陀螺仪15和加速度传感器16组成，偏转角度检测装置9分别与旋转云台2的旋转支架13、稳定云台3的相机支撑架14和各相机装载模块连接；加速度传感器16用于检测云台移动和旋转速度的变化，九轴陀螺仪15用于检测由云台旋转或抖动引起云台位姿和各相机扫描角度的变化。

在本实施例中，所述驱动模块11为步进电机。

可以理解的是，驱动模块也可采用其他结构形式，比如液压缸机构，本领域技术人员可根据实际情况来具体选择驱动模块的结构形式。

在具体实施中，微控模块10可采用微控制器或其他可编程逻辑器件构成。

作为一种具体实施方式，所述偏转角度检测模块9、驱动模块11、微控模块10和反馈模块12集成在一个控制电路板8上，如图3所示。本实施例将偏转角度检测模块、驱动模块、微控模块和反馈模块集成设置在一个控制电路板上，这样使得云台控制装置结构紧凑，减小了整个线阵双目成像***的体积。

本实施例中所述稳定云台3上固定反馈模块12和偏转角度检测模块9连接，用于接收偏转角度检测模块9传送的角度偏差信息，并计算角度偏差数据后反馈给处理器和人工操控台，能够对各部位角度偏差进行补偿，提高识别病害大小的准确性。

在具体实施中，所述辅助标定装置包括伸缩模块和标定板7，伸缩模块可由垂直伸缩杆18和水平伸缩杆17组成，；标定板7和第二旋转云台6通过伸缩模块连接，伸缩模块的两根伸缩杆的连接处可以转动，方便展开和收起标定板7；伸缩模块选用碳纤维材质的材料制造，通过装置的轻量化和灵活性提高整个装置的稳定性，并且方便装置的安装和使用。

参照图1，在辅助标定装置中增设一个三角吸盘27，固定在竖直伸缩杆18上，在伸缩杆之间的位置角度调整好，三角吸盘27另一边可吸附在水平伸缩杆17上，增强辅助标定装置在移动过程的稳定性。

在图1中，第一旋转云台2包括第一移动机构19，第一移动机构19的形状与导轨1配合，对导轨1呈包裹状，第一移动机构19上安装四个第一滚轮20，这四个第一滚轮20分成两组分别对称安装在导轨1两侧；第一移动机构19承载装置在导轨上移动且移动速度与线阵相机4和面阵相机5的扫描分辨率相匹配。第二旋转云台6包括第二移动机构21，第二移动机构21的形状与导轨1配合，对导轨1呈包裹状，第二移动机构21上安装四个第二滚轮22，这四个第二滚轮22分成两组分别对称安装在导轨1两侧。

在一个或多个实施例中，第一移动机构和第二移动机构的形状为长方形、正方形或圆形等形状，只要与导轨相配合且包裹导轨即可。

为了减小旋转云台与移动机构之间震动，从而提高双目成像的质量以及标定的准确性，第一旋转云台2的底座和第一移动机构19之间连接有第一双向阻尼减震器23；第二旋转云台6的底座和第二移动机构21之间连接有第二双向阻尼减震器24。

第一旋转云台2旋转云台上的第一旋转支架13在旋转到与导轨和第一移动机构19的位置设计为凹槽状，能够实现旋转相机拍摄全方位检测区域。

装置在导轨上移动的过程中，线阵相机和面阵相机对所测管廊进行扫描，完成对管廊表观的病害和管线异常的检测，以及对管道或墙壁出现腐蚀、磨损、破裂部位的尺寸估算，线阵相机扫描精度高，对病害尺寸的估算准确。

具体地，稳定云台3的相机支撑架14上安装线阵相机装载模块并形成一定夹角，面阵相机装载模块安装在靠后位置，并且两相机之间都安装一光源26，提高相机扫描成像的质量。

其中，相机装载模块采用相机安装座来实现，其用于安装相机。相机与相机安装座之间可采用螺丝固定或是卡接等方式固定。

上述技术方案的优点在于，相机支撑架可由微控装置来调整偏移的角度，进而调整相机拍摄角度，提高相机扫描成像的质量；相机装载模块固定在相机支撑架上保持相机相对位置的不变，有利于图像匹配和病害尺寸的计算。

具体地，在所述处理器中，对病害轮廓标定的过程为：

任一待测空间点P分别在两个线阵相机上成像，标定出相应待测空间点P在像素坐标系下的坐标；

以双线阵相机的光心分别作为原点建立世界坐标系，将像素坐标系下的点转换为世界坐标系下的点；

由相似三角形及投影关系计算得出点P在世界坐标系下的坐标；

求出病害轮廓上待测两点的三维坐标即世界坐标，进而求出待测两点的距离，即病害的大小。

上述技术方案的优点在于，通过图像标定确定病害匹配点的像素坐标，进而根据相似三角形及投影关系计算匹配点在世界坐标系下的坐标，最后根据匹配点间相对坐标估算出病害的大小，其通过控制云台沿导轨移动带动双线阵相机对管廊进行全面巡检，而且自动实现病害识别及轮廓识别，进而自动计算出病害尺寸大小，提高了检查效率。

如图4所示，本实施例的用于管廊表观病害检测的线阵双目成像***的工作方法，包括：

触发双目结构线阵相机和面阵相机同时采集管廊表观图像；

识别所采集图像中的病害类型及病害轮廓；

拍摄过程对相机进行自动标定，并对病害轮廓标定，得到病害的大小；其过程为：

任一待测空间点P分别在两个线阵相机上成像，标定出相应待测空间点P在像素坐标系下的坐标；

以双线阵相机的光心分别作为原点建立世界坐标系，将像素坐标系下的点转换为世界坐标系下的点；

由相似三角形及投影关系计算得出点P在世界坐标系下的坐标；

求出病害轮廓上待测两点的三维坐标即世界坐标，进而求出待测两点的距离，即病害的大小。

如图5所示，对病害轮廓标定，得到病害的大小的具体实施例为：

空间某点P分别在两个线阵相机上成像，标定出点P在像素坐标系下的坐标，记在第一坐标系下为(u1，v1)、在第二坐标系下为(u2，v2)；

将像素坐标系下的点转换为世界坐标系下的点，以双线阵相机的光心分别作为原点建立世界坐标系，光心间距为b，两个世界坐标系分别为Ol-x1y1z1、Or-x2y2z2，点P在世界坐标系下的坐标分别表示为(x1，y1，z1)、(x1-b，y1，z1)；

通过P点的坐标表示，f是线阵相机的焦距，由相似三角形及投影关系可得：

由上式可得出P点的坐标关系式：

用以上方法求出待测两点的三维坐标(x1，y1，z1)、(x1′，y1′，z1′),进而可方便求出待测两点的距离，即病害的大小为：

本实施例运用在管廊内安装搭载双线阵相机的云台沿着导轨移动来实时检测安全状况及安全隐患，避免人为巡检的危险性，还可及时发现危险情况。

本实施例通过图像标定确定病害匹配点的像素坐标，进而根据相似三角形及投影关系计算匹配点在世界坐标系下的坐标，最后根据匹配点间相对坐标估算出病害的大小，其通过控制云台沿导轨移动带动双线阵相机对管廊进行全面巡检，而且自动实现病害识别及轮廓识别，进而自动计算出病害尺寸大小，提高了检查效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于管廊表观病害检测的线阵双目成像***，其特征在于，包括：

导轨，其铺设在管廊内；

第一旋转云台和第二旋转云台，均悬挂在导轨上且可沿导轨移动；

图像采集检测装置，其通过第一旋转支架安装在第一旋转云台上；图像采集检测装置包括双目结构线阵相机和一个面阵相机；双目结构线阵相机由两个线阵相机采用非共面结构放置形成双目结构，呈前后放置的排布方式嵌入相机支撑架，以不同视角各自完整扫描同一个平面；所述面阵相机嵌入相机支撑架上且位于双目结构线阵相机后面，以拍摄更完整的检测面；面阵相机所拍摄的图像与两个线阵相机所采集图像共同进行特征匹配，以实现对所检测目标的整体性把控，提高图像匹配的精度；

包括：触发双目结构线阵相机和面阵相机同时采集管廊表观图像；

识别所采集图像中的病害类型及病害轮廓；

标定病害轮廓，得到病害的大小；

其中，标定病害轮廓的过程为：

任一待测空间点P分别在两个线阵相机上成像，标定出空间点P在像素坐标系下的坐标；

以双线阵相机的光心作为原点建立世界坐标系，将像素坐标系下的点转换为世界坐标系下的点，计算得出点P在世界坐标系下的坐标；

求出病害轮廓上待测两点的三维坐标即世界坐标，求出待测两点的距离，即病害的大小；

辅助标定装置，其通过第二旋转支架安装在第二旋转云台上；

处理器，用于接收双目结构线阵相机及面阵相机同时采集的管廊表观图像，识别病害类型及轮廓，通过辅助标定装置位置来标定病害轮廓，得到病害大小。

2.如权利要求1所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述图像采集检测装置安装在相机支撑架上，相机支撑架固定在稳定云台上，稳定云台安装在第一旋转支架上。

3.如权利要求2所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述稳定云台上还固定有云台控制装置，云台控制装置与第一旋转云台连接，所述云台控制装置用于控制第一旋转云台的运动。

4.如权利要求3所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述云台控制装置包括偏转角度检测模块、微控模块、驱动模块和反馈模块；偏转角度检测模块用于检测第一旋转云台的角度变化及各个相机的角度变化并传送至微控模块和反馈模块；微控模块用于控制驱动模块以对第一旋转支架和相机支撑架的角度进行控制，调整相机拍摄姿态；反馈装置计算并反馈角度偏差信息给处理器和人工操控台，补偿病害尺寸识别的偏差角度。

5.如权利要求1所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述辅助标定装置包括伸缩模块和标定板，标定板与第二旋转云台通过伸缩模块连接。

6.如权利要求5所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述伸缩模块包括垂直伸缩杆和水平伸缩杆，所述垂直伸缩杆上还固定有三角吸盘，所述三角吸盘还吸附在水平伸缩杆。

7.如权利要求1所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，所述第一旋转云台和第二旋转云台均通过双向阻尼减震器与相应移动机构相连，所述移动机构的形状与导轨配合，对导轨呈包裹状。

8.如权利要求7所述的用于管廊表观病害检测的线阵双目成像***，其特征在于，第一旋转云台和第二旋转云台在导轨上同步运行，且移动机构在导轨上移动且移动速度与线阵相机和面阵相机的扫描分辨率相匹配。

9.一种如权利要求1-8中任一项所述的用于管廊表观病害检测的线阵双目成像***的工作方法，其特征在于，包括：

触发双目结构线阵相机和面阵相机同时采集管廊表观图像；

识别所采集图像中的病害类型及病害轮廓；

标定病害轮廓，得到病害的大小；

其中，标定病害轮廓的过程为：

任一待测空间点P分别在两个线阵相机上成像，标定出空间点P在像素坐标系下的坐标；

以双线阵相机的光心作为原点建立世界坐标系，将像素坐标系下的点转换为世界坐标系下的点，计算得出点P在世界坐标系下的坐标；

求出病害轮廓上待测两点的三维坐标即世界坐标，求出待测两点的距离，即病害的大小。

Images