CN111473739A - 一种基于视频监控的隧道塌方区围岩变形实时监测方法 - Google Patents

Abstract

本发明是一种基于视频监控的隧道塌方区围岩变形实时监测方法。首先采用地面激光扫描技术获得隧道塌方区的三维虚拟实景模型，包括点云数据和与三维图像数据，其次根据每个摄影机位置及其监控塌方区的视频数据，构建摄像机位置与塌方区三维虚拟实景模型之间的透射投影关系，而后采用三焦点张量与对极约束法，实现了多视角摄影视频中塌方区目标监测点在空间三维坐标系下相对基准控制点的定位，最后依据透射投影关系计算目标监测点的位移值。本发明实现了非接触式实时全时自动变形监测，规避了隧道塌方区监测的高危高风险性，解决了接触式测量量程与成本限制、非全时监测无法及时安全预警的困境。

Description

一种基于视频监控的隧道塌方区围岩变形实时监测方法

技术领域

本发明涉及隧道施工过程塌方区围岩变形安全监测技术。属于岩土工程安全监测技术领域。适用于针对高危险区域与常规仪器难以布设区的非接触式、全时实时安全监测工作。

背景技术

随着生产的发展，各类土木工程如雨后春笋般涌现，并向着高、深、大的方向发展，而岩土工程测试技术是从根本上保证岩土工程勘察、设计、治理、监理的准确性、可靠性以及经济合理性的重要手段，因此，岩土体工程特性的准确测试更显得异常重要。

为解决各类复杂的岩土工程问题，出现了许多新理论和新设计方法，而岩土工程理论是以岩土测试技术和相应的实验依据作为发展背景的。如果没有新的测试技术的相应发展，设计所依据的各项参数就无法测得，设计的结果也无从验证，故而岩土工程理论、设计的先进性也无法体现。因此岩土工程测试不仅在土木工程实践中非常重要，而且在岩土工程学科理论发展中也起着关键作用。

表1隧道监测项目表

发明内容

技术问题：本发明是一种基于视频监控的隧道塌方区围岩变形实时监测方法。本发明实现了非接触式变形监测，规避了隧道塌方区的高危高风险，同时满足实时监测，解决了其它非接触变形监测技术无法全时监测的困境，数字化数据处理过程可实现自动化，从而达到自动预警的要求。

技术方案：本发明是一种基于视频监控的隧道塌方区围岩变形实时监测方法，首先采用地面激光扫描技术获得隧道塌方区的三维虚拟实景模型，包括点云数据和与三维图像数据，其次根据每个摄影机位置及其监控塌方区的视频数据，构建摄像机位置与塌方区三维虚拟实景模型之间的透射投影关系，而后采用三焦点张量与对极约束法，实现多视角摄影视频中塌方区目标监测点在空间三维坐标系下相对基准控制点的定位，最后依据透射投影关系计算目标监测点的位移值。

具体步骤如下：

第一步：目标监测点与基准控制点布置，在塌方区内均匀布置若干目标监测点，在塌方区***均匀布置若干基准控制点，基准控制点的数量应保证每两个摄像机的视频图像应有7个以上共有基准点，目标监测点与基准控制点采用不同颜色的荧光笔标记，为了方便计算机识别，每个标记点应有明显差别；

第二步：摄像机位置设置，保证每个目标监测点与基准控制点必须在三个以上摄像机视角内，三个摄影机视角的夹角控制在45～60°；根据摄影机的位置，采用对极约束关系构建多摄像机的视频图像坐标系之间转换关系；

第三步：激光扫描仪测量，距离塌方区5～10m选择合适的仪器测点，满足激光扫描区应覆盖所有目标监测点与基准控制点，确定三维激光扫描仪架设测点的站点数量、测站点具***置以及仪器架设的高度、扫描角度；若需要多站测量，还需要在不同相邻扫描区内包含3个拼接标识点，以便对不同站点的点云数据拼接；最终扫描测量完毕获得描述激光扫描区表面坐标信息的点云数据和为识别目标监测点与基准控制点标记的图像数据；

第四步：三维虚拟实景模型构建，根据激光扫描仪内部校准参数和扫描仪相机的固有参数，建立Mounting矩阵(相机坐标系与扫描仪坐标系之间的坐标转换参数矩阵)、COP矩阵(相机拍摄瞬间相机坐标系和初始相机坐标系的旋转矩阵)、SOP矩阵(扫描站点测站坐标系相对于工程坐标系的旋转平移矩阵)，实现点云数据和图像数据的配准，从而构建三维虚拟实景模型；

第五步：基准控制点与目标监测点的初值标定，采用Delaunay三角剖分法将点云数据转换为三角形格网，在图像数据中标记出基准控制点与目标监测点，将三维三角形格网投影到图像数据的平面坐标上，依据基准控制点与目标监测点的像素坐标与投影后格网角点的像素坐标可以搜索出各个基准控制点与目标监测点的所属的三角形格网以及相对该三角形格网角点的距离，然后还原回投影前的三维坐标，从而获得基准控制点与目标监测点的实际初始三维坐标。

第六步：透射投影关系构建，每个摄像机的透射投影关系构建，通过摄影机位置、焦距参数、实景中基准控制点与目标监测点初始坐标构建摄像机透射投影关系，建立视频图像的像素坐标与实景坐标的关系；

第七步：视频采集中目标监测点定位，间隔n帧采集视频图像，采用sift算法依据不同帧视频图像中对应基准控制点配准获得一系列视频图像，保证一系列视频图像在各自摄像机透射投影坐标系中准确位置，记录视频图像中目标监测点与基准控制点的像素坐标，根据对应摄影机的透射投影关系，采用三焦点张量点转移与多摄像机的视频图像坐标系之间转换关系，计算在摄影机三维坐标下目标监测点与基准控制点相对位置；

第八步：计算变形位移值，利用实景三维坐标系下基准控制点坐标，获得实景三维坐标系下目标监测点坐标，与目标监测点初始坐标相比较，从而得到目标监测点的变形矢量。

有益效果：本发明实现了非接触式变形监测，规避了隧道塌方区的高危高风险，同时满足实时监测，解决了其它非接触变形监测技术无法全时监测的困境，数字化数据处理过程可实现自动化，从而达到自动预警的要求。

具体实施方式

下面举例对本发明的技术方案进行详细说明：

本发明是一种基于视频监控的隧道塌方区围岩变形实时监测方法。该方法融合地面激光扫描技术与视频监控技术构建摄影机下现实工程场景与视频虚拟场景的透射投影关系，融合三焦点张量与对极约束法实现了多视角摄影机监控下目标监测点在空间三维坐标系下相对基准控制点的定位，最后还原现实工程场景与视频虚拟场景的透射投影关系获得目标监测点的变形位移值。具体步骤8步包括：目标监测点与基准控制点布置、摄像机位置设置、激光扫描仪测量、三维虚拟实景模型构建、基准控制点与目标监测点的初值标定、透射投影关系构建、视频采集中目标监测点定位、计算目标点位移值。

本发明具体步骤六步包括：目标监测点与基准控制点布置、摄像机位置设置、获取三维实景模型、透射投影关系构建、视频采集与目标监测点定位、计算变形位移值。

具体如下：

第一步：目标监测点与基准控制点布置，在塌方区内均匀布置若干目标监测点，在塌方区***均匀布置若干基准控制点，基准控制点的数量应保证每两个摄像机的视频图像应有7个以上共有基准点，目标监测点与基准控制点采用不同颜色的荧光笔标记，为了方便计算机识别，每个标记点应有明显差别；

第二步：摄像机位置设置，保证每个目标监测点与基准控制点必须在三个以上摄像机视角内，三个摄影机视角的夹角控制在45～60°；根据摄影机的位置，采用对极约束关系构建多摄像机的视频图像坐标系之间转换关系；

第三步：激光扫描仪测量，距离塌方区5～10m选择合适的仪器测点，满足激光扫描区应覆盖所有目标监测点与基准控制点，确定三维激光扫描仪架设测点的站点数量、测站点具***置以及仪器架设的高度、扫描角度；若需要多站测量，还需要在不同相邻扫描区内包含3个拼接标识点，以便对不同站点的点云数据拼接；最终扫描测量完毕获得描述激光扫描区表面坐标信息的点云数据和为识别目标监测点与基准控制点标记的图像数据；

第四步：三维虚拟实景模型构建，根据激光扫描仪内部校准参数和扫描仪相机的固有参数，建立Mounting矩阵(相机坐标系与扫描仪坐标系之间的坐标转换参数矩阵)、COP矩阵(相机拍摄瞬间相机坐标系和初始相机坐标系的旋转矩阵)、SOP矩阵(扫描站点测站坐标系相对于工程坐标系的旋转平移矩阵)，实现点云数据和图像数据的配准，从而构建三维虚拟实景模型；

第五步：基准控制点与目标监测点的初值标定，采用Delaunay三角剖分法将点云数据转换为三角形格网，在图像数据中标记出基准控制点与目标监测点，将三维三角形格网投影到图像数据的平面坐标上，依据基准控制点与目标监测点的像素坐标与投影后格网角点的像素坐标可以搜索出各个基准控制点与目标监测点的所属的三角形格网以及相对该三角形格网角点的距离，然后还原回投影前的三维坐标，从而获得基准控制点与目标监测点的实际初始三维坐标。

第六步：透射投影关系构建，每个摄像机的透射投影关系构建，通过摄影机位置、焦距参数、实景中基准控制点与目标监测点初始坐标构建摄像机透射投影关系，建立视频图像的像素坐标与实景坐标的关系；

第七步：视频采集中目标监测点定位，间隔n帧采集视频图像，采用sift算法依据不同帧视频图像中对应基准控制点配准获得一系列视频图像，保证一系列视频图像在各自摄像机透射投影坐标系中准确位置，记录视频图像中目标监测点与基准控制点的像素坐标，根据对应摄影机的透射投影关系，采用三焦点张量点转移与多摄像机的视频图像坐标系之间转换关系，计算在摄影机三维坐标下目标监测点与基准控制点相对位置；

第八步：计算变形位移值，利用实景三维坐标系下基准控制点坐标，获得实景三维坐标系下目标监测点坐标，与目标监测点初始坐标相比较，从而得到目标监测点的变形矢量。

其中，

所述第二步中，所述采用对极约束关系构建多摄像机的视频图像坐标系之间转换关系，具体为：

对极几何是两幅视图之间内在的射影几何，它独立于景物结构，只依赖于摄像机内部参数和相对姿态，是图像平面与以基线为轴的平面束的交的几何，对极线约束的本质是从对应点反向投影的射线共面，用基本矩阵F来描述多摄像机的视频图像坐标系之间转换关系；

基础矩阵F计算：

(1)采用RANSAC算法在两幅摄像机视频图像上随机抽取7组对应基准点，分别表示为X_n＝(x_n,y_n,1)^T、X′_n＝(x′_n,y′_n,1)^T,(n＝1,2…7)；其中，x_n,y_n,x′_n,y′_n分别为两幅视频图像中7组对应基准点的像素坐标。

(2)矢量f表示由F基础矩阵的元素组成并按行优先顺序排列的9维矢量，由以下方程可以求得。从7组对应点，可得方程组：

求解矢量f。

(3)由9维矢量f可以获得基础矩阵F。从而得到多摄像机的视频图像坐标系之间转换关系的对极几何关系。

所述第六步中，建立视频图像的像素坐标与实景坐标的关系具体为；

(1)获取三维场景深度图

根据摄影机的位置上设置一台虚拟的深度相机，深度相机的坐标、方向、近裁面和远裁面的距离、视场角、图像长宽比各个参数，与实际摄像机设置参数相同；根据虚拟的深度相机位置与三维实景模型，获取虚拟深度相机的场景深度图像的深度坐标；

(2)获得变换矩阵

根据虚拟相机位置、相机内部参数与场景深度图像的深度坐标，在保证虚拟相机与视频图像以及三维场景模型的射线关系，视频图像的像素坐标与实景坐标的转换矩阵为：

M_w＝M_rP_invTrans(s,t,r_n,1.0)

式中Trans(s,t,r_n,1.0)是实景三维模型在虚拟相机中的平移矩阵；P_inv是虚拟相机的内部参数矩阵的逆矩阵；M_r是实景三维模型在虚拟相机中的旋转矩阵。

所述第七步中，计算在摄影机三维坐标下目标监测点与基准控制点相对位置；

(1)SIFT算法匹配视频图像位置

SIFT算法包括：构建尺度空间、极值点检测、特征点位置定位、关键点主方向指定、特征描述符生成；首先采用DOG滤波器构建尺度空间，在该尺度空间中找到基准控制点作为候选特征点，候选特征点采用以下方法来构建具有射影变换无关性的SIFT特征；

(2)计算目标监测点在视频图像中的二维坐标

检测出目标监测点，记录目标所在区域的外包矩形底边的中间点像素坐标，并利用原始视频的像素分辨率将其归一化到[0，1]范围；

(3)计算目标底部中心点三维深度坐标

三维场景中的虚拟投影机获得的深度图像大小与视频图像大小相同，利用目标在视频图像中的二维位置坐标来计算对应深度图像上的深度坐标；

假设归一化的目标底部的像素坐标是(s,t)，对应深度图像中的值是(sd,td,r,q)，其中(sd,td)是二维纹理坐标，r是深度分量，q是一个缩放因子，假定目标底部中心点三维深度值为r_n＝r/q，虚拟相机坐标***中的坐标为(s,t,r_n,1.0)；

(4)采用三焦点张量点转移法计算的目标监测点三维坐标。

Claims (5)

1.一种基于视频监控的隧道塌方区围岩变形实时监测方法，其特征在于首先采用地面激光扫描技术获得隧道塌方区的三维虚拟实景模型，包括点云数据和与三维图像数据，其次根据每个摄影机位置及其监控塌方区的视频数据，构建摄像机位置与塌方区三维虚拟实景模型之间的透射投影关系，而后采用三焦点张量与对极约束法，实现多视角摄影视频中塌方区目标监测点在空间三维坐标系下相对基准控制点的定位，最后依据透射投影关系计算目标监测点的位移值。

2.根据权利要求1所述的一种基于视频监控的隧道塌方区围岩变形实时监测方法，其特征在于该方法包括以下步骤：

第一步：目标监测点与基准控制点布置，在塌方区内均匀布置若干目标监测点，在塌方区***均匀布置若干基准控制点，基准控制点的数量应保证每两个摄像机的视频图像应有7个以上共有基准点，目标监测点与基准控制点采用不同颜色的荧光笔标记，为了方便计算机识别，每个标记点应有明显差别；

第二步：摄像机位置设置，保证每个目标监测点与基准控制点必须在三个以上摄像机视角内，三个摄影机视角的夹角控制在45～60°；根据摄影机的位置，采用对极约束关系构建多摄像机的视频图像坐标系之间转换关系；

第三步：激光扫描仪测量，距离塌方区5～10m选择合适的仪器测点，满足激光扫描区应覆盖所有目标监测点与基准控制点，确定三维激光扫描仪架设测点的站点数量、测站点具***置以及仪器架设的高度、扫描角度；若需要多站测量，还需要在不同相邻扫描区内包含3个拼接标识点，以便对不同站点的点云数据拼接；最终扫描测量完毕获得描述激光扫描区表面坐标信息的点云数据和为识别目标监测点与基准控制点标记的图像数据；

第四步：三维虚拟实景模型构建，根据激光扫描仪内部校准参数和扫描仪相机的固有参数，建立Mounting矩阵即相机坐标系与扫描仪坐标系之间的坐标转换参数矩阵、COP矩阵即相机拍摄瞬间相机坐标系和初始相机坐标系的旋转矩阵、SOP矩阵即扫描站点测站坐标系相对于工程坐标系的旋转平移矩阵，实现点云数据和图像数据的配准，从而构建三维虚拟实景模型；

第五步：基准控制点与目标监测点的初值标定，采用Delaunay三角剖分法将点云数据转换为三角形格网，在图像数据中标记出基准控制点与目标监测点，将三维三角形格网投影到图像数据的平面坐标上，依据基准控制点与目标监测点的像素坐标与投影后格网角点的像素坐标可以搜索出各个基准控制点与目标监测点的所属的三角形格网以及相对该三角形格网角点的距离，然后还原回投影前的三维坐标，从而获得基准控制点与目标监测点的实际初始三维坐标。

第六步：透射投影关系构建，每个摄像机的透射投影关系构建，通过摄影机位置、焦距参数、实景中基准控制点与目标监测点初始坐标构建摄像机透射投影关系，建立视频图像的像素坐标与实景坐标的关系；

第七步：视频采集中目标监测点定位，间隔n帧采集视频图像，采用sift算法依据不同帧视频图像中对应基准控制点配准获得一系列视频图像，保证一系列视频图像在各自摄像机透射投影坐标系中准确位置，记录视频图像中目标监测点与基准控制点的像素坐标，根据对应摄影机的透射投影关系，采用三焦点张量点转移与多摄像机的视频图像坐标系之间转换关系，计算在摄影机三维坐标下目标监测点与基准控制点相对位置；

第八步：计算变形位移值，利用实景三维坐标系下基准控制点坐标，获得实景三维坐标系下目标监测点坐标，与目标监测点初始坐标相比较，从而得到目标监测点的变形矢量。

3.根据权利要求2所述的一种基于视频监控的隧道塌方区围岩变形实时监测方法，其特征在于，所述第二步中，所述采用对极约束关系构建多摄像机的视频图像坐标系之间转换关系，具体为：

对极几何是两幅视图之间内在的射影几何，它独立于景物结构，只依赖于摄像机内部参数和相对姿态，是图像平面与以基线为轴的平面束的交的几何，对极线约束的本质是从对应点反向投影的射线共面，用基本矩阵F来描述多摄像机的视频图像坐标系之间转换关系；

基础矩阵F计算：

(1)采用RANSAC算法在两幅摄像机视频图像上随机抽取7组对应基准点，分别表示为X_n＝(x_n,y_n,1)^T、X′_n＝(x′_n,y′_n,1)^T,(n＝1,2…7)；其中，x_n,y_n,x′_n,y′_n分别为两幅视频图像中7组对应基准点的像素坐标。

(2)矢量f表示由F基础矩阵的元素组成并按行优先顺序排列的9维矢量，由以下方程可以求得。从7组对应点，可得方程组：

求解矢量f。

(3)由9维矢量f可以获得基础矩阵F。从而得到多摄像机的视频图像坐标系之间转换关系的对极几何关系。

4.根据权利要求2所述的一种基于视频监控的隧道塌方区围岩变形实时监测方法，其特征在于，所述第六步中，建立视频图像的像素坐标与实景坐标的关系具体为；

(1)获取三维场景深度图

根据摄影机的位置上设置一台虚拟的深度相机，深度相机的坐标、方向、近裁面和远裁面的距离、视场角、图像长宽比各个参数，与实际摄像机设置参数相同；根据虚拟的深度相机位置与三维实景模型，获取虚拟深度相机的场景深度图像的深度坐标；

(2)获得变换矩阵

根据虚拟相机位置、相机内部参数与场景深度图像的深度坐标，在保证虚拟相机与视频图像以及三维场景模型的射线关系，视频图像的像素坐标与实景坐标的转换矩阵为：

M_w＝M_rP_invTrans(s,t,r_n,1.0)

式中Trans(s,t,r_n,1.0)是实景三维模型在虚拟相机中的平移矩阵；P_inv是虚拟相机的内部参数矩阵的逆矩阵；M_r是实景三维模型在虚拟相机中的旋转矩阵。

5.根据权利要求2所述的一种基于视频监控的隧道塌方区围岩变形实时监测方法，其特征在于，所述第七步中，计算在摄影机三维坐标下目标监测点与基准控制点相对位置；

(1)SIFT算法匹配视频图像位置

SIFT算法包括：构建尺度空间、极值点检测、特征点位置定位、关键点主方向指定、特征描述符生成；首先采用DOG滤波器构建尺度空间，在该尺度空间中找到基准控制点作为候选特征点，候选特征点采用以下方法来构建具有射影变换无关性的SIFT特征；

(2)计算目标监测点在视频图像中的二维坐标

检测出目标监测点，记录目标所在区域的外包矩形底边的中间点像素坐标，并利用原始视频的像素分辨率将其归一化到[0，1]范围；

(3)计算目标底部中心点三维深度坐标

三维场景中的虚拟投影机获得的深度图像大小与视频图像大小相同，利用目标在视频图像中的二维位置坐标来计算对应深度图像上的深度坐标；

假设归一化的目标底部的像素坐标是(s,t)，对应深度图像中的值是(sd,td,r,q)，其中(sd,td)是二维纹理坐标，r是深度分量，q是一个缩放因子，假定目标底部中心点三维深度值为r_n＝r/q，虚拟相机坐标***中的坐标为(s,t,r_n,1.0)；

(4)采用三焦点张量点转移法计算的目标监测点三维坐标。