CN105550995A - 隧道影像拼接方法及*** - Google Patents

Abstract

本发明提供一种隧道影像拼接方法及***，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，对在某断面所有相机一次曝光获取的隧道图像进行拼接时，包括基于激光扫描仪的数据解算出每个相机对应的物距，对每个相机采集的图像进行归一化处理，将所有待拼接图像投影到圆柱面上，采用SIFT特征匹配和获取匹配点，计算初始变换矩阵并简化提取平移参数，得到图像之间最终的变换矩阵，统一坐标系，图像融合得到拼接重构的平滑无缝隧道图像。本发明技术方案具有拼接速度快、拼接精度较高，鲁棒性高，实用性强等优势，便于后续的隧道病害检测。

Description

隧道影像拼接方法及***

技术领域

本发明属于计算机视觉技术领域，特别涉及隧道影像拼接技术领域，能够获取大视角的隧道场景影像。

背景技术

由于隧道衬砌断面一般比较大，为了达到比较高的裂缝检测精度，必须要通过多个面阵相机来实现隧道衬砌表面的覆盖。每两个相机之间会存在一定的重叠区域。为了直观的展示隧道衬砌表面的病害，需要把多个面阵相机的图片数据进行拼接。即把数张有重叠部分的图像、不同视角拼成一幅大型的无缝高分辨率图像。

隧道影像拼接是将同时拍摄隧道同一截面的多张具有重合部分的图像经过配准、融合，拼接成一幅包含截面的大视场图片。目前的图像拼接技术主要有时域的方法和频域中的相位相关法等。其中基于特征匹配的方法是目前比较常用的一种方法。G.P.Stein提出的参数求解方法，虽然精度较高，但是其检测相邻帧之间的纹理特征带来的计算量无法满足快速隧道影像拼接的要求。基于特征点匹配，如SIFT等一些特征点检测算子进行特征点匹配的方式，在进行特征点匹配的过程中计算量巨大，隧道影像拼接速度不能满足，而且对于隧道影像的防火涂层或水泥表面纹理单一，特征较少，基于特征点匹配的方法往往对于这一类的隧道影像不起作用。

现实中的隧道壁表面一般比较光滑。纹理特征比较单一，除了有裂缝、水渍等一些具有病害的区域和隧道壁上的设施外，隧道其他区域包含较少的特征。仅仅使用SIFT等一类基于特征点匹配的方法是无法完成整个隧道的拼接，而且无法满足数据量极大的隧道影像拼接要求。

为了保证隧道影像具有较高的分辨率，采用不同相机和不同焦距，采集隧道影像，因此待拼接的隧道影像包含众多不同相机和不同焦距镜所拍摄的影像，对拼接的鲁棒性提出了更大的挑战。

发明内容

本发明根据现有技术缺陷，提供一种隧道影像快速拼接方法及***。

为实现上述目的，本发明提供一种隧道影像拼接方法，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，在采集车辆行驶过程中，所有相机同时曝光获取相应断面的隧道图像，对在某断面所有相机一次曝光获取的隧道图像进行拼接，包括以下步骤，

步骤一，归一化图像，基于激光扫描仪的数据，根据预先检校所得相机与激光扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对每个相机采集的图像进行归一化处理，得到分辨率一致的待拼接图像；

所述提取归一化系数，对每个相机采集的图像进行归一化处理，实现方式如下，

首先，利用以下公式求得各个相机拍摄图像的分辨率，

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距；

然后，在获取各个相机拍摄图像的分辨率后，选取基准分辨率，对应的相机记为基准相机；计算其他相机拍摄图像的分辨率与该基准分辨率的比值，获取的比值为归一化系数；

最后，根据计算得到的归一化系数；将其他相机拍摄图像的分辨率的宽高分别与对应的归一化系数作乘积，获取相应归一化后的图像；

步骤二，柱面投影，根据圆柱投影公式，将步骤一得到的所有待拼接图像投影到圆柱面上，其中，圆柱投影的焦距和投影半径是基准相机对应的焦距和投影半径；

所述圆柱投影公式的逆公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{S}$

其中，(x,y)表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径；

步骤三，特征匹配，包括采用特征匹配获取匹配点，对特征匹配无效的部分采用标定匹配获取匹配点，并剔除错配点对的干扰；

步骤四，计算变换矩阵，对步骤三处理得到的匹配点计算得到大小为3×3的初始变换矩阵，进行简化提取平移参数，得到图像之间最终的变换矩阵；

步骤五，统一坐标系，利用步骤四所得最终的变换矩阵将步骤二所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像；

步骤六，图像融合，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

而且，步骤三中，采用标定匹配获取匹配点的实现方式是，预先建立隧道模型提供检校场，采集隧道模型上贴有标定纸的图像，对采集后的相邻图像进行特征点提取，获取标定匹配点，当出现特征匹配无效的部分时，对该部分相应标定匹配根据步骤一所得对应的归一化系数处理，然后按照步骤二的方式变换到柱面投影后的图像上，得到最终的匹配点。

而且，步骤四中，初始变换矩阵为单应矩阵。

而且，步骤六中，图像融合采用拉普拉斯金字塔融合方式。

而且，根据单个断面的图像的拼接结果，将相邻断面之间的重叠部分去除，得到整个隧道图像的拼接结果。

本发明提供一种隧道影像拼接***，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，在采集车辆行驶过程中，所有相机同时曝光获取相应断面的隧道图像，对在某断面所有相机一次曝光获取的隧道图像进行拼接，包括以下模块，

归一化图像模块，用于基于激光扫描仪的数据，根据预先检校所得相机与激光扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对每个相机采集的图像进行归一化处理，得到分辨率一致的待拼接图像；

所述提取归一化系数，对每个相机采集的图像进行归一化处理，实现方式如下，

首先，利用以下公式求得各个相机拍摄图像的分辨率，

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距；

然后，在获取各个相机拍摄图像的分辨率后，选取基准分辨率，对应的相机记为基准相机；计算其他相机拍摄图像的分辨率与该基准分辨率的比值，获取的比值为归一化系数；

最后，根据计算得到的归一化系数；将其他相机拍摄图像的分辨率的宽高分别与对应的归一化系数作乘积，获取相应归一化后的图像；

柱面投影模块，用于根据圆柱投影公式，将归一化图像模块得到的所有待拼接图像投影到圆柱面上，其中，圆柱投影的焦距和投影半径是基准相机对应的焦距和投影半径；

所述圆柱投影公式的逆公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{s}$

其中，(x,y)表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径；

特征匹配模块，用于采用特征匹配获取匹配点，对特征匹配无效的部分采用标定匹配获取匹配点，并剔除错配点对的干扰；

变换矩阵模块，用于对特征匹配模块处理得到的匹配点计算得到大小为3×3的初始变换矩阵，进行简化提取平移参数，得到图像之间最终的变换矩阵；

坐标***一模块，用于利用变换矩阵模块所得最终的变换矩阵将柱面投影模块所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像；

图像融合模块，用于将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

而且，特征匹配模块中，采用标定匹配获取匹配点的实现方式是，预先建立隧道模型提供检校场，采集隧道模型上贴有标定纸的图像，对采集后的相邻图像进行特征点提取，获取标定匹配点，当出现特征匹配无效的部分时，对该部分相应标定匹配根据归一化图像模块所得对应的归一化系数处理，然后按照柱面投影模块的方式变换到柱面投影后的图像上，得到最终的匹配点。

而且，变换矩阵模块中，初始变换矩阵为单应矩阵。

而且，图像融合模块中，图像融合采用拉普拉斯金字塔融合方式。

而且，设置输出模块，用于根据单个断面的图像的拼接结果，将相邻断面之间的重叠部分去除，得到整个隧道图像的拼接结果。

本发明结合我国的实际情况，公开了一种基于特征和摄影几何相结合的隧道影像拼接技术方案，具有拼接速度快、拼接精度较高，鲁棒性高，实用性强等优势，拼接后的隧道影像保留了原始数据的分辨率，便于后续的隧道病害检测。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的归一化示意图。

图3为本发明实施例的变换参数提取示意图。

图4为本发明实施例的平移参数提取示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合实施例并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。

本发明是一种基于特征点匹配和人工点特征点匹配相结合的隧道影像快速拼接方法。具体实施步骤如图1所示，实施例的实现过程可以概述为以下几个步骤，每个步骤的具体实施如下：

步骤一：归一化图像，基于由激光扫描仪的数据，根据预先检校得到的相机与扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对图像进行归一化处理，得到分辨率一致的待拼接图像。

本发明数据来源使用的隧道影像采集***是车载***，包括设置多个相机(例如16个)和一个激光扫描仪。相机分别架设在一个近似于半圆的刚性弧架上，弧架安放于与车行方向垂直的汽车上。在采集车辆行驶过程中，相机按照一定的触发间距，所有相机一次曝光获取的隧道图像，即为一个断面，包含该段隧道的信息。激光扫描仪一般放在弧架下中间。为了保证采集的隧道图像具有较高的分辨率，便于后续隧道的病害检测，隧道图像的采集使用了多个不同型号的相机和不同焦距的镜头。不同类型的相机和镜头搭配组合成了隧道图像采集***，使得采集的源数据包含不同分辨率的隧道图像，为了后续的拼接处理，对不同分辨率的图像进行了归一化处理，即统一分辨率。

参见图2，为了获取每个相机采集的图像的分辨率，需要得到相机采集时对应的物距进行计算。预先进行相机和激光的外参检校，可以得到相机和激光的外参矩阵，即检校得到的相机与扫描仪的相对位置关系，采集时根据激光扫描仪的数据可知激光扫描仪到隧道壁的距离，通过外参矩阵和相机内参矩阵将激光坐标系变换到相机坐标系进行投影，解算各相机对，得到每个相机采集时对应的物距(即相机到隧道壁的距离)，每一个相机对应一个物距。以相机的序号为横坐标，物距为纵坐标，建立直角坐标系，对坐标系中的所有点(每个相机对应一个点)进行拟合，使得拟合后的点的连线为平滑的曲线。这样对解算得到的物距进行曲线拟合，即拟合激光数据，消除噪点的干扰。预先通过相机的内参检校，可求得各个相机的焦距，利用以下公式求得各个相机拍摄后得到的图像的分辨率。

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD(电荷耦合元件)上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距。

获取各个相机拍摄图像的分辨率后，可以选取其中一种作为基准分辨率，例如取最低分辨率，也可以取最高分辨率，或任意一种。实施例以所有分辨率中分辨率最低的为基准，其中分辨率最低的图像对应的相机即为基准相机。计算其他图像分辨率与该基准分辨率的比值，获取的比值即为归一化系数。根据计算得到的图像分辨率归一化系数。将每一幅图像的宽高分别与其对应的归一化系数作乘积，获取归一化后的图像。基准相机本身可视为归一化系数是1，可以对基准相机以外其他相机拍摄图像分别进行乘积处理。

步骤二：柱面投影，根据圆柱投影公式，将所有待拼接图像投影到圆柱面上，使得拍摄图像满足视觉一致性。

为了维持实际场景中的空间约束关系，需要对归一化后的隧道图像统一映射到一个标准的柱面投影面上，得到柱面图像序列。例如，隧道影像采集***中的16个相机从左到右依次标号为第1号相机、第2号相机…第16号相机，各相机在某断面所拍摄图像在归一化并投影后的结果依次为柱面图像序列的第1张图像、第2张图像…第16张图像。

由于步骤一中已对图像进行了分辨率统一，此处的圆柱投影的焦距和投影半径即是在解算归一化系数时的基准相机对应的焦距和投影半径。基准相机的投影半径等于其焦距。利用圆柱投影公式的逆投影公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{s}$

可以获取所有原始图像圆柱投影后的图像。

其中，(),xy表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径。

步骤三：特征匹配，根据步骤二所得结果，采用特征匹配，获取匹配点，对于无明显特征或特征匹配无效的部分，采用标定匹配，获取匹配点，并剔除错配点对的干扰。

实施例采用SIFT特征匹配，具体实施时也可以采用其他特征匹配方式。实施例采用用随机抽样一致性算法(RANSAC)剔除错配点对的干扰，具体实施时也可以采用其他粗差剔除方式。

由于实际隧道影像包含有纹理单一特征不明显的区域，也有包含有裂缝，水渍等特征明显区域。把现实中的隧道图像分为两类，一类为特征明显部分，一类为无明显特征部分。针对两类隧道图像采取了两种不同的匹配方法，

对于特征明显部分，包含有裂缝等隧道病害的特征。对于这部分选用了对光照变化、图像旋转、缩放、仿射变形、模糊、压缩等情况都有较好抗性的SIFT算法，但是由于SIFT算法对于特征向量描述复杂度高，计算非常耗时，不能满足隧道图像快速拼接的要求，使用GPU-CPU或其他的并行计算SIFT方法进行加速，加速后的算法效率可提升10-20倍。在使用以上方式进行特征点匹配的过程中，由于在进行隧道图像拍摄时，相邻相机拍摄的图像必须有一定的重叠度，该重叠度不会超过图像大小的50％。因此实施例以图像的50％区域为相邻图像的重叠区域。事先已经知道重叠的大概区域，SIFT算法只需检测重叠的区域，这将大大加快特征点检测的速度。

对于无明显特征的部分，该部分适用于SIFT算法无法提取出足够且有用的特征点。因此对于这部分区域，选用了标定匹配点，所谓标定匹配点即预先建立隧道模型提供检校场，采集隧道模型上贴有标定纸的图像，对采集后的相邻图像进行特征点提取，获取原始图像的若干匹配点，一般在40-50对左右。当实际执行本流程至步骤3出现部分无明显特征时，对该部分预先标定所得的匹配点按照图像归一化的方式进行变换，即将原始图像上匹配点的坐标与对应的归一化系数(通过步骤一得到)作乘积，得到归一化后的图像匹配点，再按照步骤二的方式将归一化图像上的匹配点变换到投影后图像上，得到最终的匹配点。例如，预先采集第1号和第2号相机的标定匹配点、第2号和第3号相机的标定匹配点、…第15号和第16号相机的标定匹配点，当出现第3号和第4号相机相应图像SIFT特征匹配无效，调用该部分预先标定所得的匹配点进行归一化和圆柱投影得到所需匹配点。

通过以上两种方式对一个断面的隧道图像进行特征点匹配。但是得到的匹配点中存在一部分伪点对，若直接进行拟合会产生比较大的误差，因此在得到一个断面隧道图像的匹配点后利用随机抽样一致性算法(RANSAC)对上述的匹配点进行滤除，该算法为现有技术，原理是根据包含异常数据的一组样本数据集，计算样本数据集的数学模型参数，从而得到有效样本数据。该算法的基本假设是样本中包含正确数据也包含异常数据即外点，RANSAC假设对于一组给定的正确数据，可以计算出符合这些数据的模型参数。该算法的原理基本如下：在样本点集中随机选择两点确定一条直线，选取点集中到直线距离小于某一规定阈值的点为该直线的支撑集。重复随机选择多次，认为具有最大支撑特征集的直线即为样本点集的拟合。在拟合距离阈值范围内的点即为有效点，反之则为噪点。

通过使用RANSAC算法对特征匹配后的点(包括基于SIFT特征提取获得的匹配点和标定的匹配点)进行精匹配，就得到了最终的所有匹配点。

步骤四：计算变换矩阵，对步骤三处理得到的匹配点计算得到3×3的初始变换矩阵。该矩阵包含缩放，旋转，平移等变换参数。将计算得到的变换参数进行简化，得到最终图像之间的变换参数，即得到图像之间最终的变换矩阵。

空间点在两个相机平面上的像点具有一一对应的关系，其对应关系是齐次线性的，可以通过一个三阶矩阵描述，可称该矩阵为单应矩阵。任取四个不在同一直线上的正确匹配点对，采用直线线性变换就可以计算出一个单应矩阵。由于此时无匹配点依然存在，匹配点定位的时候存在一定的偏差，因此建议在单应矩阵计算时首先利用RANSAC算法估计一个初始单应矩阵，然后采用L-M方法最小化两幅图像之间的重投影误差。通过最小化误差函数计算出最优单应矩阵，即变换矩阵。具体计算过程采用现有算法，本发明不予赘述。

通过上述得到变换矩阵后，由于一个断面包含有多幅图像，得到的变换矩阵含有一定的误差，多张图像的拼接将会引起误差传播，误差将会越来越大，这样的拼接结果是不能接受的。因此在通过上述方法得到两两图像的变换矩阵后，需要对变换矩阵做一定的简化，变换矩阵包含了两两图像之间的变换关系，即旋转，缩放，平移。在之前的步骤中已经利用归一化系数将所有待拼接图像分辨率统一完成，因此此处的缩放因子将会很小，可以将变换矩阵中的缩放因子剔除，对于拼接的效果影像并不太大。隧道影像采集***是刚性***，图像之间的旋转是一个定值，因此矩阵中的旋转因子是可以固定不变。所以最后的变换矩阵简化成了只包含平移的矩阵。其中竖直方向的平移与采集***中相机之间光心的竖直方向位移有关，在模型标定中可以得出所有相机之间竖直方向相对与隧道模型的平移量。在实际拼接中根据实时的激光数据可以解算出此时两两图像之间的竖直方向的平移量。在上述得到的变换矩阵中可以提取出水平方向的位移量，即为两两图像实际的重叠度。如图4中所示，左侧矩阵为一般性变换矩阵，包含图像的旋转、放缩、平移因子。通过对旋转因子和放缩因子的简化后，矩阵可以简化为右侧矩阵，只包含了图像的X方向的平移和Y方向的平移。所以通过以上简化，最终的变换矩阵实为一个只包含平移参数的矩阵。其中m₁₁，m₁₂，m₂₁，m₂₂是缩放和旋转因子，m₁₃，m₂₃是水平和垂直方向位移量，m₃₁，m₃₂是水平和垂直方向的形变量。Δ_X，Δ_X分别是水平和垂直方向的位移量。

上述做法虽然使得拼接后的图像效果有一定的影响，这个影响在实际的工程应用中是可以接受的。这样的简化将大大提升了拼接过程中的效率。而且省去了很多对于变换矩阵的平差操作和优化操作。

步骤五：统一坐标系，利用步骤四所得解算后的变换矩阵将步骤二所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像。

由于一个断面的隧道图像是包含多幅。需要将所有图像统一到一个参考坐标系下，因此需要计算得到每幅图像在统一坐标系下的变换和位置关系。在步骤四中计算的是两幅图像之间的变换关系，而拼接成图时要确定每幅图像在整幅拼接图像中的单应关系，因此在隧道图像拼接中，按照步骤二所得柱面图像序列，以预设的参考影像为基准，设参考影像的单应矩阵为H₀，柱面图像序列中各图像依次根据两两的变换关系变换到参考影像确定的坐标***中，从而形成一个整体的单应关系。根据公式公式中H_i表示第i个变换矩阵，因此第n个图像坐标系的单应矩阵H′_n即是从第0个变换矩阵H₀到第n个变换矩阵H_n的乘积。例如隧道影像采集***中的设有16个相机时，n最大为16。

通过上述图像坐标系的统一，可以形成一幅包含所有待拼接图像信息的图像。

步骤六：图像融合，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

图像融合是指把同一场景的几个图像按照一定的规则合成一幅新的图像，而使融合后的图像表达更为全面的信息。并且可以在最大程度上减少图像的冗余信息。本隧道图像拼接中采用的是拉普拉斯金字塔融合，也可以适用Poisson等其他图像融合方法。图像的拉普拉斯金字塔融合主要分为两个步骤，一为图像高斯金字塔分解，二为拉普拉斯金字塔分解。将原始图像定义为第0层，通过对图像进行高斯低通滤波和隔行隔列下采样，得到高斯金字塔的第一层，重复此步骤直到不能下采样为止，即构造了高斯金字塔。对构造得到的高斯金字塔的每一层插值膨胀处理，得到与其上一层同样大小的图像，该层的高斯金字塔图像与下一层经过插值膨胀得到的与该层一样大小的图像的差值，即为该层的拉普拉斯图像，以此方式构造拉普拉斯金字塔。对得到的拉普拉斯金塔每层图像进行融合，再进行上采样得到最终融合的图像。融合之后的图像去除了两原始图像的冗余信息，包含了两图像的所有的信息。对一个断面所有隧道图像进行拉普拉斯金字塔融合，构成了一幅完整的不含冗余信息的一个断面隧道图像。由于图像之间光照对比度等的影响，拼接之后的图像会存在明暗不均匀的情况。可利用泊松方程等匀光方法对图像进行匀光处理，得到光照均匀的拼接图像。

以上是对于单个断面图像的拼接方案，为了得到整个隧道图像的拼接结果，可以对单个断面进行一定的裁剪，将相邻断面之间的重叠部分去除，使得连续的断面能够组成一幅无重叠的连续的隧道图像。在步骤一中已经得到了每个相机拍摄时对应的物距，以1号相机为例，利用1号相机拍摄时的物距，可以确定1号相机的幅宽，即一1号相机获取的图片对应实际场景的宽度，再结合相机的触发间距，可以确定在行驶方向，1号相机的拍摄的连续图像之间的重叠度，由于采集***是固定不变的，1号相机连续图像的重叠度也是相邻两个断面之间的重叠度。根据计算得到的重叠度，在一个断面拼接结束后，将断面结果图像的图像高进行裁剪。得到最终的断面图像。

具体实施时，以上流程可采用计算机软件方式实现，也可以采用模块化方式提供相应***。本发明实施例提供一种隧道影像拼接***，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，在采集车辆行驶过程中，所有相机同时曝光获取相应断面的隧道图像，对在某断面所有相机一次曝光获取的隧道图像进行拼接，包括以下模块，

归一化图像模块，用于基于激光扫描仪的数据，根据预先检校所得相机与激光扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对每个相机采集的图像进行归一化处理，得到分辨率一致的待拼接图像；

所述提取归一化系数，对每个相机采集的图像进行归一化处理，实现方式如下，

首先，利用以下公式求得各个相机拍摄图像的分辨率，

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距；

然后，在获取各个相机拍摄图像的分辨率后，以所有分辨率中最低的为基准分辨率，对应的相机记为基准相机；计算其他相机拍摄图像的分辨率与该基准分辨率的比值，获取的比值为归一化系数；

最后，根据计算得到的归一化系数；将其他相机拍摄图像的分辨率的宽高分别与对应的归一化系数作乘积，获取相应归一化后的图像；

柱面投影模块，用于根据圆柱投影公式，将归一化图像模块得到的所有待拼接图像投影到圆柱面上，其中，圆柱投影的焦距和投影半径是基准相机对应的焦距和投影半径；

所述圆柱投影公式的逆公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{s}$

其中，(x,y)表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径；

特征匹配模块，用于采用SIFT特征匹配获取匹配点，对SIFT特征匹配无效的部分采用标定匹配获取匹配点，并用RANSAC算法剔除错配点对的干扰；

变换矩阵模块，用于对特征匹配模块处理得到的匹配点计算得到大小为3×3的初始变换矩阵，进行简化提取平移参数，得到图像之间最终的变换矩阵；

坐标***一模块，用于利用变换矩阵模块所得最终的变换矩阵将柱面投影模块所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像；

图像融合模块，用于将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

进一步地，可以设置输出模块，用于根据单个断面的图像的拼接结果，将相邻断面之间的重叠部分去除，得到整个隧道图像的拼接结果。

各模块具体实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种隧道影像拼接方法，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，在采集车辆行驶过程中，所有相机同时曝光获取相应断面的隧道图像，其特征在于：对在某断面所有相机一次曝光获取的隧道图像进行拼接，包括以下步骤，

步骤一，归一化图像，基于激光扫描仪的数据，根据预先检校所得相机与激光扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对每个相机采集的图像进行归一化处理，得到分辨率一致的待拼接图像；

所述提取归一化系数，对每个相机采集的图像进行归一化处理，实现方式如下，

首先，利用以下公式求得各个相机拍摄图像的分辨率，

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距；

然后，在获取各个相机拍摄图像的分辨率后，选取基准分辨率，对应的相机记为基准相机；计算其他相机拍摄图像的分辨率与该基准分辨率的比值，获取的比值为归一化系数；

最后，根据计算得到的归一化系数；将其他相机拍摄图像的分辨率的宽高分别与对应的归一化系数作乘积，获取相应归一化后的图像；

步骤二，柱面投影，根据圆柱投影公式，将步骤一得到的所有待拼接图像投影到圆柱面上，其中，圆柱投影的焦距和投影半径是基准相机对应的焦距和投影半径；

所述圆柱投影公式的逆公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{s}$

其中，(x,y)表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径；

步骤三，特征匹配，包括采用特征匹配获取匹配点，对特征匹配无效的部分采用标定匹配获取匹配点，并剔除错配点对的干扰；

步骤四，计算变换矩阵，对步骤三处理得到的匹配点计算得到大小为3×3的初始变换矩阵，进行简化提取平移参数，得到图像之间最终的变换矩阵；

步骤五，统一坐标系，利用步骤四所得最终的变换矩阵将步骤二所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像；

步骤六，图像融合，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

2.根据权利要求1所述隧道影像拼接方法，其特征在于：步骤三中，采用标定匹配获取匹配点的实现方式是，预先建立隧道模型提供检校场，采集隧道模型上贴有标定纸的图像，对采集后的相邻图像进行特征点提取，获取标定匹配点，当出现特征匹配无效的部分时，对该部分相应标定匹配根据步骤一所得对应的归一化系数处理，然后按照步骤二的方式变换到柱面投影后的图像上，得到最终的匹配点。

3.根据权利要求1所述隧道影像拼接方法，其特征在于：步骤四中，初始变换矩阵为单应矩阵。

4.根据权利要求1所述隧道影像拼接方法，其特征在于：步骤六中，图像融合采用拉普拉斯金字塔融合方式。

5.根据权利要求1或2或3或4所述隧道影像拼接方法，其特征在于：根据单个断面的图像的拼接结果，将相邻断面之间的重叠部分去除，得到整个隧道图像的拼接结果。

6.一种隧道影像拼接***，用于对于隧道影像采集***中每个相机采集的图像进行拼接，所述隧道影像采集***包括多个相机和一个激光扫描仪，在采集车辆行驶过程中，所有相机同时曝光获取相应断面的隧道图像，其特征在于：对在某断面所有相机一次曝光获取的隧道图像进行拼接，包括以下模块，

归一化图像模块，用于基于激光扫描仪的数据，根据预先检校所得相机与激光扫描仪的相对位置关系，解算出每个相机对应的物距，提取归一化系数，对每个相机采集的图像进行归一化处理，得到分辨率一致的待拼接图像；

所述提取归一化系数，对每个相机采集的图像进行归一化处理，实现方式如下，

首先，利用以下公式求得各个相机拍摄图像的分辨率，

$r=\frac{dpi\×f}{s\×1000}$

其中，r为图像的分辨率，dpi为相机CCD上每个像元的大小，f为相机的焦距，s为相机拍摄时的物距；

然后，在获取各个相机拍摄图像的分辨率后，选取基准分辨率，对应的相机记为基准相机；计算其他相机拍摄图像的分辨率与该基准分辨率的比值，获取的比值为归一化系数；

最后，根据计算得到的归一化系数；将其他相机拍摄图像的分辨率的宽高分别与对应的归一化系数作乘积，获取相应归一化后的图像；

柱面投影模块，用于根据圆柱投影公式，将归一化图像模块得到的所有待拼接图像投影到圆柱面上，其中，圆柱投影的焦距和投影半径是基准相机对应的焦距和投影半径；

所述圆柱投影公式的逆公式如下，

$x=ftan\frac{x^{\′}}{s}$

$y=\frac{y^{\′}f\sqrt{1+tan\frac{x^{\′}}{s}}}{s}$

其中，(x,y)表示原始图像上的点的坐标，(x′,y′)表示投影后的点的坐标，f表示镜头的焦距，s表示投影半径；

特征匹配模块，用于采用特征匹配获取匹配点，对特征匹配无效的部分采用标定匹配获取匹配点，并剔除错配点对的干扰；

变换矩阵模块，用于对特征匹配模块处理得到的匹配点计算得到大小为3×3的初始变换矩阵，进行简化提取平移参数，得到图像之间最终的变换矩阵；

坐标***一模块，用于利用变换矩阵模块所得最终的变换矩阵将柱面投影模块所得待拼接图像依次转换到参考影像坐标系中，形成一幅大视场图像；

图像融合模块，用于将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝隧道图像。

7.根据权利要求6所述隧道影像拼接***，其特征在于：特征匹配模块中，采用标定匹配获取匹配点的实现方式是，预先建立隧道模型提供检校场，采集隧道模型上贴有标定纸的图像，对采集后的相邻图像进行特征点提取，获取标定匹配点，当出现特征匹配无效的部分时，对该部分相应标定匹配根据归一化图像模块所得对应的归一化系数处理，然后按照柱面投影模块的方式变换到柱面投影后的图像上，得到最终的匹配点。

8.根据权利要求6所述隧道影像拼接***，其特征在于：变换矩阵模块中，初始变换矩阵为单应矩阵。

9.根据权利要求6所述隧道影像拼接***，其特征在于：图像融合模块中，图像融合采用拉普拉斯金字塔融合方式。

10.根据权利要求6或7或8或9所述隧道影像拼接***，其特征在于：设置输出模块，用于根据单个断面的图像的拼接结果，将相邻断面之间的重叠部分去除，得到整个隧道图像的拼接结果。