CN106023076A - 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 - Google Patents

Abstract

本发明实施例提供了一种基于虚拟采样通道模型的全景图拼接方法和全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法。所述检测方法，包括：获取记录高速铁路环境状态的前向运动视频；基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路运行环境的左、右全景图，作为防护栏全景图；按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定位，得到0和1组成的二值码；对所述二值码进行行程编码；根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度D_cur；根据所述相邻两护栏之间的背景区域的像素宽度D_cur与所述相邻两护栏之间的正常像素间距d，判断相邻两护栏是否存在缺损。

Description

全景图的拼接方法和检测高速铁路的防护栏的缺损状态的 方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法。

背景技术

安全是高速铁路发展的基础和前提。影响高速铁路安全的因素很多，涉及到人、列车、轨道及行车环境以及它们之间的耦合效应。为了保证高速铁路行车安全，要求高速铁路运行环境必须实现全程封闭。高速铁路沿线加装防护栏是实现封闭环境的一种手段。

为了监测人为破坏或攀爬侵入防护栏以内，以及监测封闭环境内信号设备和供电***等基础设施的完好情况，目前，主要采用固定式视频设备进行监控。例如，在京沪高速铁路上，将400余个视频监控设备安装在京沪高速铁路路基、路口、桥梁、公跨铁、咽喉区等部位，保证车辆安全运行。

在通常的视频监控***中，摄像设备处于固定静止状态，被监控对象可能处于运动状态。采用视频序列中目标和背景的相对运动来检测目标的状况是常用的一种运动目标检测方法，其中主要有：背景减除法、时间差分法和光流法(Optical flow)等检测方法。该类方法的优点在于无需训练，可以在线进行检测；而缺点是只能寻找出相应目标，而无法判明检测区域为具体何种目标，需要后期进一步判断。

背景减除法主要取决于对背景图像建模的准确度，但是在实际环境中，由于环境变化等因素影响，加剧了背景的提取与更新的难度，为准确提取目标增加了难度。因此，目前该类方法大多采用统计学习方法对连续视频帧进行分析、背景建模，并随着时间的推移在线更新背景模型，然后再通过当前帧和背景模型之间的差异来检测运动区域。

时间差分方法是一种相对简单、运算量较小的方法，通过计算视频序列的前后两帧对应位置的像素差，若大于设定的阈值，则认为是目标像素，否则为背景像素。光流法采用运动目标的向量会随着时间变化的特性来检测运动目标。该方法的优点是即使在摄像机运动的情况下也可以检测出运动目标。它的主要缺点：对噪声比较敏感，计算量大，不适合实时性要求较高的场合。

但是，固定点监控方式受到采集视野的限制，不能掌控线路及沿线全部情况，因此，利用安装在高速综合检测列车的车端环境监视设备，监视车前方线路环境及沿线两侧防护栏状态是一种有效的方法。

国际上采用专用的高速综合检测列车来完成影响列车运行安全的检测任务。检测内容一般包括：接触网几何、接触线磨耗、弓网作用、电气参数、轨距、轨道几何、钢轨断面及波浪磨耗、车体及轴箱加速度、轮轨作用力、轨道和转向架、通信检测和定位等。除此之外，国内外的高速综合检测列车在其前部和后部都装有作为行车记录仪的视频设备，以前向运动视频的方式用来获取沿途环境状况信息，为后期人工检测铁路沿线环境是否存在异常状态提供依据。如何从获取的大量视频图像中快速获取影响环境封闭性以及异物或线路内设备异常侵限的信息，并进行正确预警，是高速铁路亟待解决的问题。

发明内容

本发明的实施例提供了一种全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法，将海量的视频数据以轻量级的全景图格式进行无损的信息抽取，降低了视频数据形式的存储和访问开销。

为了实现上述目的，本发明采取了如下技术方案：

一种基于虚拟采样通道模型的全景图拼接方法，包括：

获取记录高速铁路环境状态的前向运动视频；从所述前向运动视频中提取帧数为N的视频图像序列；

按照经由消失点确定的铁路场景结构，在每帧图像中设定外部采样矩形OR_m；

按照列车的速度,在每帧图像中设定内部采样矩形IR_m；

将由每帧图像的所述外部采样矩形OR_m和所述内部采样矩形IR_m组成的矩形环状采样环带，分割为四个条带拼接区域S_t,S_b,S_l,S_r；

将每帧图像的所述四个条带拼接区域S_t,S_b,S_l,S_r通过图像卷绕，校正为规则的矩形条带S_t',S_b',S_l',S_r'；

将4×N个校正过的所述矩形条带S_t',S_b',S_l',S_r'，按照各自的采样平面分别进行拼合，生成铁路场景4个平面的全景图。

一种基于所述的全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法，包括：

步骤一，获取记录高速铁路环境状态的前向运动视频；

步骤二，基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路运行环境的左、右全景图，作为防护栏全景图；

步骤三，按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定位，F(j)＝1处表示防护栏的位置，F(j)＝0处表示背景的位置，得到0和1组成的二值码；j为防护栏全景图的列序号；

步骤四，对所述二值码进行行程编码；

步骤五，根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度D_cur；

步骤六，根据所述相邻两护栏之间的背景区域的像素宽度D_cur与所述相邻两护栏之间的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果；

步骤七，输出所述判断结果。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例中，将海量的视频数据以轻量级的全景图格式进行无损的信息抽取，降低了视频数据形式的存储和访问开销。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的基于虚拟采样通道模型的全景图拼接方法的流程示意图；

图2为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法；

图3为本发明中高速铁路场景采样环几何结构；

图4为本发明中相邻两帧之间的图像配准；

图5为本发明中全景图中像素列的三维特征F(j)的直方图分布；

图6为本发明中基于均值-方差-梯度的阈值分割；

图7为本发明中护栏全景图的行程编码表示；

图8为本发明中从封闭铁路环境中产生的全景图：(a)左侧全景图；(b)右侧全景图；(c)底部全景图；(d)上部全景图

图9为本发明中综合检测列车采集的视频图像：(a)护栏无缺损；(b)护栏有缺损

图10为本发明中部分铁路全景图：(a)铁路左侧的全景图；(b)从(a)中截取的防护栏全景图

图11为本发明中护栏全景图的二值化分割结果：(a)灰度一维直方图最大熵阈值分割；(b)灰度-梯度(GLGM)二维直方图最大熵阈值分割；(c)本发明提出的结合灰度均值-方差-梯度的三维直方图最大熵阈值分割

图12为本发明中高铁护栏全景图的二值化分割结果：(a)高速铁路的护栏全景图；(b)灰度一维直方图最大熵阈值分割；(c)灰度-梯度(GLGM)二维直方图最大熵阈值分割；(d)本发明提出的结合灰度均值-方差-梯度的三维直方图最大熵阈值分割

图13为本发明中高速铁路防护栏缺损快速检测方法步骤流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所述，为本发明所述的一种基于虚拟采样通道模型的全景图拼接方法，包括：

步骤11，获取记录高速铁路环境状态的前向运动视频；从所述前向运动视频中提取帧数为N的视频图像序列；

步骤12，按照经由消失点确定的铁路场景结构，在每帧图像中设定外部采样矩形OR_m；

步骤13，按照列车的速度,在每帧图像中设定内部采样矩形IR_m；

步骤14，将由每帧图像的所述外部采样矩形OR_m和所述内部采样矩形IR_m组成的矩形环状采样环带，分割为四个条带拼接区域S_t,S_b,S_l,S_r；

步骤15，将每帧图像的所述四个条带拼接区域S_t,S_b,S_l,S_r通过图像卷绕，校正为规则的矩形条带S_t',S_b',S_l',S_r'；

步骤16，将4×N个校正过的所述矩形条带S_t',S_b',S_l',S_r'，按照各自的采样平面分别进行拼合，生成铁路场景4个平面的全景图。

确定所述消失点的步骤具体为：

消失点在图像坐标系中的坐标为(x₀,y₀)^T；第i条线段的解析式为x+k_iy+b_i＝0，k_i为第i条线段的斜率，b_i为截距；权值w_i是第i条线段的长；N为防护栏全景图中像素的总列数；

$x_0=\frac{g_1{m}_{22}-g_2{m}_{12}}{m_{11}{m}_{22}-m_{12}^2},y_0=\frac{g_2{m}_{11}-g_1{m}_{12}}{m_{11}{m}_{22}-m_{12}^2};$

其中，

$m_{11}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i}{1+k_i^2},m_{12}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i}{1+k_i^2},m_{22}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i^2}{1+k_i^2},$

$g_1=-\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{b}_i}{1+k_i^2},g_2=-\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i{b}_i}{1+k_i^2}.$

本发明实施例中，将海量的视频数据以轻量级的全景图格式进行无损的信息抽取，降低了视频数据形式的存储和访问开销，可以用于后续处理。

如图2所述，为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法，包括：

步骤21，获取记录高速铁路环境状态的前向运动视频；

步骤22，基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路运行环境的左、右全景图，作为防护栏全景图；

步骤23，按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定位，F(j)＝1处表示防护栏的位置，F(j)＝0处表示背景的位置，得到0和1组成的二值码；j为防护栏全景图的列序号；

步骤24，对所述二值码进行行程编码；

步骤25，根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度D_cur；

步骤26，根据所述相邻两护栏之间的背景区域的像素宽度D_cur与所述相邻两护栏之间的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果；其中，所述步骤26包括：判断D_cur是否大于k·d，其中，k为经验调节参数。

步骤27，输出所述判断结果。

本发明实施例中，将海量的视频数据以轻量级的全景图格式进行无损的信息抽取，降低了视频数据形式的存储和访问开销，而且，将视频转化为一种更适合于人工检视以及计算机分析处理的形式，解决了由前向运动视频到全景图的无失真快速转换。

所述步骤22包括：

从所述前向运动视频中提取帧数为N的视频图像序列；

按照经由消失点确定的铁路场景结构，在每帧图像中设定外部采样矩形OR_m；

按照列车的速度,在每帧图像中设定内部采样矩形IR_m；

将每帧图像的由所述外部采样矩形OR_m和所述内部采样矩形IR_m组成的矩形环状采样环带，分割为四个条带拼接区域S_t,S_b,S_l,S_r；其中，S_t,S_b,S_l,S_r分别为天空、钢轨、左侧护栏和右侧护栏区域；

将每帧图像的所述四个条带拼接区域S_t,S_b,S_l,S_r通过图像卷绕，校正为规则的矩形条带S_t',S_b',S_l',S_r'；

将2×N个校正过的所述矩形条带S_l',S_r'，按照各自的采样平面分别进行拼合，生成铁路场景左、右全景图。

确定所述消失点的步骤具体为：

消失点在图像坐标系中的坐标为(x₀,y₀)^T；第i条线段的解析式为x+k_iy+b_i＝0，k_i为第i条线段的斜率，b_i为截距；权值w_i是第i条线段的长；N为防护栏全景图中像素的总列数；

$x_0=\frac{g_1{m}_{22}-g_2{m}_{12}}{m_{11}{m}_{22}-m_{12}^2},y_0=\frac{g_2{m}_{11}-g_1{m}_{12}}{m_{11}{m}_{22}-m_{12}^2};$

其中，

$m_{11}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i}{1+k_i^2},m_{12}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i}{1+k_i^2},m_{22}=\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i^2}{1+k_i^2},$

$g_1=-\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{b}_i}{1+k_i^2},g_2=-\underset{i=1}{\overset{N}{\Σ}}\frac{w_i{k}_i{b}_i}{1+k_i^2}.$

所述步骤23包括：

对于防护栏全景图的每一列j,计算灰度均值M(1,j)、标准差V(1,j)、和梯度均值G(1,j)；j＝1,…,N；N为防护栏全景图中像素的总列数；

使用F(j)最大熵，计算分割阈值(ε^*,ξ^*,η^*)；F(j)为所述防护栏全景图中提取的竖直方向上每列像素的特征分布；

根据所述分割阈值(ε^*,ξ^*,η^*)，对F(j)进行二值化分割，将防护栏区域置为1，背景区域置为0；

其中，；V(1,j)为防护栏全景图中每列像素的灰度均值；

M(1,j)为防护栏全景图中每列像素的灰度方差；G(1,j)为防护栏全景图中每列像素的梯度均值。

$M(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\Σ}}p(i,j);$

$V(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\Σ}}{\left(p\right(i,j)-M(1,j\left)\right)}^2;$

$G(1,j)=\frac{1}{t_h-b_h}\underset{i=b_h}{\overset{t_h}{\Σ}}\sqrt{{\left(p\right(i+1,j)-p(i,j\left)\right)}^2+{\left(p\right(i,j+1)-p(i,j\left)\right)}^2};$

其中，p(i,j)为防护栏全景图中像素点(i,j)的灰度值，t_h,b_h分别为防护栏的顶部和底部在防护栏全景图中的坐标位置。

以下描述本发明的另一实施例。

本发明以检测高速铁路封闭运行环境的封闭性为对象，提供一种利用前向运动视频的全景图拼接，并通过全景图特征检测，实现高速铁路防护栏缺损的动态检测。

本发明技术方案是：将记录高速铁路环境状态的前向运动视频通过虚拟通道采样拼接技术转换为铁路环境全景图；对全景图进行特征提取；依据特征提取后得到的特征行程编码，给出铁路防护栏缺损状态判断和评估。也就是说，将视频图像变换为一种静态全景图格式，即在相机光轴与运动方向一致条件下生成前向运动视频全景图；基于检测区域几何结构生成前向运动视频虚拟采样通道模型；基于防护栏全景图的均值-方差-梯度(MVG)三维直方图最大熵阈值分割以及基于行程编码的护栏检测。

具体包含以下步骤：

步骤1，基于铁路线路先验定位前向运动视频，虚拟矩形采样通道的步骤；

步骤2，分割前向运动视频帧为天、地、左、右四部分图像的步骤；

步骤3，基于前向运动视频帧的全景图拼接计算的步骤；

步骤4，对防护栏全景图特征计算的步骤；

步骤5，基于行程编码的护栏检测步骤。

其中，步骤1具体包括：

从视频序列中提取一组环带序列{S₁,S₂,S₃,…，S_N}，并满足相邻的全景环带对物理空间的采样之间既不重叠又无间隔，即“完全采样”。将环带序列进行几何修正后拼接在一起生成全景图像。

基于铁路线路先验，定位前向运动视频虚拟通道，是以所关注深度层的物体构建“完全采样”的虚拟矩形采样通道。虚拟矩形采样通道的构建基于以下客观近似：

(1)铁路设施场景包括：两侧的防护栏或声屏障，地面的钢轨以及悬挂在上方的接触网等，同类的设施都视为近似位于同一平面，且平面距相机的距离已知；

(2)铁路设施场景的各平面为距离相机最近的深度层，生成的全景图中不存在因欠采样而引起的铁路设施信息缺失。

步骤2具体包括：

(1)确定消失点

利用LSD(line segment detector)线段检测算法对视频序列的视频图像进行检查，将所有检测出的线段分成两组，第一组为与水平轴夹角在[-60°,60°]范围内的线段，用来采用最小二乘法估计平行于钢轨的线段形成的消失点；第二组为与竖直轴夹角在[-5°,5°]范围内的线段，用来估计线杆的位置，以便划分铁路场景。

设消失点在图像坐标系中的坐标为(x₀,y₀)^T，它与第i条线段x+k_iy+b_i＝0(k_i为斜率，b_i为截距)的距离为

$d_i(x_0,y_0)=\frac{\left|x_0+k_i{y}_0+b_i\right|}{\sqrt{1+k_i^2}}---\left(1\right)$

其中根据最小二乘法，最小化点(x₀,y₀)^T与所有线段的之间距离的平方和，即

$\underset{x_0{y}_0}{\min }\left\{\underset{i=1}{\overset{N}{\Σ}}{w}_i{d}_i^2(x_0,y_0)\right\}---\left(2\right)$

其中，权值w_i是第i条线段的长。

对式(2)分别求x₀和y₀的导数，并令其为零，得到如下线性方程组，

$\left\{\begin{array}{c}{m}_{11}{x}_0+m_{12}{y}_0=g_1\\ m_{12}{x}_0+m_{22}{y}_0=g_2\end{array}\right.---\left(3\right)$

这里

N为护栏全景图中像素的总列数；

式(3)的解为，

$x_0=\frac{g_1{m}_{22}-g_2{m}_{12}}{m_{11}{m}_{22}-m_{12}^2},y_0=\frac{g_2{m}_{11}-g_1{m}_{12}}{m_{11}{m}_{22}-m_{12}^2}---\left(4\right)$

(x₀,y₀)就是消失点的最优估计。为了提高估计消失点的准确性，采用交叉迭代的方法剔除一些“错误”的线段。

(2)划分天、地、左、右四部分。

由钢轨、接触网以及防护栏或声屏障构成的虚拟矩形采样通道长方体结构具有固定的几何结构。依据场景的虚拟矩形采样通道的形状，确定选定采样环位置(图3为高速铁路的场景采样环)。

分别连接消失点Q到采样环长方形的四个顶点，被这四条连线分割的四个部分就是天、地、左、右四个部分。

步骤3.基于前向运动视频帧的全景图拼接计算。

如图4所示，基于消失点检测和摄像机运动信息图像配准过程如下：

(1)将关注的铁路场景，即护栏、接触网、声屏障、钢轨所在的位置构成一个虚拟矩形采样通道，并在虚拟矩形采样通道进行“完全采样”。

(2)给定一段帧数为N的视频图像序列{I₁,I₂，…，I_N-1，I_N}，在每帧图像中选取拼接区域，即确定外部矩形OR_m:A_mB_mC_mD_m以及内部矩形IR_m:A′_mB′_mC′_mD′_m。

(3)按照消失点确定的场景结构，预先指定外部矩形OR_m:A_mB_mC_mD_m位置，且在每一帧中所处的位置都相同。经过消失点Q引出四条分别经过图像左右两侧电杆的顶部和底部的射线，这四条射线将场景分割为天空、钢轨、左侧护栏和右侧护栏四个部分(即上面的天、地、左、右四个部分)。外部矩形的四个顶点A_m、B_m、C_m、D_m应分别落在四条射线上，为此可以确保生成的上、下、左、右四场景的全景图内容互不重叠，避免错误采样，同时也简化了虚拟场景绘制的过程。再者，由于摄像机的运动方向与钢轨平行，因此图像中像素点光流的膨胀中心(Focus of Expansion，FOE)与图像中两条钢轨在远处形成的消失点Q重合。这样外部矩形的四个顶点的移动方向，即外部矩形OR_m随着时间帧的缩放方向就经消失点Q唯一确定，记作：

$\begin{array}{c}{\stackrel{\→}{n}}_m^A:A_m(x_a,y_a)-Q_m(x_q,y_q)\\ {\stackrel{\→}{n}}_m^B:A_m(x_b,y_b)-Q_m(x_q,y_q)\\ {\stackrel{\→}{n}}_m^C:A_m(x_c,y_c)-Q_m(x_q,y_q)\\ {\stackrel{\→}{n}}_m^D:A_m(x_d,y_d)-Q_m(x_q,y_q)\end{array}---\left(5\right)$

(4)设列车速度为V，摄像机的帧速为R，则相邻两帧之间空间采样的距离为V/R。若相机的内部参数已知，则通过相应的几何计算，即可求得图像中像素的移动速度即图像速度v。

(5)得到第m帧中外部矩形OR_m:A_mB_mC_mD_m的缩放方向以及图像速度v后，该外部矩形在第m-1帧中对应的坐标位置可由直接求得。

(6)第m-1帧中的外部矩形OR_m-1和内部矩形IR_m-1构成了矩形环状的拼接区域S_m，将S_m沿着外部矩形顶点的缩放方向分割为4块梯形的条带S_t、S_b、S_l、S_r，分别为天空、钢轨、左侧护栏和右侧护栏区域。

(7)利用图像卷绕(Image Wrapping)，对构造的条带S_t、S_b、S_l、S_r进行几何变换，从而将不规则的梯形条带映射为规则的矩形条带S_t'、S_b'、S_l'、S_r'。对每帧图像重复以上过程，得到四组条带序列，将这些序列分别依次拼接起来就得到了全景图。本发明涉及左、右防护栏的检测，为此仅用到矩形条带S_l'、S_r'拼接得到的铁路运行环境左、右全景图，即防护栏全景图。

步骤4.防护栏全景图特征计算。

令p(i,j)为防护栏全景图中像素点(i,j)的灰度值，t_h,b_h分别为防护栏的顶部和底部在全景图中的坐标位置，则每列像素的灰度均值、灰度方差以及梯度均值分别记作

$M(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\Σ}}p(i,j)---\left(6\right)$

$V(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\Σ}}{\left(p\right(i,j)-M(1,j\left)\right)}^2---\left(7\right)$

$G(1,j)=\frac{1}{t_h-b_h}\underset{i=b_h}{\overset{t_h}{\Σ}}\sqrt{{\left(p\right(i+1,j)-p(i,j\left)\right)}^2+{\left(p\right(i,j+1)-p(i,j\left)\right)}^2}---\left(8\right)$

沿着防护栏全景图竖直方向进行灰度和梯度特征提取后，得到

{F(j)}＝{(x,y)}＝{(M(1,j),V(1,j),G(1,j))} (9)

这里1≤j≤N,N为防护栏全景图中像素的总列数,F(j)表示每列像素的三维特征分布。

防护栏处的灰度统计特征满足：M(1,j)<ε,V(1,j)<ξ，G(1,j)<η。这里ε,ξ和η为用于分割防护栏的前景区域即定位防护栏位置的分割阈值。

从防护栏全景图中提取的竖直方向上每列像素的特征分布F(j)如图5所示。

若给定任意一个阈值(ε,ξ,η)，来对护栏防护栏的特征分布F(j)进行分割，则三维特征F(j)的空间分布被(ε,ξ,η)划分为8个特征子区域(如图6所示)，记作：

$\begin{array}{c}{R}_1=\{0<x\&le;\mathrm{\&epsiv;},0<y\&le;\mathrm{\&xi;},0<z\&le;\mathrm{\&eta;}\};\\ R_2=\{\mathrm{\&epsiv;}<x\&le;255,0<y\&le;\mathrm{\&xi;},0<z\&le;\mathrm{\&eta;}\};\\ R_3=\{\mathrm{\&epsiv;}<x\&le;255,\mathrm{\&xi;}<y\&le;255,0<z\&le;\mathrm{\&eta;}\};\\ R_4=\{0<x\&le;\mathrm{\&epsiv;},\mathrm{\&xi;}<y\&le;255,0<z\&le;\mathrm{\&eta;}\};\\ R_5=\{0<x\&le;\mathrm{\&epsiv;},\mathrm{\&xi;}<y\&le;255,\mathrm{\&eta;}<z\&le;255\};\\ R_6=\{0<x\&le;\mathrm{\&epsiv;},0<y\&le;\mathrm{\&xi;},\mathrm{\&eta;}<z\&le;255\};\\ R_7=\{\mathrm{\&epsiv;}<x\&le;255,0<y\&le;\mathrm{\&xi;},\mathrm{\&eta;}<z\&le;255\};\\ R_8=\{\mathrm{\&epsiv;}<x\&le;255,\mathrm{\&xi;}<y\&le;255,\mathrm{\&eta;}<z\&le;255\}.\end{array}---\left(10\right)$

各防护栏在竖直方向上具有近似的亮度值以及均匀的亮度分布，而背景区域则是一些亮度不规则分布的场景。这导致了防护栏位置的特征大多集中于R₁区域，而背景的特征大多集中于R₈区域。虽然其它的6个区域也包含了部分的护栏和背景信息，为了简化计算过程，忽略这些次要特征区域的实验结果表明对定位结果并无大的影响。

F(j)中任意一个特征向量位于护栏区域R₁或者背景区域R₈的概率分别为P_F(ε,ξ,η)和P_B(ε,ξ,η)；

$P_F(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})=\underset{x=0}{\overset{\mathrm{\&epsiv;}}{\&Sigma;}}\underset{y=0}{\overset{\mathrm{\&xi;}}{\&Sigma;}}\underset{z=0}{\overset{\mathrm{\&eta;}}{\&Sigma;}}{p}_{xyz}---\left(11\right)$

$P_B(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})=\underset{x=\mathrm{\&epsiv;}+1}{\overset{255}{\&Sigma;}}\underset{y=\mathrm{\&xi;}+1}{\overset{255}{\&Sigma;}}\underset{z=\mathrm{\&eta;}+1}{\overset{255}{\&Sigma;}}{p}_{xyz}---\left(12\right)$

这里，p_xyz为图像中的一像素点位于前景或背景中的概率。

且满足

P_F(ε,ξ,η)+P_B(ε,ξ,η)≈1 (13)

根据熵的定义，护栏区域与背景区域的三维熵分别为

$H_F(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})=-\underset{x=0}{\overset{\mathrm{\&epsiv;}}{\&Sigma;}}\underset{y=0}{\overset{\mathrm{\&xi;}}{\&Sigma;}}\underset{z=0}{\overset{\mathrm{\&eta;}}{\&Sigma;}}\frac{p_{xyz}}{P_F(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})}ln\left(\frac{p_{xyz}}{P_F(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})}\right)---\left(14\right)$

$H_B(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})=-\underset{x=\mathrm{\&epsiv;}+1}{\overset{255}{\&Sigma;}}\underset{y=\mathrm{\&xi;}+1}{\overset{255}{\&Sigma;}}\underset{z=\mathrm{\&eta;}+1}{\overset{255}{\&Sigma;}}\frac{p_{xyz}}{P_B(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})}ln\left(\frac{p_{xyz}}{P_B(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})}\right)---\left(15\right)$

F(j)的总体三维熵为

H(ε,ξ,η)＝H_F(ε,ξ,η)+H_B(ε,ξ,η) (16)

由最大熵分割原理，能够使上式H(ε,ξ,η)取得最大值的三元组(ε^*,ξ^*,η^*)就是所求的最佳分割阈值，即

$({\mathrm{\&epsiv;}}^{*},{\mathrm{\&xi;}}^{*},{\mathrm{\&eta;}}^{*})=\underset{(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;})}{\mathrm{argmax}}\left\{H\right(\mathrm{\&epsiv;},\mathrm{\&xi;},\mathrm{\&eta;}\left)\right\}---\left(17\right)$

根据阈值(ε^*,ξ^*,η^*)对F(j)进行二值化分割，将防护栏区域置为1，背景区域置为0，即

步骤5.基于行程编码的护栏检测

按照最大化熵分割原理，可将铁路场景中的护栏和背景位置定位，F(j)＝1处表示防护栏的位置，F(j)＝0处表示背景的位置。如图5所示，白色区域(值为1)表示防护栏，而黑色区域(值为0)表示背景。对根据阈值分割方法得到的一连串0和1组成的二值码进行行程编码。

若护栏存在缺损，则相邻两防护栏之间的背景区域的像素宽度D_cur必然大于防护栏之间的正常像素间距d，因此若D_cur>k·d(k为经验调节参数)，则可以判定该区域存在缺损。

以下描述本发明的另一实施例。

实施例1：一种新的基于前向运动视频虚拟矩形采样通道模型的全景图拼接方法。

铁路全景图的获取包含以下三个步骤：前向视频的采集、构造拼接区域、条带拼接。

依据虚拟矩形采样通道模型生成铁路场景全景图的算法如下算法1所示。

如图6所示，为高速条件下(150km/h)采集的低质视频(720×576)生成的全景图结果。本发明提出的方法可以生成令人满意的全景图像。如近处的防护栏和电杆没有丢失信息且失真较小。远处的电杆由于“过采样”发生了明显的拉伸扭曲，但这在实际检测中是不被关心的部分。

实施例2：基于全景图拼接的护栏检测。

如图9所示，为综合检测列车采集的前向运动视频图像。列车保持相对匀速，摄像机的采集帧率为25帧/秒。图9(a)为防护栏无缺损的铁路场景，图9(b)为存在缺损的铁路场景。

生成的部分铁路全景图(左侧)如图10(a)所示，图10(b)为从图10(a)中提取的部分防护栏全景图(i∈[405,490],j∈[2500,3000]，其中，i为像素的行坐标，j为列坐标)。

按照最大化熵分割原理实现的防护栏防护栏定位算法如下：

图11为本发明提出的三维直方图最大化熵分割法与一维灰度直方图分割法以及二维灰度-梯度直方图分割法的对比结果。图11(a)为仅根据灰度一维直方图最大熵阈值分割的结果，可以观察到许多背景区域都被错误分割为防护栏，这将导致检测漏报。图11(b)为根据灰度-梯度(GLGM)二维直方图最大熵阈值分割的结果，可以观察到列坐标2770位置处的防护栏被错误分割为背景，这将导致检测误报。图11(c)为基于本发明提出的三维直方图分割结果，通过与图10(b)中所示的护栏实际位置相比较，可以看出三维直方图分割的结果最为准确。

在提取到护栏的位置后，对二值码进行行程编码，以达到护栏信息的轻量级存储与访问目的。之后使用算法3从护栏全景图行程编码中快速识别防护栏的破损位置。如图11(c)所示，[2500,3500]的像素范围内存在两处明显的护栏缺损的区域，分别位于区间[3000,3138]和[3290,3462]处。

实验视频为avi格式，时长约1小时，数据量为1.35GB，像素总数为(1024×768)/帧×85500帧。利用全景拼接生成了数据量为84MB的jpg格式的图像，像素总数为267500×600(水平方向的像素总数×竖直方向的像素总数)。将全景图中护栏的前景和背景区域仅用单字节的数字来表示，最终得到8917位数字编码(37 3 41 3 33 2 42 3……)，数据量仅为17.4KB。因此，本发明实现了铁路护栏的数据量从GB级——MB级——KB级的多级压缩提取，克服了因视频数据量大，信息存储与检索困难而造成的检测算法的应用瓶颈。

本发明给出了基于全景图行程编码检测防护栏防护栏的缺损位置的算法。

由于列车的行驶行程很长，整个防护栏全景图的光照因受天气，环境，朝向等因素影响会出现变化，因此，有必要将防护栏全景图分割成K个子图，并为每幅子图计算一合适的局部阈值(ε_i,ξ_i,η_i)，这里i＝1,2,3,…,K。

通过现场多次人工目视检测，确定该段线路中的护栏实际存在38处缺损，记作GT＝38。基于不同阈值分割方法的检测结果对比如表1所示，通过与护栏缺损的真实状况对比发现，本发明提出的方法正确地检出了36处缺损(TP＝36)；有3处正常的防护栏位置被错误的检为缺损(FP＝3)；有两处漏掉的破损没有被检出(FN＝2)。这里使用检测准确率和召回率来验证检测方法的有效性，在检测结果对比中基于本发明提出的阈值分割方法取得了92.3％的准确率和94.7％的召回率，优于其它分割算法的检测结果。

表1不同阈值分割方法的检测结果对比

为了进一步验证结合多特征MVG三维直方图的最大熵阈值分割方法的适用性，我们又对高速铁路的另一类防护栏——白色的水泥防护栏进行同样的实验。白色的水泥防护栏与图10(b)中所示的色泽暗淡的铁质护栏不同，因此一般情况下，防护栏区域的亮度反而要比背景区域高一些。如图12(d)所示，为高速铁路的防护栏全景图的分割结果，通过与图12(a)中的防护栏全景图相对比，可以发现本发明提出的分割算法无论是针对金属防护栏还是水泥防护栏，都取得了令人满意的分割结果。

图13为高速铁路防护栏缺损快速检测方法的步骤流程图。

其中，一种基于前向运动视频全景图的高速铁路防护栏检测方法,包括以下步骤：

依据铁路线路先验，定位前向运动视频虚拟矩形采样通道位置后，将前向运动视频帧分割为天、地、左、右四部分，并分别对四部分进行全景图拼接。也就是说，以全景图格式将视频数据进行无损的信息抽取，得到了轻量级检测图像信息，相对于视频数据不仅降低了的存储和访问开销，而且将视频转化为一种更适合于人工视检或计算机分析处理的形式。

基于前向运动视频帧的全景图拼接计算，依靠场景的几何结构先验和相机的运动速度信息，快速得到采样环的位置，实现拼接图像之间的快速对齐，生成左右防护栏全景图，其整体显示效果明显优于特征匹配的L-K光流法。也就是说，利用前向运动视频虚拟采样通道模型，克服了前向运动视频全景图窄带拼接的静态模糊，并利用区域几何结构的先验，构建快速的前向运动视频的全景拼接算法。

对左右防护栏全景图采用MVG三维直方图的最大熵阈值分割方法进行分割，分割出全景图中护栏的前景和背景区域，实现防护栏位置的自动定位。对提取到防护栏位置二值码进行行程编码，实现了护栏信息的轻量级存储与访问，根据算法3从护栏全景图的行程编码中快速识别破损防护栏的位置。

也就是说，基于护栏全景图(Fence panorama)的护栏缺损的自动化检测方法，利用基于MVG三维直方图的最大熵阈值分割方法自动提取护栏中竖直防护栏的位置，使其与背景图像分离；并将护栏全景图分离后的二值码用行程编码压缩，压缩的编码格式包含了护栏的全部位置信息，相应的解码算法从编码中恢复护栏的位置，并实现了护栏的缺失检测。

本发明具有以下有益效果：

(1)本发明提出的一种新的全景图拼接方法，该方法是一种基于前向运动视频虚拟采样通道模型的全景图拼接方法，填补了相机光轴与运动方向一致条件下的前向运动视频全景图生成的空白；可以广泛应用于轨道交通、公路等运载工具的自动驾驶、安全检查、高压缩比的行车记录，以及高速铁路钢轨平直度检测、异物侵限检测、铁路沿线山体滑坡检测等。由于在某些地段使用的声屏障用于减低对周边环境噪音干扰，同时具有防护栏的功能，但在物理结构上与防护栏有较大区别，因此还可以根据不同类型的防护栏设计不同的缺损状态检测算法。

(2)本发明的基于前向运动视频的全景图的自动化视觉的检测方法，将海量的视频数据以轻量级的全景图格式进行无损的信息抽取，不仅降低了视频数据形式的存储和访问开销，而且将视频转化为一种更适合于人工检视以及计算机分析处理的形式，解决了由前向运动视频到全景图的无失真快速转换。另外，以全景图的形式存储视频信息节省了大量的存储空间，以全景图的形式代替前向运动视频图像作为检测对象，可实现高速铁路封闭环境的快速检测，满足实际需求。

(3)前向运动的视频拍摄作为一种移动式的场景获取方式，由于其视野宽阔，景深远，空间覆盖面广，已经被广泛应用于移动式的场景记录和监控任务中。本发明针对高铁封闭运行环境状态检测，提出了一种基于前向运动的视频的，利用计算机视觉技术的高速铁路防护栏缺损状态自动快速检测方法，为利用高速综合检测列车来完成高速铁路封闭运行环境状态检测提供了一种新的高效手段。

(4)本发明基于检测区域几何结构的前向运动视频虚拟采样通道模型，克服了前向运动视频窄带拼接的静态模糊，并利用区域几何结构的先验，构建快速的前向运动视频的全景拼接算法，以铁路防护栏缺损检测为应用研究背景，提出了相应的基于全景图的自动化视觉检测算法。高速铁路环境检测是一个定期、常态的工作，定期反复获取环境视频图像。通过特征检测或场景图像比对获得异常状态的信息。本发明针对高速铁路环境检测提出了基于高速前向运动视频的一种新的全景图拼接技术。

(5)本发明基于前向运动视频的虚拟矩形采样通道全景图拼接方法，首次实现了相机光轴与运动方向一致条件下的前向运动视频全景图生成；采用虚拟矩形采样通道方式，克服了前向运动视频全景图静态失真问题；基于前向运动视频虚拟矩形采样通道的全景图生成，对于设备没有特殊要求，一般行车记录仪记录的视频都可以拼接为多种不同用途全景图。

Claims (8)

1.一种基于虚拟采样通道模型的全景图拼接方法，其特征在于，包括：

获取记录高速铁路环境状态的前向运动视频；从所述前向运动视频中提取帧数为N的视频图像序列；

按照经由消失点确定的铁路场景结构，在每帧视频图像中设定外部采样矩形OR_m；

按照列车的速度,在每帧视频图像中设定内部采样矩形IR_m；

将由每帧视频图像的所述外部采样矩形OR_m和所述内部采样矩形IR_m组成的矩形环状采样环带，分割为四个条带拼接区域S_t,S_b,S_l,S_r；

将每帧视频图像的所述四个条带拼接区域S_t,S_b,S_l,S_r通过图像卷绕，校正为规则的矩形条带S_t',S_b',S_l',S_r'；

将4×N个校正过的所述矩形条带S_t',S_b',S_l',S_r'，按照各自的采样平面分别进行拼合，生成铁路场景4个平面的全景图。

2.根据权利要求1所述的方法，其特征在于，确定所述消失点的步骤具体为：

消失点在图像坐标系中的坐标为(x₀,y₀)^T；第i条线段的解析式为x+k_iy+b_i＝0，其中，k_i为第i条线段的斜率，b_i为截距；权值w_i是第i条线段的长；N为防护栏全景图中像素的总列数；

$x_0=\frac{g_1{m}_{22}-g_2{m}_{12}}{m_{11}{m}_{22}-m_{12}^2},y_0=\frac{g_2{m}_{11}-g_1{m}_{12}}{m_{11}{m}_{22}-m_{12}^2};$

其中，

$m_{11}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i}{1+k_i^2},m_{12}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i}{1+k_i^2},m_{22}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i^2}{1+k_i^2},$

$g_1=-\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{b}_i}{1+k_i^2},g_2=-\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i{b}_i}{1+k_i^2}.$

3.一种基于权利要求1-2任一所述的全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法，其特征在于，包括：

步骤一，获取记录高速铁路环境状态的前向运动视频；

步骤二，基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路运行环境的左、右全景图，作为防护栏全景图；

步骤三，按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定位，F(j)＝1处表示防护栏的位置，F(j)＝0处表示背景的位置，得到0和1组成的二值码；j为防护栏全景图的列序号；

步骤四，对所述二值码进行行程编码；

步骤五，根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度D_cur；

步骤六，根据所述相邻两护栏之间的背景区域的像素宽度D_cur与所述相邻两护栏之间的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果；

步骤七，输出所述判断结果。

4.根据权利要求3所述的方法，其特征在于，所述步骤六包括：

当D_cur大于k·d时，则所述判断结果为：所述相邻两护栏存在缺损；其中，k为经验调节参数。

5.根据权利要求3所述的方法，其特征在于，所述步骤二包括：

从所述前向运动视频中提取帧数为N的视频图像序列；

按照经由消失点确定的铁路场景结构，在每帧视频图像中设定外部采样矩形OR_m；

按照列车的速度,在每帧视频图像中设定内部采样矩形IR_m；

将每帧视频图像的由所述外部采样矩形OR_m和所述内部采样矩形IR_m组成的矩形环状采样环带，分割为四个条带拼接区域S_t,S_b,S_l,S_r；其中，S_t,S_b,S_l,S_r分别为天空、钢轨、左侧护栏和右侧护栏区域；

将每帧视频图像的所述四个条带拼接区域S_t,S_b,S_l,S_r通过图像卷绕，校正为规则的矩形条带S_t',S_b',S_l',S_r'；

将2×N个校正过的所述矩形条带S_l',S_r'，按照各自的采样平面分别进行拼合，生成铁路场景左、右全景图。

6.根据权利要求5所述的方法，其特征在于，确定所述消失点的步骤具体为：

消失点在图像坐标系中的坐标为(x₀,y₀)^T；第i条线段的解析式为x+k_iy+b_i＝0，k_i为第i条线段的斜率，b_i为截距；权值w_i是第i条线段的长；N为防护栏全景图中像素的总列数；

$x_0=\frac{g_1{m}_{22}-g_2{m}_{12}}{m_{11}{m}_{22}-m_{12}^2},y_0=\frac{g_2{m}_{11}-g_1{m}_{12}}{m_{11}{m}_{22}-m_{12}^2};$

其中，

$m_{11}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i}{1+k_i^2},m_{12}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i}{1+k_i^2},m_{22}=\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i^2}{1+k_i^2},$

$g_1=-\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{b}_i}{1+k_i^2},g_2=-\underset{i=1}{\overset{N}{\&Sigma;}}\frac{w_i{k}_i{b}_i}{1+k_i^2}.$

7.根据权利要求1所述的方法，其特征在于，所述步骤三包括：

对于防护栏全景图的每一列j,计算灰度均值M(1,j)、标准差V(1,j)、和梯度均值G(1,j)；j＝1,…,N；N为防护栏全景图中像素的总列数；

使用F(j)最大熵，计算分割阈值(ε^*,ξ^*,η^*)；F(j)为所述防护栏全景图中提取的竖直方向上每列像素的特征分布；

根据所述分割阈值(ε^*,ξ^*,η^*)，对F(j)进行二值化分割，将防护栏区域置为1，背景区域置为0；

其中，；M(1,j)为防护栏全景图中每列像素的灰度均值；

V(1,j)为防护栏全景图中每列像素的灰度方差；G(1,j)为防护栏全景图中每列像素的梯度均值。

8.根据权利要求7所述的方法，其特征在于，

$M(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\mathrm{\&Sigma;}}}p(i,j);$

$V(1,j)=\frac{1}{b_h-t_h}\underset{i=t_h}{\overset{b_h}{\&Sigma;}}{\left(p\right(i,j)-M(1,j\left)\right)}^2;$

$G\left(1,j\right)=\frac{1}{t_h-b_h}\underset{i=b_h}{\overset{t_h}{\mathrm{\&Sigma;}}}\sqrt{{\left(p\left(i+1,j\right)-p\left(i,j\right)\right)}^2+{\left(p\left(i,j+1\right)-p\left(i,j\right)\right)}^2};$

其中，p(i,j)为防护栏全景图中像素点(i,j)的灰度值，t_h,b_h分别为防护栏的顶部和底部在防护栏全景图中的坐标位置。