CN106023076A - 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 - Google Patents
全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 Download PDFInfo
- Publication number
- CN106023076A CN106023076A CN201610312137.XA CN201610312137A CN106023076A CN 106023076 A CN106023076 A CN 106023076A CN 201610312137 A CN201610312137 A CN 201610312137A CN 106023076 A CN106023076 A CN 106023076A
- Authority
- CN
- China
- Prior art keywords
- guard rail
- panorama sketch
- sigma
- video
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000007547 defect Effects 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims description 33
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006378 damage Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000004568 cement Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229910052742 iron Inorganic materials 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于虚拟采样通道模型的全景图拼接方法和全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法。所述检测方法,包括:获取记录高速铁路环境状态的前向运动视频;基于虚拟采样通道模型的全景图拼接方法,将所述前向运动视频转换为铁路运行环境的左、右全景图,作为防护栏全景图;按照最大化熵分割原理,对所述防护栏全景图中的护栏和背景的位置进行定位,得到0和1组成的二值码;对所述二值码进行行程编码;根据所述行程编码,计算相邻两护栏之间的背景区域的像素宽度Dcur;根据所述相邻两护栏之间的背景区域的像素宽度Dcur与所述相邻两护栏之间的正常像素间距d,判断相邻两护栏是否存在缺损。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法。
背景技术
安全是高速铁路发展的基础和前提。影响高速铁路安全的因素很多,涉及到人、列车、轨道及行车环境以及它们之间的耦合效应。为了保证高速铁路行车安全,要求高速铁路运行环境必须实现全程封闭。高速铁路沿线加装防护栏是实现封闭环境的一种手段。
为了监测人为破坏或攀爬侵入防护栏以内,以及监测封闭环境内信号设备和供电***等基础设施的完好情况,目前,主要采用固定式视频设备进行监控。例如,在京沪高速铁路上,将400余个视频监控设备安装在京沪高速铁路路基、路口、桥梁、公跨铁、咽喉区等部位,保证车辆安全运行。
在通常的视频监控***中,摄像设备处于固定静止状态,被监控对象可能处于运动状态。采用视频序列中目标和背景的相对运动来检测目标的状况是常用的一种运动目标检测方法,其中主要有:背景减除法、时间差分法和光流法(Optical flow)等检测方法。该类方法的优点在于无需训练,可以在线进行检测;而缺点是只能寻找出相应目标,而无法判明检测区域为具体何种目标,需要后期进一步判断。
背景减除法主要取决于对背景图像建模的准确度,但是在实际环境中,由于环境变化等因素影响,加剧了背景的提取与更新的难度,为准确提取目标增加了难度。因此,目前该类方法大多采用统计学习方法对连续视频帧进行分析、背景建模,并随着时间的推移在线更新背景模型,然后再通过当前帧和背景模型之间的差异来检测运动区域。
时间差分方法是一种相对简单、运算量较小的方法,通过计算视频序列的前后两帧对应位置的像素差,若大于设定的阈值,则认为是目标像素,否则为背景像素。光流法采用运动目标的向量会随着时间变化的特性来检测运动目标。该方法的优点是即使在摄像机运动的情况下也可以检测出运动目标。它的主要缺点:对噪声比较敏感,计算量大,不适合实时性要求较高的场合。
但是,固定点监控方式受到采集视野的限制,不能掌控线路及沿线全部情况,因此,利用安装在高速综合检测列车的车端环境监视设备,监视车前方线路环境及沿线两侧防护栏状态是一种有效的方法。
国际上采用专用的高速综合检测列车来完成影响列车运行安全的检测任务。检测内容一般包括:接触网几何、接触线磨耗、弓网作用、电气参数、轨距、轨道几何、钢轨断面及波浪磨耗、车体及轴箱加速度、轮轨作用力、轨道和转向架、通信检测和定位等。除此之外,国内外的高速综合检测列车在其前部和后部都装有作为行车记录仪的视频设备,以前向运动视频的方式用来获取沿途环境状况信息,为后期人工检测铁路沿线环境是否存在异常状态提供依据。如何从获取的大量视频图像中快速获取影响环境封闭性以及异物或线路内设备异常侵限的信息,并进行正确预警,是高速铁路亟待解决的问题。
发明内容
本发明的实施例提供了一种全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法,将海量的视频数据以轻量级的全景图格式进行无损的信息抽取,降低了视频数据形式的存储和访问开销。
为了实现上述目的,本发明采取了如下技术方案:
一种基于虚拟采样通道模型的全景图拼接方法,包括:
获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提取帧数为N的视频图像序列;
按照经由消失点确定的铁路场景结构,在每帧图像中设定外部采样矩形ORm;
按照列车的速度,在每帧图像中设定内部采样矩形IRm;
将由每帧图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采样环带,分割为四个条带拼接区域St,Sb,Sl,Sr;
将每帧图像的所述四个条带拼接区域St,Sb,Sl,Sr通过图像卷绕,校正为规则的矩形条带St',Sb',Sl',Sr';
将4×N个校正过的所述矩形条带St',Sb',Sl',Sr',按照各自的采样平面分别进行拼合,生成铁路场景4个平面的全景图。
一种基于所述的全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法,包括:
步骤一,获取记录高速铁路环境状态的前向运动视频;
步骤二,基于虚拟采样通道模型的全景图拼接方法,将所述前向运动视频转换为铁路运行环境的左、右全景图,作为防护栏全景图;
步骤三,按照最大化熵分割原理,对所述防护栏全景图中的护栏和背景的位置进行定位,F(j)=1处表示防护栏的位置,F(j)=0处表示背景的位置,得到0和1组成的二值码;j为防护栏全景图的列序号;
步骤四,对所述二值码进行行程编码;
步骤五,根据所述行程编码,计算相邻两护栏之间的背景区域的像素宽度Dcur;
步骤六,根据所述相邻两护栏之间的背景区域的像素宽度Dcur与所述相邻两护栏之间的正常像素间距d,判断所述相邻两护栏是否存在缺损,生成判断结果;
步骤七,输出所述判断结果。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例中,将海量的视频数据以轻量级的全景图格式进行无损的信息抽取,降低了视频数据形式的存储和访问开销。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所述的基于虚拟采样通道模型的全景图拼接方法的流程示意图;
图2为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法;
图3为本发明中高速铁路场景采样环几何结构;
图4为本发明中相邻两帧之间的图像配准;
图5为本发明中全景图中像素列的三维特征F(j)的直方图分布;
图6为本发明中基于均值-方差-梯度的阈值分割;
图7为本发明中护栏全景图的行程编码表示;
图8为本发明中从封闭铁路环境中产生的全景图:(a)左侧全景图;(b)右侧全景图;(c)底部全景图;(d)上部全景图
图9为本发明中综合检测列车采集的视频图像:(a)护栏无缺损;(b)护栏有缺损
图10为本发明中部分铁路全景图:(a)铁路左侧的全景图;(b)从(a)中截取的防护栏全景图
图11为本发明中护栏全景图的二值化分割结果:(a)灰度一维直方图最大熵阈值分割;(b)灰度-梯度(GLGM)二维直方图最大熵阈值分割;(c)本发明提出的结合灰度均值-方差-梯度的三维直方图最大熵阈值分割
图12为本发明中高铁护栏全景图的二值化分割结果:(a)高速铁路的护栏全景图;(b)灰度一维直方图最大熵阈值分割;(c)灰度-梯度(GLGM)二维直方图最大熵阈值分割;(d)本发明提出的结合灰度均值-方差-梯度的三维直方图最大熵阈值分割
图13为本发明中高速铁路防护栏缺损快速检测方法步骤流程图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图1所述,为本发明所述的一种基于虚拟采样通道模型的全景图拼接方法,包括:
步骤11,获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提取帧数为N的视频图像序列;
步骤12,按照经由消失点确定的铁路场景结构,在每帧图像中设定外部采样矩形ORm;
步骤13,按照列车的速度,在每帧图像中设定内部采样矩形IRm;
步骤14,将由每帧图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采样环带,分割为四个条带拼接区域St,Sb,Sl,Sr;
步骤15,将每帧图像的所述四个条带拼接区域St,Sb,Sl,Sr通过图像卷绕,校正为规则的矩形条带St',Sb',Sl',Sr';
步骤16,将4×N个校正过的所述矩形条带St',Sb',Sl',Sr',按照各自的采样平面分别进行拼合,生成铁路场景4个平面的全景图。
确定所述消失点的步骤具体为:
消失点在图像坐标系中的坐标为(x0,y0)T;第i条线段的解析式为x+kiy+bi=0,ki为第i条线段的斜率,bi为截距;权值wi是第i条线段的长;N为防护栏全景图中像素的总列数;
其中,
本发明实施例中,将海量的视频数据以轻量级的全景图格式进行无损的信息抽取,降低了视频数据形式的存储和访问开销,可以用于后续处理。
如图2所述,为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法,包括:
步骤21,获取记录高速铁路环境状态的前向运动视频;
步骤22,基于虚拟采样通道模型的全景图拼接方法,将所述前向运动视频转换为铁路运行环境的左、右全景图,作为防护栏全景图;
步骤23,按照最大化熵分割原理,对所述防护栏全景图中的护栏和背景的位置进行定位,F(j)=1处表示防护栏的位置,F(j)=0处表示背景的位置,得到0和1组成的二值码;j为防护栏全景图的列序号;
步骤24,对所述二值码进行行程编码;
步骤25,根据所述行程编码,计算相邻两护栏之间的背景区域的像素宽度Dcur;
步骤26,根据所述相邻两护栏之间的背景区域的像素宽度Dcur与所述相邻两护栏之间的正常像素间距d,判断所述相邻两护栏是否存在缺损,生成判断结果;其中,所述步骤26包括:判断Dcur是否大于k·d,其中,k为经验调节参数。
步骤27,输出所述判断结果。
本发明实施例中,将海量的视频数据以轻量级的全景图格式进行无损的信息抽取,降低了视频数据形式的存储和访问开销,而且,将视频转化为一种更适合于人工检视以及计算机分析处理的形式,解决了由前向运动视频到全景图的无失真快速转换。
所述步骤22包括:
从所述前向运动视频中提取帧数为N的视频图像序列;
按照经由消失点确定的铁路场景结构,在每帧图像中设定外部采样矩形ORm;
按照列车的速度,在每帧图像中设定内部采样矩形IRm;
将每帧图像的由所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采样环带,分割为四个条带拼接区域St,Sb,Sl,Sr;其中,St,Sb,Sl,Sr分别为天空、钢轨、左侧护栏和右侧护栏区域;
将每帧图像的所述四个条带拼接区域St,Sb,Sl,Sr通过图像卷绕,校正为规则的矩形条带St',Sb',Sl',Sr';
将2×N个校正过的所述矩形条带Sl',Sr',按照各自的采样平面分别进行拼合,生成铁路场景左、右全景图。
确定所述消失点的步骤具体为:
消失点在图像坐标系中的坐标为(x0,y0)T;第i条线段的解析式为x+kiy+bi=0,ki为第i条线段的斜率,bi为截距;权值wi是第i条线段的长;N为防护栏全景图中像素的总列数;
其中,
所述步骤23包括:
对于防护栏全景图的每一列j,计算灰度均值M(1,j)、标准差V(1,j)、和梯度均值G(1,j);j=1,…,N;N为防护栏全景图中像素的总列数;
使用F(j)最大熵,计算分割阈值(ε*,ξ*,η*);F(j)为所述防护栏全景图中提取的竖直方向上每列像素的特征分布;
根据所述分割阈值(ε*,ξ*,η*),对F(j)进行二值化分割,将防护栏区域置为1,背景区域置为0;
其中,;V(1,j)为防护栏全景图中每列像素的灰度均值;
M(1,j)为防护栏全景图中每列像素的灰度方差;G(1,j)为防护栏全景图中每列像素的梯度均值。
其中,p(i,j)为防护栏全景图中像素点(i,j)的灰度值,th,bh分别为防护栏的顶部和底部在防护栏全景图中的坐标位置。
以下描述本发明的另一实施例。
本发明以检测高速铁路封闭运行环境的封闭性为对象,提供一种利用前向运动视频的全景图拼接,并通过全景图特征检测,实现高速铁路防护栏缺损的动态检测。
本发明技术方案是:将记录高速铁路环境状态的前向运动视频通过虚拟通道采样拼接技术转换为铁路环境全景图;对全景图进行特征提取;依据特征提取后得到的特征行程编码,给出铁路防护栏缺损状态判断和评估。也就是说,将视频图像变换为一种静态全景图格式,即在相机光轴与运动方向一致条件下生成前向运动视频全景图;基于检测区域几何结构生成前向运动视频虚拟采样通道模型;基于防护栏全景图的均值-方差-梯度(MVG)三维直方图最大熵阈值分割以及基于行程编码的护栏检测。
具体包含以下步骤:
步骤1,基于铁路线路先验定位前向运动视频,虚拟矩形采样通道的步骤;
步骤2,分割前向运动视频帧为天、地、左、右四部分图像的步骤;
步骤3,基于前向运动视频帧的全景图拼接计算的步骤;
步骤4,对防护栏全景图特征计算的步骤;
步骤5,基于行程编码的护栏检测步骤。
其中,步骤1具体包括:
从视频序列中提取一组环带序列{S1,S2,S3,…,SN},并满足相邻的全景环带对物理空间的采样之间既不重叠又无间隔,即“完全采样”。将环带序列进行几何修正后拼接在一起生成全景图像。
基于铁路线路先验,定位前向运动视频虚拟通道,是以所关注深度层的物体构建“完全采样”的虚拟矩形采样通道。虚拟矩形采样通道的构建基于以下客观近似:
(1)铁路设施场景包括:两侧的防护栏或声屏障,地面的钢轨以及悬挂在上方的接触网等,同类的设施都视为近似位于同一平面,且平面距相机的距离已知;
(2)铁路设施场景的各平面为距离相机最近的深度层,生成的全景图中不存在因欠采样而引起的铁路设施信息缺失。
步骤2具体包括:
(1)确定消失点
利用LSD(line segment detector)线段检测算法对视频序列的视频图像进行检查,将所有检测出的线段分成两组,第一组为与水平轴夹角在[-60°,60°]范围内的线段,用来采用最小二乘法估计平行于钢轨的线段形成的消失点;第二组为与竖直轴夹角在[-5°,5°]范围内的线段,用来估计线杆的位置,以便划分铁路场景。
设消失点在图像坐标系中的坐标为(x0,y0)T,它与第i条线段x+kiy+bi=0(ki为斜率,bi为截距)的距离为
其中根据最小二乘法,最小化点(x0,y0)T与所有线段的之间距离的平方和,即
其中,权值wi是第i条线段的长。
对式(2)分别求x0和y0的导数,并令其为零,得到如下线性方程组,
这里
N为护栏全景图中像素的总列数;
式(3)的解为,
(x0,y0)就是消失点的最优估计。为了提高估计消失点的准确性,采用交叉迭代的方法剔除一些“错误”的线段。
(2)划分天、地、左、右四部分。
由钢轨、接触网以及防护栏或声屏障构成的虚拟矩形采样通道长方体结构具有固定的几何结构。依据场景的虚拟矩形采样通道的形状,确定选定采样环位置(图3为高速铁路的场景采样环)。
分别连接消失点Q到采样环长方形的四个顶点,被这四条连线分割的四个部分就是天、地、左、右四个部分。
步骤3.基于前向运动视频帧的全景图拼接计算。
如图4所示,基于消失点检测和摄像机运动信息图像配准过程如下:
(1)将关注的铁路场景,即护栏、接触网、声屏障、钢轨所在的位置构成一个虚拟矩形采样通道,并在虚拟矩形采样通道进行“完全采样”。
(2)给定一段帧数为N的视频图像序列{I1,I2,…,IN-1,IN},在每帧图像中选取拼接区域,即确定外部矩形ORm:AmBmCmDm以及内部矩形IRm:A′mB′mC′mD′m。
(3)按照消失点确定的场景结构,预先指定外部矩形ORm:AmBmCmDm位置,且在每一帧中所处的位置都相同。经过消失点Q引出四条分别经过图像左右两侧电杆的顶部和底部的射线,这四条射线将场景分割为天空、钢轨、左侧护栏和右侧护栏四个部分(即上面的天、地、左、右四个部分)。外部矩形的四个顶点Am、Bm、Cm、Dm应分别落在四条射线上,为此可以确保生成的上、下、左、右四场景的全景图内容互不重叠,避免错误采样,同时也简化了虚拟场景绘制的过程。再者,由于摄像机的运动方向与钢轨平行,因此图像中像素点光流的膨胀中心(Focus of Expansion,FOE)与图像中两条钢轨在远处形成的消失点Q重合。这样外部矩形的四个顶点的移动方向,即外部矩形ORm随着时间帧的缩放方向就经消失点Q唯一确定,记作:
(4)设列车速度为V,摄像机的帧速为R,则相邻两帧之间空间采样的距离为V/R。若相机的内部参数已知,则通过相应的几何计算,即可求得图像中像素的移动速度即图像速度v。
(5)得到第m帧中外部矩形ORm:AmBmCmDm的缩放方向以及图像速度v后,该外部矩形在第m-1帧中对应的坐标位置可由直接求得。
(6)第m-1帧中的外部矩形ORm-1和内部矩形IRm-1构成了矩形环状的拼接区域Sm,将Sm沿着外部矩形顶点的缩放方向分割为4块梯形的条带St、Sb、Sl、Sr,分别为天空、钢轨、左侧护栏和右侧护栏区域。
(7)利用图像卷绕(Image Wrapping),对构造的条带St、Sb、Sl、Sr进行几何变换,从而将不规则的梯形条带映射为规则的矩形条带St'、Sb'、Sl'、Sr'。对每帧图像重复以上过程,得到四组条带序列,将这些序列分别依次拼接起来就得到了全景图。本发明涉及左、右防护栏的检测,为此仅用到矩形条带Sl'、Sr'拼接得到的铁路运行环境左、右全景图,即防护栏全景图。
步骤4.防护栏全景图特征计算。
令p(i,j)为防护栏全景图中像素点(i,j)的灰度值,th,bh分别为防护栏的顶部和底部在全景图中的坐标位置,则每列像素的灰度均值、灰度方差以及梯度均值分别记作
沿着防护栏全景图竖直方向进行灰度和梯度特征提取后,得到
{F(j)}={(x,y)}={(M(1,j),V(1,j),G(1,j))} (9)
这里1≤j≤N,N为防护栏全景图中像素的总列数,F(j)表示每列像素的三维特征分布。
防护栏处的灰度统计特征满足:M(1,j)<ε,V(1,j)<ξ,G(1,j)<η。这里ε,ξ和η为用于分割防护栏的前景区域即定位防护栏位置的分割阈值。
从防护栏全景图中提取的竖直方向上每列像素的特征分布F(j)如图5所示。
若给定任意一个阈值(ε,ξ,η),来对护栏防护栏的特征分布F(j)进行分割,则三维特征F(j)的空间分布被(ε,ξ,η)划分为8个特征子区域(如图6所示),记作:
各防护栏在竖直方向上具有近似的亮度值以及均匀的亮度分布,而背景区域则是一些亮度不规则分布的场景。这导致了防护栏位置的特征大多集中于R1区域,而背景的特征大多集中于R8区域。虽然其它的6个区域也包含了部分的护栏和背景信息,为了简化计算过程,忽略这些次要特征区域的实验结果表明对定位结果并无大的影响。
F(j)中任意一个特征向量位于护栏区域R1或者背景区域R8的概率分别为PF(ε,ξ,η)和PB(ε,ξ,η);
这里,pxyz为图像中的一像素点位于前景或背景中的概率。
且满足
PF(ε,ξ,η)+PB(ε,ξ,η)≈1 (13)
根据熵的定义,护栏区域与背景区域的三维熵分别为
F(j)的总体三维熵为
H(ε,ξ,η)=HF(ε,ξ,η)+HB(ε,ξ,η) (16)
由最大熵分割原理,能够使上式H(ε,ξ,η)取得最大值的三元组(ε*,ξ*,η*)就是所求的最佳分割阈值,即
根据阈值(ε*,ξ*,η*)对F(j)进行二值化分割,将防护栏区域置为1,背景区域置为0,即
步骤5.基于行程编码的护栏检测
按照最大化熵分割原理,可将铁路场景中的护栏和背景位置定位,F(j)=1处表示防护栏的位置,F(j)=0处表示背景的位置。如图5所示,白色区域(值为1)表示防护栏,而黑色区域(值为0)表示背景。对根据阈值分割方法得到的一连串0和1组成的二值码进行行程编码。
若护栏存在缺损,则相邻两防护栏之间的背景区域的像素宽度Dcur必然大于防护栏之间的正常像素间距d,因此若Dcur>k·d(k为经验调节参数),则可以判定该区域存在缺损。
以下描述本发明的另一实施例。
实施例1:一种新的基于前向运动视频虚拟矩形采样通道模型的全景图拼接方法。
铁路全景图的获取包含以下三个步骤:前向视频的采集、构造拼接区域、条带拼接。
依据虚拟矩形采样通道模型生成铁路场景全景图的算法如下算法1所示。
如图6所示,为高速条件下(150km/h)采集的低质视频(720×576)生成的全景图结果。本发明提出的方法可以生成令人满意的全景图像。如近处的防护栏和电杆没有丢失信息且失真较小。远处的电杆由于“过采样”发生了明显的拉伸扭曲,但这在实际检测中是不被关心的部分。
实施例2:基于全景图拼接的护栏检测。
如图9所示,为综合检测列车采集的前向运动视频图像。列车保持相对匀速,摄像机的采集帧率为25帧/秒。图9(a)为防护栏无缺损的铁路场景,图9(b)为存在缺损的铁路场景。
生成的部分铁路全景图(左侧)如图10(a)所示,图10(b)为从图10(a)中提取的部分防护栏全景图(i∈[405,490],j∈[2500,3000],其中,i为像素的行坐标,j为列坐标)。
按照最大化熵分割原理实现的防护栏防护栏定位算法如下:
图11为本发明提出的三维直方图最大化熵分割法与一维灰度直方图分割法以及二维灰度-梯度直方图分割法的对比结果。图11(a)为仅根据灰度一维直方图最大熵阈值分割的结果,可以观察到许多背景区域都被错误分割为防护栏,这将导致检测漏报。图11(b)为根据灰度-梯度(GLGM)二维直方图最大熵阈值分割的结果,可以观察到列坐标2770位置处的防护栏被错误分割为背景,这将导致检测误报。图11(c)为基于本发明提出的三维直方图分割结果,通过与图10(b)中所示的护栏实际位置相比较,可以看出三维直方图分割的结果最为准确。
在提取到护栏的位置后,对二值码进行行程编码,以达到护栏信息的轻量级存储与访问目的。之后使用算法3从护栏全景图行程编码中快速识别防护栏的破损位置。如图11(c)所示,[2500,3500]的像素范围内存在两处明显的护栏缺损的区域,分别位于区间[3000,3138]和[3290,3462]处。
实验视频为avi格式,时长约1小时,数据量为1.35GB,像素总数为(1024×768)/帧×85500帧。利用全景拼接生成了数据量为84MB的jpg格式的图像,像素总数为267500×600(水平方向的像素总数×竖直方向的像素总数)。将全景图中护栏的前景和背景区域仅用单字节的数字来表示,最终得到8917位数字编码(37 3 41 3 33 2 42 3……),数据量仅为17.4KB。因此,本发明实现了铁路护栏的数据量从GB级——MB级——KB级的多级压缩提取,克服了因视频数据量大,信息存储与检索困难而造成的检测算法的应用瓶颈。
本发明给出了基于全景图行程编码检测防护栏防护栏的缺损位置的算法。
由于列车的行驶行程很长,整个防护栏全景图的光照因受天气,环境,朝向等因素影响会出现变化,因此,有必要将防护栏全景图分割成K个子图,并为每幅子图计算一合适的局部阈值(εi,ξi,ηi),这里i=1,2,3,…,K。
通过现场多次人工目视检测,确定该段线路中的护栏实际存在38处缺损,记作GT=38。基于不同阈值分割方法的检测结果对比如表1所示,通过与护栏缺损的真实状况对比发现,本发明提出的方法正确地检出了36处缺损(TP=36);有3处正常的防护栏位置被错误的检为缺损(FP=3);有两处漏掉的破损没有被检出(FN=2)。这里使用检测准确率和召回率来验证检测方法的有效性,在检测结果对比中基于本发明提出的阈值分割方法取得了92.3%的准确率和94.7%的召回率,优于其它分割算法的检测结果。
表1不同阈值分割方法的检测结果对比
为了进一步验证结合多特征MVG三维直方图的最大熵阈值分割方法的适用性,我们又对高速铁路的另一类防护栏——白色的水泥防护栏进行同样的实验。白色的水泥防护栏与图10(b)中所示的色泽暗淡的铁质护栏不同,因此一般情况下,防护栏区域的亮度反而要比背景区域高一些。如图12(d)所示,为高速铁路的防护栏全景图的分割结果,通过与图12(a)中的防护栏全景图相对比,可以发现本发明提出的分割算法无论是针对金属防护栏还是水泥防护栏,都取得了令人满意的分割结果。
图13为高速铁路防护栏缺损快速检测方法的步骤流程图。
其中,一种基于前向运动视频全景图的高速铁路防护栏检测方法,包括以下步骤:
依据铁路线路先验,定位前向运动视频虚拟矩形采样通道位置后,将前向运动视频帧分割为天、地、左、右四部分,并分别对四部分进行全景图拼接。也就是说,以全景图格式将视频数据进行无损的信息抽取,得到了轻量级检测图像信息,相对于视频数据不仅降低了的存储和访问开销,而且将视频转化为一种更适合于人工视检或计算机分析处理的形式。
基于前向运动视频帧的全景图拼接计算,依靠场景的几何结构先验和相机的运动速度信息,快速得到采样环的位置,实现拼接图像之间的快速对齐,生成左右防护栏全景图,其整体显示效果明显优于特征匹配的L-K光流法。也就是说,利用前向运动视频虚拟采样通道模型,克服了前向运动视频全景图窄带拼接的静态模糊,并利用区域几何结构的先验,构建快速的前向运动视频的全景拼接算法。
对左右防护栏全景图采用MVG三维直方图的最大熵阈值分割方法进行分割,分割出全景图中护栏的前景和背景区域,实现防护栏位置的自动定位。对提取到防护栏位置二值码进行行程编码,实现了护栏信息的轻量级存储与访问,根据算法3从护栏全景图的行程编码中快速识别破损防护栏的位置。
也就是说,基于护栏全景图(Fence panorama)的护栏缺损的自动化检测方法,利用基于MVG三维直方图的最大熵阈值分割方法自动提取护栏中竖直防护栏的位置,使其与背景图像分离;并将护栏全景图分离后的二值码用行程编码压缩,压缩的编码格式包含了护栏的全部位置信息,相应的解码算法从编码中恢复护栏的位置,并实现了护栏的缺失检测。
本发明具有以下有益效果:
(1)本发明提出的一种新的全景图拼接方法,该方法是一种基于前向运动视频虚拟采样通道模型的全景图拼接方法,填补了相机光轴与运动方向一致条件下的前向运动视频全景图生成的空白;可以广泛应用于轨道交通、公路等运载工具的自动驾驶、安全检查、高压缩比的行车记录,以及高速铁路钢轨平直度检测、异物侵限检测、铁路沿线山体滑坡检测等。由于在某些地段使用的声屏障用于减低对周边环境噪音干扰,同时具有防护栏的功能,但在物理结构上与防护栏有较大区别,因此还可以根据不同类型的防护栏设计不同的缺损状态检测算法。
(2)本发明的基于前向运动视频的全景图的自动化视觉的检测方法,将海量的视频数据以轻量级的全景图格式进行无损的信息抽取,不仅降低了视频数据形式的存储和访问开销,而且将视频转化为一种更适合于人工检视以及计算机分析处理的形式,解决了由前向运动视频到全景图的无失真快速转换。另外,以全景图的形式存储视频信息节省了大量的存储空间,以全景图的形式代替前向运动视频图像作为检测对象,可实现高速铁路封闭环境的快速检测,满足实际需求。
(3)前向运动的视频拍摄作为一种移动式的场景获取方式,由于其视野宽阔,景深远,空间覆盖面广,已经被广泛应用于移动式的场景记录和监控任务中。本发明针对高铁封闭运行环境状态检测,提出了一种基于前向运动的视频的,利用计算机视觉技术的高速铁路防护栏缺损状态自动快速检测方法,为利用高速综合检测列车来完成高速铁路封闭运行环境状态检测提供了一种新的高效手段。
(4)本发明基于检测区域几何结构的前向运动视频虚拟采样通道模型,克服了前向运动视频窄带拼接的静态模糊,并利用区域几何结构的先验,构建快速的前向运动视频的全景拼接算法,以铁路防护栏缺损检测为应用研究背景,提出了相应的基于全景图的自动化视觉检测算法。高速铁路环境检测是一个定期、常态的工作,定期反复获取环境视频图像。通过特征检测或场景图像比对获得异常状态的信息。本发明针对高速铁路环境检测提出了基于高速前向运动视频的一种新的全景图拼接技术。
(5)本发明基于前向运动视频的虚拟矩形采样通道全景图拼接方法,首次实现了相机光轴与运动方向一致条件下的前向运动视频全景图生成;采用虚拟矩形采样通道方式,克服了前向运动视频全景图静态失真问题;基于前向运动视频虚拟矩形采样通道的全景图生成,对于设备没有特殊要求,一般行车记录仪记录的视频都可以拼接为多种不同用途全景图。
Claims (8)
1.一种基于虚拟采样通道模型的全景图拼接方法,其特征在于,包括:
获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提取帧数为N的视频图像序列;
按照经由消失点确定的铁路场景结构,在每帧视频图像中设定外部采样矩形ORm;
按照列车的速度,在每帧视频图像中设定内部采样矩形IRm;
将由每帧视频图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采样环带,分割为四个条带拼接区域St,Sb,Sl,Sr;
将每帧视频图像的所述四个条带拼接区域St,Sb,Sl,Sr通过图像卷绕,校正为规则的矩形条带St',Sb',Sl',Sr';
将4×N个校正过的所述矩形条带St',Sb',Sl',Sr',按照各自的采样平面分别进行拼合,生成铁路场景4个平面的全景图。
2.根据权利要求1所述的方法,其特征在于,确定所述消失点的步骤具体为:
消失点在图像坐标系中的坐标为(x0,y0)T;第i条线段的解析式为x+kiy+bi=0,其中,ki为第i条线段的斜率,bi为截距;权值wi是第i条线段的长;N为防护栏全景图中像素的总列数;
其中,
3.一种基于权利要求1-2任一所述的全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法,其特征在于,包括:
步骤一,获取记录高速铁路环境状态的前向运动视频;
步骤二,基于虚拟采样通道模型的全景图拼接方法,将所述前向运动视频转换为铁路运行环境的左、右全景图,作为防护栏全景图;
步骤三,按照最大化熵分割原理,对所述防护栏全景图中的护栏和背景的位置进行定位,F(j)=1处表示防护栏的位置,F(j)=0处表示背景的位置,得到0和1组成的二值码;j为防护栏全景图的列序号;
步骤四,对所述二值码进行行程编码;
步骤五,根据所述行程编码,计算相邻两护栏之间的背景区域的像素宽度Dcur;
步骤六,根据所述相邻两护栏之间的背景区域的像素宽度Dcur与所述相邻两护栏之间的正常像素间距d,判断所述相邻两护栏是否存在缺损,生成判断结果;
步骤七,输出所述判断结果。
4.根据权利要求3所述的方法,其特征在于,所述步骤六包括:
当Dcur大于k·d时,则所述判断结果为:所述相邻两护栏存在缺损;其中,k为经验调节参数。
5.根据权利要求3所述的方法,其特征在于,所述步骤二包括:
从所述前向运动视频中提取帧数为N的视频图像序列;
按照经由消失点确定的铁路场景结构,在每帧视频图像中设定外部采样矩形ORm;
按照列车的速度,在每帧视频图像中设定内部采样矩形IRm;
将每帧视频图像的由所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采样环带,分割为四个条带拼接区域St,Sb,Sl,Sr;其中,St,Sb,Sl,Sr分别为天空、钢轨、左侧护栏和右侧护栏区域;
将每帧视频图像的所述四个条带拼接区域St,Sb,Sl,Sr通过图像卷绕,校正为规则的矩形条带St',Sb',Sl',Sr';
将2×N个校正过的所述矩形条带Sl',Sr',按照各自的采样平面分别进行拼合,生成铁路场景左、右全景图。
6.根据权利要求5所述的方法,其特征在于,确定所述消失点的步骤具体为:
消失点在图像坐标系中的坐标为(x0,y0)T;第i条线段的解析式为x+kiy+bi=0,ki为第i条线段的斜率,bi为截距;权值wi是第i条线段的长;N为防护栏全景图中像素的总列数;
其中,
7.根据权利要求1所述的方法,其特征在于,所述步骤三包括:
对于防护栏全景图的每一列j,计算灰度均值M(1,j)、标准差V(1,j)、和梯度均值G(1,j);j=1,…,N;N为防护栏全景图中像素的总列数;
使用F(j)最大熵,计算分割阈值(ε*,ξ*,η*);F(j)为所述防护栏全景图中提取的竖直方向上每列像素的特征分布;
根据所述分割阈值(ε*,ξ*,η*),对F(j)进行二值化分割,将防护栏区域置为1,背景区域置为0;
其中,;M(1,j)为防护栏全景图中每列像素的灰度均值;
V(1,j)为防护栏全景图中每列像素的灰度方差;G(1,j)为防护栏全景图中每列像素的梯度均值。
8.根据权利要求7所述的方法,其特征在于,
其中,p(i,j)为防护栏全景图中像素点(i,j)的灰度值,th,bh分别为防护栏的顶部和底部在防护栏全景图中的坐标位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610312137.XA CN106023076B (zh) | 2016-05-11 | 2016-05-11 | 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610312137.XA CN106023076B (zh) | 2016-05-11 | 2016-05-11 | 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106023076A true CN106023076A (zh) | 2016-10-12 |
CN106023076B CN106023076B (zh) | 2019-04-23 |
Family
ID=57099345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610312137.XA Expired - Fee Related CN106023076B (zh) | 2016-05-11 | 2016-05-11 | 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106023076B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709892A (zh) * | 2016-11-15 | 2017-05-24 | 昂纳自动化技术(深圳)有限公司 | 基于行程编码的任意结构元的快速区域膨胀算法及装置 |
CN106851398A (zh) * | 2017-03-10 | 2017-06-13 | 北京小鸟看看科技有限公司 | 全景视频文件的存储方法、播放方法、存储装置和播放器 |
CN107103578A (zh) * | 2017-03-28 | 2017-08-29 | 北京交通大学 | 一种利用高速铁路前向车载视频进行全景图拼接的方法 |
CN109842761A (zh) * | 2019-02-01 | 2019-06-04 | 中国社会科学院大学 | 前向运动视频的快速高清全景成像方法及装置 |
CN111241900A (zh) * | 2019-04-12 | 2020-06-05 | 泰州阿法光电科技有限公司 | 交通环境现场维护方法 |
CN112837341A (zh) * | 2021-01-26 | 2021-05-25 | 石家庄铁道大学 | 自适应时空域行人外观还原方法 |
US11210548B2 (en) | 2017-04-21 | 2021-12-28 | Kabushiki Kaisha Toshiba | Railroad track recognition device, program, and railroad track recognition method |
CN117532624A (zh) * | 2024-01-10 | 2024-02-09 | 南京东奇智能制造研究院有限公司 | 一种护栏板安装自动定位调准方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
CN103236160A (zh) * | 2013-04-07 | 2013-08-07 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测*** |
CN103985254A (zh) * | 2014-05-29 | 2014-08-13 | 四川川大智胜软件股份有限公司 | 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 |
CN105046649A (zh) * | 2015-06-30 | 2015-11-11 | 硅革科技(北京)有限公司 | 一种去除运动视频中运动物体的全景图拼接方法 |
-
2016
- 2016-05-11 CN CN201610312137.XA patent/CN106023076B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
CN103236160A (zh) * | 2013-04-07 | 2013-08-07 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测*** |
CN103985254A (zh) * | 2014-05-29 | 2014-08-13 | 四川川大智胜软件股份有限公司 | 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 |
CN105046649A (zh) * | 2015-06-30 | 2015-11-11 | 硅革科技(北京)有限公司 | 一种去除运动视频中运动物体的全景图拼接方法 |
Non-Patent Citations (5)
Title |
---|
SHENGCHUN WANG 等: "Railroad online: acquiring and visualizing route panoramas of rail scenes", 《VISUAL COMPUTER》 * |
SHENGCHUN WANG 等: "Rendering Railway Scenes in Cyberspace Based on Route Panoramas", 《2013 INTERNATIONAL CONFERENCE ON CYBERWORLDS》 * |
SHENGCHUN WANG 等: "ROUTE PANORAMA ACQUISITION AND RENDERING FOR HIGH-SPEED RAILWAY MONITORING", 《ICME 2013》 * |
王胜春 等: "移动车载视频的立体全景图生成方法", 《光学学报》 * |
高大龙 等: "基于列车前向运动视频的全景图拼接算法", 《山东大学学报(工学版)》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709892A (zh) * | 2016-11-15 | 2017-05-24 | 昂纳自动化技术(深圳)有限公司 | 基于行程编码的任意结构元的快速区域膨胀算法及装置 |
CN106851398A (zh) * | 2017-03-10 | 2017-06-13 | 北京小鸟看看科技有限公司 | 全景视频文件的存储方法、播放方法、存储装置和播放器 |
CN107103578A (zh) * | 2017-03-28 | 2017-08-29 | 北京交通大学 | 一种利用高速铁路前向车载视频进行全景图拼接的方法 |
CN107103578B (zh) * | 2017-03-28 | 2020-12-11 | 北京交通大学 | 一种利用高速铁路前向车载视频进行全景图拼接的方法 |
US11210548B2 (en) | 2017-04-21 | 2021-12-28 | Kabushiki Kaisha Toshiba | Railroad track recognition device, program, and railroad track recognition method |
CN109842761A (zh) * | 2019-02-01 | 2019-06-04 | 中国社会科学院大学 | 前向运动视频的快速高清全景成像方法及装置 |
CN111241900A (zh) * | 2019-04-12 | 2020-06-05 | 泰州阿法光电科技有限公司 | 交通环境现场维护方法 |
CN112837341A (zh) * | 2021-01-26 | 2021-05-25 | 石家庄铁道大学 | 自适应时空域行人外观还原方法 |
CN112837341B (zh) * | 2021-01-26 | 2022-05-03 | 石家庄铁道大学 | 自适应时空域行人外观还原方法 |
CN117532624A (zh) * | 2024-01-10 | 2024-02-09 | 南京东奇智能制造研究院有限公司 | 一种护栏板安装自动定位调准方法及*** |
CN117532624B (zh) * | 2024-01-10 | 2024-03-26 | 南京东奇智能制造研究院有限公司 | 一种护栏板安装自动定位调准方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN106023076B (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106023076A (zh) | 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法 | |
Banić et al. | Intelligent machine vision based railway infrastructure inspection and monitoring using UAV | |
CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
US10723373B2 (en) | Broken wheel detection system | |
CN109878552B (zh) | 基于机器视觉的轨道交通站台门与列车间异物监测装置 | |
CN108491758B (zh) | 一种轨道检测方法及机器人 | |
CN102129564B (zh) | 基于无人飞行器的接触网故障检测与诊断方法 | |
US20200302592A1 (en) | Method and apparatus for providing data and inspecting railroad track and key track components using a visual information system | |
CN109341580A (zh) | 钢轨廓形的追踪方法、***及装置 | |
CN111899288A (zh) | 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法 | |
US20190235126A1 (en) | Devices, systems, and methods for under vehicle surveillance | |
CN109766746A (zh) | 一种无人机航拍视频的轨道异物检测方法 | |
CN110633678B (zh) | 一种基于视频图像的快速高效的车流量计算方法 | |
JPWO2019111976A1 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
CN109448365A (zh) | 一种跨尺度空基平台区域道路交通***综合监视方法 | |
CN104866827A (zh) | 基于视频监控平台的人员翻越行为的检测方法 | |
CN102759347A (zh) | 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测*** | |
CN113011252B (zh) | 轨道异物侵限检测***及方法 | |
CN113034439B (zh) | 一种高速铁路声屏障缺损检测方法及装置 | |
Ketcham et al. | The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes | |
CN111723706A (zh) | 基于树莓派的厢式货车厢门开度监控装置及*** | |
US20200034626A1 (en) | Method for recognizing an object of a mobile unit | |
CN115600124A (zh) | 地铁隧道巡检***及巡检方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190423 Termination date: 20200511 |
|
CF01 | Termination of patent right due to non-payment of annual fee |