CN109064444B - 基于显著性分析的轨道板病害检测方法 - Google Patents

基于显著性分析的轨道板病害检测方法 Download PDF

Info

Publication number
CN109064444B
CN109064444B CN201810687093.8A CN201810687093A CN109064444B CN 109064444 B CN109064444 B CN 109064444B CN 201810687093 A CN201810687093 A CN 201810687093A CN 109064444 B CN109064444 B CN 109064444B
Authority
CN
China
Prior art keywords
frame
video
value
color
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810687093.8A
Other languages
English (en)
Other versions
CN109064444A (zh
Inventor
姚莉
吴琼颖
吴含前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810687093.8A priority Critical patent/CN109064444B/zh
Publication of CN109064444A publication Critical patent/CN109064444A/zh
Application granted granted Critical
Publication of CN109064444B publication Critical patent/CN109064444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性分析的轨道板病害检测方法,主要包括:(1)、对视频做光照预处理,并融合颜色、亮度、方向特征提取车载视频的空间显著性。(2)一方面对监测期轨道视频做稀疏采样,比较当前监测视频帧与对应的采样视频帧,选取变化较大的视频帧作为可靠帧。另一方面,选取相对上下帧来说,具有突变特征的轨道视频帧,作为可靠帧。(3)、通过融合空间显著性图和时间显著性图得到粗糙的时空显著图处理。对粗糙显著图考虑背景先验、中心先验以及空间紧密度因素,得到改进的时空显著性图。(4)、根据显著图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。本发明可以实时的检测出轨道病害。

Description

基于显著性分析的轨道板病害检测方法
技术领域
本发明涉及计算机视觉和图像处理领域,特别涉及一种基于显著性分析的轨道板病害检测方法。
背景技术
高速列车的的的顺利通行依赖着高质量的高速铁路轨道,因此,轨道质量直接关系着运营的安全。但是由于暴露在室外且受到各种环境的影响,高速铁路轨道病害频发。且高速铁路在近几十年才进行大规模投运,因此相关病害检测工作开展相对滞后,多地的病害检测工作甚至仍然需要采用代价较高的人为检测方式。近年来,智能检测***的不断发展使得智能轨道病害检测方法成为可能。中国采用激光摄像测量技术研发了GJ-6型轨道检测***,但是这些检测方法对于高速铁路轨道的表层病害检测的识别准确率不高。
目前国内外关于轨道病害检测方法还存在着有待解决的问题:
(1)人为检查以及传统地检测***不能很好地针对轨道病害特征做出及时地处理,花费大成本得到的结果并不能很好地显示病害结果。
(2)现有检测方法处理视频数据是对每帧视频帧进行检查处理,这样的方法不但复杂度比较高,运行比较耗时,很难应用到实时性要求高的场合,并且不能很好地突出重点病害区域。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于显著性分析的轨道板病害检测方法,该方法利用改进时空显著性图分析并检测轨道病害,并结合显著图对轨道病害进行识别分类。
技术方案:本发明所述的基于显著性分析的轨道板病害检测方法,其特征在于:该方法包括:
(1)获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一;
(2)采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图;
(3)对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧;
(4)对于步骤(1)预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧;
(5)采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图;
(6)将空间显著性图和时间显著图融合,得到粗糙时空显著图;
(7)对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图;
(8)根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
进一步的,步骤(1)具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
进一步的,步骤(3)具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散;
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量;
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA进行稀疏低秩矩阵分解,得到稀疏矩阵;
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
进一步的,步骤(3.3)具体包括:
(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;
(3.3.2)将划分得到的图像块中剔除位于边界的图像块;
(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;
(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
进一步的,步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;即形成一个10×10×10的立方体,其共有1000个点。
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散。
其中,投影的坐标转换公式为:
Figure GDA0003145613480000031
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,
Figure GDA0003145613480000032
为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数。
其中,因为10×10×10相对于使用显著块个数来说较大,为了防止颜色分布很稀疏的情况,对投影采用高斯球模型进行三维扩散,具体扩散公式为:
Figure GDA0003145613480000033
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为投影后位置pos上的颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
进一步的,步骤(4)具体包括:
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
(4.3)将每一帧与上一帧和下一帧的亮度差值、颜色差值和纹理差值进行归一化,得到该帧的整体特征差值
Figure GDA0003145613480000041
Figure GDA0003145613480000042
式中,
Figure GDA0003145613480000043
表示视频帧Pi与上下帧的整体特征差值,δL、δc、δT分别表示亮度、颜色和纹理特征的权重;
(4.4)将整体特征差值
Figure GDA0003145613480000044
大于预设阈值的视频帧认为发生特征突变,将发生特征突变的视频帧作为可靠帧。
进一步的,步骤(5)具体包括:
(5.1)获取所有可靠帧,并计算每一可靠帧与历史帧的偏差累加值ESUM,j以及与上下帧的整体特征差值
Figure GDA0003145613480000045
(5.2)采用自适应传递的方法,采用下式计算得到每一可靠帧的时间显著性值:
Figure GDA0003145613480000046
式中,Sj表示第j个可靠帧的时间显著性值,WSUM代表最终的归一化权重,且
Figure GDA0003145613480000047
Wk表示第k个可靠帧的权重值。
(5.3)所有可靠帧的时间显著性值形成时间显著图。
有益效果:本发明与现有技术相比,其显著优点是:
(1)、本发明提出了一种采用分析视频显著性,从而凸显轨道病害特征,达到智能轨道病害检测的效果。
(2)、本发明改进了传统的视频显著性算法,在保证提取显著病害区域的同时,提高了计算效率以及针对特定轨道病害的检测率。
(3)、本发明中将融合的粗糙时空显图进行优化,考虑背景先验因素、中心先验因素以及空间紧密度因素,得到更加符合人眼关注以及突出病害特征的结果图。
(4)、本发明中提出基于显著性加权模型的半监督分类方法,用以对病害进行识别分类。
附图说明
图1是本发明的一个实施例的流程示意图。
具体实施方式
本实施例提供了一种基于显著性分析的轨道板病害检测方法,如图1所示,该方法包括:
步骤一、获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一。该步骤具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
步骤二、采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图。
其主要步骤可以概括为三个主要的模块:
(2.1)局部特征的提取
首先,将输入视频图像表示为9层高斯金字塔。其中第0层为输入图像,1至8层图像由5×5的高斯滤波器对输入图像进行滤波和采样形成,大小分别为输入图像的1/2至1/256的范围。然后,对金字塔每一层分别提取各种亮度特征,亮度I、红色R、绿色G、蓝色B、黄色Y以及四个方向(分别为0°,45°,90°,135°),形成亮度金字塔、色度金字塔以及方向金字塔。其中,对颜色、亮度特征的提取,采用颜色直方图法、亮度直方图法分别反映图像中颜色和亮度的主要分布。
(2.2)多尺度-中心环绕对比度的计算
Itti算法为模拟中心-环绕结构,对各种特征分别在特征金字塔的不同尺度间作差。
假设中心对应于尺度c的特征图像素点(c∈[2,3,4]),周边区域对应于尺度s的特征图像素点(s=c+δ,δ∈[3,4])。由于不同尺度特征图的分辨率不同,因此需要进行插值操作使得两幅图像大小相同后,通过对两幅图像进行点对点作差,这一过程可以用θ表示。I(c,s)代表了亮度特征图,表示亮度的对比度。其他特征类似表达。于是可以得到中心(尺度c)和周围(尺度s)的特征对比度,用以量化中心与周围的局部方向特征对比。
I(c,s)=|I(c)|Θ|I(s)|
(2.3)对比图的融合
为将(2.2)种多个不同尺度和不同特征的特征图进行融合,Itti模型提出一个归一化的函数N(·)。首先对于每幅特征图,将图中的每个像素点的显著值归一化到一个区间[0,M],这样是为了消除因为不同特征的显著值分布的区间不同产生的影响;其次寻找特征图中的全局最大值M,计算所有其他局部最大值的平均值m;最后对特征图中的每个位置乘以(M-m)2。这样就将每幅特征图中潜在的显著区域位置进行了放大,使得那些位置的显著值相对于背景更突出。
先对每个特征的不同尺度的特征图进行归一化处理,形成一幅关于该特征的综合显著图,然后再将不同特征的显著图进行归一化处理获得最最后的视觉显著图。
步骤三、对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧。
本步骤将当前监测视频帧与历史视频同位置帧进行比较,此处采用稀疏采样对监测期视频进行采样,全局考虑轨道病害渐变的特征,对轨道病害具有针对性的处理。另外选取可靠帧可以减少计算量,从而提高计算效率。
本步骤具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
筛选显著块的具体过程为:(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;本实施例选择a=4。(3.3.2)将划分得到的图像块中剔除位于边界的图像块;(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
由于前景将会被包含在显著块中,接下来需要对这些显著快做处理。由于对于一个视频帧序列来说,其前景物体在整个视频序列中一般是不变的,所以他们在颜色空间的变化相对较小。因此,可以认为它们的前景部分颜色分布在整个视频序列中具有低秩的特点。那么,在视频序列中稀疏度较低的视频帧,可以认为其初步结果相对于周围的帧具有更高的准确度。
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散。
步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;即形成一个10×10×10的立方体,其共有1000个点。
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散。
其中,投影的坐标转换公式为:
Figure GDA0003145613480000071
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,
Figure GDA0003145613480000072
为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数。
其中,因为10×10×10相对于使用显著块个数来说较大,为了防止颜色分布很稀疏的情况,对投影采用高斯球模型进行三维扩散,具体扩散公式为:
Figure GDA0003145613480000081
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为位置pos上的颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量。
其中,因为三维空间颜色为10×10×10的,故而有1000个点,1000个点的统计值形成一个1000的一维向量。
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA(Robust Principal Component Analysis)进行稀疏低秩矩阵分解,得到稀疏矩阵;
例如,某个视频帧的有显著块3个,分别为K1,K2,K3,其对应的颜色分布向量分别为cl1,cl2,cl3,则形成的颜色矩阵为G=[cl1,cl2,cl3]。
其中,RPCA是矩阵分解方法,矩阵G=A+B,A为低秩部分,B为稀疏部分。
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
其中,
Figure GDA0003145613480000082
El表示第l个历史采样视频帧,LM是历史采样视频帧的个数。
步骤四、对于预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧。该步骤具体包括
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
(4.3)将每一帧与上一帧和下一帧的亮度差值、颜色差值和纹理差值进行归一化,得到该帧的整体特征差值
Figure GDA0003145613480000091
Figure GDA0003145613480000092
式中,
Figure GDA0003145613480000093
表示视频帧Pi与上下帧的整体特征差值,δL、δc、δT分别表示亮度、颜色和纹理特征的权重;
(4.4)将整体特征差值
Figure GDA0003145613480000094
大于预设阈值的视频帧认为发生特征突变,将发生特征突变的视频帧作为可靠帧。
步骤五、采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图。具体包括:
(5.1)获取所有可靠帧,并计算每一可靠帧与历史帧的偏差累加值ESUM,j以及与上下帧的整体特征差值
Figure GDA0003145613480000095
(5.2)采用自适应传递的方法,采用下式计算得到每一可靠帧的时间显著性值:
Figure GDA0003145613480000096
式中,Sj表示第j个可靠帧的时间显著性值,WSUM代表最终的归一化权重,且
Figure GDA0003145613480000097
Wk表示第k个可靠帧的权重值。
(5.3)所有可靠帧的时间显著性值形成时间显著图。
步骤六、将空间显著性图和时间显著图融合,得到粗糙时空显著图。
步骤七、对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图。
(1)背景先验因素:
在处理过程中,通过抑制背景区域是得到准确显著值的一个重要手段。我们可以通过衡量背景区域与其他区域的差异,差异越大显著性越高,反之显著性越低。提出采用马尔科夫吸收链的方法来计算各个超像素的背景先验值,将边缘超像素看作吸收节点,同时计算其他节点的平均吸收时间作为显著值。
马尔科夫过程分析是利用状态间的状态转移概率pij反映***状态的动态变化,表示从第i个状态经过一步转移到第j状态的概率。以状态转移概率为元素的矩阵称为马尔可夫链的一步状态转移概率矩阵,简称转移矩阵。若pii=1,则称i为吸收状态。那么至少具有一个吸收状态的马尔可夫链被称为吸收链。假设一个吸收链有r个吸收状态,t个转移状态。转移矩阵的标准形式可以表示为:
Figure GDA0003145613480000101
其中Q∈[0,1]t×t表示转移状态之间的转移概率,R∈[0,1]t×t表示从转移状态到吸收状态的转移概率。0表示r×t的零矩阵,I为吸收状态之间的转移概率,是一个单位矩阵。那么我们可以得到P的基本矩阵为:
N=(I-Q)-1
其中N中的元素nij可被看做链从转移状态i到转移状态j的期望时间,因此,在链中从每个转移状态出发最终到吸收态的期望时间可以表示为:
Y=N×c
其中c表示t维的单位列向量。定义邻近节点i与节点j之间边界的权重为:
wij=exp(-||xi-xj||/δ2)
其中xi与xj分别表示超像素i和j在CIELab空间的特征均值,δ为控制权重的常量。因此我们可以得到关联矩阵A的元素定义:
Figure GDA0003145613480000102
其中N(i)为与节点i相连接的节点集合。对角阵D表示连接每个节点的权重和,定义为:
D=diag(∑jaij)
因此转移矩阵可以表示为:
P=D-1+A
根据公式N=(I-Q)-1可以推得N值,进而推得每个超像素的平均吸收时间即期望值Sia,即量化背景先验值,从而得到背景先验图。
(2)中心先验因素:
中心先验的一个重要衡量标准在于每个像素相对于中心像素的距离,可以定义如下距离来衡量中心先验的大小:
Figure GDA0003145613480000111
其中(x0,y0)=(W/2,H/2)表示图像的中心。对于划分成超像素的情况来说,可利用各向同性高斯核函数来计算超像素的位置显著值。
Figure GDA0003145613480000112
其中(xc,yc)表示区域ri的中心,(x0,y0)是视觉领域的中心,
Figure GDA0003145613480000113
Figure GDA0003145613480000114
是在x方向和y方向的变量。
(3)空间紧密度计算:
空间紧密度反映的是超像素在图像的空间分布,通过分布情况来获取显著目标。计算超像素νi的空间紧密度值为Ds(i),公式为
Figure GDA0003145613480000115
假设原始深度图边界上的四个方向:左上、右上、左下、右下都有一个顶点,其中
Figure GDA0003145613480000116
表示在四个顶点上的非归一化的拉普拉斯矩阵形式,nj表示超像素vj内的像素点个数,空间均值
Figure GDA0003145613480000117
定义为:
Figure GDA0003145613480000118
Figure GDA0003145613480000121
综上三方面的考虑因素,背景先验因素能够很好的抑制背景区域,中心先验因素和空间紧密度可以很好地凸显显著目标的亮度,因此可以将三种考虑因素运用在粗糙时空显著图像处理中,得到最终的时空显著值:
S(i)=norm(Sia*exp(1-norm(Sib+Sic))).
步骤八、根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
通过之前的分析轨道视频时空显著性,得到了改进的时空显著图。由显著图我们可以对显著性区域进行权值划分,对于显著性高的区域,我们将其分类对比权重也相应调高,则认为在最显著的病害区域应该与已有的类别病害图最为相似。利用训练好的分类器,可识别提取的病害,首先根据待分类病害的颜色直方图、纹理特征、SIFT特征分别计算其在每个类别中的概率p(Y|X);然后,根据概率p(Y|X)进行分类:若该样本在哪一个类别分布函数下的后验概率p(Y|X)最大,它便属于哪一类。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (6)

1.一种基于显著性分析的轨道板病害检测方法,其特征在于:该方法包括:
(1)获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一;
(2)采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图;
(3)对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧;
(4)对于步骤(1)预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧;具体包括:
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
(4.3)将每一帧与上一帧和下一帧的亮度差值、颜色差值和纹理差值进行归一化,得到该帧的整体特征差值
Figure FDA0003145613470000011
Figure FDA0003145613470000012
式中,
Figure FDA0003145613470000013
表示视频帧Pi与上下帧的整体特征差值,δL、δc、δT分别表示亮度、颜色和纹理特征的权重;
(4.4)将整体特征差值
Figure FDA0003145613470000014
大于预设阈值的视频帧认为发生特征突变,将发生特征突变的视频帧作为可靠帧;
(5)采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图;
(6)将空间显著性图和时间显著图融合,得到粗糙时空显著图;
(7)对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图,改进时空显著性图中时空显著值S(i)为:
S(i)=norm(Sia*exp(1-norm(Sib+Sic))
Sia为超像素的平均吸收时间,即量化背景先验值,Sib为超像素的位置显著值,Sic为超像素的空间紧密度值;
(8)根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
2.根据权利要求1所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(1)具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
3.根据权利要求1所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3)具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散;
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量;
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA进行稀疏低秩矩阵分解,得到稀疏矩阵;
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
4.根据权利要求3所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3.3)具体包括:
(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;
(3.3.2)将划分得到的图像块中剔除位于边界的图像块;
(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;
(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
5.根据权利要求3所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散;
其中,投影的坐标转换公式为:
Figure FDA0003145613470000031
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,
Figure FDA0003145613470000032
为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数;
其中,三维扩散公式为:
Figure FDA0003145613470000033
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为投影后位置pos上颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
6.根据权利要求1所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(5)具体包括:
(5.1)获取所有可靠帧,并计算每一可靠帧与历史帧的偏差累加值ESUM,j以及与上下帧的整体特征差值
Figure FDA0003145613470000041
(5.2)采用自适应传递的方法,采用下式计算得到每一可靠帧的时间显著性值:
Figure FDA0003145613470000042
式中,Sj表示第j个可靠帧的时间显著性值,WSUM代表最终的归一化权重,且
Figure FDA0003145613470000043
Wk表示第k个可靠帧的权重值;
(5.3)所有可靠帧的时间显著性值形成时间显著图。
CN201810687093.8A 2018-06-28 2018-06-28 基于显著性分析的轨道板病害检测方法 Active CN109064444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810687093.8A CN109064444B (zh) 2018-06-28 2018-06-28 基于显著性分析的轨道板病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810687093.8A CN109064444B (zh) 2018-06-28 2018-06-28 基于显著性分析的轨道板病害检测方法

Publications (2)

Publication Number Publication Date
CN109064444A CN109064444A (zh) 2018-12-21
CN109064444B true CN109064444B (zh) 2021-09-28

Family

ID=64817728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810687093.8A Active CN109064444B (zh) 2018-06-28 2018-06-28 基于显著性分析的轨道板病害检测方法

Country Status (1)

Country Link
CN (1) CN109064444B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN117953349B (zh) * 2024-03-22 2024-06-11 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN103020965A (zh) * 2012-11-29 2013-04-03 奇瑞汽车股份有限公司 一种基于显著性检测的前景分割方法
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法
CN106611427A (zh) * 2015-10-21 2017-05-03 中国人民解放军理工大学 基于候选区域融合的视频显著性检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN103020965A (zh) * 2012-11-29 2013-04-03 奇瑞汽车股份有限公司 一种基于显著性检测的前景分割方法
CN106611427A (zh) * 2015-10-21 2017-05-03 中国人民解放军理工大学 基于候选区域融合的视频显著性检测方法
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合背景先验与中心先验的显著性目标检测;周帅骏等;《中国图象图形学报》;20170516(第05期);全文 *

Also Published As

Publication number Publication date
CN109064444A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
Dudhane et al. Cdnet: Single image de-hazing using unpaired adversarial training
Matsushita et al. Illumination normalization with time-dependent intrinsic images for video surveillance
Dudhane et al. C^ 2msnet: A novel approach for single image haze removal
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN105930822A (zh) 一种人脸抓拍方法及***
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
Wang et al. Background extraction based on joint gaussian conditional random fields
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Rai et al. Low-light robust face image super-resolution via neuro-fuzzy inferencing-based locality constrained representation
CN117975577A (zh) 一种基于面部动态集成的深度伪造检测方法及***
CN116681687B (zh) 基于计算机视觉的导线检测方法、装置和计算机设备
Gardziński et al. Crowd density estimation based on voxel model in multi-view surveillance systems
CN111832508A (zh) 基于die_ga的低照度目标检测方法
Bolten et al. Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams.
Zhu et al. Multi-feature fusion algorithm in VR panoramic image detail enhancement processing
Liu Research on intelligent visual image feature region acquisition algorithm in Internet of Things framework
CN111862098B (zh) 基于光场语义的个体匹配方法、装置、设备和介质
Zhang et al. A unified saliency detection framework for visible and infrared images
Xu et al. A two-stage progressive shadow removal network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant