CN106778833A - 一种复杂背景下小目标丢失故障的自动识别方法 - Google Patents

一种复杂背景下小目标丢失故障的自动识别方法 Download PDF

Info

Publication number
CN106778833A
CN106778833A CN201611065623.2A CN201611065623A CN106778833A CN 106778833 A CN106778833 A CN 106778833A CN 201611065623 A CN201611065623 A CN 201611065623A CN 106778833 A CN106778833 A CN 106778833A
Authority
CN
China
Prior art keywords
image
small object
area
interest
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611065623.2A
Other languages
English (en)
Inventor
刘柳
严小军
张娜
闫若冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aerospace Times Electronics Corp
Beijing Aerospace Control Instrument Institute
Original Assignee
China Aerospace Times Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aerospace Times Electronics Corp filed Critical China Aerospace Times Electronics Corp
Priority to CN201611065623.2A priority Critical patent/CN106778833A/zh
Publication of CN106778833A publication Critical patent/CN106778833A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种复杂背景下小目标丢失故障的自动识别方法,包括:首先,通过滑动窗口的方法扫描待检测的图像;其次,通过候选ROI分类器对滑动窗口获得的各个图像进行检测,识别出待检测图像中的候选感兴趣区域;之后,通过ROI分类器对候选感兴趣区域进行检测,识别出感兴趣区域;最后,通过小目标分类器对感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若丢失,则表示发生故障,若未丢失,则表示无故障,从而完成复杂背景下小目标丢失故障的自动识别。本发明能够对复杂背景下小目标丢失故障进行准确而快速的识别。将这种方法应用于铁路货车折角塞门把手丢失故障识别***中,识别率为99.88%,识别速度为11帧/秒,满足实际应用的需求。

Description

一种复杂背景下小目标丢失故障的自动识别方法
技术领域
本发明涉及一种复杂背景下小目标丢失故障的自动识别方法,属于图像处理技术领域。
背景技术
利用现代科技手段开展机械设备的状态监测和故障诊断,是提高设备可靠性和安全运行的重要途径之一。由于其社会和经济效益好,发展前景广阔,在电子电器、航天航空、机械制造、国防工业、交通运输等众多领域都得到了广泛的应用。
目前应用较成熟的故障诊断方法主要包括:温度检测技术、声学与振动技术、电气参数检测技术、动态压力检测技术等等。随着人工智能的快速发展,一种基于图像识别技术的智能故障诊断方法逐步受到广泛的研究和关注。这种基于图像识别技术的智能故障诊断方法又称为目标故障识别方法,是利用计算机分析目标图像,从中提取有效的图像特征,用来辨别目标是否存在故障的一门技术,是目前人工智能领域的一个热点研究方向。
通过将具有图像识别功能的软件部署在智能故障诊断设备中,可以使该设备具有自动故障识别的功能。然而在实际应用中,受到光照变化和复杂背景的影响,高效、高精度的小目标丢失故障识别成为模式识别和故障诊断领域的难点之一。
发明内容
本发明的技术解决问题为:克服现有技术的不足,提出一种具有高效、高精度、鲁棒性强的复杂背景下小目标丢失故障自动识别方法。
本发明的技术解决方案是:
一种复杂背景下小目标丢失故障的自动识别方法,步骤如下:
(1)采用滑动窗口的方法以从左到右、从上到下的顺序,扫描输入图像;所述输入图像是指待检测的图像;
(2)采用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域;
(3)采用ROI分类器对步骤(2)中识别出的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域;
(4)采用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若丢失,则表示发生故障;若未丢失,则表示无故障,从而完成复杂背景下小目标丢失故障的自动识别;
所述识别结果是指识别出小目标或者未识别出小目标。
所述步骤(2)采用候选ROI分类器对滑动窗口获得的各个图像进行分类识别,具体为:
(2.1)对正样本图像和负样本图像提取Haar-like特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
(2.2)使用AdaBoost算法对所述输入数据进行训练,得到候选ROI分类器;
(2.3)使用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域。
所述步骤(3)采用ROI分类器对候选感兴趣区域进行分类识别,具体为:
(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
(3.2)使用RBF-SVM算法对所述输入数据进行训练,得到ROI分类器;
(3.3)使用ROI分类器对步骤(2)中识别得到的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域。
所述步骤(4)采用小目标分类器对感兴趣区域进行小目标识别,具体为:
(4.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指小目标未丢失的区域图像,负样本图像是指小目标丢失的区域图像;
(4.2)使用Linear-SVM算法对所述输入数据进行训练,得到小目标分类器;
(4.3)使用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别。
所述步骤(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据,均通过如下步骤进行:
(5.1)针对待分析的图像I(x,y),利用公式将图像I(x,y)转换为梯度图像G(x,y),其中dx=I(x+1,y)-I(x-1,y),dy=I(x,y+1)-I(x,y-1);
(5.2)采用局部二值模式算法将步骤(5.1)获得的梯度图像G(x,y)转换为梯度编码图像G′(x,y);
(5.3)从步骤(5.2)所获得的梯度编码图像G′(x,y)上计算共生矩阵,得到梯度编码共生矩阵P;
(5.4)采用主成分分析方法对步骤(5.3)所获得的梯度编码共生矩阵P进行降维处理,得到低维的梯度编码共生矩阵P′;
(5.5)对步骤(5.4)所获得的低维的梯度编码共生矩阵P′进行归一化处理,得到最终的PCA-GCCM特征。
本发明与现有技术相比的优点在于:
(1)本发明提出了基于Haar-like特征和AdaBoost算法的候选ROI分类器,使用简单的Haar-like特征从复杂图像中分割出与感兴趣区域相似度较大的候选感兴趣区域,具有快速排除复杂背景图像的作用,大大减少了识别时间;
(2)本发明提出的PCA-GCCM特征先后利用了梯度信息对光照变化鲁棒的优势、局部二值模式算法能够很好的表征图像的局部结构特征的优势、共生矩阵方法能够很好的反映像素特征值之间的空间相关规律的优势、主成分分析方法能够有效的降低特征维数的优势,因此本发明提出的PCA-GCCM特征对于复杂背景和复杂光照具有很好的鲁棒性。
(3)本发明提出的基于PCA-GCCM特征和RBF-SVM算法的ROI分类器,使用鉴别力强的PCA-GCCM特征来表征ROI,大大提高了识别准确率。
(4)本发明提出的基于级联分类器的识别思路,首先,通过候选ROI分类器依次对滑动窗口获得的各个图像进行检测,识别出待检测图像中的候选感兴趣区域;然后,通过ROI分类器对候选感兴趣区域进行检测,识别出感兴趣区域;最后,通过小目标分类器对感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,体现了先整体后局部的故障识别思路,完成小目标丢失故障的全自动识别,有效地提高了故障识别的准确率和实时性。
附图说明
图1是本发明的工作流程图。
图2是本发明一具体实施例的待处理图像。
图3是本发明一具体实施例的待识别小目标。
图4是本发明一具体实施例的感兴趣区域。
图5是本发明一具体实施例的候选ROI分类器训练集正、负样本采集示意图。
图6为本发明一具体实施例的小目标分类器训练集正、负样本采集示意图,其中,图6(a)是正样本采集示意图,图6(b)是负样本采集示意图。
图7是本发明一具体实施例的候选ROI分类器的识别结果图。
图8是本发明一具体实施例的ROI分类器的识别结果图。
图9是本发明一具体实施例的小目标丢失故障的识别结果图,其中,图9(a)为故障图,图9(b)为无故障图;
图10是本发明一具体实施例与现有识别方法的性能对比图。
具体实施方式
本发明提供了一种复杂背景下小目标丢失故障的自动识别方法,它利用级联分类器的思路解决复杂背景下小目标丢失故障的自动识别问题。首先,通过滑动窗口的方法扫描待检测图像;第二步,通过候选ROI分类器依次对滑动窗口获得的各个图像进行检测,识别出待检测图像中的候选感兴趣区域;第三步,通过ROI分类器对候选感兴趣区域进行检测,识别出感兴趣区域;最后,通过小目标分类器对感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若丢失,则表示发生故障,若未丢失,则表示无故障,从而完成复杂背景下小目标丢失故障的自动识别。其中,感兴趣区域为包含待识别小目标的区域。这种级联分类器的思路是一种由粗到细的识别思路,也就是首先从待检测图像中识别出包含小目标的感兴趣区域,然后在感兴趣区域内识别出小目标。
本发明中分类器是离线训练完成的,小目标识别有效提高了小目标丢失故障的识别率,保证了识别的实时性。将这种方法应用于铁路货车折角塞门把手丢失故障识别***中,故障识别率达到了99.88%,识别速度达到了11帧/秒,识别性能优于现有的识别方法,满足了实际应用的需求。
如图1所示,本发明提供的复杂背景下小目标丢失故障的自动识别方法,步骤如下:
(1)采用滑动窗口的方法以从左到右、从上到下的顺序,扫描输入图像;所述输入图像是指待检测的图像;
(2)采用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域;
步骤(2)采用候选ROI分类器对滑动窗口获得的各个图像进行分类识别,具体为:
(2.1)对正样本图像和负样本图像提取Haar-like特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
(2.2)使用AdaBoost算法对所述输入数据进行训练,得到候选ROI分类器;
(2.3)使用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域。
需要说明的是,使用候选ROI分类器对滑动窗口获得的各个图像进行识别,只有通过候选ROI分类器的图像才判定为候选感兴趣区域。
(3)采用ROI分类器对步骤(2)中识别出的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域;
步骤(3)采用ROI分类器对候选感兴趣区域进行分类识别,具体为:
(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
步骤(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据,均通过如下步骤进行:
(a)针对待分析的图像I(x,y),利用公式将图像I(x,y)转换为梯度图像G(x,y),其中dx=I(x+1,y)-I(x-1,y),dy=I(x,y+1)-I(x,y-1);
(b)采用局部二值模式算法将步骤(a)获得的梯度图像G(x,y)转换为梯度编码图像G′(x,y);
(c)从步骤(b)所获得的梯度编码图像G′(x,y)上计算共生矩阵,得到梯度编码共生矩阵P;
(d)采用主成分分析方法对步骤(c)所获得的梯度编码共生矩阵P进行降维处理,得到低维的梯度编码共生矩阵P′;
(e)对步骤(d)所获得的低维的梯度编码共生矩阵P′进行归一化处理,得到最终的PCA-GCCM特征。
(3.2)使用RBF-SVM算法对所述输入数据进行训练,得到ROI分类器;
(3.3)使用ROI分类器对步骤(2)中识别得到的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域。
(4)采用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若丢失,则表示发生故障;若未丢失,则表示无故障,从而完成复杂背景下小目标丢失故障的自动识别;
识别结果是指识别出小目标或者未识别出小目标。
步骤(4)采用小目标分类器对感兴趣区域进行小目标识别,具体为:
(4.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指小目标区域图像,负样本图像是指不包含小目标区域的背景图像;
(4.2)使用Linear-SVM算法对所述输入数据进行训练,得到小目标分类器;
(4.3)使用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别。
基于级联分类器的思路是指:将训练得到的候选ROI分类器、ROI分类器和小目标分类器进行级联,首先使用候选ROI分类器对滑动窗口获得的各个图像进行识别,只有通过候选ROI分类器的图像才判定为候选感兴趣区域;然后使用ROI分类器对已识别出的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域;最后采用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若识别出小目标,则表示小目标丢失,得到“故障”的识别结果;若未识别出小目标,则表示小目标未丢失,得到“无故障”的识别结果,从而完成复杂背景下小目标丢失故障的自动识别。
本发明实施例的复杂背景下小目标丢失故障的自动识别方法,需要预先确定含有待识别小目标的感兴趣区域。下面以一个具体的铁路货车折角塞门把手丢失故障识别的例子说明感兴趣区域确定的过程。参见图2,铁路货车上的折角塞门把手为待识别的小目标,而根据铁路货车的机械结构特点,塞门把手是安装在折角塞门上的,因此人工选择折角塞门作为感兴趣区域(如图4所示)。这种方法充分利用了人的先验知识,且非常具有针对性,使目标识别效率高,识别更加准确。
实施例
下面以一个具体的铁路货车折角塞门把手丢失故障识别的例子说明复杂背景下小目标丢失故障的自动识别方法。折角塞门是铁路货车基础制动装置中的一个关键部件,它通过一个塞门把手来操纵列车与制动软管之间空气通路的开关。在列车运行时,除列车头、尾两个折角塞门应处于关闭位外,其余中间的每个折角塞门均应处于开通位,以便列车管实现输送压力空气和控制列车制动、缓解作用的两大任务。当塞门的把手和列车管平行时为开通位,垂直时为关闭位。列车行驶的大忌是折角塞门的关闭,这会造成重大事故。由于折角塞门的重要性,为确保折角塞门安全,常由经验丰富的列检员人工检测折角塞门把手是否处于正确位置。由于货车在行进过程中长期的颠簸震动,常造成折角塞门把手丢失,这给正确判别及更改折角塞门的状态造成困难,是一类多发且较为严重的故障。目前,铁路货车折角塞门把手丢失故障的识别仍由人工进行,这种识别方式费时费力且维护成本高。因此,研究一种快速、准确率高的铁路货车折角塞门把手丢失故障识别方法具有很积极的现实意义。
此处需要说明的是,在本例中,塞门把手为待识别小目标(如图3所示),预先确定折角塞门为感兴趣区域(如图4所示),因此,候选ROI分类器为候选折角塞门分类器,ROI分类器为折角塞门分类器,小目标分类器为塞门把手分类器。
本实施例具体包括如下步骤:
1、训练候选折角塞门分类器,利用铁路现场采集的折角塞门部位图像,裁剪出图像中的折角塞门区域以及背景区域,并提取它们的Haar-like特征作为输入数据,采用AdaBoost算法训练生成候选折角塞门分类器。具体步骤如下:
1.1、构建训练集;
本实施例采用铁路现场采集的1500幅1400×1024像素的折角塞门部位图像,对这些图像,人工裁剪出196×128像素的折角塞门作为正样本。负样本从这些图像中不包含折角塞门物体的背景区域随意裁剪,大小同样为196×128像素。最终用于训练候选折角塞门分类器的训练集共有正样本1500个,负样本3500个。正负样本的采集如图5所示。
1.2、对于步骤1.1构建的训练集中的正、负样本,提取它们的Haar-like特征作为输入数据,并采用AdaBoost算法训练生成分类器,具体方法参见论文“P.Viola,andJ.J.Michael,Robust real-time face detection,International journal of computervision.2004,57(2):137-154,2004”;
1.3、将步骤1.2中训练得到的分类器作为候选折角塞门分类器。
2、训练折角塞门分类器,利用步骤1.1构造的训练集中的正、负样本,提取它们的PCA-GCCM特征作为输入数据。采用RBF-SVM算法训练生成折角塞门分类器。具体步骤如下:
2.1、利用步骤1.1构造的训练集作为折角塞门分类器的训练集。
2.2、对于步骤2.1构建的训练集中的正、负样本,提取它们的PCA-GCCM特征,具体为:
2.2.1、通过将折角塞门部位图像I(x,y),利用公式将图像I(x,y)转换为梯度图像G(x,y),其中dx=I(x+1,y)-I(x-1,y),dy=I(x,y+1)-I(x,y-1);
2.2.2、采用局部二值模式算子将梯度图像G(x,y)转换为梯度编码图像G′(x,y),其中N(x,y)为位于(x,y)处像素的局部空间邻域,通常为一个3×3区域,且比较函数当G(x,y)<G(x′,y′)时为1,当G(x,y)>G(x′,y′)时为0,表示串联操作。
2.2.3、从梯度编码图像G′(x,y)上计算共生矩阵,得到梯度编码共生矩阵P;
2.2.4、对梯度编码共生矩阵P进行主成分分析,得到低维的梯度编码共生矩阵P′,具体方法参见论文“S.Wold,K.Esbensen,P.Geladi,Principal component analysis,Chemometrics and intelligent laboratory systems,2(1987)37-52”;
2.2.5、利用公式对低维的梯度编码共生矩阵P′进行归一化处理,其中ε为一个极小的常数值,得到最终的PCA-GCCM特征。
2.3、将步骤2.2中提取的PCA-GCCM特征作为输入数据,并采用RBF-SVM算法训练生成分类器;
2.4、将步骤2.3中训练得到的分类器作为折角塞门分类器。
3、训练塞门把手分类器,利用铁路现场采集的折角塞门部位图像,裁剪出图像中的塞门把手区域以及塞门把手丢失区域,并提取它们的PCA-GCCM特征作为输入数据。采用Linear-SVM算法训练生成塞门把手分类器。具体步骤如下:
3.1、构建训练集;
选取步骤1.1构造的训练集中的1000幅192×128像素的折角塞门图像,对这些图像,人工裁剪出98×128像素的塞门把手图像作为正样本,98×128像素的塞门把手丢失图像作为负样本。最终用于训练塞门把手分类器的训练集共有正样本500个,负样本500个。正负样本的采集如图6(a)和图6(b)所示。
3.2、对于步骤3.1构建的训练集中的正、负样本,提取它们的PCA-GCCM特征。
3.3、将步骤3.2中提取的PCA-GCCM特征作为输入数据,并采用Linear-SVM算法训练生成分类器;
3.4、将步骤3.3中训练得到的分类器作为塞门把手分类器。
4、针对待分析的折角塞门部位图像,采用基于级联分类器的识别思路,完成折角塞门把手丢失故障的全自动识别,具体步骤如下:
4.1、以4个像素为间隔对待分析的折角塞门部位图像进行移位采样,采样窗口为196×128像素,并提取每个采用窗口区域的Haar-like特征,送入候选折角塞门分类器进行识别,得到一系列候选折角塞门图像。本发明采用积分图技术加速计算Haar-like特征,具体方法参见论文“P.Viola,and J.J.Michael,Robust real-time face detection,International journal of computer vision.2004,57(2):137-154,2004”;
4.2、针对步骤4.1得到的候选折角塞门图像,提取每个候选折角塞门图像的PCA-GCCM特征,送入折角塞门分类器进行识别,得到唯一的折角塞门图像。
4.3、针对步骤4.2得到的折角塞门图像,提取其左半部分大小为98×128像素的区域,送入塞门把手分类器识别出塞门把手是否丢失,如果判断塞门把手丢失,则得到“故障”的识别结果,如果判断塞门把手未丢失,则得到“无故障”的识别结果,最终完成塞门把手丢失故障的全自动识别。其中,候选ROI分类器、ROI分类器和小目标分类器,是通过离线训练完成的;然后将训练好的分类器用于小目标在线识别。本实施例中,采用DALSA HM1400高速CCD摄像机在铁路现场采集4000幅1400x1024像素的折角塞门部位图像。本实施例的故障识别率达到了99.88%,识别速度达到了11帧/秒。
图7是候选折角塞门分类器的识别结果图,图中白色矩形框为识别出的候选折角塞门。可以看出,大部分背景区域通过候选折角塞门分类器被排除,只有少量的候选折角塞门区域被保留。通过计算量小的Haar-like特征虽然无法唯一确定折角塞门,但是它具有快速排除复杂背景图像的作用,大大提高了识别速度。
图8是折角塞门分类器的识别结果图,图中白色粗线矩形框为识别出的折角塞门。可以看出,折角塞门认证分类器能够准确地识别出折角塞门。
图9是折角塞门把手分类器的识别结果图,图中灰色粗线矩形框为把手所在区域,使用折角塞门把手分类器对该区域进行识别,识别结果在每幅图像的左上角显示,如图9(a)和9(b)所示。如果折角塞门把手没有丢失,则识别结果为“无故障”;如果折角塞门把手丢失,则识别结果为“故障”。可以看出,折角塞门把手分类器能够准确的识别出折角塞门把手是否丢失。
分别采用本发明的复杂背景下小目标丢失故障的自动识别方法与现有的基于梯度编码直方图特征的识别方法(具体方法参加论文“Zhou,F.Q.,Zou,R.,Qiu,Y.F.,Gao,H.:‘Automated visual inspection of angle cocks during train operation’,Proceedings of the Institution of Mechanical Engineers,Part F:Journal of Railand Rapid Transit.,2014,228,(7),pp.794-806”),对含3497张无故障图像和503张故障图像,统计两种识别方法的识别率和识别速度。图10中曲线1为本识别方法的识别率曲线,曲线2为现有的基于梯度编码直方图特征的识别方法的识别率曲线,曲线越靠近左上角识别率越好。从图10可以看出,本识别方法比现有的基于梯度编码直方图特征的识别方法具有更优的识别率。
表1
另外,从表1可以看出,本发明识别方法比现有的基于梯度编码直方图特征的识别方法快2倍左右。综合以上结果,本发明提出的方法在不仅具有更好的识别率,而且在识别速度上明显优于现有方法。

Claims (5)

1.一种复杂背景下小目标丢失故障的自动识别方法,其特征在于步骤如下:
(1)采用滑动窗口的方法以从左到右、从上到下的顺序,扫描输入图像;所述输入图像是指待检测的图像;
(2)采用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域;
(3)采用ROI分类器对步骤(2)中识别出的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域;
(4)采用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别,通过识别结果判断小目标是否丢失,若丢失,则表示发生故障;若未丢失,则表示无故障,从而完成复杂背景下小目标丢失故障的自动识别;
所述识别结果是指识别出小目标或者未识别出小目标。
2.根据权利要求1所述的一种复杂背景下小目标丢失故障的自动识别方法,其特征在于:所述步骤(2)采用候选ROI分类器对滑动窗口获得的各个图像进行分类识别,具体为:
(2.1)对正样本图像和负样本图像提取Haar-like特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
(2.2)使用AdaBoost算法对所述输入数据进行训练,得到候选ROI分类器;
(2.3)使用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别,识别出待检测图像中的候选感兴趣区域。
3.根据权利要求1所述的一种复杂背景下小目标丢失故障的自动识别方法,其特征在于:所述步骤(3)采用ROI分类器对候选感兴趣区域进行分类识别,具体为:
(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指ROI区域图像,负样本图像是指不包含ROI区域的背景图像;
(3.2)使用RBF-SVM算法对所述输入数据进行训练,得到ROI分类器;
(3.3)使用ROI分类器对步骤(2)中识别得到的候选感兴趣区域进行分类识别,识别出待检测图像中的感兴趣区域。
4.根据权利要求1所述的一种复杂背景下小目标丢失故障的自动识别方法,其特征在于:所述步骤(4)采用小目标分类器对感兴趣区域进行小目标识别,具体为:
(4.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据;所述正样本图像是指小目标未丢失的区域图像,负样本图像是指小目标丢失的区域图像;
(4.2)使用Linear-SVM算法对所述输入数据进行训练,得到小目标分类器;
(4.3)使用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别。
5.根据权利要求3所述的一种复杂背景下小目标丢失故障的自动识别方法,其特征在于:所述步骤(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据,均通过如下步骤进行:
(5.1)针对待分析的图像I(x,y),利用公式将图像I(x,y)转换为梯度图像G(x,y),其中dx=I(x+1,y)-I(x-1,y),dy=I(x,y+1)-I(x,y-1);
(5.2)采用局部二值模式算法将步骤(5.1)获得的梯度图像G(x,y)转换为梯度编码图像G′(x,y);
(5.3)从步骤(5.2)所获得的梯度编码图像G′(x,y)上计算共生矩阵,得到梯度编码共生矩阵P;
(5.4)采用主成分分析方法对步骤(5.3)所获得的梯度编码共生矩阵P进行降维处理,得到低维的梯度编码共生矩阵P′;
(5.5)对步骤(5.4)所获得的低维的梯度编码共生矩阵P′进行归一化处理,得到最终的PCA-GCCM特征。
CN201611065623.2A 2016-11-28 2016-11-28 一种复杂背景下小目标丢失故障的自动识别方法 Pending CN106778833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611065623.2A CN106778833A (zh) 2016-11-28 2016-11-28 一种复杂背景下小目标丢失故障的自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611065623.2A CN106778833A (zh) 2016-11-28 2016-11-28 一种复杂背景下小目标丢失故障的自动识别方法

Publications (1)

Publication Number Publication Date
CN106778833A true CN106778833A (zh) 2017-05-31

Family

ID=58904756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611065623.2A Pending CN106778833A (zh) 2016-11-28 2016-11-28 一种复杂背景下小目标丢失故障的自动识别方法

Country Status (1)

Country Link
CN (1) CN106778833A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742124A (zh) * 2017-09-22 2018-02-27 北京航天控制仪器研究所 一种加权梯度方向共生矩阵纹理特征的提取方法
CN108022235A (zh) * 2017-11-23 2018-05-11 中国科学院自动化研究所 高压输电铁塔关键部件缺陷识别方法
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN108537170A (zh) * 2018-04-09 2018-09-14 电子科技大学 一种电力设备固件无人机巡检销钉缺失检测方法
CN108960320A (zh) * 2018-06-26 2018-12-07 湖北工业大学 列车折角塞门故障图像实时检测方法
CN111091551A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111390975A (zh) * 2020-04-27 2020-07-10 浙江库科自动化科技有限公司 具有摘风管功能的巡检智能机器人及其巡检方法
CN111409085A (zh) * 2020-04-27 2020-07-14 浙江库科自动化科技有限公司 具有关闭折角塞门功能的巡检智能机器人及其巡检方法
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法
CN112465806A (zh) * 2020-12-11 2021-03-09 哈尔滨市科佳通用机电股份有限公司 基于改进PVANet的停放制动缸排气堵丢失检测方法
CN112733940A (zh) * 2021-01-12 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种截断塞门手把关闭故障图像识别方法
CN112907534A (zh) * 2021-02-18 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于关门车部件位置图像的故障检测方法及装置
CN113830136A (zh) * 2021-10-20 2021-12-24 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN114022468A (zh) * 2021-11-12 2022-02-08 珠海安联锐视科技股份有限公司 一种安防监控中物品遗留丢失检测方法
CN115170828A (zh) * 2022-07-15 2022-10-11 哈尔滨市科佳通用机电股份有限公司 基于深度学习的折角塞门卡子丢失故障检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500347A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 铁路货车折角塞门把手丢失故障的自动检测方法
CN104268588A (zh) * 2014-06-19 2015-01-07 江苏大学 铁路货车闸瓦钎丢失故障的自动检测方法
CN105260744A (zh) * 2015-10-08 2016-01-20 北京航空航天大学 一种货运列车钩尾扁销部位故障的自动在线诊断方法及***
CN105424330A (zh) * 2014-08-29 2016-03-23 北京航空航天大学 一种货车轴端螺栓故障检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500347A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 铁路货车折角塞门把手丢失故障的自动检测方法
CN104268588A (zh) * 2014-06-19 2015-01-07 江苏大学 铁路货车闸瓦钎丢失故障的自动检测方法
CN105424330A (zh) * 2014-08-29 2016-03-23 北京航空航天大学 一种货车轴端螺栓故障检测方法及装置
CN105260744A (zh) * 2015-10-08 2016-01-20 北京航空航天大学 一种货运列车钩尾扁销部位故障的自动在线诊断方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU LIU 等: "Automated Visual Inspection System for Bogie Block Key Under Complex Freight Train Environment", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
PAUL VIOLA 等: "Robust Real-Time Face Detection", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
徐光柱,雷帮军著: "《实用性目标检测与跟踪算法原理与应用》", 30 April 2015, 北京:国防工业出版社 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN107742124A (zh) * 2017-09-22 2018-02-27 北京航天控制仪器研究所 一种加权梯度方向共生矩阵纹理特征的提取方法
CN108022235A (zh) * 2017-11-23 2018-05-11 中国科学院自动化研究所 高压输电铁塔关键部件缺陷识别方法
CN108022235B (zh) * 2017-11-23 2020-07-28 中国科学院自动化研究所 高压输电铁塔关键部件缺陷识别方法
CN108537170A (zh) * 2018-04-09 2018-09-14 电子科技大学 一种电力设备固件无人机巡检销钉缺失检测方法
CN108960320B (zh) * 2018-06-26 2021-04-27 湖北工业大学 列车折角塞门故障图像实时检测方法
CN108960320A (zh) * 2018-06-26 2018-12-07 湖北工业大学 列车折角塞门故障图像实时检测方法
CN111091551A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111390975A (zh) * 2020-04-27 2020-07-10 浙江库科自动化科技有限公司 具有摘风管功能的巡检智能机器人及其巡检方法
CN111409085A (zh) * 2020-04-27 2020-07-14 浙江库科自动化科技有限公司 具有关闭折角塞门功能的巡检智能机器人及其巡检方法
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法
CN112465806A (zh) * 2020-12-11 2021-03-09 哈尔滨市科佳通用机电股份有限公司 基于改进PVANet的停放制动缸排气堵丢失检测方法
CN112733940A (zh) * 2021-01-12 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种截断塞门手把关闭故障图像识别方法
CN112733940B (zh) * 2021-01-12 2021-08-27 哈尔滨市科佳通用机电股份有限公司 一种截断塞门手把关闭故障图像识别方法
CN112907534A (zh) * 2021-02-18 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于关门车部件位置图像的故障检测方法及装置
CN113830136A (zh) * 2021-10-20 2021-12-24 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN113830136B (zh) * 2021-10-20 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN114022468A (zh) * 2021-11-12 2022-02-08 珠海安联锐视科技股份有限公司 一种安防监控中物品遗留丢失检测方法
CN115170828A (zh) * 2022-07-15 2022-10-11 哈尔滨市科佳通用机电股份有限公司 基于深度学习的折角塞门卡子丢失故障检测方法
CN115170828B (zh) * 2022-07-15 2023-03-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的折角塞门卡子丢失故障检测方法

Similar Documents

Publication Publication Date Title
CN106778833A (zh) 一种复杂背景下小目标丢失故障的自动识别方法
CN111079747B (zh) 铁路货车转向架侧架断裂故障图像识别方法
Gibert et al. Robust fastener detection for autonomous visual railway track inspection
Dubey et al. Maximally stable extremal region marking-based railway track surface defect sensing
CN105260744B (zh) 一种货运列车钩尾扁销部位故障的自动在线诊断方法及***
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测***及检测方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN103442209A (zh) 一种输电线路的视频监控方法
CN108564069A (zh) 一种工业佩戴安全帽视频检测方法
CN103034870B (zh) 基于特征的船舶快速识别方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN106485694A (zh) 一种基于级联分类器的高铁接触网双套管连接器六边形螺母脱落不良状态检测方法
CN104268588A (zh) 铁路货车闸瓦钎丢失故障的自动检测方法
CN103824092A (zh) 一种用于输变电设备状态在线监测的图像分类方法
Ma et al. Texture classification for rail surface condition evaluation
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN111754460A (zh) 一种转辙机缺口自动检测方法、***及存储介质
Prasongpongchai et al. A vision-based method for the detection of missing rail fasteners
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及***
CN112419289A (zh) 一种城市地铁轨道扣件缺陷智能检测方法
Zhuang et al. A deep-learning-powered near-real-time detection of railway track major components: A two-stage computer-vision-based method
Aydin et al. Defect classification of railway fasteners using image preprocessing and alightweight convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication