CN105160362B - 一种跑道fod图像探测方法及装置 - Google Patents
一种跑道fod图像探测方法及装置 Download PDFInfo
- Publication number
- CN105160362B CN105160362B CN201510698144.3A CN201510698144A CN105160362B CN 105160362 B CN105160362 B CN 105160362B CN 201510698144 A CN201510698144 A CN 201510698144A CN 105160362 B CN105160362 B CN 105160362B
- Authority
- CN
- China
- Prior art keywords
- fod
- runway
- image
- cluster
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及基于2D图像的物体探测和物体识别领域,尤其是涉及一种跑道FOD图像探测方法及装置。本发明针对现有技术存在的问题,提供一种跑道FOD图像探测方法及装置,通过训练获得跑道自身固有结构在多种气象和光照条件下成像的特征分布规律,建立非FOD目标的排除模型;并在实际跑道上进行FOD探测过程中,首先对局部外貌差异进行边缘检测得到疑似目标,然后通过前期训练获得的排除模型进行快速非FOD目标排除,最终得到FOD目标并进行报警。本发明通过从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数,实现对跑道监视区域的完整FOD检测。
Description
技术领域
本发明涉及基于2D图像的物体探测和物体识别领域,尤其是涉及一种跑道FOD图像探测方法及装置。
背景技术
跑道入侵异物(下文简称FOD)对航班安全有重大威胁。从法国协和号空难事故后,多方研究机构与公司都在致力于FOD探测技术的研究和应用***的开发。当前主流的应用***使用的技术为雷达探测技术和图像探测技术。图像探测技术因其成本相对较低,夜视技术和图像探测不断发展,正得到越来越多的接受和认可。
图像探测面临的技术难点主要来自跑道外观细节和FOD的多样性。首先,跑道本身并不是简单的灰色平面,而是有多种结构。跑道上有指引标识线、嵌入的跑道指示灯等结构,在跑道板块之间存在缝隙,混凝土石块材质的跑道在道面可见小石块材质。其次,FOD的种类繁多,常见的就涉及扳手、铁链、金属板、轮胎橡胶等十余个种类,因遗落姿态不同带来的外观差异更无法统计,甚至机场出现的一些FOD是不可预知的。第三,跑道和FOD在工作的环境中外貌可能发生多种多变。户外环境中,光照的变化、降雨、降雪、霜冻都会引起跑道和FOD外表的改变。使用的过程中,轮胎摩擦会在跑道上留下痕迹,风化作用也会导致跑道裂缝,甚至局部破损。
以上难点对现有的一些探测技术性能有较大限制。基于局部外貌的变化进行探测的方法(如边缘检测、颜色差异等),容易探测到跑道自身结构发出虚警。对跑道进行拍照作为原始图像,每次探测中拍照与原始图像进行比对,探测差异从而探测FOD的方法,难以适应工作环境的变化性。而对常见FOD种类分别训练探测器,进行特定物体探测的方法,对非常见的FOD种类探测能力有限。如果对非常见FOD种类也训练探测器,则探测过程中需要识别的种类繁多,探测速度慢。
发明内容
本发明所要解决的技术问题是:针对现有技术存在的问题,提供一种跑道FOD图像探测方法及装置,本方法在前期通过训练获得跑道自身固有结构在多种气象和光照条件下成像的特征分布规律,建立非FOD目标的排除模型;在FOD探测过程中,首先对局部外貌差异进行边缘检测得到疑似目标,然后通过前期训练获得的排除模型进行快速非FOD目标排除,最终得到FOD目标并进行报警。
本发明采用的技术方案如下:
一种跑道FOD图像探测方法包括:
步骤1:对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合;
步骤2:从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数;
步骤3:对实际跑道进行图像采集,对每张图像用边缘检测方法进行疑似目标探测,然后根据非FOD目标的排除模型中的识别参数排除跑道表面物体,实现对跑道监视区域的完整FOD检测。
进一步的,所述步骤1具体包括:
步骤11:对跑道的指示灯、标识线、板块缝隙、轮胎痕迹四类物体的整体和局部进行拍照,每类物体应拍摄至少10个样本,每个样本应至少从10个不同的角度进行拍摄;将所有图像剪去冗余区域,仅保留包含被拍摄物体的最小正方形区域;将所有剪裁后图像缩小至32×32像素;
步骤12:在晴天、阴天、雨天、雾霾天气下,以及早上、中午、黄昏光照条件下,重复步骤11,生成正样本图像集合;
步骤13:在跑道上摆放常见FOD,每个物体的直径均不小于最小探测目标直径,重复步骤11、12的拍摄和图像处理方法,生成负样本图像集合。
进一步的,所述最小探测目标直径为小于3cm。
进一步的,所述步骤2具体步骤包括:
步骤21:将样本图像集合中所有彩色图像转化为灰度图像,分别使用特征描述方法将每一副图像转化为一个特征向量,其中四个正样本图像集合生成的特征向量称为四个正特征向量集合,负样本图像集合生成的特征向量称为负特征向量集合;
步骤22:将每个正特征向量集合,分别使用聚类分析方法将特征向量分成K个聚类,设定指示灯聚类为a1个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类为a4个,则K=a1+a2+a3+a4;其中a1、a2、a3、a4的取值均为1到5之间的整数;
步骤23:对每个聚类,计算其特征向量分布密度的近似高斯模型参数(μk,Φk),参数μk为聚类内所有特征向量的平均值,参数Φk为聚类内所有特征向量的协方差矩阵,k为聚类的序号且1≤k≤K;在特征空间中任意点X与聚类k相似度Pk(X)计算公式为:
Pk(X)=exp(-(X-μk)TΦk -1(X-μk))
步骤24:对每个聚类,设其包含N1个特征向量,每个特征向量用Xi表示,其中1≤i≤N1,计算本聚类中所有特征向量与本聚类的最低相似度设负特征向量集合包含N2个特征向量,每个特征向量用Yj,表示,其中1≤j≤N2,计算负特征向量集合中所有特征向量与本聚类的最高相似度聚类k相似度判定阈值Tk的计算公式为:
进一步的,所述特征描述方法是SIFT特征提取方法、HOG特征提取方法或者SURF算法;聚类方法是K-Mean算法、BIRCH算法或DBSCAN算法。
进一步的,所述步骤3具体包括:
步骤31:对跑道中各个子区域依次拍摄彩色图像,将拍摄的彩色图像转变为灰度图像,对灰度图像使用平滑降噪处理;
步骤32:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像,得到图像中所有为1像素的坐标集合,设为1的像素共有N3个,则集合表示为C={(x1,y1),(x2,y2),...(xN3,yN3)};
步骤33:新建空集合D,将集合C中的第一个坐标移动到集合D;重复遍历集合C,如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW,则将集合C中的坐标转移到集合D,直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW,或者集合C为空集合;其中minW单位为像素,minW取值为10到30;
步骤34:统计集合D中的所有点在X轴上最大坐标为maxX,最小坐标为minX,统计集合D中的所有点在Y轴上最大坐标maxY,最小坐标minY,取以为中心,max(maxX-minX,maxY-minY)为边长的正方形灰度图像区域,使用步骤21的特征描述方法将该图像区域转化成特征向量V;
步骤35:分别计算V与K个聚类的相似度Pk(V),如果所有Pk(V)均满足Pk(V)<Tk,则
认为发现FOD物体,发出FOD报警,并提供目标对应坐标
步骤36:依次重复步骤32到35,直到集合C为空集合,完成对一张图像中FOD的探测;
步骤37:依次重复步骤32到36,直到完成对所有图像的FOD检测,实现对跑道监视区域的完整FOD检测。
一种跑道FOD图像探测装置包括
非FOD目标排除模型模块,用于对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合;从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数;
FOD图像检测模块,对实际跑道进行图像采集,对每张图像用边缘检测方法进行疑似目标探测,然后根据非FOD目标的排除模型中的的识别参数排除跑道表面物体,实现对跑道监视区域的完整FOD检测。
进一步的,所述非FOD目标的排除模型模块对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合具体过程包括:
步骤11:对跑道的指示灯、标识线、板块缝隙、轮胎痕迹四类物体的整体和局部进行拍照,每类物体应拍摄至少10个样本,每个样本应至少从10个不同的角度进行拍摄;将所有图像剪去冗余区域,仅保留包含被拍摄物体的最小正方形区域;将所有剪裁后图像缩小至32×32像素;
步骤12:在晴天、阴天、雨天、雾霾天气下,以及早上、中午、黄昏光照条件下,重复步骤11,生成正样本图像集合;
步骤13:在跑道上摆放常见FOD,每个物体的直径均不小于最小探测目标直径,重复步骤11、12的拍摄和图像处理方法,生成负样本图像集合。
进一步的,所述非FOD目标的排除模型模块从四个正样本图像集合分别计算并统计四类跑道表面物体区别于负样本图像集合的判定阈值Tk具体过程是:
步骤21:将样本图像集合中所有彩色图像转化为灰度图像,分别使用特征描述方法将每一副图像转化为一个特征向量,其中四个正样本图像集合生成的特征向量称为四个正特征向量集合,负样本图像集合生成的特征向量称为负特征向量集合;
步骤22:将每个正特征向量集合,分别使用聚类分析方法将特征向量分成K个聚类,设定指示灯聚类为a1个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类为a4个,则K=a1+a2+a3+a4;其中a1、a2、a3、a4的取值均为1到5之间的整数;
步骤23:对每个聚类,计算其特征向量分布密度的近似高斯模型参数(μk,Φk),参数μk为聚类内所有特征向量的平均值,参数Φk为聚类内所有特征向量的协方差矩阵,k为聚类的序号且1≤k≤K;在特征空间中任意点X与聚类k相似度Pk(X)计算公式为:
Pk(X)=exp(-(X-μk)TΦk -1(X-μk))
步骤24:对每个聚类,设其包含N1个特征向量,每个特征向量用Xi表示,其中1≤i≤N1,计算本聚类中所有特征向量与本聚类的最低相似度设负特征向量集合包含N2个特征向量,每个特征向量用Yj,表示,其中1≤j≤N2,计算负特征向量集合中所有特征向量与本聚类的最高相似度聚类k相似度判定阈值Tk的计算公式为:
进一步的,所述FOD图像检测模块,对实际跑道进行图像采集,根据非FOD目标的排除模型模块中的判断阈值Tk对采集到的实际跑道图像进行检测,实现对跑道监视区域的完整FOD检测;
步骤31:对跑道中各个子区域依次拍摄彩色图像,将拍摄的彩色图像转变为灰度图像,对灰度图像使用平滑降噪处理;
步骤32:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像,得到图像中所有为1像素的坐标集合,设为1的像素共有N3个,则集合表示为C={(x1,y1),(x2,y2),...(xN3,yN3)};
步骤33:新建空集合D,将集合C中的第一个坐标移动到集合D;重复遍历集合C,如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW,则将集合C中的坐标转移到集合D,直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW,或者集合C为空集合;其中minW单位为像素,minW取值为10到30;
步骤34:统计集合D中的所有点在X轴上最大坐标为maxX,最小坐标为minX,统计集合D中的所有点在Y轴上最大坐标maxY,最小坐标minY,取以为中心,max(maxX-minX,maxY-minY)为边长的正方形灰度图像区域,使用步骤21的特征描述方法将该图像区域转化成特征向量V;
步骤35:分别计算V与K个聚类的相似度Pk(V),如果所有Pk(V)均满足Pk(V)<Tk,则
认为发现FOD物体,发出FOD报警,并提供目标对应坐标
步骤36:依次重复步骤32到35,直到集合C为空集合,完成对一张图像中FOD的探测;
步骤37:依次重复步骤32到36,直到完成对所有图像的FOD检测,实现对跑道监视区域的完整FOD检测。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、提出了一种快速的FOD图像探测方法,方法通过对局部外貌差异进行探测,能够实现快速疑似FOD探测;
2、提出的方法检测结果准确,方法对疑似FOD进行非FOD物体识别,能够有效排除虚警;
3、提出的方法探测能力和环境适应能力强,只要FOD外貌能够区别于跑道、跑道固有结构或纹理,对多种FOD(包括非常见FOD)也有探测能力。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
工作原理:本发明针对跑道入侵异物(下文简称FOD)探测问题,提出了一种图像FOD探测方法。方法在前期通过训练获得跑道自身固有结构在多种气象和光照条件下成像的特征分布规律,建立非FOD目标的排除模型。在FOD探测过程中,首先对局部外貌差异进行边缘检测得到疑似目标,然后通过前期训练获得的排除模型进行快速非FOD目标排除,最终得到FOD目标并进行报警。具体包括:
一、前期训练获得跑道自身固有结构分布规律,建立非FOD目标的排除模型,具体步骤为:
步骤1:对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD(至少包含跑道混凝土块、扳手、轮胎碎片、油箱盖、塑料管、金属零部件六类物体)拍摄照片,建立一个负样本图像集合;
步骤2:从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数;
进一步的,其中步骤1具体为:
步骤11:对跑道的指示灯、标识线、板块缝隙、轮胎痕迹四类物体的整体和局部进行拍照,每类物体应拍摄至少10个样本,每个样本应至少从10个不同的角度进行拍摄;将所有图像剪去冗余区域,仅保留包含被拍摄物体的最小正方形区域;将所有剪裁后图像缩小至32×32像素;
步骤12:在晴天、阴天、雨天、雾霾天气下,以及早上、中午、黄昏光照条件下,重复步骤11;
步骤13:在跑道上摆放常见FOD(至少包含跑道混凝土块、扳手、轮胎碎片、油箱盖、塑料管、金属零部件六类物体),每个物体的直径均不小于最小探测目标直径(一般为3cm),重复步骤11、12的拍摄和图像处理方法。
进一步的,其中步骤2具体为:
步骤21:将所有彩色图像转化为灰度图像,分别使用特征描述方法将每一副图像转化为一个特征向量,其中四个正样本图像集合生成的特征向量称为四个正特征向量集合,负样本图像集合生成的特征向量称为负特征向量集合;所使用的特征描述方法可以是SIFT、HOG、SURF;
步骤22:将每个正特征向量集合,分别使用聚类分析方法将特征向量分成K个聚类,设定指示灯聚类为a1个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类为a4个,则K=a1+a2+a3+a4;
步骤23:对每个聚类,计算其特征向量分布密度的近似高斯模型参数(μk,Φk),参数μk为聚类内所有特征向量的平均值,参数Φk为聚类内所有特征向量的协方差矩阵,k为聚类的序号且1≤k≤K;在特征空间中任意点X与聚类k相似度计算公式为:
Pk(X)=exp(-(X-μk)TΦk -1(X-μk))
步骤24:对每个聚类,设其包含N1个特征向量,每个特征向量用Xi(1≤i≤N1)表示,计算本聚类中所有特征向量与本聚类的最低相似度设负特征向量集合包含N2个特征向量,每个特征向量用Yj(1≤j≤N2)表示,计算负特征向量集合中所有特征向量与本聚类的最高相似度聚类k相似度判定阈值Tk的计算公式为
二、在探测中通过步骤3对跑道FOD进行图像探测。
对实际跑道进行图像采集,对每张图像用边缘检测方法进行疑似目标探测,然后根据非FOD目标的排除模型中的识别参数排除跑道表面物体,实现对跑道监视区域的完整FOD检测,具体步骤为:
步骤111:对跑道中各个子区域依次拍摄彩色图像,将拍摄的彩色图像转变为灰度图像,对灰度图像使用平滑降噪处理;
步骤112:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像,得到图像中所有为1像素的坐标集合,设为1的像素共有N3个,则集合表示为C={(x1,y1),(x2,y2),...(xN3,yN3)};
步骤113:新建空集合D,将集合C中的第一个坐标移动到集合D;重复遍历集合C,如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW,则将集合C中的坐标转移到集合D,直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW,或者集合C为空集合;其中minW的取值一般为10到30;
步骤114:统计集合D中的所有点在X轴上最大坐标为maxX,最小坐标为minX,统计集合D中的所有点在Y轴上最大坐标maxY,最小坐标minY,取以为中心,max(maxX-minX,maxY-minY)为边长的正方形灰度图像区域,使用步骤21的特征描述方法将该图像区域转化成特征向量V;;
步骤115:分别计算V与K个聚类的相似度Pk(V),如果所有Pk(V)均满足Pk(V)<Tk,则
认为发现FOD物体,发出FOD报警,并提供目标对应坐标
步骤116:依次重复步骤112到115,直到集合C为空集合,完成对一张图像中FOD的探测;
步骤117:依次重复步骤112到116,直到完成对所有图像的FOD检测,实现对跑道监视区域的完整FOD检测。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (6)
1.一种跑道FOD图像探测方法,其特征在于包括:
步骤1:对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合;
步骤2:从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数;
步骤3:对实际跑道进行图像采集,对每张图像用边缘检测方法进行疑似目标探测,然后根据非FOD目标的排除模型中的识别参数排除跑道表面物体,实现对跑道监视区域的完整FOD检测;
所述步骤2具体步骤包括:
步骤21:将样本图像集合中所有彩色图像转化为灰度图像,分别使用特征描述方法将每一副图像转化为一个特征向量,其中四个正样本图像集合生成的特征向量称为四个正特征向量集合,负样本图像集合生成的特征向量称为负特征向量集合;
步骤22:将每个正特征向量集合,分别使用聚类分析方法将特征向量分成K个聚类,设定指示灯聚类为a1个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类为a4个,则K=a1+a2+a3+a4;其中a1、a2、a3、a4的取值均为1到5之间的整数;
步骤23:对每个聚类,计算其特征向量分布密度的近似高斯模型参数(μk,Φk),参数μk为聚类内所有特征向量的平均值,参数Φk为聚类内所有特征向量的协方差矩阵,k为聚类的序号且1≤k≤K;在特征空间中任意点X与聚类k相似度Pk(X)计算公式为:
Pk(X)=exp(-(X-μk)TΦk -1(X-μk))
步骤24:对每个聚类,设其包含N1个特征向量,每个特征向量用Xi表示,其中1≤i≤N1,计算本聚类中所有特征向量与本聚类的最低相似度设负特征向量集合包含N2个特征向量,每个特征向量用Yj,表示,其中1≤j≤N2,计算负特征向量集合中所有特征向量与本聚类的最高相似度聚类k相似度判定阈值Tk的计算公式为:
所述步骤3具体包括:
步骤31:对跑道中各个子区域依次拍摄彩色图像,将拍摄的彩色图像转变为灰度图像,对灰度图像使用平滑降噪处理;
步骤32:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像,得到图像中所有为1像素的坐标集合,设为1的像素共有N3个,则集合表示为C={(x1,y1),(x2,y2),...(xN3,yN3)};
步骤33:新建空集合D,将集合C中的第一个坐标移动到集合D;重复遍历集合C,如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW,则将集合C中的坐标转移到集合D,直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW,或者集合C为空集合;其中minW单位为像素,minW取值为10到30;
步骤34:统计集合D中的所有点在X轴上最大坐标为maxX,最小坐标为minX,统计集合D中的所有点在Y轴上最大坐标maxY,最小坐标minY,取以为中心,max(maxX-minX,maxY-minY)为边长的正方形灰度图像区域,使用步骤21的特征描述方法将该图像区域转化成特征向量V;
步骤35:分别计算V与K个聚类的相似度Pk(V),如果所有Pk(V)均满足Pk(V)<Tk,则认为发现FOD物体,发出FOD报警,并提供目标对应坐标
步骤36:依次重复步骤32到35,直到集合C为空集合,完成对一张图像中FOD的探测;
步骤37:依次重复步骤32到36,直到完成对所有图像的FOD检测,实现对跑道监视区域的完整FOD检测。
2.根据权利要求1所述的一种跑道FOD图像探测方法,其特征在于所述步骤1具体包括:
步骤11:对跑道的指示灯、标识线、板块缝隙、轮胎痕迹四类物体的整体和局部进行拍照,每类物体应拍摄至少10个样本,每个样本应至少从10个不同的角度进行拍摄;将所有图像剪去冗余区域,仅保留包含被拍摄物体的最小正方形区域;将所有剪裁后图像缩小至32×32像素;
步骤12:在晴天、阴天、雨天、雾霾天气下,以及早上、中午、黄昏光照条件下,重复步骤11,生成正样本图像集合;
步骤13:在跑道上摆放常见FOD,每个物体的直径均不小于最小探测目标直径,重复步骤11、12的拍摄和图像处理方法,生成负样本图像集合。
3.根据权利要求2所述的一种跑道FOD图像探测方法,其特征在于所述最小探测目标直径为3cm。
4.根据权利要求1所述的一种跑道FOD图像探测方法,其特征在于所述特征描述方法是SIFT特征提取方法、HOG特征提取方法或者SURF算法;聚类方法是K-Mean算法、BIRCH算法或DBSCAN算法。
5.一种跑道FOD图像探测装置,其特征在于包括
非FOD目标排除模型模块,用于对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合;从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数;
FOD图像检测模块,对实际跑道进行图像采集,对每张图像用边缘检测方法进行疑似目标探测,然后根据非FOD目标的排除模型中的识别参数排除跑道表面物体,实现对跑道监视区域的完整FOD检测,具体过程是步骤31:对跑道中各个子区域依次拍摄彩色图像,将拍摄的彩色图像转变为灰度图像,对灰度图像使用平滑降噪处理;
步骤32:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像,得到图像中所有为1像素的坐标集合,设为1的像素共有N3个,则集合表示为C={(x1,y1),(x2,y2),...(xN3,yN3)};
步骤33:新建空集合D,将集合C中的第一个坐标移动到集合D;重复遍历集合C,如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW,则将集合C中的坐标转移到集合D,直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW,或者集合C为空集合;其中minW单位为像素,minW取值为10到30;
步骤34:统计集合D中的所有点在X轴上最大坐标为maxX,最小坐标为minX,统计集合D中的所有点在Y轴上最大坐标maxY,最小坐标minY,取以为中心,max(maxX-minX,maxY-minY)为边长的正方形灰度图像区域,使用步骤21的特征描述方法将该图像区域转化成特征向量V;
步骤35:分别计算V与K个聚类的相似度Pk(V),如果所有Pk(V)均满足Pk(V)<Tk,则认为发现FOD物体,发出FOD报警,并提供目标对应坐标
步骤36:依次重复步骤32到35,直到集合C为空集合,完成对一张图像中FOD的探测;
步骤37:依次重复步骤32到36,直到完成对所有图像的FOD检测,实现对跑道监视区域的完整FOD检测;
所述从四个正样本图像集合建立非FOD目标的排除模型,分别计算并统计四类跑道表面物体区别于负样本图像集合的识别参数具体步骤包括:
步骤21:将样本图像集合中所有彩色图像转化为灰度图像,分别使用特征描述方法将每一副图像转化为一个特征向量,其中四个正样本图像集合生成的特征向量称为四个正特征向量集合,负样本图像集合生成的特征向量称为负特征向量集合;
步骤22:将每个正特征向量集合,分别使用聚类分析方法将特征向量分成K个聚类,设定指示灯聚类为a1个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类为a4个,则K=a1+a2+a3+a4;其中a1、a2、a3、a4的取值均为1到5之间的整数;
步骤23:对每个聚类,计算其特征向量分布密度的近似高斯模型参数(μk,Φk),参数μk为聚类内所有特征向量的平均值,参数Φk为聚类内所有特征向量的协方差矩阵,k为聚类的序号且1≤k≤K;在特征空间中任意点X与聚类k相似度Pk(X)计算公式为:
Pk(X)=exp(-(X-μk)TΦk -1(X-μk))
步骤24:对每个聚类,设其包含N1个特征向量,每个特征向量用Xi表示,其中1≤i≤N1,计算本聚类中所有特征向量与本聚类的最低相似度设负特征向量集合包含N2个特征向量,每个特征向量用Yj,表示,其中1≤j≤N2,计算负特征向量集合中所有特征向量与本聚类的最高相似度聚类k相似度判定阈值Tk的计算公式为:
6.根据权利要求5所述的一种跑道FOD图像探测装置,其特征在于所述非FOD目标的排除模型模块对理想跑道中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体拍摄照片,分别建立四个正样本图像集合;对常见FOD拍摄照片,建立一个负样本图像集合具体过程包括:
步骤11:对跑道的指示灯、标识线、板块缝隙、轮胎痕迹四类物体的整体和局部进行拍照,每类物体应拍摄至少10个样本,每个样本应至少从10个不同的角度进行拍摄;将所有图像剪去冗余区域,仅保留包含被拍摄物体的最小正方形区域;将所有剪裁后图像缩小至32×32像素;
步骤12:在晴天、阴天、雨天、雾霾天气下,以及早上、中午、黄昏光照条件下,重复步骤11,生成正样本图像集合;
步骤13:在跑道上摆放常见FOD,每个物体的直径均不小于最小探测目标直径,重复步骤11、12的拍摄和图像处理方法,生成负样本图像集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698144.3A CN105160362B (zh) | 2015-10-22 | 2015-10-22 | 一种跑道fod图像探测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698144.3A CN105160362B (zh) | 2015-10-22 | 2015-10-22 | 一种跑道fod图像探测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105160362A CN105160362A (zh) | 2015-12-16 |
CN105160362B true CN105160362B (zh) | 2018-10-09 |
Family
ID=54801214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510698144.3A Active CN105160362B (zh) | 2015-10-22 | 2015-10-22 | 一种跑道fod图像探测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105160362B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815602B (zh) * | 2017-01-10 | 2019-12-10 | 中国民用航空总局第二研究所 | 一种基于多层次特征描述的跑道fod图像探测方法及装置 |
CN107238821B (zh) * | 2017-05-31 | 2020-05-19 | 中国电子科技集团公司第二十九研究所 | 一种基于特征谱特征的机场跑道异物检测方法及装置 |
CN108764202B (zh) * | 2018-06-06 | 2023-04-18 | 平安科技(深圳)有限公司 | 机场异物识别方法、装置、计算机设备及存储介质 |
CN109409282B (zh) * | 2018-10-24 | 2022-07-08 | 珠海瑞天安科技发展有限公司 | 一种机场跑道外来物检测方法及*** |
CN109765557B (zh) * | 2018-12-30 | 2021-05-04 | 上海微波技术研究所(中国电子科技集团公司第五十研究所) | 基于分布特性的fod目标自适应快速分类识别方法、***及介质 |
CN110135296A (zh) * | 2019-04-30 | 2019-08-16 | 上海交通大学 | 基于卷积神经网络的机场跑道fod检测方法 |
CN112198499B (zh) * | 2020-09-03 | 2021-08-31 | 中标慧安信息技术股份有限公司 | 一种基于物联网的机场跑道异物监测*** |
CN112597926A (zh) * | 2020-12-28 | 2021-04-02 | 广州辰创科技发展有限公司 | 基于fod影像对飞机目标的识别方法、设备、存储介质 |
CN113465664A (zh) * | 2021-06-17 | 2021-10-01 | 国网宁夏电力有限公司电力科学研究院 | 罐式电力设备内部异物检测与识别方法 |
CN113657333B (zh) * | 2021-08-23 | 2024-01-12 | 深圳科卫机器人科技有限公司 | 警戒线识别方法、装置、计算机设备及存储介质 |
CN115861958B (zh) * | 2023-02-23 | 2023-06-13 | 中科大路(青岛)科技有限公司 | 车载fod识别方法、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测***及其检测方法 |
CN104536058A (zh) * | 2015-01-08 | 2015-04-22 | 西安费斯达自动化工程有限公司 | 图像/雷达/激光测距机场跑道异物监控一体化*** |
-
2015
- 2015-10-22 CN CN201510698144.3A patent/CN105160362B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测***及其检测方法 |
CN104536058A (zh) * | 2015-01-08 | 2015-04-22 | 西安费斯达自动化工程有限公司 | 图像/雷达/激光测距机场跑道异物监控一体化*** |
Non-Patent Citations (2)
Title |
---|
Airport Runway FOD Detection Based on LFMCW Radar Using Interpolated FFT and CLEAN;Zhong Qi 等;《2012 IEEE 12th International Conference on Computer and Information Technology》;20121231;747-750 * |
机场道面复杂背景下异物特征分析与检测;刘迪 等;《电子设计工程》;20130131;第21卷(第2期);12-15 * |
Also Published As
Publication number | Publication date |
---|---|
CN105160362A (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105160362B (zh) | 一种跑道fod图像探测方法及装置 | |
CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
CN106529602B (zh) | 一种毫米波图像自动目标识别方法及装置 | |
CN106290388A (zh) | 一种绝缘子故障自动检测方法 | |
CN102393961B (zh) | 基于计算机视觉的飞行器输电线路实时检测跟踪方法 | |
CN103942557B (zh) | 一种煤矿井下图像预处理方法 | |
CN109918971A (zh) | 监控视频中人数检测方法及装置 | |
CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN106127253B (zh) | 一种利用样本特征学习分类的红外弱小目标检测方法 | |
CN103745216B (zh) | 一种基于空域特性的雷达图像杂波抑制方法 | |
Dong et al. | Visual UAV detection method with online feature classification | |
CN102073846A (zh) | 基于航拍图像的交通信息获取方法 | |
CN110110675A (zh) | 一种融合边缘信息的小波域分形红外卷云检测方法 | |
CN110441320B (zh) | 一种煤矸石检测方法、装置及*** | |
CN105069816B (zh) | 一种进出口人流量统计的方法及*** | |
CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
CN102542293A (zh) | 一种针对高分辨率sar图像场景解译的一类提取分类方法 | |
Yun et al. | Crack recognition and segmentation using morphological image-processing techniques for flexible pavements | |
CN106548131A (zh) | 一种基于行人检测的施工人员安全帽实时检测方法 | |
CN105372717A (zh) | 一种基于雷达和图像信号的fod融合探测方法及装置 | |
CN105005773A (zh) | 一种融合时域信息和空域信息的行人检测方法 | |
CN105893970A (zh) | 基于亮度方差特征的夜间道路车辆检测方法 | |
CN107341455B (zh) | 一种区域多特征的检测方法及检测装置 | |
CN107784258A (zh) | 地铁人流密度实时监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |