CN108764202B - 机场异物识别方法、装置、计算机设备及存储介质 - Google Patents
机场异物识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN108764202B CN108764202B CN201810574129.1A CN201810574129A CN108764202B CN 108764202 B CN108764202 B CN 108764202B CN 201810574129 A CN201810574129 A CN 201810574129A CN 108764202 B CN108764202 B CN 108764202B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- network
- identification
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 187
- 239000013598 vector Substances 0.000 claims abstract description 93
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 210000001525 retina Anatomy 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机场异物识别方法、装置、计算机设备及存储介质，在通过异物检测模型检测出检测图像中存在异物时，获取该检测图像的连续预定帧图像，组成识别图像集。通过识别图像集中异物对应位置的特征向量和基准特征向量的特征向量相似度，来获取比较结果，最后根据比较结果生成识别结果。可以避免检测图像受周围环境变化(光照，阴影等)影响而对识别结果造成的误判，以在机场异物识别过程中筛除一部分错判样本，从而提高了机场异物的识别精度。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种机场异物识别方法、装置、计算机设备及存储介质。
背景技术
在机场跑道中经常会出现各种异常物体，被称为FOD(Foreign Object Debris)，FOD泛指可能损伤航空器或***的某种外来的物质，常称为跑道异物。FOD的种类相当多，如飞机和发动机连接件(螺帽、螺钉、垫圈、保险丝等)、机械工具、飞行物品(钉子、私人证件、钢笔、铅笔等)、野生动物、树叶、石头和沙子、道面材料、木块、塑料或聚乙烯材料、纸制品、运行区的冰碴儿等等。实验和案例都表明，机场道面上的外来物可以很容易被吸入发动机，导致发动机失效。碎片也会堆积在机械装置中，影响起落架、襟翼等设备的正常运行。
而由于人工智能的发展，开始尝试用深度学习物体检测模型来实现对机场异物的检测。然而，现有深度学习物体检测模型主要分为两步检测(Two stage detecotr)模型(FastRCNN，FasterRCNN等)和单步检测(Single stage detector)模型(FCN，SSD等)两类。传统的两步检测模型对于物体场景占比率极低(不足千分之一)的情况下，区域选取困难且运算速度慢。不适合有一定实时性要求的场景。而传统的单步检测模型对于微小物体不够敏感，且对于微小物体而言，最终检测位置容易产生偏差。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高机场异物识别精度的机场异物识别方法、装置、计算机设备及存储介质。
一种机场异物识别方法，包括：
获取检测图像，采用异物检测模型对所述检测图像进行检测，获取检测结果；
若所述检测结果为所述检测图像中存在异物，则获取所述异物在所述检测图像中的位置，作为基准位置，根据所述基准位置提取所述异物的特征向量，作为基准特征向量；
根据所述检测图像获取连续预定帧图像，组成识别图像集；
根据所述基准位置提取所述识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和所述基准特征向量的特征向量相似度，获取比较结果；
根据所述比较结果生成识别结果，所述识别结果包括确认为异物和确认为非异物。
一种机场异物识别装置，包括：
检测结果获取模块，用于获取检测图像，采用异物检测模型对所述检测图像进行检测，获取检测结果；
基准特征向量获取模块，用于若所述检测结果为所述检测图像中存在异物，则获取所述异物在所述检测图像中的位置，作为基准位置，根据所述基准位置提取所述异物的特征向量，作为基准特征向量；
识别图像集组成模块，用于根据所述检测图像获取连续预定帧图像，组成识别图像集；
比较结果获取模块，用于根据所述基准位置提取所述识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和所述基准特征向量的特征向量相似度，获取比较结果；
识别结果获取模块，用于根据所述比较结果生成识别结果，所述识别结果包括确认为异物和确认为非异物。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述机场异物识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述机场异物识别方法的步骤。
上述机场异物识别方法、装置、计算机设备及存储介质中，在通过异物检测模型检测出检测图像中存在异物时，通过获取该检测图像的连续预定帧图像，组成识别图像集。通过识别图像集中异物对应位置的特征向量和基准特征向量的特征向量相似度，来获取比较结果，最后根据比较结果生成识别结果。可以避免检测图像受周围环境变化(光照，阴影等)影响而对识别结果造成的误判，以在异物识别过程中筛除一部分错判样本，从而提高了机场异物的识别精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中机场异物识别方法的一应用环境示意图；
图2是本发明一实施例中机场异物识别方法的一示例图；
图3是本发明一实施例中机场异物识别方法的步骤S10的一示例图；
图4是本发明一实施例中机场异物识别方法的步骤S11的一示例图；
图5是本发明一实施例中机场异物识别方法的步骤S12的一示例图；
图6是本发明一实施例中机场异物识别装置的一原理框图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的机场异物识别方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信。客户端发送检测图像到服务端中，服务端对检测图像进行识别，生成识别结果。其中，客户端(计算机设备)可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、视频采集设备和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种机场异物识别方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：获取检测图像，采用异物检测模型对检测图像进行检测，获取检测结果。
其中，检测图像是指将机场的监控视频中的视频数据按照一定的时间间隔分割成预定帧的图像而形成的。优选地，将检测图像按照时间先后顺序进行排序，然后采用异物检测模型对检测图像进行检测，获取检测结果。可选地，检测结果包括检测图像中存在异物和不存在异物两种情况。异物检测模型是一个预先训练好的识别模型，可选地，异物检测模型可以采用两步检测(Two stage detecotr)模型(FastRCNN，FasterRCNN等)或单步检测(Single stage detector)模型(FCN，SSD等)实现。通过预先训练好的异物检测模型对检测图像进行检测，异物检测模型输出一个检测结果。
S20：若检测结果为检测图像中存在异物，则获取异物在检测图像中的位置，作为基准位置，根据基准位置提取异物的特征向量，作为基准特征向量。
采用异物检测模型对检测图像进行检测，若异物检测模型输出的结果是该检测图像中存在异物，则获取异物在检测图像中的位置，并基于该位置提取对应的特征向量作为基准特征向量。具体地，可以将检测到的异物先统一缩放到预定大小(比如32*32)，然后提取特征向量，作为基准特征向量。可选地，可以提取异物的颜色直方图和方向梯度直方图(HOG，Histogram of Gradient)组成基准特征向量。
S30：根据检测图像获取连续预定帧图像，组成识别图像集。
基于该检测图像获取对应的连续预定帧图像，组成识别图像集。连续预定帧图像是指在检测图像所在的视频数据中和检测图像相邻且连续的预定帧图像。例如，获取该检测图像对应的下20帧图像，组成识别图像集。
S40：根据基准位置提取识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和基准特征向量的特征向量相似度，获取比较结果。
根据基准位置获取到识别图像集中每一识别图像的特征向量，并将每一识别图像的特征向量和基准特征向量进行比较，获取特征向量相似度。具体地，可以采用明氏距离、欧氏距离或马氏距离等算法来计算每一识别图像的特征向量和基准特征向量的特征向量相似度。其中，将计算得到的特征向量相似度和预设的相似度阈值进行比较，并得出一比较结果，具体可以为：相似和不相似。例如：当特征向量相似度大于或等于相似度阈值时，比较结果为相似；当特征向量相似度小于相似度阈值时，比较结果为不相似。
S50：根据比较结果生成识别结果，识别结果包括确认为异物和确认为非异物。
统计识别图像集中每一识别图像的比较结果，当比较结果中相似的数量大于或等于判定阈值时，识别结果为确认为异物。当比较结果中相似的数量小于判定阈值时，识别结果为确认为非异物。该判定阈值可以通过识别图像集中的图像的数量来设定，例如，判定阈值为识别图像集中的图像的数量的60％、80％或者90％。
在检测图像中时，有可能是因为周围环境变化(光照，阴影等)的影响而在检测图像中形成了阴影。在采用异物检测模型对检测图像进行检测时，就有可能将该阴影认定成异物。在异物检测模型的检测结果为存在异物时，通过进一步比对检测图像连续预定帧图像中对应位置处的特征向量相似度，来排除检测图像中存在的阴影对识别结果的影响。
在本实施例中，在通过异物检测模型检测出检测图像中存在异物时，通过获取该检测图像的连续预定帧图像，组成识别图像集。通过识别图像集中异物对应位置的特征向量和基准特征向量的特征向量相似度，来获取比较结果，最后根据比较结果生成识别结果。可以避免检测图像受周围环境变化(光照，阴影等)影响而对识别结果造成的误判，以在异物识别过程中筛除一部分错判样本，从而提高了机场异物的识别精度。
在一实施例中，如图3所示，采用异物检测模型对检测图像进行检测，获取检测结果，包括如下步骤：
S11：对检测图像进行预处理，得到待识别图像。
对检测图像进行预处理是指对检测图像进行增强处理，以提高后续的检测精度。在获取检测图像时，影响检测图像的因素有很多，例如：光照度不均匀、采集设备的限制和采集环境的不同等都会导致检测图像的清晰度不够，导致后续的识别精度的降低。因此，在该步骤中通过对检测图像进行预处理，以提高后续的检测精度。可选地，可以对检测图像采用图像增强算法进行全局增强或者局部增强处理，再对增强后的检测图像进行锐化处理，得到待识别图像。优选地，图像增强算法可以为多尺度视网膜算法、自适应直方图均衡化算法或者优化对比度算法等。通过对检测图像进行与处理之后，就得到待识别图像。
S12：将待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图。
其中，全差-金字塔特征网络识别模型是指根据编码-解码模型，采用全差(DenseNet，Densely Connected Convolutional Networks)作为编码网络，采用金字塔特征(RefineNet，Multi-Path Refinement Networks)作为解码网络而构成的神经网络识别模型。
具体地，全差网络是在神经网络模型通过将不同层的网络做一个拼接，使得每一层网络的输入包括前面所有层网络的输出，这样可以避免模型上采样过程中微小物体丢失。全差网络可以提升信息和梯度在网络中的传输效率，每层都能直接从损失函数拿到梯度，并且直接得到输入信号，这样就能训练更深的网络，这种网络结构还有正则化的效果，全差网络从特征重用的角度来提升网络性能。因此，采用全差网络不仅降低了模型上采样过程中微小物体丢失的现象，同时也提高了训练速度并减小了过拟合现象。
金字塔特征网络是一个多路径的改进网络，其提取下采样过程中所有信息，使用长距离网络连接获得高分辨率的预测网络。金字塔特征网络用精细层的特征，使得高层的语义信息可以得到改善。金字塔特征网络中使用了较多的RCU(残差连接单元，residualconnection units)，使得金字塔特征网络内部形成了short-range的连接，对训练有益。此外，金字塔特征网络还与全差网络形成了long-range的连接，让梯度能够有效传送到整个网络中，增加了底层特征对最终结果的影响，有效提高了物体(机场异物)的定位精度。
分类置信图是指对待识别图像进行检测之后对图像中不同类别采用不同方式标注出来而呈现的图像。可选地，可以采用不同的颜色对待识别图像中不同类别进行区分。例如：在检测图像中，有可能出现的物体为跑道、草坪、机场设备(非异物)和机场异物等。因此，可以为上述不同类别的物体提前赋予不同的颜色。在将待识别图像输入到全差-金字塔特征网络识别模型中进行识别之后，全差-金字塔特征网络识别模型根据待识别图像中不同区域的不同判断结果再结合提前赋予不同的颜色形成分类置信图。
在一个具体实施方式中，也可以将机场异物用更加具体的物体进行标注，例如：发动机连接件(螺帽、螺钉、垫圈、保险丝等)、机械工具、飞行物品(钉子、私人证件、钢笔、铅笔等)和动物等。并将这些都归属到机场异物的类别，如此，可以在识别出机场异物时进一步确定出具体的异物类型，方便制定合适的处理措施。
S13：根据分类置信图获取检测结果，检测结果包括检测图像中存在异物和检测图像中不存在异物。
在获取分类置信图之后，可以根据分类置信图上的不同颜色来获取检测结果，检测结果包括检测图像中存在异物和检测图像中不存在异物。例如，若在预先的设定中，将机场异物设定为红色，则在获取到分类置信图之后，判断分类置信图中是否存在红色区域从而得到不同的检测结果。若分类置信图中存在红色区域，则说明检测图像中存在异物，此时检测结果为检测图像中存在异物。若分类置信图中不存在红色区域，则说明检测图像中不存在异物，此时检测结果为检测图像中存在异物。可选地，检测结果可以通过文字、语音或者信号灯等方式体现，也可以是文字、语音或者信号灯至少两项的结合。例如，当检测结果为检测图像中存在异物时，可以发送语音提示，并采用警示灯的方式进行提示，以更好地提醒相关人员进行处理。
在一个实施方式中，当分类置信图中存在红色区域时，还可以获取该机场异物的位置信息，此时检测结果还包括机场异物的位置信息。具体地，可以预先为每一待识别图像赋予一识别标识，用于定位该待识别图像的图像来源，例如通过该识别标识定位到是哪个位置的摄像装置采集得到的。如此，当分类置信图中存在红色区域时，可以通过获取该红色区域在待识别图像中的位置，再结合该待识别图像的识别标识，从而得出该红色区域对应的机场异物在机场中实际的位置。
本实施例通过对检测图像进行预处理，得到待识别图像，以提高后续的检测精度。并采用全差-金字塔特征网络识别模型对待识别图像进行识别，保证了在识别过程中对微小物体的识别精度和定位精度，也提高了识别效率。
在一实施例中，如图4所示，步骤S11中，即对检测图像进行预处理，得到待识别图像，具体包括如下步骤：
S111：采用多尺度视网膜算法对检测图像进行全局增强处理。
其中，多尺度视网膜(Multi-Scale Retinex，MSR)算法是一种图像增强处理的算法，用于减弱未经处理的原图像的各种因素(如干扰噪声、边缘细节缺失等)的影响。采用多尺度视网膜算法对检测图像进行增强处理，通过将检测图像的照度图像去掉，保留反射图像，并对检测图像的灰度动态范围进行调整，得到检测图像对应的反射图像的反射信息，据此来达到增强效果。
优选地，采用多尺度视网膜算法对检测图像进行全局增强处理，具体包括：
采用如下公式对检测图像进行全局增强处理：
其中，N为尺度的个数，(x,y)为检测图像像素的坐标值，G(x,y)为多尺度视网膜算法的输入，即检测图像的灰度值，R(x,y)为多尺度视网膜算法的输出，即全局增强处理后的检测图像的灰度值，wn为尺度的权重因子，其约束条件为
Fn(x,y)为第n个中心环绕函数，表达式为：
式中，σn为第n个中心环绕函数的尺度参数，系数Kn须满足：
具体地，通过图像信息获取工具获取检测图像的灰度值G(x,y)，根据输入的n个中心环绕函数的尺度参数σn的值，确定满足
的Kn的值，然后将中心环绕函数Fn(x,y)和G(x,y)依据如下公式进行计算后，得到全局增强处理后的检测图像的灰度值R(x,y)：
其中，σn决定中心环绕函数邻域大小，其大小决定了检测图像的质量，σn取较大时，选取的邻域范围就较大，检测图像像素受到其周围像素的影响越小，突出检测图像的局部细节。
在一具体实施方式中，选取尺度的个数n＝3,相应地设置:
σ1＝30,σ2＝110,σ3＝200；
其中，σ1、σ2和σ3分别对应检测图像的灰度值区间[0,255]的低灰度、中灰度和高灰度，并且设置w1＝w2＝w3＝1/3。根据上述参数的设置，多尺度视网膜算法同时兼顾了低灰度、中灰度和高灰度这3个灰度尺度，从而获得较好的效果。多尺度视网膜算法通过结合多个尺度可以实现很好的自适应性，突出了图像暗区纹理细节，并可以实现图像动态范围的调整进而达到图像增强的目的。
S112：采用拉普拉斯算子对全局增强处理后的检测图像进行锐化处理，得到待识别图像。
拉普拉斯算子(Laplacian operator)是一种二阶微分算子，适用于改善因为光线的漫反射造成的图像模糊。对图像进行拉普拉斯算子锐化变换可以减少图像的模糊，提高图像的清晰度。因此，通过对全局增强处理后的检测图像进行锐化处理，突出全局增强处理后的检测图像的边缘细节特征，提高了全局增强处理后的检测图像的轮廓清晰度。锐化处理是指对图像进行锐化的变换，用于加强图像中的目标边界和图像细节。全局增强处理后的检测图像经过拉普拉斯算子锐化处理后，图像边缘细节特征被加强的同时也削弱了光晕，从而保护了检测图像的细节。
基于二阶微分的拉普拉斯算子定义为：
对于全局增强处理后的检测图像R(x,y)，其二阶导数为：
因此，拉普拉斯算子
为:
得到拉普拉斯算子
之后，用拉普拉斯算子
对全局增强处理后的检测图像R(x,y)的每一像素灰度值都根据下述公式进行锐化，得到锐化后的像素灰度值，式中，g(x,y)为锐化后的像素灰度值。
将锐化后的像素灰度值替换原(x,y)像素处的灰度值得到待识别图像。
在一个具体实施方式中，拉普拉斯算子
选用四邻域锐化模板矩阵H:
采用四邻域锐化模板矩阵H对全局增强处理后的检测图像进行拉普拉斯算子锐化。
在本实施例中，采用多尺度视网膜算法对检测图像进行全局增强处理，将经过多尺度视网膜算法增强处理之后的检测图像采用拉普拉斯算子进行锐化，图像边缘细节特征被加强的同时也削弱了光晕，从而保护了检测图像的细节。此外，上述步骤不仅简单方便，处理后得到待识别图像边缘细节特征更加突出明了，增强了待识别图像的纹理特征，有利于提高待识别图像识别的准确率。
在一实施例中，如图5所示，在将待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图的步骤之前，该机场异物识别方法还包括：
S121：获取训练样本集，对训练样本集中的训练图像进行分类标注。
其中，训练样本集中包括了训练图像，训练图像是指用于训练全差-金字塔特征网络识别模型的样本图像。可选地，该训练图像可以通过在机场不同位置设置视频采集设备或者图像采集设备来采集对应的数据来获得，视频采集设备或者图像采集设备采集到对应的数据之后发送到服务端。若服务端获取到的是视频数据，可以对视频数据按照预定的帧率进行分帧处理以得到训练图像。对训练图像进行分类标注是指对训练图像中的不同物体进行分类。例如，在训练图像中，有可能出现的物体为跑道、草坪、机场设备(非异物)和机场异物等。通过对训练图像中的不同物体赋予不同的标注信息从而完成对训练图像的分类标注。
S122：采用训练样本集中分类标注的训练图像训练全差网络，得到目标输出向量。
在该步骤中，采用训练样本集中分类标注的训练图像来训练全差网络，而在全差网络中，设定训练图像输入为x0，全差网络由L层结构组成，每一层全差网络都包含一个非线性变换Hl(·)。可选地，非线性变换可以包括ReLU(激活函数，Rectified Linear Units)和Pooling(池化)，或者BN(规范化层，Batch Normalization)、ReLU和卷积层，或者BN、ReLU和Pooling。其中，BN就是通过规范化手段，把每层神经网络任意神经元的输入值的分布调整到均值为0和方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，让梯度变大，避免梯度消失问题产生，能大大加快训练速度。ReLU是一个分段线性函数，也是一种单侧抑制函数，可以将输入的所有的负值都输出为0，而输入的正值则保持不变。通过ReLU可以实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
在本实施例中，设全差网络中第l层的输出为xl，全差网络中每一层都和前面所有的层直接连接，即：
xl＝Hl([x0,x1,...,xl-1])；
而全差网络中对应层的输出就构成了目标输出向量，以供后续采用该目标输出向量训练金字塔特征网络。
S123：采用目标输出向量训练金字塔特征网络，得到全差-金字塔特征网络识别模型。
在金字塔特征网络中，全差网络中的目标输出向量中的各层输出会分别和金字塔特征网络的RCU单元连接。即金字塔特征网络中存在和全差网络中的目标输出向量的层数相同的RCU单元。
RCU单元是指从全差网络中提取出来的单元结构，具体包括了ReLU、卷积和求和等部分。通过将全差网络中获取的各层目标输出向量分别经过ReLU、卷积和求和操作。RCU单元的各层输出都采用Multi-resolution fusion(多分辨率融合)进行处理，从而得到不同的输出特征图：先对RCU单元的各层输出特征图都用一个卷积层进行自适应处理，再进行上采样到该层的最大分辨率。Chained residual pooling(链式残差池化)将输入的不同分辨率的输出特征图上采样到和最大输出特征图相等的尺寸然后进行叠加。最后将叠加后的输出特征图再经过一个RCU进行卷积，即得到一个精细特征图。
金字塔特征网络的作用就是把不同分辨率的特征图进行融合。先把预先训练的全差网络按特征图的分辨率分成若干个全差blocks，然后向右把这若干个blocks分别作为若干个path通过金字塔特征网络进行融合，最后得到一个精细特征图(后续连接softmax层，再通过双线性插值输出)。
在金字塔特征网络中，通过全差网络中的目标输出向量训练金字塔特征网络形成一个初步训练网络，再采用验证样本对金字塔特征网络进行验证和调整，直至得到预设的分类准确率，则训练结束。其中，预设的分类准确率可以根据实际的识别模型的需要而设置。
在这个实施例中，通过采用分类标注后的训练样本集训练得到全差-金字塔特征网络识别模型，保证了该全差-金字塔特征网络识别模型的识别精度和速度。
在一实施例中，训练全差网络，具体包括：
设置全差网络的初始卷积层，并采用全差网络中的最大池化层进行下采样。
卷积层用于对输入图像的特征提取，而初始卷积层提取的就是训练图像的特征，可选地，初始卷积层采用7*7的卷积核。采用全差网络中的最大池化层进行下采样，在进行采样的过程中，如果新采样率小于原采样率则为下采样。最大池化(max-pooling)是指采样函数取区域内所有神经元的最大值。通过经过初始卷积层的输入图像进行最大池化处理，进行特征压缩，提取主要特征，并简化网络计算复杂度。
设置三层全差网络模块，每一全差网络模块包括一个全差卷积层和一个全差激活层，全差激活层中的激活函数采用线性激活函数。
在这三层全差网络模块中，每一个全差网络模块的输出都为前面所有模块输出的结合，即：
xl＝Hl([x0,x1,...,xl-1]),l＝1,2,3；
其中，每一个Hl(·)都为卷积层和激活层两层操作的组合：Conv-＞ReLU。可选地，全差卷积层中的卷积核大小为3*3。每一Hl(·)输出的特征数量即为特征增长率，可选地，设置特征增长率为16，则三层全差网络模块输出的输出特征数量为48。而线性激活函数公式为：
通过线性激活函数的转换，可以使得训练过程的时间快速地收敛。
在全差网络模块之间设置传输层，每一传输层包括规范化层、传输激活层和平均池化层。
在全差网络模块中，每个全差网络模块的输出特征都是在增加的，在上述设置中，若特征增长率为16，则三层全差网络模块输出的输出特征为48。如此，计算量是逐步增大的，因此引入了传输层，设置传输参数来表示将传输层的输入缩小到原来的多少倍。示例地，传输参数为0.6，即将传输层的输入缩小到原来的0.6。
在本实施例中，通过对全差网络中网络结构和各参数的设置，保证了全差网络的训练速度和精度。
在一实施例中，在训练全差-金字塔特征网络识别模型的过程中，损失函数采用Focal Loss函数实现：
FL(pt)＝-(1-pt)γlog(pt)；
其中，
pt是全差-金字塔特征网络识别模型对训练图像的预测值，p为模型对于训练图像y＝1的估计概率，p∈[0,1]，y为训练图像的标注值，γ为调节参数。
损失函数指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。在本实施例中，在训练全差-金字塔特征网络识别模型时，采用损失函数衡量这个全差-金字塔特征网络识别模型预测的好坏，损失函数越小，该识别模型的预测能力越好。在本发明实施例中，训练样本集的训练图像中各个分类的样本图像数量可能不均衡，特别是包含机场异物的训练图像可能较少，为了更好地提升全差-金字塔特征网络识别模型的预测能力而对损失函数进行了选择。
因此损失函数采用了Focal Loss函数实现，Focal loss函数增加了一个调节因子(1-pt)γ，其中，调节参数γ的取值在[0,5]之间。y为训练图像的标注值，示例地，对于训练图像中的异物的标注，如果是异物则标注为y＝1，非异物则标注为y＝-1。当一个训练图像被误分类时，Pt很小，此时调节因子(1-pt)γ接近1，该损失不会有很大影响；当Pt值很大，趋近于1的时候，调节因子的值趋近于0，因此对于正确分类的样本的loss值被缩小了。
在本实施例中，在训练全差-金字塔特征网络识别模型的过程中采用Focal Loss函数，可以减小了分类样本不均对训练全差-金字塔特征网络识别模型的影响，也达到了提高后续检测精度的效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种机场异物识别装置，该机场异物识别装置与上述实施例中机场异物识别方法一一对应。如图6所示，该机场异物识别装置包括检测结果获取模块10、基准特征向量获取模块20、识别图像集组成模块30、比较结果获取模块40和识别结果获取模块50。各功能模块详细说明如下：
检测结果获取模块10，用于获取检测图像，采用异物检测模型对检测图像进行检测，获取检测结果。
基准特征向量获取模块20，用于若检测结果为检测图像中存在异物，则获取异物在检测图像中的位置，作为基准位置，根据基准位置提取异物的特征向量，作为基准特征向量。
识别图像集组成模块30，用于根据检测图像获取连续预定帧图像，组成识别图像集。
比较结果获取模块40，用于根据基准位置提取识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和基准特征向量的特征向量相似度，获取比较结果。
识别结果获取模块50，用于根据比较结果生成识别结果，识别结果包括确认为异物和确认为非异物。
优选地，检测结果获取模块10包括待识别图像获取单元、分类置信图获取单元和检测结果获取单元。
待识别图像获取单元，用于对检测图像进行预处理，得到待识别图像。
分类置信图获取单元，用于将待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图。
检测结果获取单元，用于根据分类置信图获取检测结果，检测结果包括检测图像中存在异物和检测图像中不存在异物。
优选地，待识别图像获取单元包括全局增强处理子单元和锐化处理子单元。
全局增强处理子单元，用于采用多尺度视网膜算法对原始图像进行全局增强处理。
锐化处理单元子，用于采用拉普拉斯算子对全局增强处理后的原始图像进行锐化处理，得到待识别图像。
优选地，该机场异物识别装置还包括训练样本集获取模块、目标输出向量获取模块和识别模型获取模块。
训练样本集获取模块，用于获取训练样本集，对训练样本集中的训练图像进行分类标注。
目标输出向量获取模块，用于采用训练样本集中分类标注的训练图像训练全差网络，得到目标输出向量。
识别模型获取模块，用于采用目标输出向量训练金字塔特征网络，得到全差-金字塔特征网络识别模型。
关于机场异物识别装置的具体限定可以参见上文中对于机场异物识别方法的限定，在此不再赘述。上述机场异物识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储检测图像和异物检测模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机场异物识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取检测图像，采用异物检测模型对检测图像进行检测，获取检测结果。
若所述检测结果为检测图像中存在异物，则获取异物在检测图像中的位置，作为基准位置，根据基准位置提取异物的特征向量，作为基准特征向量。
根据检测图像获取连续预定帧图像，组成识别图像集。
根据基准位置提取识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和基准特征向量的特征向量相似度，获取比较结果。
根据比较结果生成识别结果，识别结果包括确认为异物和确认为非异物。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取检测图像，采用异物检测模型对检测图像进行检测，获取检测结果。
若所述检测结果为检测图像中存在异物，则获取异物在检测图像中的位置，作为基准位置，根据基准位置提取异物的特征向量，作为基准特征向量。
根据检测图像获取连续预定帧图像，组成识别图像集。
根据基准位置提取识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和基准特征向量的特征向量相似度，获取比较结果。
根据比较结果生成识别结果，识别结果包括确认为异物和确认为非异物。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (7)
1.一种机场异物识别方法，其特征在于，包括：
获取检测图像，对所述检测图像进行预处理，得到待识别图像；
将所述待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图；
根据所述分类置信图获取检测结果，所述检测结果包括检测图像中存在异物和检测图像中不存在异物；
若所述检测结果为所述检测图像中存在异物，则获取所述异物在所述检测图像中的位置，作为基准位置，根据所述基准位置提取所述异物的特征向量，作为基准特征向量；
根据所述检测图像获取连续预定帧图像，组成识别图像集；
根据所述基准位置提取所述识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和所述基准特征向量的特征向量相似度，获取比较结果；
根据所述比较结果生成识别结果，所述识别结果包括确认为异物和确认为非异物；
其中，在所述将所述待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图的步骤之前，包括：
获取训练样本集，对所述训练样本集中的训练图像进行分类标注；
采用所述训练样本集中所述分类标注的训练图像训练全差网络，得到目标输出向量；
采用所述目标输出向量训练金字塔特征网络，得到所述全差-金字塔特征网络识别模型；
其中，所述训练全差网络，包括：
设置所述全差网络的初始卷积层，并采用所述全差网络中的最大池化层进行下采样；
设置三层全差网络模块，每一所述全差网络模块包括一个全差卷积层和一个全差激活层，所述全差激活层中的激活函数采用线性激活函数；
在所述全差网络模块之间设置传输层，每一所述传输层包括规范化层、传输激活层和平均池化层。
2.如权利要求1所述的机场异物识别方法，其特征在于，所述对所述检测图像进行预处理，得到待识别图像，具体包括：
采用多尺度视网膜算法对所述检测图像进行全局增强处理；
采用拉普拉斯算子对全局增强处理后的所述检测图像进行锐化处理，得到待识别图像。
3.如权利要求1所述的机场异物识别方法，其特征在于，在训练全差-金字塔特征网络识别模型的过程中，损失函数采用Focal Loss函数实现：
FL(pt)＝-(1-pt)γlog(pt)；
其中，pt是所述全差-金字塔特征网络识别模型对所述训练图像的预测值，p为模型对于所述训练图像y＝1的估计概率，p∈[0,1]，y为所述训练图像的标注值，γ为调节参数。
4.一种机场异物识别装置，其特征在于，包括：
检测结果获取模块，用于获取检测图像，对所述检测图像进行预处理，得到待识别图像；将所述待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图；根据所述分类置信图获取检测结果，所述检测结果包括检测图像中存在异物和检测图像中不存在异物；
基准特征向量获取模块，用于若所述检测结果为所述检测图像中存在异物，则获取所述异物在所述检测图像中的位置，作为基准位置，根据所述基准位置提取所述异物的特征向量，作为基准特征向量；
识别图像集组成模块，用于根据所述检测图像获取连续预定帧图像，组成识别图像集；
比较结果获取模块，用于根据所述基准位置提取所述识别图像集中每一识别图像的特征向量，并比对每一识别图像的特征向量和所述基准特征向量的特征向量相似度，获取比较结果；
识别结果获取模块，用于根据所述比较结果生成识别结果，所述识别结果包括确认为异物和确认为非异物；
其中，所述检测结果获取模块，还用于获取训练样本集，对所述训练样本集中的训练图像进行分类标注；采用所述训练样本集中所述分类标注的训练图像训练全差网络，得到目标输出向量；采用所述目标输出向量训练金字塔特征网络，得到所述全差-金字塔特征网络识别模型；
其中，所述检测结果获取模块，还用于设置所述全差网络的初始卷积层，并采用所述全差网络中的最大池化层进行下采样；设置三层全差网络模块，每一所述全差网络模块包括一个全差卷积层和一个全差激活层，所述全差激活层中的激活函数采用线性激活函数；在所述全差网络模块之间设置传输层，每一所述传输层包括规范化层、传输激活层和平均池化层。
5.如权利要求4所述的机场异物识别装置，其特征在于，检测结果获取模块包括：
待识别图像获取单元，用于对所述检测图像进行预处理，得到待识别图像；
分类置信图获取单元，用于将所述待识别图像输入到全差-金字塔特征网络识别模型中进行识别，获取分类置信图；
检测结果获取单元，用于根据所述分类置信图获取检测结果，所述检测结果包括检测图像中存在异物和检测图像中不存在异物。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述机场异物识别方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述机场异物识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810574129.1A CN108764202B (zh) | 2018-06-06 | 2018-06-06 | 机场异物识别方法、装置、计算机设备及存储介质 |
| PCT/CN2018/092614 WO2019232831A1 (zh) | 2018-06-06 | 2018-06-25 | 机场异物识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810574129.1A CN108764202B (zh) | 2018-06-06 | 2018-06-06 | 机场异物识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764202A CN108764202A (zh) | 2018-11-06 |
| CN108764202B true CN108764202B (zh) | 2023-04-18 |
Family
ID=63999142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810574129.1A Active CN108764202B (zh) | 2018-06-06 | 2018-06-06 | 机场异物识别方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108764202B (zh) |
| WO (1) | WO2019232831A1 (zh) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160074A (zh) * | 2018-11-08 | 2020-05-15 | 欧菲影像技术（广州）有限公司 | 设备内部异物识别方法、装置、计算机设备和存储介质 |
| CN109218233B (zh) * | 2018-11-14 | 2021-07-20 | 国家电网有限公司 | 基于深度特征融合网络的ofdm信道估计方法 |
| CN109583502B (zh) * | 2018-11-30 | 2022-11-18 | 天津师范大学 | 一种基于对抗擦除注意力机制的行人再识别方法 |
| CN109766884A (zh) * | 2018-12-26 | 2019-05-17 | 哈尔滨工程大学 | 一种基于Faster-RCNN的机场跑道异物检测方法 |
| CN109765557B (zh) * | 2018-12-30 | 2021-05-04 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 基于分布特性的fod目标自适应快速分类识别方法、***及介质 |
| CN109829501B (zh) * | 2019-02-01 | 2021-02-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109919869B (zh) * | 2019-02-28 | 2021-06-04 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN111862105A (zh) * | 2019-04-29 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 图像的区域处理方法、装置和电子设备 |
| US11238301B2 (en) | 2019-05-09 | 2022-02-01 | Boe Technology Group Co., Ltd. | Computer-implemented method of detecting foreign object on background object in an image, apparatus for detecting foreign object on background object in an image, and computer-program product |
| CN111178200B (zh) * | 2019-12-20 | 2023-06-02 | 海南车智易通信息技术有限公司 | 一种仪表盘指示灯的识别方法及计算设备 |
| CN111259763B (zh) * | 2020-01-13 | 2024-02-02 | 华雁智能科技(集团)股份有限公司 | 目标检测方法、装置、电子设备及可读存储介质 |
| CN111539443B (zh) * | 2020-01-22 | 2024-02-09 | 北京小米松果电子有限公司 | 一种图像识别模型训练方法及装置、存储介质 |
| CN111310645B (zh) * | 2020-02-12 | 2023-06-13 | 上海东普信息科技有限公司 | 货物堆积量的溢仓预警方法、装置、设备及存储介质 |
| CN111340796B (zh) * | 2020-03-10 | 2023-07-21 | 创新奇智(成都)科技有限公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
| CN111462059B (zh) * | 2020-03-24 | 2023-09-29 | 湖南大学 | 胎儿超声图像智能目标检测的并行处理方法和装置 |
| CN113449554B (zh) * | 2020-03-25 | 2024-03-08 | 北京灵汐科技有限公司 | 一种目标检测识别方法及*** |
| CN111340137A (zh) * | 2020-03-26 | 2020-06-26 | 上海眼控科技股份有限公司 | 图像识别方法、装置及存储介质 |
| CN111553277B (zh) * | 2020-04-28 | 2022-04-26 | 电子科技大学 | 一种引入一致性约束的中文签名鉴定方法及终端 |
| CN111680609B (zh) * | 2020-06-03 | 2023-02-07 | 合肥中科类脑智能技术有限公司 | 基于图像配准和目标检测的异物识别***及其方法 |
| CN111897025A (zh) * | 2020-08-06 | 2020-11-06 | 航泰众联(北京)科技有限公司 | 基于3d/2d一体化检测的机场道面异物检测设备及*** |
| CN112037197A (zh) * | 2020-08-31 | 2020-12-04 | 中冶赛迪重庆信息技术有限公司 | 一种热轧棒材冷剪物料堆积检测方法、***及介质 |
| CN112308073B (zh) * | 2020-11-06 | 2023-08-25 | 中冶赛迪信息技术(重庆)有限公司 | 废钢火车装卸料转载状态识别方法、***、设备及介质 |
| CN112396005A (zh) * | 2020-11-23 | 2021-02-23 | 平安科技（深圳）有限公司 | 生物特征图像识别方法、装置、电子设备及可读存储介质 |
| CN112580509B (zh) * | 2020-12-18 | 2022-04-15 | 中国民用航空总局第二研究所 | 逻辑推理式道面检测方法及*** |
| CN112668423B (zh) * | 2020-12-18 | 2024-05-28 | 平安科技（深圳）有限公司 | 楼道杂物检测方法、装置、终端设备及存储介质 |
| CN112686172B (zh) * | 2020-12-31 | 2023-06-13 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 机场跑道异物检测方法、装置及存储介质 |
| CN113159089A (zh) * | 2021-01-18 | 2021-07-23 | 安徽建筑大学 | 一种路面损伤识别方法、***、计算机设备和存储介质 |
| CN112766151B (zh) * | 2021-01-19 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和*** |
| CN112949474B (zh) * | 2021-02-26 | 2023-01-31 | 山东鹰格信息工程有限公司 | 机场fod监测方法、设备、存储介质及装置 |
| CN113111703B (zh) * | 2021-03-02 | 2023-07-28 | 郑州大学 | 基于多种卷积神经网络融合的机场道面病害异物检测方法 |
| CN113096080B (zh) * | 2021-03-30 | 2024-01-16 | 四川大学华西第二医院 | 图像分析方法及*** |
| CN113111810B (zh) * | 2021-04-20 | 2023-12-08 | 北京嘀嘀无限科技发展有限公司 | 一种目标识别方法和*** |
| CN113177459A (zh) * | 2021-04-25 | 2021-07-27 | 云赛智联股份有限公司 | 一种智慧机场服务的视频智能分析方法及*** |
| CN113177922A (zh) * | 2021-05-06 | 2021-07-27 | 中冶赛迪重庆信息技术有限公司 | 一种原料异物识别方法、***、介质及电子终端 |
| CN113393401B (zh) * | 2021-06-24 | 2023-09-05 | 上海科技大学 | 物体检测硬件加速器、***、方法、设备和介质 |
| CN113344900B (zh) * | 2021-06-25 | 2023-04-18 | 北京市商汤科技开发有限公司 | 机场跑道侵入检测方法、装置、存储介质及电子设备 |
| CN113780074A (zh) * | 2021-08-04 | 2021-12-10 | 五邑大学 | 卷纸中包质量检测方法、装置及存储介质 |
| CN113658135B (zh) * | 2021-08-17 | 2024-02-02 | 中国矿业大学 | 一种基于模糊pid自适应调光皮带异物检测方法与*** |
| CN113807227B (zh) * | 2021-09-11 | 2023-07-25 | 浙江浙能嘉华发电有限公司 | 基于图像识别的安全监测方法、装置、设备及存储介质 |
| CN114155746B (zh) * | 2021-12-01 | 2022-09-13 | 南京莱斯电子设备有限公司 | 一种fod告警准确率和fod告警虚警率的计算方法 |
| WO2023118937A1 (en) * | 2021-12-20 | 2023-06-29 | Sensetime International Pte. Ltd. | Object recognition method, apparatus, device and storage medium |
| CN114821194B (zh) * | 2022-05-30 | 2023-07-25 | 深圳市科荣软件股份有限公司 | 一种设备运行状态识别方法及装置 |
| CN115147770B (zh) * | 2022-08-30 | 2022-12-02 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别*** |
| CN116269378B (zh) * | 2023-01-09 | 2023-11-17 | 西安电子科技大学 | 一种基于皮肤烟酸反应视频分析的心理健康状态检测装置 |
| CN116704446B (zh) * | 2023-08-04 | 2023-10-24 | 武汉工程大学 | 机场跑道路面异物实时检测方法及*** |
| CN117523318B (zh) * | 2023-12-26 | 2024-04-16 | 宁波微科光电股份有限公司 | 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质 |
| CN117690164B (zh) * | 2024-01-30 | 2024-04-30 | 成都欣纳科技有限公司 | 基于边缘计算的机场飞鸟识别驱赶方法及*** |
| CN117726882A (zh) * | 2024-02-07 | 2024-03-19 | 杭州宇泛智能科技有限公司 | 塔吊吊物识别方法、***和电子设备 |
| CN117994753B (zh) * | 2024-04-03 | 2024-06-07 | 浙江浙能数字科技有限公司 | 基于视觉的翻车机入口轨道异常检测装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017107188A1 (zh) * | 2015-12-25 | 2017-06-29 | 中国科学院深圳先进技术研究院 | 视频分类快速识别的方法及装置 |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN107545263A (zh) * | 2017-08-02 | 2018-01-05 | 清华大学 | 一种物体检测方法及装置 |
| CN107562900A (zh) * | 2017-09-07 | 2018-01-09 | 广州辰创科技发展有限公司 | 基于大数据方式对飞机场跑道异物分析的方法及*** |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160362B (zh) * | 2015-10-22 | 2018-10-09 | 中国民用航空总局第二研究所 | 一种跑道fod图像探测方法及装置 |
| CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
| CN107766864B (zh) * | 2016-08-23 | 2022-02-01 | 斑马智行网络(香港)有限公司 | 提取特征的方法和装置、物体识别的方法和装置 |
| EP3151164A3 (en) * | 2016-12-26 | 2017-04-12 | Argosai Teknoloji Anonim Sirketi | A method for foreign object debris detection |
| CN107481233A (zh) * | 2017-08-22 | 2017-12-15 | 广州辰创科技发展有限公司 | 一种应用于fod异物检测雷达中的图像识别方法 |
-
2018
- 2018-06-06 CN CN201810574129.1A patent/CN108764202B/zh active Active
- 2018-06-25 WO PCT/CN2018/092614 patent/WO2019232831A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017107188A1 (zh) * | 2015-12-25 | 2017-06-29 | 中国科学院深圳先进技术研究院 | 视频分类快速识别的方法及装置 |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN107545263A (zh) * | 2017-08-02 | 2018-01-05 | 清华大学 | 一种物体检测方法及装置 |
| CN107562900A (zh) * | 2017-09-07 | 2018-01-09 | 广州辰创科技发展有限公司 | 基于大数据方式对飞机场跑道异物分析的方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| Ivan Kreso等.Ladder-style DenseNets for Semantic Segmentation of Large Natural Images.《IEEE》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764202A (zh) | 2018-11-06 |
| WO2019232831A1 (zh) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764202B (zh) | 机场异物识别方法、装置、计算机设备及存储介质 | |
| CN109086656B (zh) | 机场异物检测方法、装置、计算机设备及存储介质 | |
| KR102030628B1 (ko) | Cnn 기반 차량 번호판 인식 방법 및 시스템 | |
| Yi et al. | An end‐to‐end steel strip surface defects recognition system based on convolutional neural networks | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| US11847775B2 (en) | Automated machine vision-based defect detection | |
| US20180260793A1 (en) | Automatic assessment of damage and repair costs in vehicles | |
| Anagnostopoulos et al. | A license plate-recognition algorithm for intelligent transportation system applications | |
| Maurya et al. | Road extraction using k-means clustering and morphological operations | |
| WO2019157288A1 (en) | Systems and methods for physical object analysis | |
| CN111080628A (zh) | 图像篡改检测方法、装置、计算机设备和存储介质 | |
| WO2019089578A1 (en) | Font identification from imagery | |
| Neto et al. | Brazilian vehicle identification using a new embedded plate recognition system | |
| CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
| WO2019154383A1 (zh) | 刀具检测方法及装置 | |
| CN105160355B (zh) | 一种基于区域相关和视觉单词的遥感图像变化检测方法 | |
| EP3915042B1 (en) | Tyre sidewall imaging method | |
| Do et al. | Automatic license plate recognition using mobile device | |
| CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN112686248B (zh) | 证件增减类别检测方法、装置、可读存储介质和终端 | |
| Sulehria et al. | Vehicle number plate recognition using mathematical morphology and neural networks | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN114842478A (zh) | 文本区域的识别方法、装置、设备及存储介质 | |
| CN112101185B (zh) | 一种训练皱纹检测模型的方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |