CN116071707B - 一种机场特种车辆识别方法及*** - Google Patents

一种机场特种车辆识别方法及*** Download PDF

Info

Publication number
CN116071707B
CN116071707B CN202310165519.4A CN202310165519A CN116071707B CN 116071707 B CN116071707 B CN 116071707B CN 202310165519 A CN202310165519 A CN 202310165519A CN 116071707 B CN116071707 B CN 116071707B
Authority
CN
China
Prior art keywords
boundary
target
airport
convolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310165519.4A
Other languages
English (en)
Other versions
CN116071707A (zh
Inventor
丁萌
周雯慧
徐一鸣
宫淑丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310165519.4A priority Critical patent/CN116071707B/zh
Publication of CN116071707A publication Critical patent/CN116071707A/zh
Application granted granted Critical
Publication of CN116071707B publication Critical patent/CN116071707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种机场特种车辆识别方法及***，涉及图像识别领域，该方法包括：将机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；特种车辆识别结果包括车辆类型和车辆轮廓；神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块；特征提取模块用于对机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；子类别识别与目标边界粗检测模块用于根据多个融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界。本发明提高了识别的精细程度和效率。

Description

一种机场特种车辆识别方法及***
技术领域
本发明涉及图像处理技术领域，特别是涉及一种机场特种车辆识别方法及***。
背景技术
根据国际民用航空组织(International Civil Aviation Organization,ICAO)的安全报告，民用航空领域近90％的事故和不安全事件发生在机场场面。现有的场面监视手段无法对一些未安装应答设备的场面特种工程车辆进行有效监视，这是造成一些场面安全隐患，实现对场面特种车辆的精细化检测与识别是有效降低这些安全隐患的一个重要前提。相关研究数据表明机场场面服务过程中造成的延误占比整个航班周期延误的40％左右，如何提高场面服务的效率成为近年来世界各国民航单位关注的焦点之一。
发明内容
本发明的目的是提供一种机场特种车辆识别方法及***，提高了识别的精细程度和效率。
为实现上述目的，本发明提供了如下方案：
一种机场特种车辆识别方法，包括：
获取机场监视图像；
将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块；
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界。
可选地，所述子类别识别与目标边界粗检测模块包括依次连接的区域提议网络、ROIAlign和检测头，所述检测头包括目标检测网络和分割网络，所述目标检测网络用于输出车辆类别和目标框，所述分割网络用于对输入的融合特征图进行语义分割，获得初步分割出的像素级目标区域。
可选地，所述目标边界优化模块包括边界块生成网络和边界优化网络；
所述边界块生成网络用于：
利用滑动窗口法沿初步分割出的像素级目标区域的边界提取一系列的方形图像边界块和与各方形图像边界块对应的二值掩膜块；
根据各方形图像边界块和对应的二值掩膜块计算各方形图像边界块的分割得分；
根据各方形图像边界块的位置坐标和对应的分割得分，采用非最大值抑制算法过滤重叠或冗余的方形图像边界块，对过滤后的各方形图像边界块和对应的二值掩膜块进行裁剪，调整到固定尺寸后拼接在一起形成张量；
所述边界优化网络用于对输入的张量的分辨率降低到所述张量的分辨率的1/4，然后分4个阶段进行多分辨率卷积和多分辨率特征融合，输出优化后的目标区域边界。
可选地，所述边界优化网络包括依次连接的预处理单元、第一阶段、第二阶段、第三阶段和第四阶段；
所述预处理单元用于对输入的张量的分辨率降低到所述张量的分辨率的1/4；
所述第一阶段包括1个第一阶段分支，所述第二阶段包括2个并联的第二阶段分支，所述第三阶段包括3个并联的第三阶段分支，所述第四阶段包括4个并联的第四阶段分支；
所述第一阶段分支包括4个串联的第一残差单元；所述第二阶段分支、所述第三阶段分支和所述第四阶段分支均包括4个串联的第二残差单元；所述第一残差单元包括通道注意力模块。
可选地，所述第一残差单元包括依次连接的第一卷积块、第二卷积块、第三卷积块和通道注意力模块，所述第一卷积块和所述第二卷积块之间通过ReLU函数连接，所述第二卷积块和所述第三卷积块之间通过ReLU函数连接，第三卷积块的输出和第一卷积块输入合并后通过ReLU函数与所述通道注意力模块连接；
所述第一卷积块和所述第三卷积块均包括卷积核大小为1×1的卷积；所述第二卷积块包括卷积核大小为3×3的卷积。
可选地，所述第二残差单元包括依次连接的第四卷积块和第五卷积块，所述第四卷积块和所述第五卷积块均包括卷积核大小为3×3的卷积；所述第四卷积块和所述第五卷积块之间通过ReLU函数连接，所述第五卷积块的输出和所述第四卷积块输入合并后输入ReLU函数。
可选地，所述特征提取模块包括依次连接的骨干网络和特征金字塔网络。
可选地，所述车辆类型包括餐车、客梯车、加油车和牵引车。
本发明还公开了一种机场特种车辆识别***，包括：
机场监视图像模块，用于获取机场监视图像；
特种车辆识别模块，用于将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块；
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过机场特种车辆识别模型对机场监视图像进行自动识别，提高了机场中特种车的识别效率，通过子类别识别与目标边界粗检测模块根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域，通过目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界，提高了识别的精细程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种机场特种车辆识别方法流程示意图；
图2为本发明实施例提供的特征提取模块结构示意图；
图3为本发明实施例提供的子类别识别与目标边界粗检测模块结构示意图；
图4为本发明实施例提供的目标边界优化模块结构示意图；
图5为本发明实施例提供的目标边界优化模块原理示意图；
图6为本发明实施例提供的边界优化网络结构示意图；
图7为本发明实施例提供的第一阶段分支结构示意图；
图8为本发明实施例提供的第二阶段分支结构示意图；
图9为本发明实施例提供的通道注意力模块结构示意图；
图10为本发明实施例提供的餐车的像素级识别效果图一；
图11为本发明实施例提供的餐车的像素级识别效果图二；
图12为本发明实施例提供的客梯车的像素级识别效果图一；
图13为本发明实施例提供的客梯车的像素级识别效果图二；
图14为本发明实施例提供的加油车的像素级识别效果图一；
图15为本发明实施例提供的加油车的像素级识别效果图二；
图16为本发明实施例提供的牵引车的像素级识别效果图一；
图17为本发明实施例提供的牵引车的像素级识别效果图二；
图18为本发明实施例提供的一种机场特种车辆识别***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本发明一种机场特种车辆识别方法，包括以下步骤。
步骤101：获取机场监视图像。
步骤102：将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块。
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界。
优化后的目标区域边界即为车辆轮廓。
所述特征提取模块包括依次连接的骨干网络和特征金字塔网络。骨干网络采用ResNet-50。
S1、将机场监视图像输入到特征提取模块中提取出五层不同分辨率的特征图{P2,P3,P4,P5,P6}。
S1-1：将机场监视图像输入到骨干网络ResNet-50中得到四层初步特征图{C2,C3,C4,C5}，如图2所示。
具体操作如下：骨干网络ResNet-50网络包含5个阶段(Stage)，当输入图像每经过一个阶段处理时，特征图宽度和高度减半，通道数量增加一倍。第一阶段(Stage1)，使用卷积核大小7×7，步长为2的卷积进行下采样，这是对图像的预处理，由此得到下采样两倍，通道数为64的特征图；第一阶段(Stage2)通过卷积核大小为3×3，步长为2的池化层(图2中Max pooling)对特征图进行下采样，而第三阶段至第五阶段(Stage3-Stage5)通过第一个瓶颈层(BottleNeck)进行下采样。Stage2-Stage5分别包含3、4、6、3个BottleNeck。Stage2的输出通道为256，之后每一个阶段输出通道数为前一阶段的两倍，分别为512、1024、2048。最终Stage2-Stage5共输出四层特征图{C2,C3,C4,C5}。
S1-2：将ResNet-50自底向上生成四层特征图{C2,C3,C4,C5}通过特征金字塔网络(Feature Pyramid Networks,FPN)进行自底向上的多尺度特征图融合得到{M2,M3,M4,M5}。
具体操作如下：C5利用卷积核大小为1×1的卷积层将通道数降低到256，得到特征图M5，C4也同样利用卷积核大小为1×1的卷积层将通道数降低到256，此时M5与C4具有相同的通道数；其次，将M5的特征图分辨率以最近邻上采样的方式扩大两倍，使得其特征图分辨率与通道数都和C4相同。然后，将经过上采样和通道数降维的C5和C4的对应元素相加(element-wise)，得到新的融合了C4和C5信息的特征图M4。以此类推，生成M3-M2，M2到M5的特征图通道数皆为256。
S1-3：利用多尺度特征图融合得到{M2,M3,M4,M5}通过多尺度卷积输出最终的特征提取网络的输出{P2,P3,P4,P5,P6}。
具体操作如下：假设该步骤的输入特征图为其中Cin、H和W分别表示该特征图通道数、高度和宽度。利用Cout个大小为K×K滤波器与输入的特征图做卷积运算并获得输出特征图记为/>其中每个滤波器都有Cin个卷积核，这和输入特征图的通道数相同，将上述滤波器记为/>本实施例所使用的多尺度卷积是一种利用不同大小扩张率组合的多尺度卷积操作，有助于提取图像的全局和局部信息。为了从不同的输入通道中收集多尺度的信息，同一个滤波器中，不同卷积核处的扩张率是不同的，同时，在不同滤波器的特定通道处的扩张率也是不同的。多尺度卷积的计算公式为(1)所示：
其中，矩阵是由两个正交维度的通道级和滤波器级的扩张率组成的，矩阵D中元素D(c,k)表示某个滤波器在特定通道上的扩张率，x表示沿着输入特征图W(宽度)方向上的采样，y表示沿着H(高度)方向上的采样。多尺度卷积保证矩阵D的每一行和每一列中的元素呈周期性变化，以达到所需的多尺度特征融合。首先，多尺度卷积中的单个滤波器为了将不同扩张率的数量限制在一个合理的区间内，将不同大小的扩张率以循环布局的方式排列在一个滤波器中，即扩张率沿输入通道周期性地变化，由此获得了矩阵D的行向量。具体地，将Cin个输入通道划分为L个子区域，在每个子区域中都有一组基础的扩张率循环{d1,d2,…,dt}，其中t＝Cin/L。本发明中采用基本的扩张率循环为{1,2,1,4}，循环间隔t＝4。接着，多尺度卷积针对所有的滤波器采用一种基于位移的扩张率策略，即将一个滤波器的扩张率模式移动到另一个通道，以构建其邻近的滤波器。因此，从输出通道上看，扩张率也呈周期性变化。由{M2,M3,M4,M5}各通过一次多尺度卷积(卷积核大小K＝3)分别得到四个输出特征图{P2,P3,P4,P5}，此外通过对M5进行2×2的最大池化(Maxpooling)池化操作得到特征图P6，至此得到了S1的输出{P2,P3,P4,P5,P6}。
所述子类别识别与目标边界粗检测模块包括依次连接的区域提议网络、ROIAlign和检测头，所述检测头包括目标检测网络和分割网络，所述目标检测网络用于输出车辆类别和目标框，所述分割网络用于对输入的融合特征图进行语义分割，获得初步分割出的像素级目标区域。
S2、将特征图{P2,P3,P4,P5,P6}输入到子类别识别与目标边界粗检测模块得到包含需要检测的特征车辆对象的目标框(Bounding Boxes)和对应的车辆类别，以及初步分割出的像素级目标区域，如图3所示。
S2-1：将特征图{P2,P3,P4,P5,P6}输入到作为区域提议网络(Region ProposalNetwork,RPN)，该网络的目的是确定可能存在目标对象的区域，也称为提议框(Proposals)，为后续特种车辆的子类别分类和定位任务提供候选区域。图2中特征图P2、P3、P4、P5和P6与图3中RPN连接。
RPN是基于全卷积神经网络的结构，对不同特征层上生成的锚(Anchor)进行端到端的训练，从而得到Anchor相对于真实标签的偏移量和分类置信度，选择前景置信度较高的Anchor并利用预测的偏移量对这些Anchor位置信息进行校正，舍弃校正后面积过小或者边界框超过原始图像大小的Anchor，最后留下的边界框称为Proposals，即可能存在目标对象的区域。
Anchor以特征图每个像素点为中心，并采用不同的尺寸和长宽比。为了适应不同种类的机场场面特种车辆，本发明将Anchor的尺寸设置为{32×32,64×64,128×128,256×256,512×512}，Anchor的长宽比设置为{1:1,1:2,2:1}。RPN遍历尺度不同的特征图{P2,P3,P4,P5,P6}来生成Anchor，其中{P2,P3,P4,P5}为FPN的输出，P6为P5使用池化操作下采样两倍得到的特征层。不同特征层由于分辨率不同，其对应的Anchor面积也不同。RPN首先在特征图像素点上生成对应的面积的Anchor，由于设置了三种不同的长宽比{1:1,1:2,2:1}，这样每个像素点就会生成3个Anchor。此外，对每个生成的Anchor进行了规定，正样本是指当Anchor与真实标签之间具有最高的交并比(Intersection-over-Union,IoU)重叠率，或者当Anchor与真实标签的IoU值大于0.7；负样本是指当Anchor与真实标签IoU重叠率小于0.3时。中性样本：当Anchor与真实标签的IoU重叠率介于0.3-0.7之间。舍弃所有的中性样本，该类样本不参与后续网络训练。
RPN的后续工作是从特征图生成的数量巨大的Anchor中筛选出可以直接作为候选框的区域，包含两个分支，分别实现分类与边界框回归。其中上面的分支为分类层来判断Anchor是属于前景还是后景，这是一个二分类问题。下方为边界框回归层，边界框回归是预测Anchor相对于真实标签偏移量的一种线性回归算法，根据偏移量修正Anchor的位置，从而使其更接近包含目标对象的边界框。最后，将两条分支的输出汇集到Proposal层，Proposal层依据前景概率选出置信度大的前6000个Anchor，再根据修正后的Anchor的质量进行筛选，舍弃校正后面积过小或者是超过图像边界的Anchor，最后得到合格的Proposals，最后使用非最大值抑制算法对大量重叠的Proposals做进一步筛选，最终得到2000个候选框，作为RoIAlign的输入。
S2-2：ROIAlign操作：ROIAlign输出的是对应于每个候选框对应区域(也称为感兴趣区域，Region ofInterest,ROI)的固定大小的特征图。RoIAlign通过双线性插值将特征与全连接层的输入需求相匹配，其优势在于优化了特征图在RoI Pooling层两次量化误差带来的影响，在像素级的分割中具有关键作用。当原始图像中包含较多边缘不规则或者纵横比较大的目标时，采用RoIAlign会使检测和分割结果更加精确，因此很适合用于对机场场面特种车辆研究。
S2-3：RoIAlign使每个RoI生成一个固定大小的特征图(本发明中特征图大小为14×14×256)，将这些都输入三个头(head)网络中进行下一步处理，三个head分支分别为：R-CNN Head，MaskHead和Mask IoU Head。
R-CNN Head是目标检测网络，负责场面特种车辆的子类别分类和边界框回归定位，该网络头进一步分为两个分支，一个分支通过全连接层和Softmax判断每个RoI的所属的具体车辆子类别，输出分类置信度Scls，另一个分支主要任务是利用全连接层输出边界框的修正参数，从而得到更精确的边界框位置信息以帮助预测边界框与真实标签的重叠面积达到最大。
Mask Head是分割网络，利用全卷积神经网络对图像中的每个像素点进行类别预测，从而得到该图像的语义分割图。Mask Head输入正样本的RoI特征图，大小均为14×14×256，首先经过4个连续的卷积层，每个卷积核的大小均为3×3，之后通过批次规范化(BatchNormalization，BN)层，并利用激活函数ReLU进行激活，始终保持特征图大小不变。然后，利用反卷积层将特征图大小扩大一倍，反卷积核大小为2×2，步长设置为2，利用ReLU激活，最后通过大小为1×1卷积调整特征图的维度并采用Sigmoid激活，将维度调整为样本类别数，在本发明中，C＝4，代表4种车辆类别。值得注意的是，分割与分类任务是独立进行的，每种类别都会生成28×28的二值掩膜，所以Mask Head只需对RoI进行语义分割，根据预测的RoI类别在语义分割图中相应的维度提取分割结果，即完成了实例分割。
MaskIoU Head将RoIAlign输出的特征图以及Mask Head预测的掩膜拼接作为输入，MaskIoU Head模块包含了4个卷积层和3个全连接层。其中的4个卷积层遵循Mask Head的设置，卷积核大小为和数量分别设置为3×3和256。此外，前三个卷积层的步长设置为1，最后一个卷积层的卷积步长设置为2。对于其中的3个全连接层，遵循R-CNN Head的设置，将前两个全连接层的神经元个数统一设置为1024，并将最终全连接层的输出维度设置为C，C表示车辆类别。为使模型的评分接近更理想的评分方式，需要获取掩膜的分类得分Scls和MaskIoU的预测值SIoU对最后的实例进行评分，得到最后的实例得分为Smask。
Smask＝Scls·SIoU (2)；
通过引入MaskIoU Head分支来预测MaskIoU，根据IoU的值来反应掩膜的质量，如果被检测对象的分类得分较高，而MaskIoU预测值较低，则可以对目标的最终得分进行惩罚，使其更好地对目标掩膜质量进行评估，从而提高实例分割掩膜质量。
整个S2的网络训练过程的损失函数表示如下：
上述损失函数主要包括六部分：在RPN网络中产生的分类损失和边界框回归损失/>R-CNN Head中分类网络产生的分类损失Jcls和边界框回归损失Jbbox，Mask Head分割网络产生的掩膜损失Jmask，以及MaskIoU Head产生的回归损失JmaskIoU。
最终，S2的网络输出包含需要检测的特征车辆对象的目标框和初步分割出的像素级目标区域。
S3、通过目标边界优化模块完成特征车辆目标区域的像素级精确化检测，如图4所示。
所述目标边界优化模块包括边界块生成网络和边界优化网络。
所述边界块生成网络用于：
利用滑动窗口法沿初步分割出的像素级目标区域的边界提取一系列的方形图像边界块和与各方形图像边界块对应的二值掩膜块。
根据各方形图像边界块和对应的二值掩膜块计算各方形图像边界块的分割得分。
根据各方形图像边界块的位置坐标和对应的分割得分，采用非最大值抑制算法过滤重叠或冗余的方形图像边界块，对过滤后的各方形图像边界块和对应的二值掩膜块进行裁剪，调整到固定尺寸后拼接在一起形成张量。
所述边界优化网络用于对输入的张量的分辨率降低到所述张量的分辨率的1/4，然后分4个阶段进行多分辨率卷积和多分辨率特征融合，输出优化后的目标区域边界。
所述边界优化网络包括依次连接的预处理单元、第一阶段、第二阶段、第三阶段和第四阶段。
所述预处理单元用于对输入的张量的分辨率降低到所述张量的分辨率的1/4。
所述第一阶段包括1个第一阶段分支，所述第二阶段包括2个并联的第二阶段分支，所述第三阶段包括3个并联的第三阶段分支，所述第四阶段包括4个并联的第四阶段分支。
如图7所示，所述第一阶段分支包括4个串联的第一残差单元；如图8所示，所述第二阶段分支、所述第三阶段分支和所述第四阶段分支均包括4个串联的第二残差单元；所述第一残差单元包括通道注意力模块。
所述第一残差单元包括依次连接的第一卷积块、第二卷积块、第三卷积块和通道注意力模块，所述第一卷积块和所述第二卷积块之间通过ReLU函数连接，所述第二卷积块和所述第三卷积块之间通过ReLU函数连接，第三卷积块的输出和第一卷积块输入合并后通过ReLU函数与所述通道注意力模块连接。
所述第一卷积块和所述第三卷积块均包括卷积核大小为1×1的卷积；所述第二卷积块包括卷积核大小为3×3的卷积。
所述第二残差单元包括依次连接的第四卷积块和第五卷积块，所述第四卷积块和所述第五卷积块均包括卷积核大小为3×3的卷积；所述第四卷积块和所述第五卷积块之间通过ReLU函数连接，所述第五卷积块的输出和所述第四卷积块输入合并后输入ReLU函数。
第一阶段分支通过卷积核大小为3×3，步长为1的卷积(图6中Conv s＝1)连接一个第二阶段分支，第一阶段分支通过卷积核大小为3×3，步长为2的卷积(图6中Conv s＝2)连接另一个第二阶段分支。
图6至图8中，Concat表示concatenation(串联)拼接；Conv s＝2表示卷积核大小为3×3，步长为2，padding为1的卷积操作；Conv s＝1表示卷积核大小为3×3，步长为1，padding为1的卷积操作；Conv表示卷积核大小为1×1，步长为1，padding为0的卷积操作；表示逐像素相加，Up-samp表示上采样，ReLU表示ReLU函数。
根据S2的输出，S3的输入是每个检测出的包含特征车辆区域的检测框，与对应的原始图像区域及其二值掩膜。本发明采用S3作为后处理部分，对S2输出的相对较为粗糙的掩膜边界进行精细化处理，S3的流程图如图5所示。
S3-1：沿着S2得到目标粗糙掩膜的边界提取一系列小的图像边界块，并结合目标区域的掩膜得到张量作为S3-2边界优化网络的输入。
具体操作方法如下：首先，利用滑动窗口法沿着S2得到目标粗糙掩膜的边界提取一系列小的方形图像边界块，设每个方形边界块的像素大小为64×64像素，这些方形图像边界块中心点是目标粗糙掩膜边界上的每一个点；其次，除了方形图像边界块，还从对应的S2提取出的较为粗糙的实例掩膜中提取出和方形图像边界块像素一一对应的二值掩膜块。二值掩膜块的作用是为需要被进一步精确分割的粗边界提供了位置和语义等先验信息。具体示例如下：假设在S2提取出的目标框为目标框中对应的目标物的二值掩膜的所有边缘点坐标集合为C＝{(x1,y1),(x2,y2),...,(xs,ys)}，该目标框中的目标物对应的二值掩膜为/>可以获得以(xi,yi)为中心的方形图像边界块/>及其二值掩膜边界块/>并计算对应的方形图像边界块的得分(分割得分)Scorei。计算公式如下：
其中，W＝64为方形图像边界块的边长，i＝1,2,…,s，s为方形图像边界块的数量。Scorei的值表示前景与整个边界块面积的一半之比，对于方形图像边界块而言，Scorei＝1表示前景和背景在边界块中平分。然后，以方形图像边界块的位置坐标和对应的分数为输入，采用非最大值抑制(Non-Maximum Suppression，NMS)算法过滤出重叠和冗余的边界块。根据经验，重叠区域越大，分割性能越好，但同时计算开销也越大。可以调整NMS阈值来控制重叠的数量，以实现更好的速度和精度权衡。在本发明中，将NMS的阈值设置为0.15。最后，对经过NMS后的方形图像边界块和相应的有监督的二值掩模边界块进行裁剪并调整到固定大小128×128，拼接在一起形成张量作为下一步骤优化网络的输入。
S3-2：边界优化网络。边界优化网络的目的是对前一节中提取的边界块进行更加精确的分割。边界优化网络的结构如图6所示，首先将步骤3-1中得到的张量I输入到一个Stem模块(预处理单元)中，它由两个卷积核大小为3×3，步长为2的卷积层组成，将图像分辨率降低到原始输入图像的1/4，为32×32，通道数为64，这是对图像的预处理。之后的4个阶段(Stage)为该网络的主体部分，每个Stage包含并行的多分辨率卷积流和多分辨率特征融合模块。将高分辨率卷积流作为第一阶段的起始，记为Branch1(第一阶段分支)，逐步在Branch2(第二阶段分支)，Branch3(第三阶段分支)，Branch4(第四阶段分支)中添加低分辨率卷积流，Branch2中新生成的低分辨率特征大小为16×16，通道数为36，Branch3中新生成的低分辨率特征大小为8×8，通道数为72，Branch4中新生成的低分辨率特征为4×4，通道数为144，由此形成新的阶段Stage2、Stage3、Stage4。可以看出，后一阶段的卷积流由前一阶段的高分辨率卷积流和额外的较低分辨率卷积流组成，并且多分辨率卷积流之间并行地连接。并行的多分辨率卷积流在每个Stage的最后进行多尺度特征融合来聚合多分辨率信息。其中，由高分辨率转换为低分辨率时采用卷积核大小为3×3、步长为2的卷积，由低分辨率转换成高分辨率时利用双线性插值进行上采样。具体地，每个Branch中有4个串联的残差单元。Branch1采用第一残差单元的结构，包含两个卷积核大小为1×1的卷积，一个大小为3×3的卷积，首先通过大小为1×1卷积改变通道数，再利用大小为3×3卷积进行特征提取，最后利用大小为1×1卷积进行通道数还原，Branch2，Branch3，Branch4使用第二残差单元的结构，包含两个卷积核大小为3×3的卷积层。表1中展示了边界优化网络不同Stage中特征图的大小和通道数。Branch1结构如图7所示，Branch2、Branch3和Branch4结构如图8所示。通过每个Stage中低分辨率特征的生成，网络最后输出4种不同分辨率大小的特征图分别为32×32×18,16×16×36,8×8×72,4×4×144。然后，在不改变通道数的情况下，利用双线性插值的上采样方式将低分辨率的特征图重新缩放到分辨率32×32，并将4个不同分辨率特征图拼接生成32×32×270的特征。进而，利用卷积核大小为1×1的卷积改变通道数并将拼接后的特征图输入Softmax线性分类器来预测二值分割图，输出的分割图上采样2倍，最终该边界优化网络的输出该网络训练的损失函数是像素级的二值交叉熵函数。
表1边界优化网络每个Stage的基本信息
在Branch1中引入高效通道注意力(Efficient Channel Attention,ECA)模块从通道维度捕获特征依赖关系，图9是基于ECA模块结构图。具体而言，原先的主干网络仅利用残差单元级联进行输入图像的深度特征提取。改进的模型针对原始模型的主干网络，在每个残差单元的末端附加ECA模块捕获跨通道交互，最终网络利用通道注意力模块挖掘特征的通道间关系并筛选出具有较强识别力的特征图。
在ECA模块中，前一个残差单元的输出特征经过全局平均池化后得到特征向量Z＝[z1,z2,···,zs]，ECA采用自适应卷积核大小k的一维卷积来捕获跨通道交互并通过卷积核k的大小确定交互的覆盖范围。根据经验，通道数越多，需要跨通道交互的范围越大。因此，卷积核大小k可自适应确定，计算公式如下:
其中，|·|表示取离括号内参数最近的奇数，通常，γ＝2，b＝1。最后将使用Sigmoid激活函数来生成各通道的权重Z'＝[z1',z2',···,zs']，将前一个残差单元的输出特征与通道注意力权重对应相乘获得具有通道注意力的特征并输入下一个残差单元中。
S3-3：最后，将优化后的所有方形图像边界块O中代表的优化后的边界重新投影到分割结果中，得到最终的优化后的目标区域的边界，完成机场场面特种车辆精细化检测。
图10至图17展示了不同模型下对于不同特种车辆的像素级检测效果图，共有八个样例，包括每种特种车辆类型的两个图像，以将本发明所提出的方法与其他两种方法MaskScoring R-CNN、DPS-Mask Scoring R-CNN进行比较。其中图10和图11展示餐车的识别效果，图12和图13展示了客梯车的识别效果，图14和图15展示了加油车的识别效果，以及图16和图17展示了加油车的识别效果。图10至图17中(a)表示原始图像，(b)、(c)和(d)分别表示Mask Scoring R-CNN、DPS-Mask Scoring R-CNN和本发明所提出的方法的分割结果。
Mask Scoring R-CNN和DPS-Mask Scoring R-CNN的实验结果相对不平滑，不能准确反映特种车辆的边界细节。具体而言，车辆的边界细节没有清晰显示，突起区域无法检测。相比之下，本发明所提出的方法的结果更好地反映了特种车辆的轮廓，并且更好地匹配了特种车辆的真实标签。根据图10至图15中测试样本的分割结果，本发明所提出的方法在突出部分(如前照灯和不规则边缘)的分割中获得了更好的细节。其中，以餐车为代表的升降台式特种车辆类型和以客梯车为代表的梯式特种车辆类型，我们观察到其边缘都以更加平滑的曲线被勾勒出来。图16至图17中的分割结果表明，对于牵引车中具有极端纵横比的部分，本发明所提出的方法具有更好的分割精度，并且更符合真实标签。综上，本发明提出方法的像素级检测精度高于其他两种方法。
实施例2
如图18所示，本发明公开了一种机场特种车辆识别***，包括：
机场监视图像模块201，用于获取机场监视图像。
特种车辆识别模块202，用于将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块。
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种机场特种车辆识别方法，其特征在于，包括：
获取机场监视图像；
将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块；
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界；
所述目标边界优化模块包括边界块生成网络和边界优化网络；
所述边界块生成网络用于：
利用滑动窗口法沿初步分割出的像素级目标区域的边界提取一系列的方形图像边界块和与各方形图像边界块对应的二值掩膜块；
根据各方形图像边界块和对应的二值掩膜块计算各方形图像边界块的分割得分；分割得分表示前景与整个边界块面积的一半之比；
根据各方形图像边界块的位置坐标和对应的分割得分，采用非最大值抑制算法过滤重叠或冗余的方形图像边界块，对过滤后的各方形图像边界块和对应的二值掩膜块进行裁剪，调整到固定尺寸后拼接在一起形成张量；
所述边界优化网络用于对输入的张量的分辨率降低到所述张量的分辨率的1/4，然后分4个阶段进行多分辨率卷积和多分辨率特征融合，输出优化后的目标区域边界。
2.根据权利要求1所述的机场特种车辆识别方法，其特征在于，所述子类别识别与目标边界粗检测模块包括依次连接的区域提议网络、ROIAlign和检测头，所述检测头包括目标检测网络和分割网络，所述目标检测网络用于输出车辆类别和目标框，所述分割网络用于对输入的融合特征图进行语义分割，获得初步分割出的像素级目标区域。
3.根据权利要求1所述的机场特种车辆识别方法，其特征在于，
所述边界优化网络包括依次连接的预处理单元、第一阶段、第二阶段、第三阶段和第四阶段；
所述预处理单元用于对输入的张量的分辨率降低到所述张量的分辨率的1/4；
所述第一阶段包括1个第一阶段分支，所述第二阶段包括2个并联的第二阶段分支，所述第三阶段包括3个并联的第三阶段分支，所述第四阶段包括4个并联的第四阶段分支；
所述第一阶段分支包括4个串联的第一残差单元；所述第二阶段分支、所述第三阶段分支和所述第四阶段分支均包括4个串联的第二残差单元；所述第一残差单元包括通道注意力模块。
4.根据权利要求3所述的机场特种车辆识别方法，其特征在于，所述第一残差单元包括依次连接的第一卷积块、第二卷积块、第三卷积块和通道注意力模块，所述第一卷积块和所述第二卷积块之间通过ReLU函数连接，所述第二卷积块和所述第三卷积块之间通过ReLU函数连接，第三卷积块的输出和第一卷积块输入合并后通过ReLU函数与所述通道注意力模块连接；
所述第一卷积块和所述第三卷积块均包括卷积核大小为1×1的卷积；所述第二卷积块包括卷积核大小为3×3的卷积。
5.根据权利要求3所述的机场特种车辆识别方法，其特征在于，所述第二残差单元包括依次连接的第四卷积块和第五卷积块，所述第四卷积块和所述第五卷积块均包括卷积核大小为3×3的卷积；所述第四卷积块和所述第五卷积块之间通过ReLU函数连接，所述第五卷积块的输出和所述第四卷积块输入合并后输入ReLU函数。
6.根据权利要求1所述的机场特种车辆识别方法，其特征在于，所述特征提取模块包括依次连接的骨干网络和特征金字塔网络。
7.根据权利要求1所述的机场特种车辆识别方法，其特征在于，所述车辆类型包括餐车、客梯车、加油车和牵引车。
8.一种机场特种车辆识别***，其特征在于，包括：
机场监视图像模块，用于获取机场监视图像；
特种车辆识别模块，用于将所述机场监视图像输入到机场特种车辆识别模型，输出特种车辆识别结果；所述特种车辆识别结果包括车辆类型和车辆轮廓；所述机场特种车辆识别模型是对神经网络训练得到的；所述神经网络包括特征提取模块、子类别识别与目标边界粗检测模块和目标边界优化模块；
所述特征提取模块用于对所述机场监视图像进行多尺度特征提取和多尺度特征融合，得到多个融合特征图；所述子类别识别与目标边界粗检测模块用于根据多个所述融合特征图，得到特种车辆的目标框、车辆类别以及初步分割出的像素级目标区域；所述目标边界优化模块用于根据特种车辆的目标框以及初步分割出的像素级目标区域进行边界优化，得到优化后的目标区域边界；
所述目标边界优化模块包括边界块生成网络和边界优化网络；
所述边界块生成网络用于：
利用滑动窗口法沿初步分割出的像素级目标区域的边界提取一系列的方形图像边界块和与各方形图像边界块对应的二值掩膜块；
根据各方形图像边界块和对应的二值掩膜块计算各方形图像边界块的分割得分；分割得分表示前景与整个边界块面积的一半之比；
根据各方形图像边界块的位置坐标和对应的分割得分，采用非最大值抑制算法过滤重叠或冗余的方形图像边界块，对过滤后的各方形图像边界块和对应的二值掩膜块进行裁剪，调整到固定尺寸后拼接在一起形成张量；
所述边界优化网络用于对输入的张量的分辨率降低到所述张量的分辨率的1/4，然后分4个阶段进行多分辨率卷积和多分辨率特征融合，输出优化后的目标区域边界。
CN202310165519.4A 2023-02-27 2023-02-27 一种机场特种车辆识别方法及*** Active CN116071707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310165519.4A CN116071707B (zh) 2023-02-27 2023-02-27 一种机场特种车辆识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310165519.4A CN116071707B (zh) 2023-02-27 2023-02-27 一种机场特种车辆识别方法及***

Publications (2)

Publication Number Publication Date
CN116071707A CN116071707A (zh) 2023-05-05
CN116071707B true CN116071707B (zh) 2023-11-28

Family

ID=86176789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310165519.4A Active CN116071707B (zh) 2023-02-27 2023-02-27 一种机场特种车辆识别方法及***

Country Status (1)

Country Link
CN (1) CN116071707B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704473B (zh) * 2023-05-24 2024-03-08 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360947B1 (en) * 1995-12-18 2002-03-26 Metrologic Instruments, Inc. Automated holographic-based tunnel-type laser scanning system for omni-directional scanning of bar code symbols on package surfaces facing any direction or orientation within a three-dimensional scanning volume disposed above a conveyor belt
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110379168A (zh) * 2019-06-24 2019-10-25 东南大学 一种基于Mask R-CNN的交通车辆信息获取方法
CN110648559A (zh) * 2019-09-25 2020-01-03 捻果科技(深圳)有限公司 一种飞行区特种车辆种类及驾驶行为规范自动识别方法
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
CN111369541A (zh) * 2020-03-06 2020-07-03 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法
CN114187442A (zh) * 2021-12-14 2022-03-15 深圳致星科技有限公司 图像处理方法、存储介质、电子设备及图像处理装置
CN114820652A (zh) * 2022-04-07 2022-07-29 北京医准智能科技有限公司 乳腺x线图像局部质量异常区域的分割方法、装置及介质
CN114863228A (zh) * 2022-03-24 2022-08-05 南京航空航天大学 一种基于机器视觉的机场特种车辆避障方法
CN115346206A (zh) * 2022-10-20 2022-11-15 松立控股集团股份有限公司 基于改进超分辨的深度卷积特征识别的车牌检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220174A (ja) * 2015-05-26 2016-12-22 株式会社東芝 家電制御方法及び家電制御装置
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360947B1 (en) * 1995-12-18 2002-03-26 Metrologic Instruments, Inc. Automated holographic-based tunnel-type laser scanning system for omni-directional scanning of bar code symbols on package surfaces facing any direction or orientation within a three-dimensional scanning volume disposed above a conveyor belt
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
CN110379168A (zh) * 2019-06-24 2019-10-25 东南大学 一种基于Mask R-CNN的交通车辆信息获取方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110648559A (zh) * 2019-09-25 2020-01-03 捻果科技(深圳)有限公司 一种飞行区特种车辆种类及驾驶行为规范自动识别方法
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
CN111369541A (zh) * 2020-03-06 2020-07-03 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法
CN114187442A (zh) * 2021-12-14 2022-03-15 深圳致星科技有限公司 图像处理方法、存储介质、电子设备及图像处理装置
CN114863228A (zh) * 2022-03-24 2022-08-05 南京航空航天大学 一种基于机器视觉的机场特种车辆避障方法
CN114820652A (zh) * 2022-04-07 2022-07-29 北京医准智能科技有限公司 乳腺x线图像局部质量异常区域的分割方法、装置及介质
CN115346206A (zh) * 2022-10-20 2022-11-15 松立控股集团股份有限公司 基于改进超分辨的深度卷积特征识别的车牌检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
6th International Conference on Information Science, Computer Technology and Transportation》.2022,全文. *
Apple detection and instance segmentation in natural environments using an improved Mask Scoring R-CNN Model;Dandan Wang 等;《Frontiers in Plant Science》;第1-15页 *
Zhenzhen Zhang 等.Research on Special Vehicle Detection and Passenger Elevator Docking Behavior Recognition in Intelligent Monitoring.《ISCTT 2021 *
基于改进Mask R-CNN的绝缘子目标识别方法;朱有产;王雯瑶;;微电子学与计算机(第02期);全文 *
基于模式识别与ST-MRF相结合的车辆检测方法;周君 等;《交通信息与安全》;第39卷(第2期);全文 *

Also Published As

Publication number Publication date
CN116071707A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN109934163B (zh) 一种基于场景先验和特征再融合的航空图像车辆检测方法
CN108921875A (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN111640136B (zh) 一种复杂环境中的深度目标跟踪方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN102073852B (zh) 基于最优阈值和随机标号法的多车辆分割方法
CN108416292A (zh) 一种基于深度学习的无人机航拍图像道路提取方法
CN106919902A (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN111310593B (zh) 一种基于结构感知的超快速车道线检测方法
CN116071707B (zh) 一种机场特种车辆识别方法及***
CN112749741B (zh) 一种基于深度学习的手闸紧固故障识别方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及***
CN115439766A (zh) 一种基于改进yolov5的无人机目标检测方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及***
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN113537017A (zh) 基于级联型回归修正的光学遥感图像飞机检测方法和装置
CN112561808A (zh) 一种基于车载激光点云和卫星影像的道路边界线复原方法
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及***
CN116188779A (zh) 一种基于UFLane-Detection的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant