CN112651441A - 细粒度非机动车特征检测方法、存储介质及计算机设备 - Google Patents

细粒度非机动车特征检测方法、存储介质及计算机设备 Download PDF

Info

Publication number
CN112651441A
CN112651441A CN202011562327.XA CN202011562327A CN112651441A CN 112651441 A CN112651441 A CN 112651441A CN 202011562327 A CN202011562327 A CN 202011562327A CN 112651441 A CN112651441 A CN 112651441A
Authority
CN
China
Prior art keywords
motor vehicle
feature
driver
fine
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011562327.XA
Other languages
English (en)
Other versions
CN112651441B (zh
Inventor
张伍聪
梁添才
赵清利
徐天适
岳许要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Radio & Tv Xinyi Technology Co ltd
Original Assignee
Shenzhen Xinyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinyi Technology Co Ltd filed Critical Shenzhen Xinyi Technology Co Ltd
Priority to CN202011562327.XA priority Critical patent/CN112651441B/zh
Publication of CN112651441A publication Critical patent/CN112651441A/zh
Application granted granted Critical
Publication of CN112651441B publication Critical patent/CN112651441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于智能交通领域，为细粒度非机动车特征检测方法、存储介质及计算机设备，其方法包括：构建特征检测网络，包括卷积神经网络、多个分块融合模块及驾驶人、非机动车特征检测器，通过多个相连接的分块融合模块实现从深层特征图向浅层特征图分块融合的特征金字塔网络；从特征检测网络选取多个网络特征层，进行逐层分块及融合处理，得到驾驶人细粒度特征图和非机动车细粒度特征图，分别输入驾驶人、非机动车特征检测器进行感兴趣区域的定位和分类，还分别输出到上采样层，向浅层特征图进一步分块融合特征，得到融合了更细粒度分辨率信息的驾驶人特征图和非机动车特征图。本发明提出分块特征金字塔融合的检测网络，提高了目标检测准确率。

Description

细粒度非机动车特征检测方法、存储介质及计算机设备
技术领域
本发明属于智能交通领域，具体涉及细粒度非机动车特征检测方法、存储介质及计算机设备。
背景技术
非机动车给人们的出行带来了极大的便利，但不戴头盔、无牌驾驶、超载驾驶等违章行为也极大增加了城市交通的安全隐患。借助卡口及电子警擦***，交警部门可以对非机动车进行智能化交通管制，例如对非机动车人进行视频结构化分析、行进轨迹追踪等。
非机动车人包含两个部分：驾驶人和非机动车。非机动车人常常包含许多重要的感兴趣区域(ROI)，如车牌、车头、驾驶人头部、非机动车上半身等感兴趣区域，对非机动车人进行ROI目标检测是进行非机动车人属性分析的基础，也是非机动车人结构化分析的重要内容之一。
另一方面，现有基于深度学习的目标检测方法主要有两种：
1.Faster Region-based ConvolutionalNetwork(快速区域卷积网络)目标检测方法，简称为FasterRCNN方法，是一种两阶段检测法，第一阶段先进行候选区域提取，第二阶段精调候选区域；所以FasterRCNN方法的目标检测精度高，但是由于采取两阶段检测，所以实际检测速度慢。
2.Single Shot MultiBox Detector(单阶段多框检测器)目标检测方法，简称为SSD方法，是一种单阶段检测法，所以检测速度比两阶段检测法快，但是精度比两阶段检测法低。
现阶段非机动车人目标检测方法以SSD方法为主，但是当图像中出现较小目标时，SSD方法精度较低，利用特征金字塔方法可以提高目标检测精度。
非机动车人检测的输入是上下特征分块明显的图像，上半部分为驾驶人，下半部分为非机动车，因此如何基于分块和特征金字塔方法思想融合全局与局部信息提高非机动车人检测效果成为非机动车人结构化的一个重点优化方向。
发明内容
为解决现有技术所存在的技术问题，本发明提供细粒度非机动车特征检测方法、存储介质及计算机设备，提出分块特征金字塔融合的目标检测网络结构，对驾驶人、非机动车进行目标检测，提高了目标检测的准确率。
本发明方法采用以下技术方案来实现：细粒度非机动车特征检测方法，包括以下步骤：
S1、构建特征检测网络，所构建的特征检测网络包括卷积神经网络、多个分块融合模块，以及驾驶人特征检测器和非机动车特征检测器，卷积神经网络包括多个串接的CBR模块和最大池化层；多个分块融合模块相连接，每个分块融合模块还分别与卷积神经网络的一个CBR模块、驾驶人特征检测器、非机动车特征检测器连接，从而实现从深层特征图向浅层特征图分块融合的特征金字塔网络；
S2、从特征检测网络的不同CBR模块中选取多个网络特征层，进行逐层分块及融合处理，得到融合后的驾驶人细粒度特征图和非机动车细粒度特征图；
S3、将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输入驾驶人特征检测器、非机动车特征检测器，进行感兴趣区域的定位和分类；
S4、将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输出到上采样层，向浅层特征图进一步分块融合特征，得到融合了更细粒度分辨率信息的驾驶人特征图和非机动车特征图。
在优先的实施例中，所述检测方法还包括：S5、对所构建的特征检测网络进行训练，在训练过程中加入互斥损失函数LMutex让特征检测网络模型准确区分出同类目标重叠的检测框。
本发明的存储介质，其上存储有计算机指令，计算机指令被处理器执行时，实现上述细粒度非机动车特征检测方法的步骤。
本发明的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器运行计算机程序时，执行上述细粒度非机动车特征检测方法的步骤。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提出将网络浅层及深层特征分块、特征融合后对驾驶人、非机动车进行目标检测，即提出分块特征金字塔融合的目标检测网络结构，提高了目标检测的准确率。
2、本发明提出互斥损失函数，用于优化目标检测中的密集自遮挡问题，减少了漏检的情形。
附图说明
图1是本发明实施例中的特征检测网络的结构示意图；
图2是图1中的CBR模块的结构示意图；
图3是图1中分块融合模块的结构示意图；
图4是本发明实施例中的网络特征图分块及融合的具体过程示意图；
图5是候选框与真值框的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本发明提出的细粒度非机动车特征检测方法，是基于分块思想融合深浅层特征图对关键区域/感兴趣区域进行检测。图像经过神经网络处理后，会得到浅层特征图和深层特征图。浅层特征图具有细粒度的高分辨率信息，高分辨率信息能更准确定位目标的边界；深层特征图具有高级语义信息，高级语义信息能更准确定义目标的类别信息。通过将浅层特征图和深层特征图融合的方式，可以得到同时具备高语义信息和高分辨率信息的融合特征图，从而提高目标检测的准确度。常见的特征图融合方法是整体融合法，即直接将深层特征图进行上采样，然后与浅层特征图相加，得到融合特征图。本发明基于非机动车人的分块特点，分别将浅层特征图和深层特征图分块，再将分块特征各自进行融合，实现了驾驶人细粒度特征提取，以及非机动车细粒度特征提取；相比整体融合法，本发明的细粒度特征融合方法的目标检测准确率更高。详细步骤如下：
步骤1：构建特征检测网络
本实施例中，整体的网络结构如图1所示。所构建的特征检测网络的骨干网络为卷积神经网络VGG16，VGG16网络包括多个串接的CBR模块和最大池化层；CBR模块如图2所示，包括相连接的卷积层、批归一化层、ReLU激活层。除了VGG16网络，所构建的特征检测网络还包括多个分块融合模块，以及驾驶人特征检测器和非机动车特征检测器；多个分块融合模块相连接，每个分块融合模块还分别与VGG16网络的一个CBR模块、驾驶人特征检测器、非机动车特征检测器连接，从而实现从深层特征图向浅层特征图分块融合的特征金字塔网络。
分块融合模块如图3所示，包括切分模块及分别与切分模块连接的两条输出支路，每条输出支路均包括相连接的相加模块和卷积模块，相加模块对来自CBR模块经切分模块处理后的特征图、上采样层输出的特征图进行叠加处理；分块融合模块的输入有三个，一个是CBR模块的输出，两个是上采样层的输出；分块融合模块的输出有四个，两个是输出到上采样层进行向上特征金字塔融合，两个是输出到检测层进行分类回归处理。检测层采用SSD的检测器，本案例的检测层有两种，一种是驾驶人特征检测层，另一种是非机动车特征检测层。
步骤2：从特征检测网络的不同CBR模块中选取多个网络特征层，进行逐层分块及融合处理，得到融合后的驾驶人细粒度特征图和非机动车细粒度特征图。
本实施例基于SSD检测框架，从特征检测网络中选择了特征层CBR模块4_3、CBR模块7、CBR模块8_2、CBR模块9_2、CBR模块10_2、CBR模块11_2共6个分支，分别作为5个分块融合模块的输入，进行分块融合处理。经过5个分块融合模块的逐层分块特征融合后，输出5个驾驶人细粒度特征图和5个非机动车细粒度特征图，各自输入到对应的检测层进行区域定位和类别识别。综合以上特征检测结果，即可得到非机动车人全部检测结果。
本实施例的步骤2-步骤4，以CBR模块10_2和CBR模块11_2的分块特征融合，然后进行驾驶人特征、非机动车特征检测为例进行说明。分块融合模块的过程如图4所示，浅层特征图21表示CBR模块10_2的特征图，深层特征图22表示CBR模块11_2的特征图。
深度卷积神经网络的特征图包含四个维度信息，分别是样本数、通道数、高度和宽度这四个维度。切分模块将来自CBR模块的浅层特征图沿着高度维度切分为2个部分，上部分为驾驶人相关的浅层分块特征图23，下部分为非机动车相关的浅层分块特征图24；或将来自CBR模块的深层特征图沿着通道维度划分为2个部分，上部分为驾驶人相关的深层特征图25，下部分为非机动车相关的深层特征图26。
分块融合模块对驾驶人相关的深层特征图25进行双线性插值上采样，得到与驾驶人相关的浅层分块特征图23等宽高和等通道数的驾驶人插值特征图27；驾驶人相关的浅层分块特征图23与驾驶人插值特征图27相加后，再经过一个3x3卷积操作后得到的特征图28，作为检测驾驶人感兴趣区域的细粒度特征，特征图28也称为驾驶人细粒度特征图。
同理，分块融合模块对非机动车相关的深层特征图26进行双线性插值上采样，得到与非机动车相关的浅层分块特征图24等宽高和等通道数的非机动车插值特征图29；非机动车相关的浅层分块特征图24与非机动车插值特征图29相加后，再经过一个3x3卷积操作后得到的特征图30，作为检测非机动车感兴趣区域的细粒度特征，特征图30也叫非机动车细粒度特征图。
以上为两个特征图的细粒度分块融合过程。在多个特征图的细粒度分块融合过程中，上述融合后的驾驶人细粒度特征图28、非机动车细粒度特征图30分别进行双线性插值上采样后，作为下一个细粒度分块融合模块的输入。
步骤3：将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输入驾驶人特征检测器、非机动车特征检测器，进行感兴趣区域的定位和分类。
(1)将驾驶人细粒度特征图28接入检测层，进行感兴趣区域定位和分类，跟驾驶人相关的感兴趣区域可在检测层进行训练学习，例如驾驶人头部、驾驶人上半身区域等感兴趣区域。
(2)同理，将上述特征图30接入检测层进行感兴趣区域定位和分类，跟非机动车相关的感兴趣区域可在检测层进行训练学习，例如非机动车的车灯、车头、车脸等感兴趣区域。
步骤4：将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输出到上采样层，向浅层特征图进一步分块融合特征，得到融合了更细粒度分辨率信息的驾驶人特征图和非机动车特征图。
(1)在步骤3(1)中，特征图28一端已接入检测层进行定位和分类。遵循特征图金字塔原理，特征图28另一端继续进行上采样插值并与更浅层分块特征进行融合，得到的驾驶人特征图融合了更细粒度分辨率信息，有利于识别驾驶人中更小的目标。
(2)同理，在步骤3(2)中，特征图30一端已接入检测层进行定位和分类。遵循特征图金字塔原理，特征图30另一端继续进行上采样插值并与更浅层分块特征进行融合，得到的非机动车特征图融合了更细粒度分辨率信息，有利于识别非机动车中更小的目标。
步骤5：对所构建的特征检测网络进行训练。在整体网络训练过程中，采用互斥损失函数优化密集自遮挡检测问题。
由于输入图像中存在多个驾驶人重叠的遮挡问题，遮挡问题会使得部分预测框被非极大值抑制处理掉，从而导致漏检。为了优化漏检问题，本实施例对步骤1设计好的整体网络框架进行模型训练，在整体网络的训练过程中加入互斥损失函数LMutex让特征检测网络模型更加准确的区分出同类目标重叠的检测框。如图5所示，互斥损失函数LMutex的目标是使得候选框P与周围真值框T2间的距离尽可能的远，周围真值框T2是除了与候选框匹配上的真值框T1以外的重叠程度最大的真值框；即利用互斥损失函数LMutex拉大候选框P与周围真值框T2间的距离。也就是说，真值框T1是与候选框P重叠程度第一高的真值框。
通过函数IoT(P，T2)来表示候选框P与周围真值框T2间的距离：
Figure BDA0002859704530000051
上式中，area(P∩T2)表示候选框P与周围真值框T2的交集面积，area(T2)表示周围真值框T2的面积。候选框P与周围真值框T2间的互斥损失函数LMutex表示为：
Figure BDA0002859704530000052
其中P+表示N个正样本候选框，周围真值框T2为与候选框P重叠程度第二高的真值框，若不存在周围真值框T2，则IoT＝0。网络整体训练过程中采用的损失函数可表示为：
Lall＝Lconf+Lloc+γ·LMutex
Lconf和Lloc分别表示特征检测网络中的分类损失和定位损失；γ为互斥损失的权重系数，本实施例中令其值为0.5。在网络训练的过程中，通过加入互斥损失函数，调节整体网络权重参数，可以使模型在推理过程中更加准确的区分出同类目标重叠的检测框，减少了同类目标出现重叠后的漏检问题。
本实施例并未对上述步骤1-步骤5的先后执行顺序进行限定或有所要求。实际上，本步骤5是在步骤1构建特征检测网络之后就执行的，训练完毕特征检测网络的权重参数后，再利用其对驾驶人和非机动车特征进行检测。
基于相同的发明构思，本实施例还提出存储介质，其上存储有计算机指令，当计算机指令被处理器执行时，实现上述细粒度非机动车特征检测方法的步骤S1-S5。
基于相同的发明构思，本实施例还提出计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，当处理器运行所述计算机程序时，执行上述细粒度非机动车特征检测方法的步骤S1-S5。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.细粒度非机动车特征检测方法，其特征在于，包括以下步骤：
S1、构建特征检测网络，所构建的特征检测网络包括卷积神经网络、多个分块融合模块，以及驾驶人特征检测器和非机动车特征检测器，卷积神经网络包括多个串接的CBR模块和最大池化层；多个分块融合模块相连接，每个分块融合模块还分别与卷积神经网络的一个CBR模块、驾驶人特征检测器、非机动车特征检测器连接，从而实现从深层特征图向浅层特征图分块融合的特征金字塔网络；
S2、从特征检测网络的不同CBR模块中选取多个网络特征层，进行逐层分块及融合处理，得到融合后的驾驶人细粒度特征图和非机动车细粒度特征图；
S3、将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输入驾驶人特征检测器、非机动车特征检测器，进行感兴趣区域的定位和分类；
S4、将分块融合后的驾驶人细粒度特征图和非机动车细粒度特征图分别输出到上采样层，向浅层特征图进一步分块融合特征，得到融合了更细粒度分辨率信息的驾驶人特征图和非机动车特征图。
2.根据权利要求1所述的细粒度非机动车特征检测方法，其特征在于，所述检测方法还包括：
S5、对所构建的特征检测网络进行训练，在训练过程中加入互斥损失函数LMutex让特征检测网络模型准确区分出同类目标重叠的检测框。
3.根据权利要求2所述的细粒度非机动车特征检测方法，其特征在于，利用互斥损失函数LMutex拉大候选框P与周围真值框T2间的距离，周围真值框T2为除了与候选框匹配上的真值框T1以外的重叠程度最大的真值框；通过函数IoT(P，T2)来表示候选框P与周围真值框T2间的距离：
Figure FDA0002859704520000011
其中，area(P∩T2)表示候选框P与周围真值框T2的交集面积，area(T2)表示周围真值框T2的面积；候选框P与周围真值框T2间的互斥损失函数LMutex表示为：
Figure FDA0002859704520000012
其中P+表示N个正样本候选框，若不存在周围真值框T2，则IoT＝0；特征检测网络在训练过程中采用的损失函数为：
Lall＝Lconf+Lloc+γ·LMutex
Lconf和Lloc分别表示特征检测网络中的分类损失和定位损失；γ为互斥损失的权重系数。
4.根据权利要求1所述的细粒度非机动车特征检测方法，其特征在于，每个分块融合模块均包括切分模块及分别与切分模块连接的两条输出支路，每条输出支路均包括相连接的相加模块和卷积模块，相加模块对来自CBR模块经切分模块处理后的特征图、上采样层输出的特征图进行叠加处理；
每个分块融合模块的输入包括三个，一个是CBR模块的输出，两个是上采样层的输出；分块融合模块的输出包括四个，两个输出到上采样层进行向上特征金字塔融合，两个输出到驾驶人特征检测器、非机动车特征检测器进行分类回归处理。
5.根据权利要求4所述的细粒度非机动车特征检测方法，其特征在于，步骤S2中，从特征检测网络的六个不同CBR模块中选取网络特征层，分别作为五个分块融合模块的输入；经过五个分块融合模块逐层分块特征融合后，输出5个驾驶人细粒度特征图和5个非机动车细粒度特征图，各自输入到对应的检测层进行区域定位和类别识别。
6.根据权利要求5所述的细粒度非机动车特征检测方法，其特征在于，通过切分模块将来自CBR模块的浅层特征图沿着高度维度切分为驾驶人相关的浅层分块特征图、非机动车相关的浅层分块特征图；或将来自CBR模块的深层特征图沿着通道维度划分为驾驶人相关的深层特征图、非机动车相关的深层特征图；
分块融合模块对驾驶人相关的深层特征图进行双线性插值上采样，得到与驾驶人相关的浅层分块特征图等宽高和等通道数的驾驶人插值特征图；驾驶人相关的浅层分块特征图与驾驶人插值特征图相加后，再经过卷积操作后得到驾驶人细粒度特征图；
分块融合模块对非机动车相关的深层特征图进行双线性插值上采样，得到与非机动车相关的浅层分块特征图等宽高和等通道数的非机动车插值特征图；非机动车相关的浅层分块特征图与非机动车插值特征图相加后，再经过卷积操作后得到非机动车细粒度特征图。
7.根据权利要求1所述的细粒度非机动车特征检测方法，其特征在于，CBR模块包括包括相连接的卷积层、批归一化层、ReLU激活层。
8.根据权利要求1所述的细粒度非机动车特征检测方法，其特征在于，驾驶人特征检测器、非机动车特征检测器均采用SSD检测器。
9.存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实现权利要求1-8中任一项所述的细粒度非机动车特征检测方法的步骤。
10.计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时，执行权利要求1-8中任一项所述细粒度非机动车特征检测方法的步骤。
CN202011562327.XA 2020-12-25 2020-12-25 细粒度非机动车特征检测方法、存储介质及计算机设备 Active CN112651441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011562327.XA CN112651441B (zh) 2020-12-25 2020-12-25 细粒度非机动车特征检测方法、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562327.XA CN112651441B (zh) 2020-12-25 2020-12-25 细粒度非机动车特征检测方法、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN112651441A true CN112651441A (zh) 2021-04-13
CN112651441B CN112651441B (zh) 2022-08-16

Family

ID=75363009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562327.XA Active CN112651441B (zh) 2020-12-25 2020-12-25 细粒度非机动车特征检测方法、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN112651441B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764812A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种病灶区域分割装置
CN114882372A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标检测的方法及设备
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN117173523A (zh) * 2023-08-04 2023-12-05 山东大学 一种基于频率感知的伪装目标检测方法及***
CN117593746A (zh) * 2024-01-18 2024-02-23 武汉互创联合科技有限公司 基于目标检测的细胞***均衡度评估***及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109711427A (zh) * 2018-11-19 2019-05-03 深圳市华尊科技股份有限公司 目标检测方法及相关产品
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110991560A (zh) * 2019-12-19 2020-04-10 深圳大学 一种结合上下文信息的目标检测方法及***
CN111414861A (zh) * 2020-03-20 2020-07-14 赛特斯信息科技股份有限公司 基于深度学习实现行人及非机动车辆检测处理的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109711427A (zh) * 2018-11-19 2019-05-03 深圳市华尊科技股份有限公司 目标检测方法及相关产品
CN110991560A (zh) * 2019-12-19 2020-04-10 深圳大学 一种结合上下文信息的目标检测方法及***
CN111414861A (zh) * 2020-03-20 2020-07-14 赛特斯信息科技股份有限公司 基于深度学习实现行人及非机动车辆检测处理的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGYE WANG ET AL.: "Real-Time Non-Motor Vehicle Violation Detection in Traffic Scenes", 《2019 IEEE INTERNATIONAL CONFERENCE ON INDUSTRIAL CYBER PHYSICAL SYSTEMS(ICPS)》 *
姚巍巍 等: "融合目标检测和人体关键点检测的铁路司机行为识别", 《计算机测量于控制》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764812A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种病灶区域分割装置
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN115294774B (zh) * 2022-06-20 2023-12-29 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN114882372A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标检测的方法及设备
CN117173523A (zh) * 2023-08-04 2023-12-05 山东大学 一种基于频率感知的伪装目标检测方法及***
CN117173523B (zh) * 2023-08-04 2024-04-09 山东大学 一种基于频率感知的伪装目标检测方法及***
CN117593746A (zh) * 2024-01-18 2024-02-23 武汉互创联合科技有限公司 基于目标检测的细胞***均衡度评估***及装置
CN117593746B (zh) * 2024-01-18 2024-04-19 武汉互创联合科技有限公司 基于目标检测的细胞***均衡度评估***及装置

Also Published As

Publication number Publication date
CN112651441B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112651441B (zh) 细粒度非机动车特征检测方法、存储介质及计算机设备
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
Chen et al. Pothole detection using location-aware convolutional neural networks
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和***
CN111310574B (zh) 一种车载视觉实时多目标多任务联合感知方法和装置
US20190042888A1 (en) Training method, training apparatus, region classifier, and non-transitory computer readable medium
CN105160309A (zh) 基于图像形态学分割及区域生长的三车道检测方法
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN112334906B (zh) 从机器学习模型输出推断出的实例分割
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
JP4420512B2 (ja) 移動物体間動作分類方法及び装置並びに画像認識装置
Ye et al. Application of lightweight railway transit object detector
CN113095152A (zh) 一种基于回归的车道线检测方法及***
CN116052026A (zh) 一种无人机航拍图像目标检测方法、***及存储介质
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的***和方法
Faisal et al. Object detection and distance measurement using AI
US20230206456A1 (en) System and method for point supervised edge detection
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
CN117746359A (zh) 目标检测方法、装置、电子设备及可读存储介质
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
JPWO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及***
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 1001, building T3, Hualian Business Center, Nanshan community, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Radio & TV Xinyi Technology Co.,Ltd.

Address before: 518000 1001, building T3, Hualian Business Center, Nanshan community, Nanshan street, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN XINYI TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address