CN115457486A - 基于二阶段的卡车检测方法、电子设备及存储介质 - Google Patents

基于二阶段的卡车检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115457486A
CN115457486A CN202210920776.XA CN202210920776A CN115457486A CN 115457486 A CN115457486 A CN 115457486A CN 202210920776 A CN202210920776 A CN 202210920776A CN 115457486 A CN115457486 A CN 115457486A
Authority
CN
China
Prior art keywords
truck
detection
detection frame
vehicle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210920776.XA
Other languages
English (en)
Inventor
杨政
钱炜
伍阔梁
王甜甜
沈阳
何晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202210920776.XA priority Critical patent/CN115457486A/zh
Publication of CN115457486A publication Critical patent/CN115457486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种基于二阶段的卡车检测方法、电子设备及存储介质，包括：获取待预测任务的3D点云；基于3D主干网络提取所述3D点云的第一特征图，并将第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；基于第一检测头网络获取第二特征图的卡车类的整车检测框；将卡车类的整车检测框及对应的第三特征图输入至第二检测头网络进行特征训练，得到卡车类的整车检测框对应的车头检测框和车身检测框；基于车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态。本申请利用二阶段网络获取卡车的车头检测框和车身检测框，高效预测卡车的车头和车身的分离情况，达到了提高卡车检测的准确性的技术效果。

Description

基于二阶段的卡车检测方法、电子设备及存储介质
技术领域
本申请实施例涉及目标检测技术领域，尤其涉及一种基于二阶段的卡车检测方法、电子设备及存储介质。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时研究越来越热门，对目标进行动态实时定位在智能化交通***、智能监控***及医学导航手术中手术器械定位等方面具有广泛的应用价值。
在智能化交通***中，尤其对于目前大热的自动驾驶技术，三维(Three-Dimensiona，3D)目标检测成为了一项必不可少的任务，受到了业界和学术界的广泛关注。然而在相关技术中，对于车辆的目标检测更加关注的是对于目标车辆整体的检测精度，对于车辆整体通常仅输出一个整体的预测框，但是对于卡车，尤其是重型卡车等大型车辆在拐弯等情况下的车头和车身会出现分离，采用整体预测框的形式不能够准确获取卡车的车头和车身的分离情况，从而不能准确获知其行驶方向等，这将可能产生安全隐患。
发明内容
鉴于上述问题，本申请实施例提供一种基于二阶段的卡车检测方法、电子设备及存储介质，以解决目前的目标检测算法不能够准确获取卡车的车头和车身的分离情况，无法准确获知其行驶方向等所造成的安全隐患问题。
为了实现上述目的，本申请提供如下技术方案：
第一方面，本申请实施例提供一种基于二阶段的卡车检测方法，包括：
获取待预测任务的3D点云；
基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；
基于第一检测头网络获取所述第二特征图的卡车类的整车检测框；
将所述卡车类的整车检测框及其对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框；以及，基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态。
在一种实施方式中，基于第一检测头网络获取所述第二特征图的卡车类的整车检测框，包括：
基于第一检测头网络获取所述第二特征图的预测框其对应的分类置信度，并基于所述预测框及对应的分类置信度获取卡车类的整车检测框。
在一种实施方式中，所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框；
所述基于所述预测框及对应的分类置信度获取卡车类的整车检测框，包括：
剔除所有非卡车类的整体预测框；
基于所述卡车类的整车预测框对应的分类置信度筛选出所述卡车类的整车预测框中分类置信度在预设分类置信度区间内的整车预测框，作为卡车类的整车检测框。
在一种实施方式中，所述第二检测头网络为RoI检测头网络，所述RoI检测头网络包括RoI池化层和卷积层，
所述将所述卡车类的整车检测框及其对应的第三特征图输入至第二检测头网络进行特征训练，包括：
基于所述RoI池化层对所述卡车类的整车检测框及其对应的第三特征图进行池化操作，得到所述卡车类的整车检测框中图像对应的特征；以及，基于所述卷积层训练所述整车检测框中图像对应的特征。
在一种实施方式中，所述基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态，包括：
获取所述车头检测框和所述车身检测框之间的偏离角度；
若所述偏离角度大于预设阈值，则确定所述车头检测框及所述车身检测框对应卡车的车头和车身之间分离。
在一种实施方式中，在基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态之后，还包括：
获取所述车头检测框相对于所述车身检测框之间的偏离方向，并在在所述偏离方向上显示提示消息，所述提示消息用于提示所述卡车的转角趋势。
在一种实施方式中，在获取待预测任务的3D点云之后，以及基于3D主干网络提取所述3D点云的第一特征图之前，还包括：
对所述3D点云进行体素化，得到经过体素化的3D点云；
基于3D主干网络提取所述3D点云的第一特征图，包括：基于3D主干网络提取经过体素化的3D点云；其中，所述3D主干网络为稀疏卷积网络。
在一种实施方式中，所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框，
所述方法还包括：基于所述卡车类的整车检测框、所述车头检测框及所述车身检测框，以及非卡车类的整体检测框检测卡车和非卡车之间的位置状态。
根据本申请的另一方面，提供一种基于二阶段的卡车检测装置，包括：
获取模块，其设置为获取待预测任务的3D点云；
提取模块，其设置为基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；
整体框检测模块，其设置为基于第一检测头网络检测所述第二特征图的预测框及对应的分类置信度；
所述获取模块还设置为，基于所述预测框及对应的分类置信度获取卡车类的整车检测框；
车头车身检测模块，其设置为将所述卡车类的整车检测框及对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框；
后处理模块，其设置为基于所述车头检测框及车身检测框预测对应卡车的车头和车身之间的分离状态。
根据本申请的又一方面，提供一种电子设备，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行所述的基于二阶段的卡车检测方法。
根据本申请实施例提供的基于二阶段的卡车检测方法、电子设备及存储介质，利用3D主干网络和2D主干网络对3D点云进行二维特征图的生成，提高二维特征图的准确性，进而利用第一检测头网络检测出二维特征图的卡车类的整车检测框，进一步在第二检测头网络中基于整车检测框及对应的第三特征图进行特征训练，获得整车检测框对应的车头检测框和车身检测框，并基于获得的车头检测框及车身检测框预测相应卡车的车头和车身之间的分离状态，此过程通过首先进行卡车类整车框的预测，进而针对卡车整车框的预测结果进一步预测卡车的车头和车身，有效提高了卡车车头和车身的检测准确率。
附图说明
图1为相关技术中卡车的检测框示意图；
图2a为本申请实施例中卡车的检测框示意图之一；
图2b为本申请实施例中卡车的检测框示意图之二；
图3为本申请实施例一种可能的场景示意图；
图4为本申请实施例提供的一种基于二阶段的卡车检测方法的流程示意图之一；
图5为本申请实施例中一种基于二阶段的卡车检测方法的流程示意图之二；
图6为本申请实施例提供的另一种基于二阶段的卡车检测方法的流程示意图；
图7为本申请实施例提供的又一种基于二阶段的卡车检测方法的流程示意图；
图8为本申请实施例提供的一种基于二阶段的卡车检测装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在自动驾驶中，3D物体检测是一项必不可少的任务，受到了业界和学术界的广泛关注。相关技术中采用了多种提高目标车辆整体的检测精度的方案，例如：在单级检测器中，采用VoxelNet技术对点云进行体素化，并提出体素特征编码层来提取每个体素中的点特征，并产生固定长度的特征用于批量训练；PointPillar技术利用伪图像来实现3D目标检测，其将点云分成多个支柱而不是体素进行特征提取，然后利用2D卷积检测结构进行目标检测；SECOND技术利用稀疏卷积来代替传统的3D卷积；TANet(Triple Attention Net,注意力机制网络应用于目标检测技术)提出了一个嵌入体素特征提取的三重注意力模块，并将其与提议的级联细化网络相结合；最近，Point-GNN(Point-Graph Neural Network，用于点云中三维目标检测的图神经网络)提出了一种图神经网络来提取点特征并取得了不错的性能；3DSSD(3D Single Shot MultiBox Detector，3D单阶段检测)提出了一种融合采样策略，通过结合基于特征和基于点的最远点采样来获得更好的分类性能；以及，SA-SSD(StructureAware-SSD，基于结构感知的单阶段检测)提出了一个与稀疏卷积网络并行的辅助网络，以使用插值体素特征回归每个点的框中心和语义类。然而，上述技术对于3D目标检测方法，均没有考虑对同一个物体的不同部分进行单独检测的内容。
而对于卡车，尤其是重型卡车，其在转弯时车头和车身存在巨大的偏差，如图1所示，如果只使用一个标注的真实框(图中虚线框)表示当前的转弯的卡车，那么就会出现如下问题：无法获知卡车的车头和车身之间已进行分离，这将准确获知当前的行驶方向，不利于行驶轨迹的预测；不安全，即行人可能距离车头很近，但是离标注的真实框较远，而此时行人很有可能与车头相撞；此外，网络预测不稳定，即多个不同朝向的卡车头可能用同一个标注的真实框表示，造成训练时的歧议性。
有鉴于此，本申请实施例提供一种基于二阶段的卡车检测方法、电子设备及存储介质，利用3D主干网络和2D主干网络对3D点云进行二维特征图的生成，提高二维特征图的准确性，进而利用第一检测头网络检测出二维特征图的卡车类的整车检测框，进一步基于第二检测头网络进行特征训练，获得整车检测框对应的车头检测框和车身检测框，最后基于获得的车头检测框及车身检测框预测相应卡车的车头和车身之间的分离状态，此过程通过首先进行卡车类整车框的预测，进而针对卡车整车框的预测结果进一步预测卡车的车头和车身，有效提高了卡车车头和车身的检测准确率。
如图2a和图2b所示，分别为卡车的车头和车身为未分离状态和分离状态的两种示意。与相关技术相比，在进行卡车检测时，通过检测其车头和车身，能够有效预测卡车的车头和车身之间的分离状态，以进一步精准预测卡车的拐弯状态，便于实现对其行驶轨迹的预测，并且，通过检测车头和车身之间的分离状态可以更加精准预测非卡车物体与卡车之间的位置状态，例如行人，在行人处于车头位置处时，离标注的真实框更近，可有效预测行人很与车头是否即将相撞；此外，针对多个不同朝向的卡车，在网络预测不稳定时，由于车头和车身分别为不同的预测框，有效降低了训练时的歧议性。
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图3为本申请实施例提供的一种可能的场景示意图，如图3所示，包括终端设备310、服务器320和激光雷达(未画出)，在一些实施例中，终端310用于向服务器320提供已经训练好的目标检测模型，例如，该目标检测模型包括3D主干网络、2D主干网络、第一检测头网络以及第二检测偷网络，激光雷达用于向服务器320提供采集的待预测任务区域的3D点云数据信息，服务器320用于基于终端310和激光雷达330提供的数据，对待预测任务进行预测。可选地，在对待预测任务进行预测的过程中，服务器320承担主要计算工作，终端310承担次要计算工作；或者，服务器320承担次要计算工作，终端310承担主要计算工作；或者，服务器320或终端310分别能够单独承担计算工作。
其中，终端设备310可以包括但不限于，电脑、智能手机、平板电脑、电子书阅读器、动态影像专家压缩标准音频层面3(Moving Picture experts group audio layer III，简称MP3)播放器、动态影像专家压缩标准音频层面4(Moving Picture experts group audiolayer IV，简称MP4)播放器、便携计算机、车载电脑、可穿戴设备、台式计算机、机顶盒、智能电视等等。
服务器320可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选地，上述终端310或服务器320的数量可以更多或更少，本申请实施例对此不加以限定。在一些实施例中，上述终端310和服务器320还可以作为区块链***中的节点，将预测结果同步给区块链其它节点，以实现该预测结果的广泛应用。
上面对本申请的场景示意图进行了简单说明，下面以应用于图3中的服务器320为例，来详细说明本申请实施例提供的基于二阶段的卡车检测方法。
请参照图4，图4为本申请实施例提供的一种卡车检测方法的流程示意图之一，所述方法包括步骤S401-S405。
可以理解的是，本实施例中的卡车泛指可以进行车身分离类的车辆，其中车身分离，即车头和车身之间灵活连接。
步骤S401、获取待预测任务的3D点云。
其中，待预测任务可以为某个待预测区域的待预测任务，待预测区域可以包括道路场景、卡车车辆、非卡车车辆以及行人等，其中待预测任务为该区域中的卡车车辆。
具体地，本实施例利用激光雷达探测待预测任务的3D点云，并基于二者的通信接口获取激光雷达探测得到的待预测任务的3D点云。
激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达***。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对飞机、车辆等目标进行探测、和识别。由激光雷达进行扫描所获取的数据，即为激光雷达点云数据，本实施例采集的3D点云数据即通过激光雷达获取。
步骤S402、基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图。
本实施例中，利用3D主干网络和2D主干网络之间形成的二阶段网络对3D点云进行特征提取和训练所获得的第二特征图，相较于单阶段网络训练获得的特征图而言准确率更高，为准确识别卡车类整车框奠定了基础。
在一种实施方式中，在步骤S402之前，还包括：对所述3D点云进行体素化，得到经过体素化的3D点云；步骤S402具体为：基于3D主干网络提取经过体素化的3D点云；其中，所述3D主干网络为稀疏卷积网络。
结合图5所示，首先对3D点云进行体素化，使得体素化后的点云数据将在内存中有序存储，有利于减小随机内存访问，增加数据运算效率。将体素化后的3D点云送入3D主干网络中进行特征提取，得到二维特征图(第一特征图)。具体地，3D特征网络可以采用稀疏卷积网络，从稀疏体素中提取特征，稀疏卷积网络可以由4个模块构成，4个模块由{2,2,3,3}子流形稀疏卷积层和一个稀疏卷积层构成，稀疏卷积层用于每个模块的最后一层，对3D特征映射进行2倍的降采样。最后将稀疏体素特征在z轴上进行叠加(即，鸟瞰图投影)，即可获得第一特征图。进一步地，将2D特征图输入2D主干网络，2D主干网络包括多个2D卷积层，首先输入一组2D卷积，例如一组为4个卷积层，再使用一个stride＝2的卷积将其特征通道加倍，长宽下降一倍后，再输入一组2D卷积，它同样包含4个卷积层。最后将两组卷积层得到的特征图进行相连输出最终的2D特征图(第二特征图)，用于后续步骤中的检测头网络。
步骤S403、基于第一检测头网络获取所述第二特征图的卡车类的整车检测框。
可以理解的是，检测头网络即包含检测头的网络，其可以为目标检测算法中的神经网络，具体地，利用神经网络中的检测头来预测目标的种类和位置(bounding boxes，边界框)，2D图输入到检测头网络后，检测头即输出相应的3D预测框和对应的分类置信度。本实施例中，第一检测头网络和第二检测头网络仅用于区分类似对象，而并无其它含义，二者可以为相同网络结构也可以为不同的网络结构。
在一种实施方式中，步骤S403具体为：基于第一检测头网络获取所述第二特征图的预测框其对应的分类置信度，并基于所述预测框及对应的分类置信度获取卡车类的整车检测框。
其中，预测所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框，每种预测框有其对应的分类置信度。可以理解的是，分类置信度即分类置信水平，对于每个3D预测框有其对应的分类置信度，分类置信度越高，分类结果越准确。本实施例中，利用分类置信度可以对预测框进行分类，同时剔除重复的预测框，并可过滤掉无用的预测框。
在一种进一步的实施方式中，为提高卡车类的整车预测框的获取效率及准确率，本实施例通过剔除所有非卡车类的整体预测框，并根据卡车类的整车预测框相应的分类置信度进一步进行筛选，所述基于所述预测框及对应的分类置信度获取卡车类的整车检测框，包括以下步骤：
剔除所有非卡车类的整体预测框；
基于所述卡车类的整车预测框对应的分类置信度筛选出所述卡车类的整车预测框中分类置信度在预设分类置信度区间内的整车预测框，作为卡车类的整车检测框。
在一种实施方式中，没有在预设分类置信度区间中的整车预测框被看做无用的预测框，可以对其进行滤除。需要说明的是，本领域技术人员可以基于现有技术和实际应用对预设分类置信区间进行适应性设定。
步骤S404、将所述卡车类的整车检测框及对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框。
在一种实施方式中，为了提高车头检测框和车身检测框的准确率，所述第二检测头网络为RoI(Region ofInterest，兴趣区)检测头网络，所述RoI检测头网络包括RoI池化层和卷积层。
所述将所述卡车类的整车检测框及对应的第三特征图输入至第二检测头网络进行特征训练(步骤S404)，具体包括以下步骤：
基于所述RoI池化层对所述卡车类的整车检测框进行池化操作，得到所述卡车类的整车检测框中图像对应的特征；以及，基于所述卷积层训练所述整车检测框中图像对应的特征。
本实施例中，利用RoI池化层对整车检测框中图像进行池化操作，去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗等，得到整车检测框中图像对应的特征，然后在卷积层中对整车检测框中图像对应的特征进行训练，输出预测整车框中对应的车头检测框及对应的车头置信度、车身检测框及对应的车身置信度，在一些实施例中，可以基于车头置信度和车身置信度对车头检测框和车身检测框作进一步筛选，以获得更为准确的卡车检测结果。
可以理解的是，第三特征图即第二特征图中整车框对应的剪切特征图，在一些实施例中，为了提高车头检测框和车身检测框的检测准确度，分别对第一检测头网络和第二检测头网络中获得的结果和真实框的位置计算差值，求梯度反向传导训练，最终得到收敛的可以稳定输出障碍物框和车头车身框的网络，其中，真实框即人工标注的框。
步骤S405、基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态。
相较于相关技术，本实施例通过3D主干网络和2D主干网络对3D点云进行特征提取，并获得较为准确的二维特征图，然后将二维特征图依次送入第一检测头网络获取卡车的整车检测框，和第二检测头网络获取卡车的整车检测框对应的车头检测框和车身检测框，利用获取的车头检测框及车身检测框预测相应卡车的车头和车身之间的分离状态，能够有效预测卡车的车头和车身之间的分离状态，以进一步精准预测卡车的拐弯状态，便于实现对其行驶轨迹的预测，有效提高道路预测安全性。
请参照图6，图6为本申请实施例提供的另一种基于二阶段的卡车检测方法的流程示意图，在上述实施例的基础上，为进一步确定卡车的车头和车身之间的分离装置，本实施例通过获取车头检测框和车身检测框之间的偏离角度，以实现卡车的车头和车身之间分离状态的精准预测，具体地，所述基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态(步骤S405)进一步划分为步骤S405a和步骤S405b，并增加步骤S601。
步骤S405a、获取所述车头检测框和所述车身检测框之间的偏离角度；
步骤S405b、若所述偏离角度大于预设阈值，则确定所述车头检测框及所述车身检测框对应卡车的车头和车身之间分离。
在实际应用中，卡车的车头和车身之间通常为活动连接，在转向时卡车的车头和车身之间一般为较大角度，而在道路行驶过程中，卡车可能并非转向，而可能是因驾驶员的操作习惯所导致的车头和车身之间存在一些角度偏差，这样的角度偏差可能是影响道路安全，也可能是正常偏差而对周围车辆无影响的，为了区分是转向、影响道路安全的角度偏差还是非影响道路安全的角度偏差，本实施例通过获取车头检测框和车身检测框之间的偏离距离，并与预设阈值进行比较，当预设阈值大于一定阈值时，确定卡车的车头和车身分离，并基于这样的分离状态进一步维护道路安全，同时不影响驾驶员的正常操作，
其中，预设阈值即根据非影响道路安全的角度偏差进行设定，本领域技术人员可以结合实际应用和现有技术对预设阈值进行具体设定。可以理解的是，当车头检测框和车身检测框之间为直线连接状态(图2a)，偏离角度即为0°。
进一步地，为了提高卡车行驶过程中的道路安全，在基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态(步骤S201)之后，还包括步骤S601。
步骤S601、获取所述车头检测框相对于所述车身检测框之间的偏离方向，并在在所述偏离方向上显示提示消息，所述提示消息用于提示所述卡车的转角趋势。
在一种示例中，如果偏离方向为向右，可显示卡车即将右转的提示消息，在一些示例中，为了提高道路安全性，还可以提示行驶速度的相关信息，例如加速或者加速等提示信息。
请参照图7，图7为本申请实施例提供的又一种卡车检测方法的流程示意图，在上述实施例的基础上，为提高对卡车类和非卡车类物体的检测准确度，以及进一步提高道路安全，本实施例通过先获取卡车类和非卡车类的车头检测框和车身检测框，并利用卡车类的整车检测框以及非卡车类的整体检测框检测卡车和非卡车之间的位置状态，具体地，所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框，在得到所述卡车类的整车检测框对应的车头检测框和车身检测框(即步骤S404)之后，所述方法还包括步骤S701。
本实施例中，非卡车类物体可以包括汽车、自行车等，在一些实施例中，还可以包括行人，在进行目标检测时，获取行人的整体预测框，实现对行人与卡车之间的目标检测。
步骤S701、基于所述卡车类的整车检测框、所述车头检测框及所述车身检测框，以及非卡车类的整体检测框检测卡车和非卡车之间的位置状态。
在一种可实现中，以道路中一辆卡车和一辆非卡车(例如小汽车)为例，利用卡车的整车检测框和非卡车的整体预测框获取卡车和非卡车的相对位置关系，再根据卡车的车头检测框和非卡车的整体检测框检测二者的位置向，例如，首先根据卡车的整车检测框和非卡车的整体预测框获取该两辆车的在道路中的相对位置，当卡车的车头检测框与非卡车的整体预测框呈直角，检测为该卡车和非卡车之间的位置状态为垂直位置向。
在一些实施例中，还可以根据卡车类的整车检测框及车头检测框和车身检测框更加准确的预测不同卡车之间的位置状态，基于各卡车的车头检测框不仅可以预测出卡车之间的位置，还可以预测出不同卡车之间的行驶方向。相较于相关技术中，针对卡车和非卡车之间的检测通常均用一个检测框进行标注，对卡车车头与非卡车之间的位置、距离、状态之间的检测是具有歧义的，本实施例在对卡车检测时采用车身分离的检测框识别方式，可以更加准确的定位卡车与非卡车之间的位置状态、方向等。
在一些实施例中，考虑到检测头网络中可能输出重复的(3D)预测框，为提高预测框的准确性，本实施例首先剔除掉重复的3D预测框，再进行车头检测框和车身检测框的获取步骤之前，首先判断3D预测框中是否存在重复的预测框，若不存在重复的预测框，则执行步骤S404将所述卡车类的整车检测框输入至第二检测头网络进行特征训练。
其中，重复的预测框，即对于同一个物体包括多个预测框，例如，某卡车包括多个整车预测框。
进一步地，对于存在重复的预测框，可以采用非极大抑制算法剔除重复的预测框，并将经过剔除的预测框输入至第二检测头网络进行特征训练。
本实施例中，非极大值抑制(Non-Maximum Suppression，NMS)，抑制的是得分低的预测框，涉及到两个指标，交并比(Intersection overUnion，IOU)即，两个框的重叠区域面积与两个框并集面积的比值和预测框得分，若有多个预测框预测的是同一个物体，若两个框的IOU值大于阈值(一般阈值取0.5和0.7)，那么NMS算法将会把得分低的预测框丢弃。
值得注意的是，由于网络最后会产生重复的预测框，非极大值抑制是常用的去除重复框的手段。然而，本实施例考虑到卡车的车身和车头框是卡车整车框的额外属性，如果直接应用非极大值抑制，可能会造成最后的车头和车身框无法匹配的问题，即同一个卡车整车框对应的车头或车身框可能会被过滤掉。为了解决这个问题，本实施例只在卡车的整车框上应用非极大值抑制，再针对剩余的卡车整车框，从网络中解码出其相对应的车头和车身框。也就是说，本实施例对于卡车的3D预测框相当于整车框。
进一步地，为便于对卡车类和非卡车类的物体识别，本实施例对卡车类进行唯一标注，具体地，在得到所述卡车类的整车检测框对应的车头检测框和车身检测框(步骤S404)之后，还包括：
对卡车类的整车检测框、与所述整车检测框匹配的车头检测框及车身检测框进行第一标注。本实施例中，第一标注可以采用特殊颜色的标注，示例性的，针对卡车类的检测框均采用红色标注框。在一些实施例中，也可以采用其它方式对第一标注进行适应性设定，本实施例对此并不进行特别限定。
请参照图8，图8为本申请实施例提供的一种基于二阶段的卡车检测装置的结构示意图，所述卡车检测装置包括获取模块81、提取模块82、检测模块83、训练模块83及确定模块84，其中，
获取模块81，其设置为获取待预测任务的3D点云；
提取模块82，其设置为基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；
整体框检测模块83，其设置为基于第一检测头网络检测所述第二特征图的预测框及对应的分类置信度；
所述获取模块81还设置为，基于所述预测框及对应的分类置信度获取卡车类的整车检测框；
车头车身检测模块83，其设置为将所述卡车类的整车检测框及对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框；
后处理模块84，其设置为基于所述车头检测框及车身检测框预测对应卡车的车头和车身之间的分离状态。
本申请实施例相应还提供一种电子设备，如图9所示，包括：处理器91和存储器92；
所述存储器92存储计算机执行指令；
所述处理器91执行所述存储器92存储的计算机执行指令，使得所述电子设备执行所述的基于二阶段的卡车检测方法。
本申请实施例相应还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现所述的基于二阶段的卡车检测方法。
本申请实施例提供一种本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
在本申请实施例的描述中，术语“和/或”仅仅表示一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，术语“至少一种”表示多种中的任一种或多种中的至少两种的任意组合，例如，包括A、B、中的至少一种，可以表示包括A、B和C沟通的集合中选择的任意一个或多个元素。此外，术语“多个”的含义是两个或两个以上，除非是另有精确具体地规定。
在本申请实施例的描述中，术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于二阶段的卡车检测方法，其特征在于，包括：
获取待预测任务的3D点云；
基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；
基于第一检测头网络获取所述第二特征图的卡车类的整车检测框；
将所述卡车类的整车检测框及其对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框；以及，基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态。
2.根据权利要求1所述的方法，其特征在于，基于第一检测头网络获取所述第二特征图的卡车类的整车检测框，包括：
基于第一检测头网络获取所述第二特征图的预测框其对应的分类置信度，并基于所述预测框及对应的分类置信度获取卡车类的整车检测框。
3.根据权利要求2所述的方法，其特征在于，所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框；
所述基于所述预测框及对应的分类置信度获取卡车类的整车检测框，包括：
剔除所有非卡车类的整体预测框；
基于所述卡车类的整车预测框对应的分类置信度筛选出所述卡车类的整车预测框中分类置信度在预设分类置信度区间内的整车预测框，作为卡车类的整车检测框。
4.根据权利要求1所述的方法，其特征在于，所述第二检测头网络为兴趣区RoI检测头网络，所述RoI检测头网络包括RoI池化层和卷积层，
所述将所述卡车类的整车检测框及其对应的第三特征图输入至第二检测头网络进行特征训练，包括：
基于所述RoI池化层对所述卡车类的整车检测框及其对应的第三特征图进行池化操作，得到所述卡车类的整车检测框中图像对应的特征；以及，基于所述卷积层训练所述整车检测框中图像对应的特征。
5.根据权利要求1所述的方法，其特征在于，所述基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态，包括：
获取所述车头检测框和所述车身检测框之间的偏离角度；
若所述偏离角度大于预设阈值，则确定所述车头检测框及所述车身检测框对应卡车的车头和车身之间分离。
6.根据权利要求5所述的方法，其特征在于，在基于所述车头检测框及所述车身检测框确定对应卡车的车头和车身之间的分离状态之后，还包括：
获取所述车头检测框相对于所述车身检测框之间的偏离方向，并在在所述偏离方向上显示提示消息，所述提示消息用于提示所述卡车的转角趋势。
7.根据权利要求1所述的方法，其特征在于，在获取待预测任务的3D点云之后，以及基于3D主干网络提取所述3D点云的第一特征图之前，还包括：
对所述3D点云进行体素化，得到经过体素化的3D点云；
基于3D主干网络提取所述3D点云的第一特征图，包括：基于3D主干网络提取经过体素化的3D点云；其中，所述3D主干网络为稀疏卷积网络。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述待预测任务携带卡车类和非卡车类物体，所述预测框包括卡车类的整车预测框和非卡车类的整体预测框，
所述方法还包括：基于所述卡车类的整车检测框、所述车头检测框及所述车身检测框，以及非卡车类的整体检测框检测卡车和非卡车之间的位置状态。
9.一种基于二阶段的卡车检测装置，其特征在于，包括：
获取模块，其设置为获取待预测任务的3D点云；
提取模块，其设置为基于3D主干网络提取所述3D点云的第一特征图，并将所述第一特征图输入至2D主干网络中进行特征训练，得到第二特征图；
整体框检测模块，其设置为基于第一检测头网络检测所述第二特征图的预测框及对应的分类置信度；
所述获取模块还设置为，基于所述预测框及对应的分类置信度获取卡车类的整车检测框；
车头车身框检测模块模块，其设置为将所述卡车类的整车检测框及其对应的第三特征图输入至第二检测头网络进行特征训练，得到所述卡车类的整车检测框对应的车头检测框和车身检测框；
后处理模块，其设置为基于所述车头检测框及车身检测框预测对应卡车的车头和车身之间的分离状态。
10.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-8中任一项所述的基于二阶段的卡车检测方法。
CN202210920776.XA 2022-08-02 2022-08-02 基于二阶段的卡车检测方法、电子设备及存储介质 Pending CN115457486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210920776.XA CN115457486A (zh) 2022-08-02 2022-08-02 基于二阶段的卡车检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210920776.XA CN115457486A (zh) 2022-08-02 2022-08-02 基于二阶段的卡车检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115457486A true CN115457486A (zh) 2022-12-09

Family

ID=84296322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210920776.XA Pending CN115457486A (zh) 2022-08-02 2022-08-02 基于二阶段的卡车检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115457486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115876098A (zh) * 2022-12-12 2023-03-31 苏州思卡信息***有限公司 一种多线束激光雷达的车辆尺寸测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115876098A (zh) * 2022-12-12 2023-03-31 苏州思卡信息***有限公司 一种多线束激光雷达的车辆尺寸测量方法
CN115876098B (zh) * 2022-12-12 2023-10-24 苏州思卡信息***有限公司 一种多线束激光雷达的车辆尺寸测量方法

Similar Documents

Publication Publication Date Title
US10943355B2 (en) Systems and methods for detecting an object velocity
CN104833370B (zh) 用于映射、定位和位姿校正的***和方法
US11830253B2 (en) Semantically aware keypoint matching
Pantilie et al. Real-time obstacle detection in complex scenarios using dense stereo vision and optical flow
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
KR20210111052A (ko) 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
CN116783620A (zh) 根据点云的高效三维对象检测
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN114067292A (zh) 用于智能驾驶的图像处理方法和装置
CN115457486A (zh) 基于二阶段的卡车检测方法、电子设备及存储介质
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
CN117593685A (zh) 真值数据的构建方法和装置、存储介质
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及***
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
Sanberg et al. Asteroids: A stixel tracking extrapolation-based relevant obstacle impact detection system
US11544899B2 (en) System and method for generating terrain maps
CN114926651A (zh) 卡车检测方法、装置、电子设备及计算机可读存储介质
CN118043864A (zh) 障碍物识别方法、装置、存储介质及电子设备
Bota et al. A framework for object detection, tracking and classification in urban traffic scenarios using stereovision
Sadik et al. Vehicles detection and tracking in advanced & automated driving systems: Limitations and challenges
CN117912289B (zh) 一种基于图像识别的车辆群行驶预警方法、装置及***
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
US20230196180A1 (en) Vehicle semantic keypoint point cloud definition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination