CN115115597A - 一种目标检测方法、装置、设备及介质 - Google Patents

一种目标检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115115597A
CN115115597A CN202210761287.4A CN202210761287A CN115115597A CN 115115597 A CN115115597 A CN 115115597A CN 202210761287 A CN202210761287 A CN 202210761287A CN 115115597 A CN115115597 A CN 115115597A
Authority
CN
China
Prior art keywords
point cloud
color point
cloud data
semantic segmentation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210761287.4A
Other languages
English (en)
Inventor
董伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210761287.4A priority Critical patent/CN115115597A/zh
Publication of CN115115597A publication Critical patent/CN115115597A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多传感器融合的3D目标检测方法，包括：获取同一时刻目标场景的二维图像和三维彩色点云数据；对所述二维图像进行图像语义分割，得到语义分割图；将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；对所述彩色点云数据进行特征提取，得到待检测特征；利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。本发明融合二维图像和点云各自优点，具有检测精度高，尤其在行人，两轮车等小目标的检测，容易部署等优势。

Description

一种目标检测方法、装置、设备及介质
技术领域
本申请涉及目标检测技术领域，具体涉及一种目标检测方法、装置、设备及介质。
背景技术
目前多传感器融合的3D目标检测算法可以分为基于前融合的方法、基于后融合的方法。基于前融合的方法又可分为两种，一种是基于数据层的融合，另一种是基于特征层的融合。数据层的融合是将多个传感器数据融合成一个超级数据，如图像与彩色点云数据融合成彩色点云数据，典型的算法有PointPainting。特征层的融合是先从每种传感器的观测数据中提取有代表性的特征，这些特征融合成单一的特征向量，然后运用模式识别的方法进行处理。典型的算法有MV3D。主要缺点每个传感器都需要特征提取网络，增加相应硬件要求与时间开销。基于后融合的方法，又称决策层融合。是将多个传感器的感知结果，进行融合，属于高层次、目标级别的融合。典型算法有CLOCs。主要缺点每个传感器都需要与之相对应的感知算法，增加相应硬件要求与时间开销。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种目标检测方法、装置、设备及介质，以解决上述技术问题。
本发明提供的一种目标检测方法，所述方法包括：
获取同一时刻目标场景的二维图像和三维彩色点云数据；
对所述二维图像进行图像语义分割，得到语义分割图；
将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
对所述彩色点云数据进行特征提取，得到待检测特征；
利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。
于本发明一实施例中，所述对所述彩色点云数据进行特征提取的步骤前，所述方法还包括：
对所述彩色点云数据进行网格划分，得到若干个网格；
遍历所有网格，获取包含彩色点云数据的非空网格；
对所述非空网格内的点云进行随机采样，得到采样特征；
基于所述采样特征进行特征提取，得到待检测特征。
于本发明一实施例中，所述对所述彩色点云数据进行网格划分前，还包括：
获取所述彩色点云数据中的感兴趣区域；
对感兴趣区域进行网格划分。
于本发明一实施例中，所述利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果，包括：
利用点云目标检测模型的主干网络对所述待检测特征进行特征提取，得到伪特征图；
利用点云目标检测模型中的特征融合网络对所述伪特征进行多尺度特征采样并融合，得到融合特征图；
利用点云目标检测模型中的检测头对所述融合特征图进行检测，得到检测结果。
于本发明一实施例中，采用FPN网络对所述伪特征进行多尺度特征采样。
于本发明一实施例中，所述对所述二维图像进行图像语义分割，包括：
利用训练好的语义分割模块对所述二维图像进行图像语义分割；所述语义分割模型为BiSeNet。
于本发明一实施例中，所述将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，包括：
将所述三维彩色点云数据投影至所述语义分割图上，得到融合数据。
本发明提供的一种目标检测装置，所述装置包括：
获取模块，用于获取同一时刻目标场景的二维图像和三维彩色点云数据；
语义分割模块，用于对所述二维图像进行图像语义分割，得到语义分割图；
融合模块，用于将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
特征提取模块，用于对所述彩色点云数据进行特征提取，得到待检测特征；
检测模块，用于利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。
本发明提供的一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述的目标检测方法。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述。
本发明的有益效果：本发明中的一种目标检测方法，包括：获取同一时刻目标场景的二维图像和三维彩色点云数据；对所述二维图像进行图像语义分割，得到语义分割图；将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；对所述彩色点云数据进行特征提取，得到待检测特征；利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。本发明融合二维图像和点云各自优点，具有检测精度高，尤其在行人，两轮车等小目标的检测，容易部署等优势。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的目标检测方法的实施环境示意图；
图2是本申请的一示例性实施例示出的目标检测方法的流程图；
图3为本申请的一示例性实施例将所述三维彩色点云数据与所述语义分割图进行融合的流程图；
图4为本申请的另一示例性实施例将所述三维彩色点云数据与所述语义分割图进行融合的流程图；
图5为本申请的步骤S240中一示例性实施例的流程图；
图6为本申请的步骤S260中一示例性实施例的流程图；
图7为本申请的一示例性实施例的主干网络backbone特征提取示意图；
图8为本申请的一示例性实施例FPN网络的结构图；
图9是本申请的一示例性实施例示出的目标检测装置的框图；
图10示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
图1是本申请一种示例性目标检测方法实施环境的示意图。请参阅图1，该实施环境中包括终端设备101和服务器102，终端设备101和服务器102之间通过有线或者无线网络进行通信。终端设备可以获取同一时刻目标场景的二维图像和三维彩色点云数据；对所述二维图像进行图像语义分割，得到语义分割图；将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；对所述彩色点云数据进行特征提取，得到待检测特征；利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。本发明融合二维图像和点云各自优点，具有检测精度高，尤其在行人，两轮车等小目标的检测，容易部署等优势。
应该理解，图1中的终端设备101和服务器102的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备101和服务器102。
其中，终端设备101对应客户端，其可以是任意具有用户输入接口的电子设备，包括但不限于智能手机、平板、笔记本电脑、计算机、车载电脑等等，其中，用户输入接口包括但不限于触摸屏、键盘、物理按键、音频拾取装置等。
其中，服务器102对应服务端，其可以是提供各种服务的服务器，其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器，本处不对此进行限制。
终端设备101可以通过3G(第三代的移动信息技术)、4G(***的移动信息技术)、5G(第五代的移动信息技术)等无线网络与服务端102进行通信，本处也不对此进行限制。
由于，现有技术中存在目标检测精度不够高的问题，为了解决这些问题，本申请的实施例分提出一种目标检测方法、一种目标检测装置、一种电子设备、一种计算机可读存储介质，以下将对这些实施例进行详细描述。
请参阅图2，图2是本申请的一示例性实施例示出的目标检测方法的流程图。该方法可以应用于图1所示的实施环境，并由该实施环境中的终端设备101具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
请参阅图2，图2为本申请一示例性的一种目标检测方法的流程图，该目标检测方法至少包括步骤S210至步骤S250，详细介绍如下：
步骤S210，获取同一时刻目标场景的二维图像和三维彩色点云数据；
二维图像的采集可以通过在车端上架设的摄像头来采集，而三维彩色点云数据的采集则通过车端上架设的激光雷达的采集。在本实施例中，目标场景中包括了多个目标物体，目标物体可以为任意形态或形状的物体，例如，可以是车辆，也可以是人，也可以同时包括人和车辆等。三维激光雷达广泛应用于无人驾驶汽车，无人小型飞机，无人运货车，移动测绘车，街景车，游艇，机场等各个方面。三维激光雷达的工作原理与雷达非常相近，以激光作为信号源，由激光器发射出的脉冲激光，打到地面的树木、道路、桥梁和建筑物上，引起散射，一部分光波会反射到激光雷达的接收器上，根据激光测距原理计算，就得到从三维激光雷达到目标点的距离，脉冲激光不断地扫描目标物，就可以得到目标物上全部目标点的数据，即三维彩色点云数据。
需要说明的是，在利用摄像头和激光雷达采集数据前，需要对摄像头内外参和激光雷达的外参进行标定，同时需要对摄像头和激光雷达的进行时间戳同步。
步骤S220，对所述二维图像进行图像语义分割，得到语义分割图；
图像语义分割，是基于区域的多边形标注，对复杂不规则的图片进行区域划分并标注对应属性，助力图像识别模型训练，多应用于人体分割、场景分割和自动驾驶道路分割，可应用于智能驾驶、智能设备、智能安防场景落地。
由于本实施例中的目标场景中包括了多个目标，因此，需要对多个目标进行分割。具体的，所述对所述二维图像进行语义分割，包括：
利用训练好的语义分割模块对所述二维图像进行语义分割；所述语义分割模型为BiSeNet(双向分割网络)。
语义分割模型的训练步骤如下：
将数据集根据标签划分成训练集、验证集和测试集；使用随机裁剪和归一化方法依次对所述训练集进行数据预处理；初始化所述BiSeNet模型的训练参数，并将预处理后的所述训练集输入BiSeNet模型进行训练；通过SGD随机梯度下降方法，将训练迭代到200个epoch后停止训练,保存训练好的所述BiSeNet模型；将训练好的所述BiSeNet模型部署到平台。
通过利用BiSeNet模型对二维图像进行语义分割，可以得到多个目标，例如，人，车，二轮车等。
步骤S230，将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
请参阅图3，图3为本申请一示例性实施例将所述三维彩色点云数据与所述语义分割图进行融合的流程图，至少包括步骤S310、步骤S320：
步骤S310，将所述三维彩色点云数据投影至所述语义分割图上，得到融合数据；步骤S320，基于融合数据构建彩色点云数据，以完成所述三维彩色点云数据与所述语义分割图的融合。
在三维彩色点云数据中，包括点的深度信息，而在语义分割图上包括纹理和颜色信息。为了获取更加精确的信息，将三维彩色点云数据与二维的语义分割图进行融合，得到融合数据，即彩色点云数据，从而获取到对应点的语义信息，融合数据可以用{x,y,z,i,class}，其中，x,y,z分别表示在某个点在三维坐标系中的坐标，i表示点云中的某个点的反射强度，class表示某个点属于的哪个目标。例如，属于人或车。其中，三维坐标系是以车辆的前进方向为x轴正半轴，车辆的前进方向左侧为y轴正半轴，车辆垂直向上方向为z轴正半轴。通过上述方法将三维彩色点云数据和二维图像的语义分割图进行了融合得到融合数据，并基于所述融合数据得到彩色点云数据。请参阅图4，图4为本申请一示例性实施例将所述三维彩色点云数据与所述语义分割图进行融合的流程图，
步骤S240，对所述彩色点云数据进行特征提取，得到待检测特征；
请参阅图5，图5为本申请步骤S240中一示例性实施例的流程图，在对所述彩色点云数据进行特征提取的步骤前，所述方法还包括：
步骤S510，对所述彩色点云数据进行网格划分，得到若干个网格；
利用n×n大小的网络对彩色点云数据进行网格划分，得到若干个网格，每一个网格从前视角度来看都是一个长方体。需要说明的是，在进行网格划分时，是在鸟瞰视角对彩色点云数据进行划分的。
步骤S520，遍历所有网格，获取包含彩色点云数据的非空网格；
由于点分布不均匀，有些位置点较密，而有些位置点相对比较稀疏，因此，在进行网格划分时，有的网格中会出现没有点的情况，因此需要过滤掉这些不含点的空网格，得到含点的非空网格。
步骤S530，对所述非空网格内的点云进行随机采样；
在步骤S520中，已经确定出了包含有彩色点云数据的非空网格，为了保证每一个非空网格内的彩色点云数据都一样多，需对上述非空网格内的彩色点云数据进行随机采样。
步骤S540，基于所述随机采样得到的彩色点云数据进行特征提取，得到待检测特征(D,P,N)。
在本步骤中，由于彩色点云数据经过网格划分后，得到的每个网格都相当于长方体。对每个长方体内的所有彩色点云数据计算相应统计特征，将彩色点云数据叠加统计特征作为待检测特征。
于本申请一示例性实施例中，所述对所述彩色点云数据进行网格划分前，还包括：
获取所述彩色点云数据中的感兴趣区域。
需要说明的是，感兴趣区域的范围为{0≤x≤h,-w≤y≤w}，即长方形的长为h，宽为2w。在进行网格划分时，将感兴趣区域利用c×c网格进行划分。在对特征进行采样时，对感兴趣区域内的网格进行采样。
步骤S250，利用训练好的点云目标检测模型，基于所述待检测特征(D,P,N)得到检测结果。
请参阅图6，图6为本申请步骤S260中一示例性实施例的流程图，所述利用训练好的云点云目标检测模型，基于所述待检测特征得到检测结果，至少包括步骤610～步骤S630：
步骤S610，利用点云目标检测模型的主干网络对所述采样特征进行特征提取，得到伪特征图；
请参阅图7，图7为本申请一示例性实施例的主干网络backbone特征提取示意图。构建3D点云目标检测模型的主干网络backbone，将上面提取到采样特征送入主干网络backbone中进行特征提取，通过scatter操作输出一个伪2D特征图，分辨率为{A,h/c,2w/c}；其中，A是一个点提取后特征的维度。
于本申请一示例性实施例中，主干网络backbone采用基于PointNet++的网络，主干网络backbone进行特征提取的过程为：使用简化的PointNet++网络对输入的(D,P,N)进行特征提取得到特征张量(A,P，N)，并按照网格所在维度进行最大化池化操作得到(A,P)；将获取到特征张量进行scatter操作，获得伪2D特征图，分辨率为{A,h/c,2w/c}。
步骤S620，利用点云目标检测模型中的特征融合网络对所述伪特征图进行多尺度特征采样并融合，得到融合特征图；
构建一个FPN网络，将上述伪特征图送入FPN网络，获得融合后特征图；FPN网络的结构图如图8所示，使用FPN网络进行特征融合的过程为：
自底向上的过程，即将底层的大分辨率特征图进行逐层降采样，每个stage之间特征图的尺度比例为2；
自顶向上的过程，即将顶层的小分辨率特征图进行逐层上采样，并将上采样结果与当前层分辨率一样的特征图，通过相加方式进行融合。
步骤S630，利用点云目标检测模型中的检测头对所述融合特征图进行检测，得到检测结果。
将上述融合后的特征图送入centerNet检测头，得到检测结果。
本发明的一种目标检测算法，融合了多种特征，提升了对行人，两轮车等小目标的检测，在嵌入式平台易部署，推理速度快。增加了城市道路自动驾驶的安全性。
图9是本申请的一示例性实施例示出的目标检测装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在终端设备中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图9所示，本申请提供一种点云目标检测装置，该装置包括：
获取模块910，用于获取同一时刻目标场景的二维图像和三维彩色点云数据；
语义分割模块920，用于对所述二维图像进行图像语义分割，得到语义分割图；
融合模块930，用于将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
特征提取模块940，用于对所述彩色点云数据进行特征提取，得到待检测特征；
检测模块950，用于利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。
需要说明的是，上述实施例所提供的目标检测装置与上述实施例所提供的目标检测方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的目标检测装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的目标检测方法。
图10示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。需要说明的是，图10示出的电子设备的计算机***1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机***1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1003中，还存储有***操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的目标检测方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的目标检测方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
获取同一时刻目标场景的二维图像和三维彩色点云数据；
对所述二维图像进行图像语义分割，得到语义分割图；
将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
对所述彩色点云数据进行特征提取，得到待检测特征；
利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述对所述彩色点云数据进行特征提取的步骤前，所述方法还包括：
对所述彩色点云数据在鸟瞰视角进行网格划分，得到若干个网格；
遍历所有网格，获取包含彩色点云数据的非空网格；
对所述非空网格内的点云进行随机采样；
基于随机采样得到的彩色点云数据进行特征提取，得到待检测特征。
3.根据权利要求2所述的目标检测方法，其特征在于，所述对所述彩色点云数据进行网格划分前，还包括：
获取所述彩色点云数据中的感兴趣区域；
对感兴趣区域内的彩色点云数据进行网格划分。
4.根据权利要求2所述目标检测方法，其特征在于，所述利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果，包括：
利用点云目标检测模型的主干网络对所述采样特征进行特征提取，得到伪特征图；
利用点云目标检测模型中的特征融合网络对所述伪特征图进行多尺度特征采样并融合，得到融合特征图；
利用点云目标检测模型中的检测头对所述融合特征图进行检测，得到检测结果。
5.根据权利要求3所述的目标检测方法，其特征在于，采用FPN网络对所述伪特征进行多尺度特征采样。
6.根据权利要求1所述的目标检测方法，其特征在于，所述对所述二维图像进行图像语义分割，包括：
利用训练好的语义分割模块对所述二维图像进行语义分割；所述语义分割模型为BiSeNet。
7.根据权利要求1所述的目标检测方法，其特征在于，所述将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，包括：
将所述三维彩色点云数据投影至所述语义分割图上，得到融合数据。
8.一种目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取同一时刻目标场景的二维图像和三维彩色点云数据；
语义分割模块，用于对所述二维图像进行图像语义分割，得到语义分割图；
融合模块，用于将所述三维彩色点云数据与所述语义分割图进行融合得到融合数据，并基于所述融合数据得到彩色点云数据；
特征提取模块，用于对所述彩色点云数据进行特征提取，得到待检测特征；
检测模块，用于利用训练好的点云目标检测模型，基于所述待检测特征得到检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的目标检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的目标检测方法。
CN202210761287.4A 2022-06-29 2022-06-29 一种目标检测方法、装置、设备及介质 Pending CN115115597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210761287.4A CN115115597A (zh) 2022-06-29 2022-06-29 一种目标检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210761287.4A CN115115597A (zh) 2022-06-29 2022-06-29 一种目标检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115115597A true CN115115597A (zh) 2022-09-27

Family

ID=83329888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210761287.4A Pending CN115115597A (zh) 2022-06-29 2022-06-29 一种目标检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115115597A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876397A (zh) * 2024-01-12 2024-04-12 浙江大学 一种基于多视角数据融合的桥梁构件三维点云分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876397A (zh) * 2024-01-12 2024-04-12 浙江大学 一种基于多视角数据融合的桥梁构件三维点云分割方法
CN117876397B (zh) * 2024-01-12 2024-06-18 浙江大学 一种基于多视角数据融合的桥梁构件三维点云分割方法

Similar Documents

Publication Publication Date Title
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN109061703A (zh) 用于定位的方法、装置、设备和计算机可读存储介质
EP2849117B1 (en) Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling
CN112258568B (zh) 一种高精度地图要素的提取方法及装置
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN115115597A (zh) 一种目标检测方法、装置、设备及介质
CN117496477B (zh) 一种点云目标检测方法及装置
Chen et al. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
CN114384486A (zh) 一种数据处理方法及装置
CN112488010A (zh) 基于无人机点云数据的高精度目标提取方法及***
CN116664997A (zh) 一种感知融合***、电子设备和存储介质
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及***
Chen et al. 3D Object detector: A multiscale region proposal network based on autonomous driving
CN114581615B (zh) 一种数据处理方法、装置、设备和存储介质
CN116612059B (zh) 图像处理方法及装置、电子设备、存储介质
CN114155495B (zh) 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质
WO2024066798A1 (zh) 车辆控制方法、装置、设备及存储介质
CN117671386A (zh) 基于PointPillar的激光雷达点云识别方法
Guinoubi Survey on Lidar Sensing Technology for Vehicular Networks
CN116310756A (zh) 遗迹识别方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination