CN115239548A - 目标检测方法、装置、电子设备及介质 - Google Patents

目标检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115239548A
CN115239548A CN202210815207.9A CN202210815207A CN115239548A CN 115239548 A CN115239548 A CN 115239548A CN 202210815207 A CN202210815207 A CN 202210815207A CN 115239548 A CN115239548 A CN 115239548A
Authority
CN
China
Prior art keywords
data
dimensional
voxel
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210815207.9A
Other languages
English (en)
Inventor
段志祥
欧远昶
甘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210815207.9A priority Critical patent/CN115239548A/zh
Publication of CN115239548A publication Critical patent/CN115239548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种目标检测方法、装置、电子设备及介质,涉及自动驾驶技术领域,先获取待检测目标的点云数据;再对点云数据进行体素化,获得三维体素数据,并将三维体素数据转换为二维体素数据,可以理解的是,降低数据维度获得二维数据,在后续的数据处理中均是对二维数据进行处理;然后对二维体素数据进行体素数据编码,得到二维编码数据;根据二维编码数据对待检测目标进行检测,获得检测结果。由于三维的点云数据的特性会增加目标检测的难度,将三维的数据转换为二维的数据,避免了三维的点云数据对目标检测的影响,通过二维数据进行目标检测,降低了目标检测的难度。

Description

目标检测方法、装置、电子设备及介质
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种目标检测方法、装置、电子设备及介质。
背景技术
对于实现自动驾驶功能的车载智能计算平台而言,激光雷达是车辆进行周围环境感知的一种重要设备。基于激光雷达的点云数据的3D目标检测是实现3D感知重要方式。3D检测要求获得目标准确的位置、结构以及类别等信息。但由于激光雷达的反射机制,导致激光雷达产生的点云数据存在稀疏、无序及存在噪声的特点。点云数据的上述特点增加了目标检测的难度。
发明内容
为克服相关技术中存在的问题,本公开提供一种目标检测方法、装置、电子设备及介质。
根据本公开实施例的第一方面,提供一种目标检测方法,包括:获取待检测目标的点云数据;对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据;对所述二维体素数据进行体素数据编码,得到二维编码数据;根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
可选地,所述对所述点云数据进行体素化,获得三维体素数据,包括:确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素;将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
可选地,所述将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据,包括:将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
可选地,所述根据所述二维编码数据对所述待检测目标进行检测,包括:对所述二维编码数据进行特征提取,获得特征数据;根据所述特征数据对所述待检测目标进行检测。
可选地,通过目标检测模型执行从所述对所述点云数据进行体素化,获得三维体素数据的步骤,至所述对所述二维体素数据进行体素数据编码,得到二维编码数据的步骤,其中,所述目标检测模型包括:第一处理模块和第二处理模块。
根据本公开实施例的第二方面,提供一种目标检测装置,所述目标检测装置包括:点云数据获取模块,用于获取待检测目标的点云数据;二维体素数据获取模块,用于对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据;编码模块,用于对所述二维体素数据进行体素数据编码,得到二维编码数据;检测模块,用于根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
可选地,二维体素数据获取模块包括:确定子模块,用于确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素;填充子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
可选地,所述填充子模块包括:丢弃子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
根据本公开实施例的第三方面,提供一种电子设备,其上存储有至少一个计算机程序;至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现第一方面所述方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的方法的步骤。
本公开提供一种目标检测方法、装置、电子设备及介质,先获取待检测目标的点云数据;再对点云数据进行体素化,获得三维体素数据,并将三维体素数据转换为二维体素数据,可以理解的是,降低数据维度获得二维数据,在后续的数据处理中均是对二维数据进行处理;然后对二维体素数据进行体素数据编码,得到二维编码数据;根据二维编码数据对待检测目标进行检测,获得检测结果。由于三维的点云数据的特性会增加目标检测的难度,将三维的数据转换为二维的数据,避免了三维的点云数据对目标检测的影响,通过二维数据进行目标检测,降低了目标检测的难度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是一种目标检测模型的框图。
图2是根据一示例性实施例示出的一种目标检测方法的流程图。
图3是根据一示例性实施例示出的图2中的步骤S120的子步骤的流程图。
图4是根据一示例性实施例示出的一种目标检测模型的框图。
图5是根据一示例性实施例示出的一种目标检测装置的框图。
图6是一示例性实施例示出的一种车辆的功能框图示意图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
对于实现自动驾驶功能的车载智能计算平台而言,激光雷达是车辆进行周围环境感知的一种重要设备。激光雷达包括激光发射***、激光接收***和转动组件,激光发射***一般由一个单束多线窄带激光器组成,激光器以一定的频率向朝向方向发射激光脉冲,激光脉冲在衰减距离内如果打在物体表面就会反射回来,最后被接收***接收。转动组件通过不间断的转动,使单束多线激光脉冲实现360度周围环境信息的采集,发射器的发射频率可以达到每秒上百万个脉冲,与此同时,接收器也会在相应的时间内接收这些脉冲反射回的激光点,由大量的激光点共同构成可以勾勒周边环境的点云(pointcloud)特征图。
基于激光雷达的点云数据的3D目标检测是实现3D感知重要方式。3D检测要求获得目标准确的位置、结构以及类别等信息。但由于激光雷达的反射机制,导致激光雷达产生的点云数据存在稀疏、无序及存在噪声的特点。其稀疏性体现在两个方面,一方面是由于激光雷达单位时间内产生的激光脉冲有限,所以是对周边障碍物信息进行离散采样,这种离散采样的特性导致即使在物体表面形成的局部点云特征具有稀疏的特性;另一方面空间障碍物相较于整个空间存在稀疏性。点云数据的上述特点增加了目标检测的难度。
为了对点云数据进行目标检测,提供了一种目标检测模型,请参阅图1,目标检测模型100包括:点云输入模块110、体素化模块120、升维模块130、维度转换模块140、骨干模块150、特征获取模块160、处理模块170以及预测模块180。
点云输入模块110用于获取点云数据输入,点云数据的形状(shape)为b*n*d1。其中,b表示batchsize的大小,batchsize为一次所抓取的数据样本数量;n为单帧/多帧点云数量;d1为点云数据维度大小(例如x,y,z,intensity)。
体素化模块120用于将点云输入模块110输入的点云数据转换为体素数据(体素数据为3D数据),输出的体素数据的形状(Optout shape)为b*n1*d2*d3,其中,Optout shape指的是模块输出的数据的形状。其中,n1表示max voxels num,即最大的voxels的数量,n1用于限制体素的数量;d2表示max_pointnums_per_voxel(每个voxel中最大point数量,即每个体素中最多能够容纳的点云数量),d2用于限制一个体素中的点云数据的数量;d3表示feature_dim(特征维度)。
升维模块130用于对体素数据进行升维处理,获得升维后的数据,升维模块130输出的升维后的数据的形状(Optout shape)为b*n1*d2。其中升维后的数据仍是3D数据。升维模块130可以是利用体素特征提取(Voxel Feature Extract,简称VFE)原理。
维度转换模块140用于将升维后的数据转换为2D的数据,该输出数据的形状(Optout shape)为b*c*h*w,其中,c表示特征channels,h表示2D空间的高,w表示2D空间的宽。
维度转换模块140输出的数据依次骨干模块150(Backbone)、特征获取模块160(利用特征提取原理)、处理模块170(可以为Head头)以及预测模块180处理,最终获得目标检测结果。
发明人经研究发现,图1中的方案存在如下缺点:
(1)、激光雷达的反射接受机制决定了点云的数量是不固定的,因此体素化模块120的输出n1随着输出point cloud的n变化,不是固定值从而影响升维模块130和维度转换模块140的计算量也是波动的,导致后续模型上车部署时GPU显存利用率低,优化难度大。
(2)、部署工程模型通常有两部分组成vfe_engine,BRH_engine,由于升维模块130的输出形状与骨干模块150的输入不一致,导致升维模块130、骨干模块150、特征获取模块160以及处理模块170不能整合成一个cnn网络(即卷积神经网络),从目标检测模型(网络模型)和部署工程模型不同步,这样模型结构过于复杂,使得后续优化性能和速度难度高。
为解决上述问题,本实施例提供一种目标检测方法,图2是根据一示例性实施例示出的一种目标检测方法的流程图,请参阅图2,目标检测方法用于如图4所示的目标检测模型200、图5所示的目标检测装置300、图6所示的车辆600以及图7所示的电子设备800,本实施例以应用于电子设备800为例,其中,该电子设备800例如可以是车载电子设备,也可以是用户的移动终端等。所述目标检测方法包括以下步骤:
步骤S110、获取待检测目标的点云数据。
电子设备获取待检测目标的点云数据。其中,待检测目标可以包括车辆行驶过程中的行人、其他车辆、建筑等。点云数据是某个三维坐标系下的数据,可以理解的是,点云数据为3D数据。
在一种实施方式中,点云数据可以由车辆上的激光雷达采集。例如,电子设备与激光雷达连接。在车辆处于自动驾驶时,为采集路况,车辆上的激光雷达工作并采集点云数据。激光雷达将采集的点云数据发送至电子设备。
在另一种实施方式中,点云数据可以由车辆上的深度相机采集。例如,深度相机与电子设备连接。在车辆处于自动驾驶时,为采集路况,车辆上的深度相机工作并采集点云数据。深度相机将采集的点云数据发送至电子设备。
步骤S120、对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据。
电子设备对点云数据进行体素化,获得三维体素数据。可以理解的是,体素化后,将点云数据存储在三维体素数据中,可以将点云数据在内存中有序存储,有利于增加数据运算效率。并且,三维体素数据可以高效的使用空间卷积,有利于提取多尺度、多层次的局部特征信息,便于后续数据处理。
电子设备再将三维体素数据转换为二维体素数据。可以理解的是,将三维体素数据转换到2D BEV(bird's eye view)空间中,获得二维体素数据,相当于降低了数据的维度,在后续的步骤中,电子设备对二维数据进行处理。在一种实施方式中,电子设备通过Scatter函数,将三维体素数据转换为二维体素数据。
步骤S130、对所述二维体素数据进行体素数据编码,得到二维编码数据。
可选地,通过体素特征编码算法(Voxel Feature Encoding,VFE)对二维体素数据进行体素数据编码,得到二维编码数据。
步骤S140、根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
电子设备根据二维编码数据对待检测目标进行检测,获得检测结果。其中,检测结果包括检测出的待检测目标的三维空间的位置、结构、类别、置信度等。
在一种实施方式中,电子设备利用目标检测算法,根据二维编码数据对待检测目标进行检测,获得检测结果。其中,目标检测算法可以包括DPM物体检测算法等。
在另一种实施方式中,电子设备获取预先训练的目标检测模型,通过目标检测模型,根据二维编码数据对待检测目标进行检测,获得目标检测模型输出的检测结果。
本实施例提供一种目标检测方法,先获取待检测目标的点云数据;再对点云数据进行体素化,获得三维体素数据,并将三维体素数据转换为二维体素数据,可以理解的是,降低数据维度获得二维数据,在后续的数据处理中均是对二维数据进行处理;然后对二维体素数据进行体素数据编码,得到二维编码数据;根据二维编码数据对待检测目标进行检测,获得检测结果。由于三维的点云数据的特性会增加目标检测的难度,将三维的数据转换为二维的数据,避免了三维的点云数据对目标检测的影响,通过二维数据进行目标检测,降低了目标检测的难度。
步骤S120中对点云数据进行体素化,作为一种实施方式,请参阅图3,步骤S120包括如下子步骤:
子步骤S121、确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素。
可以理解的是,将点云数据所处的三维空间位置划分为三维体素网格。
子步骤S122、将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
作为一种方式,将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,在若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
可以理解的是,将预设值限定了每个体素中点云数据的数量,即每个体素中的点云数据的数量不超过预设值。将多个体素中的每个体素以每个体素对应的点云数据进行填充。在填充后,在若多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,减少内存的占用。若体素中点云数据的数量小于或等于预设值,则对该体素不进行处理,获得三维体素数据。
在进行目标检测时,在一种实施方式中,对所述二维编码数据进行特征提取,获得特征数据;根据所述特征数据对所述待检测目标进行检测。
可选地,可以通过预先训练的目标检测模型执行图2中的步骤,请参阅图4,目标检测模型200包括输入模块210、第一处理模块220以及第二处理模块230。
电子设备通过输入模块210获取待检测目标的点云数据,该点云数据的形状为b*n*d1。
电子设备通过第一处理模块220对所述点云数据进行体素化,获得三维体素数据。并通过第一处理模块220将所述三维体素数据转换为二维体素数据。第一处理模块220输出的二维体素数据的形状为b*d3*d2*(h*w)。
电子设备通过第二处理模块230对所述二维体素数据进行体素数据编码,得到二维编码数据。
可选地,目标检测模型200还包括:特征提取模块240、预处理模块250以及后处理模块260。
在进行目标预测获取预测结果时,电子设备通过第二处理模块230对所述二维编码数据进行特征提取,获得特征数据,便于模型中的后续模块使用。
电子设备通过特征提取模块240对特征数据进行特征提取,获得特征提取模块240提取的特征数据。
电子设备通过预处理模块250对特征提取模块240提取的特征数据进行预处理(可以理解为初步目标检测),获得预处理结果。例如,预处理结果可以包括2D框框中的待检测目标。
电子设备通过后处理模块260对预处理结果进行后处理,获得检测结果。例如,检测结果中对2D框的数量进行了删减。
由于n1会随n变化,从而导致后续车辆部署、优化方面的问题,本实施例的第一处理模块220将形状为b*n*d1的点云数据转换为形状为b*d3*d2*(h*w)的二维体素数据,在模型后续的模块中不存在n1,因此,本实施例不存在n1会随n变化导致的问题,从而降低了车辆部署、优化的难度。并且,本实施例中的第一处理模块220以及第二处理模块230可以执行较多操作(或者步骤),因此,本实施例的目标检测模型200所用到的模块相较于图1目标检测模型100而言较少,本实施例中需要调试的模块较少使得本实施例的目标检测模型200易于调试,且易于在车辆上部署。
可选地,特征提取模块240包括特征获取模块,预处理模块250包括Head头。
为实现上述方法类实施例,本实施例提供一种目标检测装置,图5是根据一示例性实施例示出的一种目标检测装置的框图。请参照图5,目标检测装置300包括:点云数据获取模块310、二维体素数据获取模块320、编码模块330以及检测模块340。
点云数据获取模块310,用于获取待检测目标的点云数据;
二维体素数据获取模块320,用于对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据;
编码模块330,用于对所述二维体素数据进行体素数据编码,得到二维编码数据;
检测模块340,用于根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
可选地,二维体素数据获取模块320包括:确定子模块。
确定子模块,用于确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素;填充子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
可选地,所述填充子模块包括:所述丢弃子模块。
所述丢弃子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
可选地,检测模块340包括:特征数据获取子模块以及目标检测子模块。
特征数据获取子模块,用于对所述二维编码数据进行特征提取,获得特征数据;
目标检测子模块,用于根据所述特征数据对所述待检测目标进行检测。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的目标检测方法的步骤。
参阅图6,图6是一示例性实施例示出的一种车辆的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如,车辆600可以通过感知***620获取其周围的环境信息,并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶,或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子***,例如,信息娱乐***610、感知***620、决策控制***630、驱动***640以及计算平台650。可选的,车辆600可包括更多或更少的子***,并且每个子***都可包括多个部件。另外,车辆600的每个子***和部件可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐***610可以包括通信***611,娱乐***612以及导航***613。
通信***611可以包括无线通信***,无线通信***可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信***可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信***可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信***可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信***,例如,无线通信***可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐***612可以包括显示设备,麦克风和音响,用户可以基于娱乐***在车内收听广播,播放音乐;或者将手机和车辆联通,在显示设备上实现手机的投屏,显示设备可以为触控式,用户可以通过触摸屏幕进行操作。
在一些情况下,可以通过麦克风获取用户的语音信号,并依据对用户的语音信号的分析实现用户对车辆600的某些控制,例如调节车内温度等。在另一些情况下,可以通过音响向用户播放音乐。
导航***613可以包括由地图供应商所提供的地图服务,从而为车辆600提供行驶路线的导航,导航***613可以和车辆的全球定位***621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图,也可以是高精地图。
感知***620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如,感知***620可包括全球定位***621(全球定位***可以是GPS***,也可以是北斗***或者其他定位***)、惯性测量单元(inertial measurement unit,IMU)622、激光雷达623、毫米波雷达624、超声雷达625(超声雷达625用来采集点云数据)以及摄像装置626。感知***620还可包括被监视车辆600的内部***的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位***621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中,惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中,激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他***组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中,除了感测物体以外,毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等,摄像装置626获取的图像信息可以包括静态图像,也可以包括视频流信息。
决策控制***630包括基于感知***620所获取的信息进行分析决策的计算***631,决策控制***630还包括对车辆600的动力***进行控制的整车控制器632,以及用于控制车辆600的转向***633、油门634和制动***635。
计算***631可以操作来处理和分析由感知***620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物,物体和/或特征可包括交通信号、道路边界和障碍物。计算***631可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪等技术。在一些实施例中,计算***631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算***631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制,以提升车辆600的动力性能。
转向***633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘***。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动***635用于控制车辆600减速。制动***635可使用摩擦力来减慢车轮644。在一些实施例中,制动***635可将车轮644的动能转换为电流。制动***635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动***640可包括为车辆600提供动力运动的组件。在一个实施例中,驱动***640可包括引擎641、能量源642、传动***643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他***提供能量。
传动***643可以将来自引擎641的机械动力传送到车轮644。传动***643可包括变速箱、差速器和驱动轴。在一个实施例中,传动***643还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651,处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中,计算平台650还可以是采用分布式方式控制车辆600的个体组件或子***的多个计算设备。
处理器651可以是任何常规的处理器,诸如商业可获得的CPU。可替换地,处理器651还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、片上***(Sysem on Chip,SOC)、专用集成芯片(Application Specific Integrated Circuit,ASIC)或它们的组合。尽管图6功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中,处理器651可以执行上述的目标检测方法。
在此处所描述的各个方面中,处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器652可包含指令653(例如,程序逻辑),指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令,包括向信息娱乐***610、感知***620、决策控制***630、驱动***640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外,存储器652还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子***(例如,驱动***640、感知***620和决策控制***630)接收的输入来控制车辆600的功能。例如,计算平台650可利用来自决策控制***630的输入以便控制转向***633来避免由感知***620检测到的障碍物。在一些实施例中,计算平台650可操作来对车辆600及其子***的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆600分开安装或关联。例如,存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图6不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆600,可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,车辆600或者与车辆600相关联的感知和计算设备(例如计算***631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)何种稳定状态。在这个过程中,也可以考虑其它因素来确定车辆600的速度,诸如,车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆600的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具,例如,轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等,本公开实施例不做特别的限定。
图7是根据一示例性实施例示出的一种装置的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
输入/输出接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
上述电子设备除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(Graphics Processing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital SignalProcessor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上***或***级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的目标检测方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括处理器、存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中,当该可执行指令被处理器执行时实现上述的目标检测方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行,以实现上述的目标检测方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的目标检测方法的代码部分。
综上所述,本公开提供一种目标检测方法、装置、电子设备及介质,先获取待检测目标的点云数据;再对点云数据进行体素化,获得三维体素数据,并将三维体素数据转换为二维体素数据,可以理解的是,降低数据维度获得二维数据,在后续的数据处理中均是对二维数据进行处理;然后对二维体素数据进行体素数据编码,得到二维编码数据;根据二维编码数据对待检测目标进行检测,获得检测结果。由于三维的点云数据的特性会增加目标检测的难度,将三维的数据转换为二维的数据,避免了三维的点云数据对目标检测的影响,通过二维数据进行目标检测,降低了目标检测的难度。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标检测方法,其特征在于,包括:
获取待检测目标的点云数据;
对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据;
对所述二维体素数据进行体素数据编码,得到二维编码数据;
根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述点云数据进行体素化,获得三维体素数据,包括:
确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素;
将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据,包括:
将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述二维编码数据对所述待检测目标进行检测,包括:
对所述二维编码数据进行特征提取,获得特征数据;
根据所述特征数据对所述待检测目标进行检测。
5.根据权利要求1所述的方法,其特征在于,通过目标检测模型执行从所述对所述点云数据进行体素化,获得三维体素数据的步骤,至所述对所述二维体素数据进行体素数据编码,得到二维编码数据的步骤,其中,
所述目标检测模型包括:第一处理模块和第二处理模块。
6.一种目标检测装置,其特征在于,包括:
点云数据获取模块,用于获取待检测目标的点云数据;
二维体素数据获取模块,用于对所述点云数据进行体素化,获得三维体素数据,并将所述三维体素数据转换为二维体素数据;
编码模块,用于对所述二维体素数据进行体素数据编码,得到二维编码数据;
检测模块,用于根据所述二维编码数据对所述待检测目标进行检测,获得检测结果。
7.根据权利要求6所述的装置,其特征在于,二维体素数据获取模块包括:
确定子模块,用于确定所述点云数据所处的三维体素网格,其中,所述三维体素网格中包括多个体素;
填充子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,获得所述三维体素数据。
8.根据权利要求7所述的装置,其特征在于,所述填充子模块包括:
丢弃子模块,用于将所述多个体素中的每个体素以所述每个体素对应的点云数据进行填充,若所述多个体素中存在点云数据的数量大于预设值的体素,则对该体素中的部分点云数据进行丢弃处理,获得所述三维体素数据。
9.一种电子设备,其特征在于,包括:
存储装置,其上存储有至少一个计算机程序;
至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现权利要求1-5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-5中任一项所述方法的步骤。
CN202210815207.9A 2022-07-11 2022-07-11 目标检测方法、装置、电子设备及介质 Pending CN115239548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210815207.9A CN115239548A (zh) 2022-07-11 2022-07-11 目标检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815207.9A CN115239548A (zh) 2022-07-11 2022-07-11 目标检测方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115239548A true CN115239548A (zh) 2022-10-25

Family

ID=83673566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815207.9A Pending CN115239548A (zh) 2022-07-11 2022-07-11 目标检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115239548A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259029A (zh) * 2023-05-15 2023-06-13 小米汽车科技有限公司 目标检测方法、装置和车辆
CN117253209A (zh) * 2023-11-16 2023-12-19 苏州元脑智能科技有限公司 自动驾驶点云检测方法、装置、通信设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701374A (zh) * 2017-02-17 2018-10-23 深圳市大疆创新科技有限公司 用于三维点云重建的方法和装置
CN111862222A (zh) * 2020-08-03 2020-10-30 湖北亿咖通科技有限公司 一种目标检测方法及电子设备
CN112288709A (zh) * 2020-10-28 2021-01-29 武汉大学 一种基于点云的三维目标检测方法
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
CN112731339A (zh) * 2021-01-04 2021-04-30 东风汽车股份有限公司 一种基于激光点云的三维目标检测***及其检测方法
CN113269147A (zh) * 2021-06-24 2021-08-17 浙江海康智联科技有限公司 基于空间和形状的三维检测方法、***、存储及处理装置
CN113688738A (zh) * 2021-08-25 2021-11-23 北京交通大学 一种基于激光雷达点云数据的目标识别***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701374A (zh) * 2017-02-17 2018-10-23 深圳市大疆创新科技有限公司 用于三维点云重建的方法和装置
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
CN111862222A (zh) * 2020-08-03 2020-10-30 湖北亿咖通科技有限公司 一种目标检测方法及电子设备
CN112288709A (zh) * 2020-10-28 2021-01-29 武汉大学 一种基于点云的三维目标检测方法
CN112731339A (zh) * 2021-01-04 2021-04-30 东风汽车股份有限公司 一种基于激光点云的三维目标检测***及其检测方法
CN113269147A (zh) * 2021-06-24 2021-08-17 浙江海康智联科技有限公司 基于空间和形状的三维检测方法、***、存储及处理装置
CN113688738A (zh) * 2021-08-25 2021-11-23 北京交通大学 一种基于激光雷达点云数据的目标识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张耀威;卞春江;周海;陈红珍;: "基于图像与点云的三维障碍物检测", 计算机工程与设计, no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259029A (zh) * 2023-05-15 2023-06-13 小米汽车科技有限公司 目标检测方法、装置和车辆
CN116259029B (zh) * 2023-05-15 2023-08-15 小米汽车科技有限公司 目标检测方法、装置和车辆
CN117253209A (zh) * 2023-11-16 2023-12-19 苏州元脑智能科技有限公司 自动驾驶点云检测方法、装置、通信设备及存储介质
CN117253209B (zh) * 2023-11-16 2024-02-20 苏州元脑智能科技有限公司 自动驾驶点云检测方法、装置、通信设备及存储介质

Similar Documents

Publication Publication Date Title
CN115239548A (zh) 目标检测方法、装置、电子设备及介质
CN114882464B (zh) 多任务模型训练方法、多任务处理方法、装置及车辆
CN115222941A (zh) 目标检测方法、装置、车辆、存储介质、芯片及电子设备
CN115042821A (zh) 车辆控制方法、装置、车辆及存储介质
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN115170630B (zh) 地图生成方法、装置、电子设备、车辆和存储介质
CN115164910B (zh) 行驶路径生成方法、装置、车辆、存储介质及芯片
CN114756700B (zh) 场景库建立方法、装置、车辆、存储介质及芯片
CN114771539B (zh) 车辆变道决策方法、装置、存储介质及车辆
CN115223122A (zh) 物体的三维信息确定方法、装置、车辆与存储介质
CN114973178A (zh) 模型训练方法、物体识别方法、装置、车辆及存储介质
CN114880408A (zh) 场景构建方法、装置、介质以及芯片
CN115056784A (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN114842454B (zh) 障碍物检测方法、装置、设备、存储介质、芯片及车辆
CN114572219B (zh) 自动超车方法、装置、车辆、存储介质及芯片
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质
CN115214629B (zh) 自动泊车方法、装置、存储介质、车辆及芯片
CN115221260B (zh) 数据处理方法、装置、车辆及存储介质
CN114771514B (zh) 车辆行驶控制方法、装置、设备、介质、芯片及车辆
CN115535004B (zh) 距离生成方法、装置、存储介质及车辆
CN115147794B (zh) 车道线确定方法、装置、车辆、介质及芯片
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN114789723B (zh) 车辆行驶控制方法、装置、车辆、存储介质及芯片
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115221261A (zh) 地图数据融合方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination