CN112712089A - 障碍物检测方法、装置、计算机设备和存储介质 - Google Patents

障碍物检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112712089A
CN112712089A CN202011630173.3A CN202011630173A CN112712089A CN 112712089 A CN112712089 A CN 112712089A CN 202011630173 A CN202011630173 A CN 202011630173A CN 112712089 A CN112712089 A CN 112712089A
Authority
CN
China
Prior art keywords
point cloud
shape
obstacle
segmentation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011630173.3A
Other languages
English (en)
Inventor
王龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202011630173.3A priority Critical patent/CN112712089A/zh
Publication of CN112712089A publication Critical patent/CN112712089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种障碍物检测方法、装置、计算机设备和存储介质。该方法包括：获取采集到的点云数据；采用预设个数大小不同的分割尺度对点云数据进行分割，获得各分割尺度的体素；对各分割尺度的体素的特征向量进行提取，获得各形状特征；对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；将点云特征投影到水平面，形成二维张量；将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果，提高了障碍物检测精度。

Description

障碍物检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种障碍物检测方法、装置、计算机设备和存储介质。
背景技术
激光雷达具备强大的空间三维分辨能力，对自动驾驶而言，利用激光雷达实现快速且高精度的障碍物检测是非常必要的。
现阶段激光雷达目标检测算法主要分为两类：voxel-based和point-based等。Point-based算法，在提取点云特征时是通过点云的密度及三维模式，自适应的对点云特征进行提取，但计算量很大，运算时间很长，难以在实际环境中应用，因此通常使用Voxel-based算法进行障碍物检测，但是Voxel-based算法的检测方式是：将点云均匀划分为等间距的三维体素，并对每一个体素独立提取特征向量；而这一过程对点云整体只使用单一大小的体素进行划分，会割裂点云的三维模式，限制了检测的精度的提升。
因此，导致目前的障碍物检测精度低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高障碍物检测精度的障碍物检测方法、装置、计算机设备和存储介质。
一种障碍物检测方法，所述方法包括：
获取采集到的点云数据；
采用预设个数大小不同的分割尺度对所述点云数据进行分割，获得各分割尺度的体素；
对各所述分割尺度的体素的特征向量进行提取，获得各形状特征；
对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；
将各所述待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；
将所述点云特征投影到水平面，形成二维张量；
将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
在其中一个实施例中，所述预设个数大小不同的分割尺度的确定方式是：
根据障碍物的各种类以及各种类对应的尺寸范围，确定预设个数大小不同的分割尺度。
在其中一个实施例中，所述对各所述分割尺度的体素的特征向量进行提取，获得各形状特征的步骤，包括：
将所述各所述分割尺度的体素输入到对应的特征提取网络进行特征提取，获得各形状特征。
在其中一个实施例中，所述特征提取网络为深度学习网络结构。
在其中一个实施例中，所述对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征的步骤，包括：
采用三线性插值法对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。
在其中一个实施例中，所述将所述点云特征投影到水平面，形成二维张量的步骤，包括：
调用reshape函数将所述点云特征投影到水平面，形成二维张量。
在其中一个实施例中，所述将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果的步骤，包括：
将所述二维张量输入卷积神经网络模型的主干网络中进行计算，获得计算结果；
将所述计算结果输入到所述卷积神经网络模型的头部网络中进行包围框和障碍物种类预测，确定障碍物的中心点坐标、障碍物的长宽高、障碍物的朝向角和障碍物的种类。
一种障碍物检测装置，所述装置包括：
数据获取模块，用于获取采集到的点云数据；
分割模块，用于采用预设个数大小不同的分割尺度对所述点云数据进行分割，获得各分割尺度的体素；
特征提取模块，用于对各所述分割尺度的体素的特征向量进行提取，获得各形状特征；
形状调整模块，用于对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；
拼接模块，用于将各所述待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；
投影模块，用于将所述点云特征投影到水平面，形成二维张量；
预测模块，用于将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
上述障碍物检测方法、装置、计算机设备和存储介质，通过获取采集到的点云数据；采用预设个数大小不同的分割尺度对点云数据进行分割，获得各分割尺度的体素；可以更好的保留不同尺度下的点云形状信息，提供更好的点云特征；对各分割尺度的体素的特征向量进行提取，获得各形状特征；对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；将点云特征投影到水平面，形成二维张量；将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果，提高了障碍物检测精度。
附图说明
图1为一个实施例中障碍物检测方法的流程示意图；
图2为一个实施例中大小不同的分割尺度对点云数据进行分割的示意图；
图3为一个实施例中障碍物检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种障碍物检测方法，包括以下步骤：
步骤S220，获取采集到的点云数据。
其中，点云数据是激光雷达生成的三维点云，如：安装的128线激光雷达，根据检测目标范围生成的三维点云,一般大概有12万个点(激光反射点),布满前后左右50米内的范围,高度上一般从-5,3米之间。
步骤S240，采用预设个数大小不同的分割尺度对点云数据进行分割，获得各分割尺度的体素。
其中，分割尺度是用于划分点云数据的尺度，分割尺度的大小可以表示为(xi，yi，zi)，其中i为尺度的序号，x为长度，y为宽度，z为高度。体素是volumn pixel(体积像素)的简称，类比像素来解释：体素是一个三维概念，像素是一个二维概念。各分割尺度的体素指的是，每一个分割尺度都对点云数据进行分割，获得每一个分割尺度分割出来的体素，如点云数据的长为l，宽为w，高为h，则每个分割尺度下划分出的体素的个数为l/xi，w/yi，h/zi。
在一个实施例中，预设个数大小不同的分割尺度的确定方式是：根据障碍物的各种类以及各种类对应的尺寸范围，确定预设个数大小不同的分割尺度，如：需要预测的障碍物包括人、小汽车和公交车，人的长宽高一般为(0.73，0.67，1.77)米，平均值为1米；小汽车的长宽高为(4.63，1.97，1.74)米，平均值为2.78米；公交车的长宽高为(10.5，2.94，3.47)米，平均值为5.63米，设计者可以根据自己的经验设置希望将一个障碍物的长宽高方向上每个方向上切割成多少份，举例而言，某个设计者认为长宽高三个方向按照平均值大致切割成10份得到的voxels(体素)就足以表达障碍物的形状，那么设计者可以根据上述的三个障碍物的平均值，选择0.1米，0.278米，0.563米三个尺度的分割尺度划分点云，这三个尺度就是选择出来的分割尺度，上面例子中三个障碍物的尺寸跨度比较大，所以分成了3个尺度，如果预测的障碍物尺寸相差没有这么大，就可以少划分一些尺度。
步骤S260，对各分割尺度的体素的特征向量进行提取，获得各形状特征。
在一个实施例中，对各分割尺度的体素的特征向量进行提取，获得各形状特征的步骤，包括：将各分割尺度的体素输入到对应的特征提取网络进行特征提取，获得各形状特征。
其中，每一个分割尺度的体素各训练了一个特征提取网络，用于提取对应分割尺度的体素的特征向量。各分割尺度的体素内的点都传入对应的特征提取网络内，提取形状特征，得到不同的特征向量，表示为(Ci，l/xi，w/yi，h/zi)，其中Ci为特征向量的维度。特征提取网络为深度学习网络结构，即体素内每个点经过全连接网络后，使用maxpooling(池化操作)得到整个体素的形状特征。
步骤S280，对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。
其中，各形状特征的长、宽、高和个数中至少有一个不一样，因此，为了能够拼接，需要调整到相同的长、宽、高和个数的形状特征，便于后面的拼接。如图2所示的采用3个大小不同的分割尺度对点云数据进行分割为例,类似魔方的物体代表整个点云数据，分割尺度1使用的分割尺度大小比较大,将点云数据的长宽高各切成了2份，如图2中的分割尺度1分割结果；分割尺度2，将点云数据的长宽高各划分成了3份，如图2中的分割尺度2分割结果；分割尺度3，将点云数据的长宽高各划分成了4份，如图2中的分割尺度3分割结果，一般都会将每个体素提取成64个数组成的特征向量，所以图2里面3个分割尺度的特征形状分别为(64，2，2，2)、(64，3，3，3)和(64，4，4，4)，因此需要这利用三线性插值法将3个分割尺度的特征形状都调整到(64，4，4，4)这个大小的形状特征，3个分割尺度的特征形状调整后就是大小相同的各待拼接形状特征。
在一个实施例中，对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征的步骤，包括：
采用三线性插值法对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。大小相同的各待拼接形状特征可以用表示为(Ci，l0，w0，h0)，其中，l0为待拼接形状特征的长，w0为待拼接形状特征的宽，h0为待拼接形状特征的高。
其中，三线性插值法是在三维离散采样数据的张量积网格上进行线性插值的方法。
步骤S300，将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征。
其中，将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征f，形状表示为(C1+C2+...+Cn，l0，w0，h0)，将C1+C2+...+Cn记为C，所以这一步得到的点云特征f，形状为(C，l0，w0，h0)。
步骤S320，将点云特征投影到水平面，形成二维张量。
在一个实施例中，将点云特征投影到水平面，形成二维张量的步骤，包括：调用reshape函数将点云特征投影到水平面，形成二维张量。
其中，点云特征f，形状为(C，l0，w0，h0)，需要将f投影到水平面，投影操作可以选用reshape操作，变成形状为(C*l0，w0，h0)的特征f'，即二维张量。reshape函数是将指定的矩阵变换成特定维数矩阵一种函数。
步骤S340，将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
在一个实施例中，将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果的步骤，包括：将二维张量输入卷积神经网络模型的主干网络中进行计算，获得计算结果；将计算结果输入到卷积神经网络模型的头部网络中进行包围框和障碍物种类预测，确定障碍物的中心点坐标、障碍物的长宽高、障碍物的朝向角和障碍物的种类。
其中，卷积神经网络模型的结构，分为主干网络和头部网络两大部分，主干网络共有16层卷积层，分成3个阶段，各个阶段卷积层数量分别为4层、6层和6层，每个阶段的第一个卷积层都进行降采样，3个阶段的卷积层通道数分别为64、128和256，主干网络计算得到的输出(即计算结果)作为头部网络的输入，头部网络分为两个分支,第一个分支用于预测包围框(bounding box)，具体包括障碍物中心点坐标，障碍物的长宽高，障碍物的朝向角，第二个分支用于预测障碍物的种类，两个分支输出的结果即为预测结果，预测结果中包括了障碍物的中心点坐标、障碍物的长宽高、障碍物的朝向角和障碍物的种类，障碍物的种类如：行人、自行车、小汽车、还是公交车等。
上述障碍物检测方法，通过获取采集到的点云数据；采用预设个数大小不同的分割尺度对点云数据进行分割，获得各分割尺度的体素；可以更好的保留不同尺度下的点云形状信息，提供更好的点云特征；对各分割尺度的体素的特征向量进行提取，获得各形状特征；对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；将点云特征投影到水平面，形成二维张量；将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果，提高了障碍物检测精度。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种障碍物检测装置，包括：数据获取模块310、分割模块320、特征提取模块330、形状调整模块340、拼接模块350、投影模块360和预测模块370。
数据获取模块310，用于获取采集到的点云数据。
分割模块320，用于采用预设个数大小不同的分割尺度对点云数据进行分割，获得各分割尺度的体素。
特征提取模块330，用于对各分割尺度的体素的特征向量进行提取，获得各形状特征。
形状调整模块340，用于对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。
拼接模块350，用于将各待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征。
投影模块360，用于将点云特征投影到水平面，形成二维张量。
预测模块370，用于将二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
在一个实施例中，预设个数大小不同的分割尺度的确定方式是：
根据障碍物的各种类以及各种类对应的尺寸范围，确定预设个数大小不同的分割尺度。
在一个实施例中，特征提取模块330还用于：将各分割尺度的体素输入到对应的特征提取网络进行特征提取，获得各形状特征。
在一个实施例中，特征提取网络为深度学习网络结构。
在一个实施例中，形状调整模块340还用于：采用三线性插值法对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。
在一个实施例中，投影模块360还用于：调用reshape函数将点云特征投影到水平面，形成二维张量。
在一个实施例中，预测模块370还用于：将二维张量输入卷积神经网络模型的主干网络中进行计算，获得计算结果；将计算结果输入到卷积神经网络模型的头部网络中进行包围框和障碍物种类预测，确定障碍物的中心点坐标、障碍物的长宽高、障碍物的朝向角和障碍物的种类。
关于障碍物检测装置的具体限定可以参见上文中对于障碍物检测方法的限定，在此不再赘述。上述障碍物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的障碍物检测方法的步骤。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的障碍物检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取采集到的点云数据；
采用预设个数大小不同的分割尺度对所述点云数据进行分割，获得各分割尺度的体素；
对各所述分割尺度的体素的特征向量进行提取，获得各形状特征；
对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；
将各所述待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；
将所述点云特征投影到水平面，形成二维张量；
将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
2.根据权利要求1所述的方法，其特征在于，所述预设个数大小不同的分割尺度的确定方式是：
根据障碍物的各种类以及各种类对应的尺寸范围，确定预设个数大小不同的分割尺度。
3.根据权利要求1所述的方法，其特征在于，所述对各所述分割尺度的体素的特征向量进行提取，获得各形状特征的步骤，包括：
将所述各所述分割尺度的体素输入到对应的特征提取网络进行特征提取，获得各形状特征。
4.根据权利要求3所述的方法，其特征在于，所述特征提取网络为深度学习网络结构。
5.根据权利要求1所述的方法，其特征在于，所述对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征的步骤，包括：
采用三线性插值法对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征。
6.根据权利要求1所述的方法，其特征在于，所述将所述点云特征投影到水平面，形成二维张量的步骤，包括：
调用reshape函数将所述点云特征投影到水平面，形成二维张量。
7.根据权利要求1所述的方法，其特征在于，所述将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果的步骤，包括：
将所述二维张量输入卷积神经网络模型的主干网络中进行计算，获得计算结果；
将所述计算结果输入到所述卷积神经网络模型的头部网络中进行包围框和障碍物种类预测，确定障碍物的中心点坐标、障碍物的长宽高、障碍物的朝向角和障碍物的种类。
8.一种障碍物检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取采集到的点云数据；
分割模块，用于采用预设个数大小不同的分割尺度对所述点云数据进行分割，获得各分割尺度的体素；
特征提取模块，用于对各所述分割尺度的体素的特征向量进行提取，获得各形状特征；
形状调整模块，用于对各形状特征的大小进行调整，获得大小相同的各待拼接形状特征；
拼接模块，用于将各所述待拼接形状特征进行拼接组合，获得具有多尺度信息的点云特征；
投影模块，用于将所述点云特征投影到水平面，形成二维张量；
预测模块，用于将所述二维张量输入卷积神经网络模型对障碍物进行预测，确定预测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011630173.3A 2020-12-31 2020-12-31 障碍物检测方法、装置、计算机设备和存储介质 Pending CN112712089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011630173.3A CN112712089A (zh) 2020-12-31 2020-12-31 障碍物检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011630173.3A CN112712089A (zh) 2020-12-31 2020-12-31 障碍物检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112712089A true CN112712089A (zh) 2021-04-27

Family

ID=75547775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011630173.3A Pending CN112712089A (zh) 2020-12-31 2020-12-31 障碍物检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112712089A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506376A (zh) * 2021-07-27 2021-10-15 刘秀萍 地面三维点云多尺度闭合差校验拼接方法
CN115205717A (zh) * 2022-09-14 2022-10-18 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
WO2020083024A1 (zh) * 2018-10-24 2020-04-30 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111814874A (zh) * 2020-07-08 2020-10-23 东华大学 一种用于点云深度学习的多尺度特征提取增强方法及模块

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
WO2020083024A1 (zh) * 2018-10-24 2020-04-30 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111814874A (zh) * 2020-07-08 2020-10-23 东华大学 一种用于点云深度学习的多尺度特征提取增强方法及模块

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张耀威;卞春江;周海;陈红珍;: "基于图像与点云的三维障碍物检测", 计算机工程与设计, no. 04 *
彭育辉;郑玮鸿;张剑锋;: "基于深度学习的道路障碍物检测方法", 计算机应用, no. 08 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506376A (zh) * 2021-07-27 2021-10-15 刘秀萍 地面三维点云多尺度闭合差校验拼接方法
CN115205717A (zh) * 2022-09-14 2022-10-18 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备
CN115205717B (zh) * 2022-09-14 2022-12-20 广东汇天航空航天科技有限公司 障碍物点云数据处理方法以及飞行设备

Similar Documents

Publication Publication Date Title
US10573005B2 (en) Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
CN110852949B (zh) 点云数据补全方法、装置、计算机设备和存储介质
KR102328731B1 (ko) 다중 카메라 혹은 서라운드 뷰 모니터링에 이용되기 위해, 타겟 객체 통합 네트워크 및 타겟 영역 예측 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 적응 가능한 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10762704B2 (en) Method for establishing a deformable 3D model of an element, and associated system
WO2022016310A1 (zh) 基于点云数据的三维重建方法、装置和计算机设备
CN111462193B (zh) 用于多摄像机或环绕视图监控的对象检测方法及装置
CN111523414A (zh) 人脸识别方法、装置、计算机设备和存储介质
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN111179274B (zh) 地图地面分割方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN114930401A (zh) 基于点云的三维重建方法、装置和计算机设备
CN113383283B (zh) 感知信息处理方法、装置、计算机设备和存储介质
CN110827202A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112712089A (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN113012063B (zh) 一种动态点云修复方法、装置及计算机设备
CN110544308A (zh) 变电站建模方法、装置、计算机设备和存储介质
CN110544298A (zh) 变电站建模方法、装置、计算机设备和存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN116168384A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN114663598A (zh) 三维建模方法、装置和存储介质
CN107403465B (zh) 基于结构先验与深度学***面重建方法
US20160267352A1 (en) System and method for constructing a statistical shape model
CN113838069A (zh) 基于平面度约束的点云分割方法和***
CN116486071A (zh) 图像分块特征提取方法、装置及存储介质
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination