CN109426828B - 点云分类方法、装置、设备及存储介质 - Google Patents

点云分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109426828B
CN109426828B CN201710748918.8A CN201710748918A CN109426828B CN 109426828 B CN109426828 B CN 109426828B CN 201710748918 A CN201710748918 A CN 201710748918A CN 109426828 B CN109426828 B CN 109426828B
Authority
CN
China
Prior art keywords
point cloud
data
training
voxelization
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710748918.8A
Other languages
English (en)
Other versions
CN109426828A (zh
Inventor
程章林
魏书法
奥利夫·多伊森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201710748918.8A priority Critical patent/CN109426828B/zh
Publication of CN109426828A publication Critical patent/CN109426828A/zh
Application granted granted Critical
Publication of CN109426828B publication Critical patent/CN109426828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Image Generation (AREA)

Abstract

本发明适用计算机技术领域，提供了一种点云分类方法、装置、设备及存储介质，该方法包括：接收点云分类请求，获取点云分类请求中的点云数据，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充获取的填充特征，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。

Description

点云分类方法、装置、设备及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种点云分类方法、装置、设备及存储介质。
背景技术
卷积神经网络是一种受动物视觉皮层中神经元连接方式启发而产生的一种深度学习算法，能够从输入数据中提取出预测性非常好的特征。2012年，Alex等在大规模视觉识别挑战赛(ILSVRC)中，使用AlexNet在图像分类子竞赛中取得了16.4％的错误率，远远低于使用传统方法的第二名的错误率，点燃了卷积神经网络研究的热潮。之后，卷积神经网络被广泛应用于目标检测、语义分割、特征提取等领域。
传统的点云分类方法主要利用人的领域知识手工构造特征，并使用支持向量机(SVM)、随机森林(RF)等算法对从样本中提取出的手工构造特征进行分类。这类方法需要针对不同的任务与不同的数据、依赖丰富的实践经验设计手工特征，不仅耗费人力，而且在特征的表达能力上也存在局限性。另外，传统的点云分类方法的点云分类准确性低下。
综上所述，现有的点云分类方法的分类效率不高。因此，如何利用卷积神经网络对点云数据进行特征提取，提高点云分类的准确性，对解决现有点云分类方法的分类效率不高这个问题来说具有积极的作用。另外，在对点云分类之前，从不同角度对点云体素化会得到不同的体素数据，而且在点云体素化的过程中会伴随着点云局部分布信息的损失，从而影响点云分类准确性。
发明内容
本发明的目的在于提供一种点云分类方法、装置、设备及存储介质，旨在解决由于现有点云分类方法的点云分类效率不高的问题。
一方面，本发明提供了一种点云分类方法，所述方法包括下述步骤：
接收点云分类请求，获取所述点云分类请求中的点云数据；
对所述点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取所述点云体素化数据对应的点云在预设邻域内的填充特征；
获取所述点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述填充特征；
通过预先构建的点云分类网络对所述特征填充后的点云进行分类，输出所述点云数据对应的点云分类结果。
另一方面，本发明提供了一种点云分类装置，所述装置包括：
点云数据获取单元，用于接收点云分类请求，获取所述点云分类请求中的点云数据；
特征获取单元，用于对所述点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取所述点云体素化数据对应的点云在预设邻域内的填充特征；
特征填充单元，用于获取所述点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述填充特征；以及
分类结果输出单元，用于通过预先构建的点云分类网络对所述特征填充后的点云进行分类，输出所述点云数据对应的点云分类结果。
另一方面，本发明还提供了一种物体识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述点云分类方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述点云分类方法的步骤。
本发明接收点云分类请求，获取点云分类请求中的点云数据，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充获取的填充特征，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
附图说明
图1是本发明实施例一提供的点云分类方法的实现流程图；
图2是本发明实施例二提供的点云分类方法的实现流程图；
图3是本发明实施例三提供的点云分类装置的结构示意图；
图4是本发明实施例四提供的点云分类装置的结构示意图；以及
图5是本发明实施例五提供的物体识别设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的点云分类方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，接收点云分类请求，获取点云分类请求中的点云数据。
本发明实施例适用于物体识别设备，具体地，适用于物体识别设备上的计算机视觉***，以方便对点云进行分类，其中，点云为通过物体识别设备对物体进行扫描，得到与物体对应的体素点集合。在本发明实施例中，待分类的点云数据可以包含在点云分类请求中，也可以作为请求的一部分单独发送，当接收到用户输入的点云分类请求时，获取点云分类请求中的点云数据，以根据点云数据对点云进行分类。作为示例地，在用户输入点云数据时，触发点云分类请求。
优选地，在获取点云数据后，在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了后续计算过程中的过拟合问题，进而提高点云分类的准确性。
在步骤S102中，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征。
在本发明实施例中，填充特征可以为PCA特征和点云的法向特征中的一个或多个特征，获取点云数据后，对获取的点云数据对应的点云进行点云体素化操作，由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对点云数据对应的点云进行点云体素化操作后，首先获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，从而提高点云分类的准确性。
在步骤S103中，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征。
在本发明实施例中，获取点云体素化数据对应的点云在预设邻域内的填充特征之后，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率。
在步骤S104中，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果。
在本发明实施例中，预先构建的点云分类网络为训练得到的点云分类网络，在点云对应的体素位置填充相应的填充特征之后，首先将填充了相应的填充特征的点云体素化数据输入到该点云分类网络中，然后通过该点云分类网络对点云数据对应的点云进行分类，最后输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
在本发明实施例中，首先接收点云分类请求，获取点云分类请求中的点云数据，然后对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，并获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，之后，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率，最后通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
实施例二：
图2示出了本发明实施例二提供的点云分类方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，在三维直角坐标系中，以Z轴为旋转轴对训练用点云数据对应的点云进行X方向和Y方向上的扩充。
在本发明实施例中，训练用点云数据是对扫描对象(物体)扫描得到的点云数据，由于同一个对象从不同角度扫描得到点云，再进行点云体素化之后，会得到不同的体素数据，因此，如果仅使用某个角度或某几个角度扫描得到的点云，进行点云体素化作为训练样本，在训练过程中会出现过拟合问题，而且当输入新的角度的点云体素化数据时，训练得到的点云分类网络可能会由于无法识别而误分类。基于该原因，在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对训练用点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了计算过程中的过拟合问题，进而提高后续点云分类的准确性。
作为示例地，选取公开的城市场景点云数据集Sydney Urban Dataset为训练数据。在使用扫描车获取场景中物体点云时，点云的Z轴是不变的，即Z轴始终垂直于地面，因此，对于使用类似方法获取的点云数据可以只在其他两个方向——即X，Y方向进行点云扩充。具体地，在X、Y方向构成的平面上对点云进行旋转，旋转的基本单位是30度，即每对点云旋转30度时进行一次点云扩充，最终可以将点云扩充到原点云的12倍。
在步骤S202中，对扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，获取训练用点云体素化数据对应的点云在预设邻域内的训练特征。
在本发明实施例中，训练特征包括PCA特征和点云的法向特征，得到扩充后的训练用点云数据后，首先对扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对训练用点云数据对应的点云进行点云体素化后，首先获取训练用点云体素化数据对应的点云在预设邻域内的训练特征(即PCA特征和点云的法向特征)，以补充点云体素化过程中损失的点云局部分布信息，从而提高后续网络训练过程中的点云分类的准确性和后续网络训练的训练效果。
在步骤S203中，获取训练用点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充训练特征。
在本发明实施例中，获取训练用点云体素化数据对应的点云在预设邻域内的训练特征之后，获取训练用点云体素化数据中点云对应的体素位置，并分别在点云对应的体素位置填充这些训练特征，每个训练特征对应一组特征填充后的训练用点云体素化数据，从而得到多组特征填充后的训练用点云体素化数据。
优选地，在获取训练用点云体素化数据对应的点云在预设邻域内的训练特征时，首先对训练用点云体素化数据对应的点云的局部邻域的数据矩阵进行PCA分解，得到3个本征值和对应的本征向量，然后根据本征值构建Surfaceness特征、Linearness特征和Scatterness特征这3个PCA特征，并对得到的3个本征值进行大小比较，将得到的3个本征值中最小的本征值对应的本征向量设置为点云的法向特征。进一步优选地，将得到的这3个PCA特征组合为PCA联合特征并设置为训练特征，从而增加了可填充的训练特征。
在步骤S204中，通过特征填充后的训练用点云体素化数据对预设的三维卷积神经网络进行训练，获取训练过程中对训练用点云数据对应的点云的分类准确率，直至达到预设的训练结束条件。
在本发明实施例中，预设的三维卷积神经网络可以为基于Torch框架实现的VoxNet，VoxNet是有两个卷积层和两个全连接层的三维卷积神经网络，并在每个卷积层后面都添加非线性激活函数，在倒数第二个全连接层添加Dropout层。得到特征填充后的训练用点云体素化数据后，首先将特征填充后的训练用点云对应的训练用点云体素化数据输入到VoxNet中，然后使用随机梯度下降法对VoxNet进行训练。
在步骤S205中，判断是否达到预设的训练结束条件，是则执行步骤S206，否则执行步骤S204。
在步骤S206中，当达到预设的训练结束条件时，将三维卷积神经网络设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征。
在本发明实施例中，可以将训练结束条件设置为分类准确率达到预设值(例如，85％)，当未达到预设的训练结束条件(分类准确率低于85％)时，循环对所有数据进行训练，直至达到该训练结束条件，此时，结束训练，并将训练后的VoxNet设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征，从而提高后续点云分类的准确性。
在步骤S207中，接收点云分类请求，获取点云分类请求中的点云数据。
在本发明实施例中，待分类的点云数据包含在点云分类请求中，接收到用户输入的点云分类请求时，获取点云分类请求中的点云数据，以根据点云数据对点云进行分类。作为示例地，在用户输入点云数据时，触发点云分类请求。
在步骤S208中，在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充。
在本发明实施例中，在获取点云数据后，在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了后续计算过程中的过拟合问题，进而提高点云分类的准确性。
在步骤S209中，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征。
在步骤S210中，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征。
在本发明实施例中，填充特征可以为PCA特征和点云的法向特征中的一个或多个特征，获取点云数据后，首先对获取的点云数据对应的点云进行点云体素化操作，然后由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对点云数据对应的点云进行点云体素化操作后，首先获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，从而提高点云分类的准确性，在获取点云体素化数据对应的点云在预设邻域内的填充特征之后，获取点云数据中的点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率。
在步骤S211中，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果。
在本发明实施例中，预先构建的点云分类网络为预先训练得到的点云分类网络，在点云对应的体素位置填充相应的填充特征之后，首先将填充了相应的填充特征的点云体素化数据输入到这个预先构建的点云分类网络中，然后通过这个预先构建的点云分类网络对点云数据对应的点云进行分类，最后输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
实施例三：
图3示出了本发明实施例三提供的点云分类装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
点云数据获取单元31，用于接收点云分类请求，获取点云分类请求中的点云数据。
在本发明实施例中，待分类的点云数据可以包含在点云分类请求中，也可以作为请求的一部分单独发送，当接收到用户输入的点云分类请求时，点云数据获取单元31获取点云分类请求中的点云数据，以根据点云数据对点云进行分类。作为示例地，在用户输入点云数据时，触发点云分类请求。
优选地，在获取点云数据后，在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了后续计算过程中的过拟合问题，进而提高点云分类的准确性。
特征获取单元32，用于对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征。
在本发明实施例中，填充特征可以为PCA特征和点云的法向特征中的一个或多个特征，获取点云数据后，特征获取单元32对获取的点云数据对应的点云进行点云体素化操作，由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对点云数据对应的点云进行点云体素化操作后，首先获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，从而提高点云分类的准确性。
特征填充单元33，用于获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征。
在本发明实施例中，获取点云体素化数据对应的点云在预设邻域内的填充特征之后，获特征填充单元33取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率。
分类结果输出单元34，用于通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果。
在本发明实施例中，预先构建的点云分类网络为训练得到的点云分类网络，在点云对应的体素位置填充相应的填充特征之后，分类结果输出单元34首先将填充了相应的填充特征的点云体素化数据输入到该点云分类网络中，然后通过该点云分类网络对点云数据对应的点云进行分类，最后输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
在本发明实施例中，首先点云数据获取单元31接收点云分类请求，获取点云分类请求中的点云数据，然后特征获取单元32对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，之后，特征填充单元33获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率，最后分类结果输出单元34通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
在本发明实施例中，点云分类装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例四：
图4示出了本发明实施例四提供的点云分类装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
训练用点云扩充单元41，用于在三维直角坐标系中，以Z轴为旋转轴对训练用点云数据对应的点云进行X方向和Y方向上的扩充。
在本发明实施例中，训练用点云数据是对扫描对象(物体)扫描得到的点云数据，由于同一个对象从不同角度扫描得到点云，再进行点云体素化之后，会得到不同的体素数据，因此，如果仅使用某个角度或某几个角度扫描得到的点云，进行点云体素化作为训练样本，在训练过程中会出现过拟合问题，而且当输入新的角度的点云体素化数据时，训练得到的点云分类网络可能会由于无法识别而误分类。基于该原因，训练用点云扩充单元41在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对训练用点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了计算过程中的过拟合问题，进而提高后续点云分类的准确性。
训练特征获取单元42，用于对扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，获取训练用点云体素化数据对应的点云在预设邻域内的训练特征。
在本发明实施例中，训练特征包括PCA特征和点云的法向特征，得到扩充后的训练用点云数据后，训练特征获取单元42首先对扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对训练用点云数据对应的点云进行点云体素化后，首先获取训练用点云体素化数据对应的点云在预设邻域内的训练特征(即PCA特征和点云的法向特征)，以补充点云体素化过程中损失的点云局部分布信息，从而提高后续网络训练过程中的点云分类的准确性和后续网络训练的训练效果。
训练特征填充单元43，用于获取训练用点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充训练特征。
在本发明实施例中，获取训练用点云体素化数据对应的点云在预设邻域内的训练特征之后，训练特征填充单元43获取训练用点云体素化数据中点云对应的体素位置，并分别在点云对应的体素位置填充这些训练特征，每个训练特征对应一组特征填充后的训练用点云体素化数据，从而得到多组特征填充后的训练用点云体素化数据。
优选地，在获取训练用点云体素化数据对应的点云在预设邻域内的训练特征时，首先对训练用点云体素化数据对应的点云的局部邻域的数据矩阵进行PCA分解，得到3个本征值和对应的本征向量，然后根据本征值构建Surfaceness特征、Linearness特征和Scatterness特征这3个PCA特征，并对得到的3个本征值进行大小比较，将得到的3个本征值中最小的本征值对应的本征向量设置为点云的法向特征。进一步优选地，将得到的这3个PCA特征组合为PCA联合特征并设置为训练特征，从而增加了可填充的训练特征。
网络训练单元44，用于当未达到预设的训练结束条件时，通过特征填充后的训练用点云体素化数据对预设的三维卷积神经网络进行训练，获取训练过程中对训练用点云数据对应的点云的分类准确率，直至达到预设的训练结束条件。
在本发明实施例中，预设的三维卷积神经网络可以为基于Torch框架实现的VoxNet，VoxNet是有两个卷积层和两个全连接层的三维卷积神经网络，并在每个卷积层后面都添加非线性激活函数，在倒数第二个全连接层添加Dropout层。得到特征填充后的训练用点云体素化数据后，网络训练单元44首先将特征填充后的训练用点云对应的训练用点云体素化数据输入到VoxNet中，然后使用随机梯度下降法对VoxNet进行训练。当未达到预设的训练结束条件时，循环对所有数据进行训练，直至达到预设的训练结束条件。
训练结束单元45，用于当达到预设的训练结束条件时，将三维卷积神经网络设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征。
在本发明实施例中，可以将训练结束条件设置为分类准确率达到预设值(例如，85％)，当未达到预设的训练结束条件(分类准确率低于85％)时，循环对所有数据进行训练，直至达到该训练结束条件时，结束训练，训练结束单元45将训练后的VoxNet设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征，从而提高后续点云分类的准确性。
点云数据获取单元46，用于接收点云分类请求，获取点云分类请求中的点云数据。
在本发明实施例中，待分类的点云数据包含在点云分类请求中，接收到用户输入的点云分类请求时，点云数据获取单元46获取点云分类请求中的点云数据，以根据点云数据对点云进行分类。
点云扩充单元47，用于在三维直角坐标系中，以Z轴为旋转轴，通过预设的旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充。
在本发明实施例中，在获取点云数据后，点云扩充单元47在三维直角坐标系中，以Z轴为旋转轴，通过旋转扩充方式对点云数据对应的点云进行X方向和Y方向上的扩充，从而缓解了后续计算过程中的过拟合问题，进而提高点云分类的准确性。
特征获取单元48，用于对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征。
特征填充单元49，用于获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征。
在本发明实施例中，填充特征可以为PCA特征和点云的法向特征中的一个或多个特征，获取点云数据后，特征获取单元48首先对获取的点云数据对应的点云进行点云体素化操作，然后由于在点云体素化的过程中会伴随着点云局部分布信息的损失，可能造成点云分类准确率的下降，因此，在对点云数据对应的点云进行点云体素化操作后，首先获取点云体素化数据对应的点云在预设邻域内的填充特征，以补充点云体素化过程中损失的点云局部分布信息，从而提高点云分类的准确性，在获取点云体素化数据对应的点云在预设邻域内的填充特征之后，特征填充单元49获取点云数据中的点云对应的体素位置，并在点云对应的体素位置填充对应的填充特征，从而提高了点云局部分布信息的完整性，进而提高点云分类的准确率。
分类结果输出单元410，用于通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果。
在本发明实施例中，预先构建的点云分类网络为预先训练得到的点云分类网络，在点云对应的体素位置填充相应的填充特征之后，分类结果输出单元410首先将填充了相应的填充特征的点云体素化数据输入到这个预先构建的点云分类网络中，然后通过这个预先构建的点云分类网络对点云数据对应的点云进行分类，最后输出点云数据对应的点云分类结果，从而提高了点云分类的效率。
在本发明实施例中，点云分类装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例五：
图5示出了本发明实施例五提供的物体识别设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的物体识别设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述各个点云分类方法实施例中的步骤，例如，图1所示的步骤S101至S104、图2所示的步骤S201至S211。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如，图3所示单元31至34、图4所示单元41至410的功能。
在本发明实施例中，该处理器50执行计算机程序52时实现上述各个点云分类方法实施例中的步骤时，接收点云分类请求，获取点云分类请求中的点云数据，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充获取的填充特征，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。该物体识别设备5中处理器50在执行计算机程序52时实现的步骤具体可参考实施例一中方法的描述，在此不再赘述。
实施例六：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个点云分类方法实施例中的步骤，例如，图1所示的步骤S101至S104、图2所示的步骤S201至S211。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图3所示单元31至34、图4所示单元41至410的功能。
在本发明实施例中，接收点云分类请求，获取点云分类请求中的点云数据，对点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取点云体素化数据对应的点云在预设邻域内的填充特征，获取点云体素化数据对应点云对应的体素位置，并在点云对应的体素位置填充获取的填充特征，通过预先构建的点云分类网络对特征填充后的点云进行分类，输出点云数据对应的点云分类结果，从而提高了点云分类的效率。该计算机程序被处理器执行时实现的点云分类方法进一步可参考前述方法实施例中步骤的描述，在此不再赘述。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种点云分类方法，其特征在于，所述方法包括下述步骤：
在三维直角坐标系中，以Z轴为旋转轴，通过预设的旋转扩充方式对训练用点云数据对应的点云进行X方向和Y方向上的扩充；
对所述扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，获取所述训练用点云体素化数据对应的点云在预设邻域内的训练特征；
获取所述训练用点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述训练特征；
当未达到预设的训练结束条件时，通过特征填充后的训练用点云体素化数据对预设的三维卷积神经网络进行训练，获取训练过程中对所述训练用点云数据对应的点云的分类准确率，直至达到预设的训练结束条件；
当达到预设的训练结束条件时，将所述三维卷积神经网络设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征；
接收点云分类请求，获取所述点云分类请求中的点云数据；
对所述点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取所述点云体素化数据对应的点云在预设邻域内的填充特征；
获取所述点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述填充特征；
通过预先构建的点云分类网络对特征填充后的点云进行分类，输出所述点云数据对应的点云分类结果。
2.如权利要求1所述的方法，其特征在于，获取所述点云分类请求中的点云数据的步骤之后，对所述点云数据对应的点云进行点云体素化操作的步骤之前，所述方法还包括：
在三维直角坐标系中，以Z轴为旋转轴，通过预设的旋转扩充方式对所述点云数据对应的点云进行X方向和Y方向上的扩充。
3.如权利要求1所述的方法，其特征在于，所述训练特征包括PCA特征和点云的法向特征。
4.如权利要求3所述的方法，其特征在于，计算所述训练用点云体素化数据中的点云在预设邻域内的训练特征的步骤，包括：
对所述训练用点云体素化数据对应的点云的局部邻域的数据矩阵进行PCA分解，得到本征值和对应的本征向量；
根据所述本征值构建所述PCA特征，所述PCA特征包括Surfaceness特征、Linearness特征和Scatterness特征；
对所述得到的本征值进行大小比较，将所述本征值中最小的本征值对应的本征向量设置为所述点云的法向特征。
5.一种点云分类装置，其特征在于，所述装置包括：
训练用点云扩充单元，用于在三维直角坐标系中，以Z轴为旋转轴，通过预设的旋转扩充方式对训练用点云数据对应的点云进行X方向和Y方向上的扩充；
训练特征获取单元，用于对所述扩充后的训练用点云数据对应的点云进行点云体素化操作，得到训练用点云体素化数据，获取所述训练用点云体素化数据对应的点云在预设邻域内的训练特征；
训练特征填充单元，用于获取所述训练用点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述训练特征；
网络训练单元，用于当未达到预设的训练结束条件时，通过特征填充后的训练用点云体素化数据对预设的三维卷积神经网络进行训练，获取训练过程中对所述训练用点云数据对应的点云的分类准确率，直至达到预设的训练结束条件；以及
训练结束单元，用于当达到预设的训练结束条件时，将所述三维卷积神经网络设置为点云分类网络，将分类准确率最高的训练用点云体素化数据对应点云中填充的训练特征设置为填充特征；
点云数据获取单元，用于接收点云分类请求，获取所述点云分类请求中的点云数据；
特征获取单元，用于对所述点云数据对应的点云进行点云体素化操作，得到点云体素化数据，获取所述点云体素化数据对应的点云在预设邻域内的填充特征；
特征填充单元，用于获取所述点云体素化数据对应点云对应的体素位置，并在所述点云对应的体素位置填充所述填充特征；以及
分类结果输出单元，用于通过预先构建的点云分类网络对特征填充后的点云进行分类，输出所述点云数据对应的点云分类结果。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
点云扩充单元，用于在三维直角坐标系中，以Z轴为旋转轴，通过预设的旋转扩充方式对所述点云数据对应的点云进行X方向和Y方向上的扩充。
7.一种物体识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201710748918.8A 2017-08-28 2017-08-28 点云分类方法、装置、设备及存储介质 Active CN109426828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710748918.8A CN109426828B (zh) 2017-08-28 2017-08-28 点云分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710748918.8A CN109426828B (zh) 2017-08-28 2017-08-28 点云分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109426828A CN109426828A (zh) 2019-03-05
CN109426828B true CN109426828B (zh) 2022-02-11

Family

ID=65502417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748918.8A Active CN109426828B (zh) 2017-08-28 2017-08-28 点云分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109426828B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097077B (zh) * 2019-03-26 2021-12-10 深圳市速腾聚创科技有限公司 点云数据分类方法、装置、计算机设备和存储介质
CN111432210B (zh) * 2020-04-30 2021-10-19 中山大学 一种基于填充的点云属性压缩方法
CN112052884A (zh) * 2020-08-17 2020-12-08 南京审计大学 一种基于局部边缘特征增强的点云分类方法及***
CN112949380B (zh) * 2021-01-08 2022-06-10 浙江大学 一种基于激光雷达点云数据的智能水下目标识别***
CN112884884A (zh) * 2021-02-06 2021-06-01 罗普特科技集团股份有限公司 一种候选区域生成方法及***
CN113610143B (zh) * 2021-08-02 2022-11-11 广州文远知行科技有限公司 一种点云噪点的分类方法、装置、设备及存储介质
CN114092469B (zh) * 2021-12-02 2022-08-26 四川大学 一种叶片的修补区域的确定方法、装置及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463973A (zh) * 2014-12-01 2015-03-25 林志均 一种基于面数据的空洞填补方法
CN106599915A (zh) * 2016-12-08 2017-04-26 立得空间信息技术股份有限公司 一种车载激光点云分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712147B2 (en) * 2012-02-03 2014-04-29 Harris Corporation Fractal method for detecting and filling data gaps within LiDAR data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463973A (zh) * 2014-12-01 2015-03-25 林志均 一种基于面数据的空洞填补方法
CN106599915A (zh) * 2016-12-08 2017-04-26 立得空间信息技术股份有限公司 一种车载激光点云分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
voxel planes:rapid visualization and meshification of point cloud ensembles;Julian Ryde et al;《2013 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20131231;第1-7页 *
基于三维点云与二维图像的场景理解;魏书法;《中国优秀硕士学位论文全文数据库》;20180615(第6期);第I138-1611页 *

Also Published As

Publication number Publication date
CN109426828A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN109426828B (zh) 点云分类方法、装置、设备及存储介质
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
EP3096263B1 (en) Human body orientation recognition method and system based on two-lens camera
EP2907082B1 (en) Using a probabilistic model for detecting an object in visual data
KR102095842B1 (ko) 격자지도 생성 장치 및 방법
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN105335722A (zh) 一种基于深度图像信息的检测***及方法
CN104915673B (zh) 一种基于视觉词袋模型的目标分类方法和***
JP2015207280A (ja) 目標識別方法及び目標識別装置
KR20160061081A (ko) 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN110674685B (zh) 一种基于边缘信息增强的人体解析分割模型及方法
Biasotti et al. SHREC’14 track: Retrieval and classification on textured 3D models
CN108932455B (zh) 遥感图像场景识别方法及装置
Gong et al. Vehicle detection in thermal images with an improved yolov3-tiny
CN112686191B (zh) 基于人脸三维信息的活体防伪方法、***、终端及介质
Belagiannis et al. Holistic human pose estimation with regression forests
Limper et al. Mesh Saliency Analysis via Local Curvature Entropy.
CN113095333A (zh) 无监督特征点检测方法及装置
CN104036296A (zh) 一种图像的表示和处理方法及装置
Cai et al. Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models
Xu et al. Multi‐pyramid image spatial structure based on coarse‐to‐fine pyramid and scale space
Zhang et al. Improved spin images for 3D surface matching using signed angles
Huang et al. Multi‐class obstacle detection and classification using stereovision and improved active contour models
Shin et al. Loop closure detection in simultaneous localization and mapping using learning based local patch descriptor
Zhong et al. Temporal texture recognition model using 3D features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant