CN117541796A - 点云语义分割方法、计算机设备、存储介质及智能设备 - Google Patents

点云语义分割方法、计算机设备、存储介质及智能设备 Download PDF

Info

Publication number
CN117541796A
CN117541796A CN202311715587.XA CN202311715587A CN117541796A CN 117541796 A CN117541796 A CN 117541796A CN 202311715587 A CN202311715587 A CN 202311715587A CN 117541796 A CN117541796 A CN 117541796A
Authority
CN
China
Prior art keywords
point cloud
view angle
features
feature
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311715587.XA
Other languages
English (en)
Inventor
唐鑫
***
郑正扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202311715587.XA priority Critical patent/CN117541796A/zh
Publication of CN117541796A publication Critical patent/CN117541796A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及自动驾驶技术领域，具体提供一种点云语义分割方法、计算机设备、存储介质及智能设备，旨在解决准确地对通用类别的目标进行语义分割的问题。为此目的，本申请提供的方法包括获取三维点云中各点云在至少一种视角下的点云特征；根据各点云在至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别；其中，视角包括三维点云的点云视角、对三维点云进行栅格化处理之后形成的栅格化视角、将三维点云转换成环视图像之后形成的环视视角。基于上述方法，可以准确得到每个点云的语义类别，从而能够基于点云的语义类别准确地完成通用类别目标的语义分割。

Description

点云语义分割方法、计算机设备、存储介质及智能设备
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种点云语义分割方法、计算机设备、存储介质及智能设备。
背景技术
在对车辆进行自动驾驶控制时通常会利用激光雷达等雷达设备采集车辆周围环境中的点云数据，根据点云数据感知环境中障碍物的语义、位置和运动信息等，再根据感知结果对车辆进行控制，以保证车辆安全。传统的目标检测、跟踪与预测方法仅能够对机动车和行人等特定类别的目标进行语义分割，无法对通用类别（全场景下的各种类别）的目标进行语义分割，从而影响车辆自动驾驶的驾驶安全。
相应地，本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何准确地对通用类别的目标进行语义分割的技术问题的点云语义分割方法、计算机设备、存储介质及智能设备。
在第一方面，提供一种点云语义分割方法，所述方法包括：
获取三维点云中各点云在至少一种视角下的点云特征；
根据各点云在所述至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别；
其中，所述视角包括三维点云的点云视角、对三维点云进行栅格化处理之后形成的栅格化视角、将三维点云转换成环视图像之后形成的环视视角。
在上述点云语义分割方法的一个技术方案中，所述方法还包括通过以下方式获取所述各点云在所述栅格化视角下的点云特征：
获取对三维点云进行栅格化处理之后形成的各栅格的坐标和特征，根据所述各栅格的坐标和特征形成所述栅格化视角下的栅格视角特征；
采用预设的第一卷积网络，对所述栅格视角特征进行特征提取，以获取第一特征图；
分别获取所述各点云投影到所述第一特征图上的投影坐标，并获取所述第一特征图上每个投影坐标位置处的目标特征；
根据每个投影坐标位置处的目标特征，分别获取投影到每个投影坐标位置处的点云在所述栅格化视角下的点云特征。
在上述点云语义分割方法的一个技术方案中，所述预设的第一卷积网络包括三维稀疏卷积网络和俯视图卷积网络，所述采用预设的第一卷积网络，对所述栅格视角特征进行特征提取，包括：
采用所述三维稀疏卷积网络，对所述栅格视角特征进行特征提取，以获取初始特征图；
采用所述俯视图卷积网络，对所述初始特征图进行特征提取，以获取所述第一特征图。
在上述点云语义分割方法的一个技术方案中，所述获取所述第一特征图上每个投影坐标位置处的目标特征，包括：
针对每个投影坐标，根据所述投影坐标对所述第一特征图进行插值计算或最近邻采样，根据插值计算或最近邻采样的结果获取所述投影坐标位置处的目标特征。
在上述点云语义分割方法的一个技术方案中，所述方法还包括通过以下方式获取所述各点云在所述环视视角下的点云特征：
基于球面坐标系将所述三维点云投影成一个二维图像作为环视图像；
采用预设的第二卷积网络对所述环视图像进行特征提取，以获取第二特征图；
将所述第二特征图上的特征反投影至所述三维点云上，以获取反投影至所述三维点云中各点云位置处的特征；
根据所述反投影至所述三维点云中各点云位置处的特征，获取所述各点云在所述环视视角下的点云特征。
在上述点云语义分割方法的一个技术方案中，所述方法还包括通过以下方式获取所述各点云在所述点云视角下的点云特征：
分别获取所述各点云的点云信息；
采用预设的第三卷积网络，对所述各点云的点云信息进行特征提取，以获取所述各点云在所述点云视角下的点云特征。
在上述点云语义分割方法的一个技术方案中，所述根据各点云在所述至少一种视角下的点云特征进行语义分割，包括：
若根据各点云在多种视角下的点云特征进行语义分割，则分别对各点云在多种视角下的点云特征进行融合形成各点云的融合特征，并根据各点云的融合特征进行语义分割。
在上述点云语义分割方法的一个技术方案中，所述分别对各点云在多种视角下的点云特征进行融合形成各点云的融合特征，包括：
针对各点云，对所述点云在多种视角下的点云特征进行特征相加，根据特征相加的结果获取融合特征；
或者，针对各点云，对所述点云在多种视角下的点云特征进行特征拼接，根据特征拼接的结果获取融合特征；
或者，针对各点云，采用注意力机制对所述点云在多种视角下的点云特征进行注意力处理，根据注意力处理的结果获取融合特征。
在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述点云语义分割方法的技术方案中任一项技术方案所述的方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云语义分割方法的技术方案中任一项技术方案所述的方法。
在第四方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述点云语义分割方法的技术方案中任一项技术方案所述的方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请提供的点云语义分割方法技术方案中，可以获取三维点云中各点云在至少一种视角下的点云特征，根据各点云在所述至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别。其中，上述视角包括三维点云的点云视角、对三维点云进行栅格化处理之后形成的栅格化视角、将三维点云转换成环视图像之后形成的环视视角。基于上述实施方案，可以显著提高点云特征的特征表达能力，从而提高了根据点云特征进行语义分割的准确性。同时，上述实施方案可以获取到每一个点云的语义类别，实现了点云级别的语义感知，这样在进行目标检测时即使目标不是机动车和行人等特定类别，也可以根据目标占据的每一个点云的语义类别，准确地获取到这个目标的语义类别，克服了现有技术中无法对通用类别的目标进行语义分割的缺陷。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是根据本申请的一个实施例的点云语义分割方法的主要步骤流程示意图；
图2是根据本申请的一个实施例的获取点云在栅格化视角下的点云特征的方法的主要步骤流程示意图；
图3是根据本申请的一个实施例的获取点云在环视视角下的点云特征的方法的主要步骤流程示意图；
图4是根据本申请的一个实施例的获取点云在点云视角下的点云特征的方法的主要步骤流程示意图；
图5根据本申请的一个实施例的对预设的语义分割网络进行训练以及采用预设的语义分割网络进行训练进行语义分割的综合示意图；
图6是根据本申请的一个实施例的计算机设备的主要结构示意图。
图7是根据本申请的一个实施例的智能设备的主要结构示意图。
附图标记列表：
11：存储装置；12：处理器；21：存储器；22：处理器。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
下面对本申请提供的点云语义分割方法的实施例进行说明。
参阅附图1，图1是根据本申请的一个实施例的点云语义分割方法的主要步骤流程示意图。如图1所示，本申请实施例中的点云语义分割方法主要包括下列步骤S101至步骤S103。
步骤S101：获取三维点云中各点云在至少一种视角下的点云特征。其中，视角可以包括三维点云的点云视角、对三维点云进行栅格化处理之后形成的栅格化视角、将三维点云转换成环视图像之后形成的环视视角。
三维点云可以是环境感知设备采集的点云，环境感知设备为能够采集三维点云的设备，其包括但不限于激光雷达、毫米波雷达等。三维点云的三维坐标系可以为环境感知设备的设备坐标系，如激光雷达坐标系。
点云视角可以是以点云的三维坐标系形成的空间视角。
在本实施例中可以采用点云处理技术领域中常规的栅格化处理方法对三维点云进行栅格化处理，形成由多个栅格组成的栅格化空间，每个栅格仍然是三维的。例如，按照点云的三维坐标系中x、y和z轴三个维度进行划分形成多个栅格，一个栅格就是栅格化空间内的一个体素（Volume Pixel）。栅格化视角可以是这个栅格化空间的空间视角。
在本实施例中也可以采用常规的环视图像获取方法将三维点云转换成环视图像，环视视角可以是由环视图像的图像坐标系形成的空间视角。
步骤S102：根据各点云在上述至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别。
具体地，可以通过下列七种方式中任一种获取点云的语义类别。
1、根据三个视角的点云特征，获取语义类别。
2、根据点云视角和栅格化视角的点云特征，获取语义类别。
3、根据点云视角和环视视角的点云特征，获取语义类别。
4、根据栅格化视角和环视视角的点云特征，获取语义类别。
5、根据点云视角的点云特征，获取语义类别。
6、根据栅格化视角的点云特征，获取语义类别。
7、根据环视视角的点云特征，获取语义类别。
在采用上述第1至4种方式中任一种获取语义类别时，由于同时融合了点云在多个视角的特征，因而可以准确地获取到点云的语义类别。
在采用上述第5至7种方式中任一种获取语义类别时，虽然只利用了一种视角的点云特征，但是每一种视角的点云特征都具有较高的特征表达能力，基于此可以保证在无法获取到多种视角的点云特征的情况下，即使是根据一种视角的点云特征也能够获取到较为准确的语义类别。
基于上述步骤S101至步骤S102所述的方法，可以准确获取每一个点云的语义类别，基于此在对目标进行语义分割时无论目标是否为机动车和行人等特定类别，都可以根据目标占据的每一个点云的语义类别，准确地获取到这个目标的语义类别。此外，相比于在对三维点云进行栅格化处理形成多个栅格之后获取每个栅格的语义类别，上述方法可以得到每一个点云的语义类别，语义类别的粒度更加精细，从而能够更加准确地得到每个目标的语义类别。
在根据本申请实施例的一个应用场景中，车辆上安装有激光雷达，激光雷达可以采集周围环境中的三维点云。当需要对车辆进行自动驾驶控制时，可以采用根据本申请实施例的语义分割方法对激光雷达采集的三维点云进行语义分割得到每一个点云的语义类别，进而再根据点云的语义类别得到环境中每个目标的语义类别。其中，语义类别可以包括机动车和行人等特定类别，还可以包括锥桶、栏杆、纸箱等非特定类别。在得到环境中每个目标的语义类别之后，识别哪些是障碍物，哪些不是障碍物，根据障碍物的位置等信息规划车辆的行驶路径，控制车辆按照行驶路径自动驾驶。
下面对上述步骤S101和步骤S102作进一步说明。
一、对步骤S101进行说明。
下面分别对栅格化视角、环视视角和点云视角下点云特征的获取方法进行说明。
（一）栅格化视角的点云特征的获取方法
在上述步骤S101的一些实施方式中，可以通过图2所示的下列步骤S201至步骤S204，获取各点云在栅格化视角下的点云特征。
步骤S201：获取对三维点云进行栅格化处理之后形成的各栅格的坐标和特征，根据各栅格的坐标和特征形成栅格化视角下的栅格视角特征。
在此步骤中，可以将每个栅格的特征分别按照每个栅格的坐标分布设置，则可以形成栅格化视角下的栅格视角特征。也就是说，栅格视角特征的每个特征点是与每个栅格一一对应的，特征点的坐标是相应栅格的坐标，特征点的特征值是相应栅格的特征。
栅格的特征是能够从整体上反映或表征栅格内所有点云的特征信息。在一些实施方式中可以获取栅格内所有点云的特征均值，将该特征均值作为这个栅格的特征。基于此可以提高获取栅格特征的便捷性和准确性。
步骤S202：采用预设的第一卷积网络，对栅格视角特征进行特征提取，以获取第一特征图。
步骤S203：分别获取各点云投影到第一特征图上的投影坐标，并获取第一特征图上每个投影坐标位置处的目标特征。
投影坐标是指点云由其所在的三维坐标系投影到第一特征图上之后，在第一特征图上所在位置的坐标。
在对三维点云进行栅格化处理形成多个栅格之后，可以得到点云与栅格的对应关系，也就是，点云与栅格视角特征的特征点的对应关系。在对栅格视角特征进行特征提取得到第一特征图之后，可以得到栅格视角特征与第一特征图的对应关系。根据这两个对应关系可以将点云由其所在的三维坐标系投影到第一特征图上，得到点云在第一特征图上的投影坐标。
步骤S204：根据每个投影坐标位置处的目标特征，分别获取投影到每个投影坐标位置处的点云在栅格化视角下的点云特征。
在本实施方式中，可以将目标特征作为点云在栅格化视角下的点云特征。
基于上述步骤S201至步骤S204所述的方法，可以利用栅格化处理形成的每个栅格的特征，准确获取到点云在栅格化视角下的点云特征。
下面对上述步骤S201和步骤S203作进一步说明。
1、对步骤S201进行说明。
在上述步骤S201的一些实施方式中，预设的第一卷积网络可以包括三维稀疏卷积网络和俯视图卷积网络，同时可以通过下列步骤S2011至步骤S2012，获取第一特征图。
步骤S2011：采用三维稀疏卷积网络，对栅格视角特征进行特征提取，以获取初始特征图。
步骤S2012：采用俯视图卷积网络，对初始特征图进行特征提取，以获取第一特征图。利用俯视图卷积网络可以得到在俯视图视角下的特征图。第一特征图的张量为(H,W,C)，H、W表示纵向和横向的感知范围，C表示特征通道的维度。
在一些实施方式中，俯视图卷积网络可以包括二维卷积，利用二维卷积对初始特征图进行特征提取，得到新的特征图。此外，俯视图卷积网络还可以包括上采样层，可以通过上采样层对二维卷积提取到的新的特征图进行上采样操作，将经过上采样操作的特征图作为第一特征图。
基于上述步骤S2011至步骤S2012所述的方法，可以将栅格视角特征再次转换到俯视图视角下，实现了特征视角的进一步转换，这样在后续融合点云在多个视角的特征信息时能够进一步提高融合特征的特征表达能力，从而更加准确地获取到点云的语义类别。
2、对步骤S203进行说明。
在上述步骤S203的一些实施方式中，针对每个投影坐标，根据投影坐标对第一特征图进行插值计算或最近邻采样，根据插值计算或最近邻采样的结果获取投影坐标位置处的目标特征。
在本实施方式中可以采用常规的插值计算方法或最近邻采样方法，本实施方式不对这两种方法的具体实现过程进行赘述。
（二）环视视角的点云特征的获取方法
在上述步骤S101的一些实施方式中，可以通过图3所示的下列步骤S301至步骤S304，获取各点云在环视视角下的点云特征。
步骤S301：基于球面坐标系将三维点云投影成一个二维图像作为环视图像。
在本实施方式中可以采用点云处理技术领域中常规的球面投影方法，将三维点云通过球面投影转换成二维图像，本发明不对上述投影方法作具体限定，只要能够利用球面坐标系，将三维点云投影成二维图像即可。
步骤S302：采用预设的第二卷积网络对环视图像进行特征提取，以获取第二特征图。
第二特征图是具有环视图像的环视坐标索引的特征图。
第二卷积网络可以包括二维卷积，利用二维卷积对环视图像进行特征提取，得到特征图。此外，第二卷积网络还可以包括上采样层，可以通过上采样层对二维卷积提取到的特征图进行上采样操作，将经过上采样操作的特征图作为第二特征图。
步骤S303：将第二特征图上的特征反投影至三维点云上，以获取反投影至三维点云中各点云位置处的特征。
在本实施方式中可以根据三维点云与环视图像在通过球面坐标系投影时建立的投影关系，将第二特征图上的特征反投影至三维点云上。
步骤S304：根据反投影至三维点云中各点云位置处的特征，获取各点云在环视视角下的点云特征。例如，可以将反投影至三维点云中各点云位置处的特征，分别作为各点云在环视视角下的点云特征。
基于上述步骤S301至步骤S304所述的方法，可以利用球面坐标系进行投影与反投影，准确得到点云在环视视角下的点云特征。
（二）点云视角的点云特征的获取方法
在上述步骤S101的一些实施方式中，可以通过图4所示的下列步骤S401至步骤S402，获取各点云在点云视角下的点云特征。
步骤S401：分别获取各点云的点云信息。
点云信息包括但不限于点云的坐标、反射率、延长率、产生该点云的激光光线（或激光光束）的线号等。
步骤S402：采用预设的第三卷积网络，对各点云的点云信息进行特征提取，以获取各点云在点云视角下的点云特征。
第三卷积网络可以包括一维卷积，利用一维卷积对各点云的点云信息进行特征提取，得到每一个点云在点云视角下的点云特征。
基于上述步骤S401至步骤S402所述的方法，可以利用卷积网络便捷且准确地得到每一个点云在点云视角下的点云特征。
二、对步骤S102进行说明。
在上述步骤S102的一些实施方式中，可以通过下列步骤S1021至步骤S1023，并根据点云特征进行语义分割。
步骤S1021：判断是根据各点云在一种还是多种视角的点云特征进行语义分割；若根据一种视角的点云特征进行语义分割，则转至步骤S1022；若根据多种视角的点云特征进行语义分割，则转至步骤S1023。
步骤S1022：直接根据点云特征进行语义分割。由于只根据一种视角的点云特征进行语义分割，因此不需要获取其他视角的点云特征，根据这一种视角的点云特征进行语义分割即可。
步骤S1023：分别对各点云在多种视角内的点云特征进行融合形成各点云的融合特征，并根据各点云的融合特征进行语义分割。
在一些实施方式中可以采用特征相加、特征拼接和基于注意力机制进行特征相加，这三种方法中任一种方法对点云特征进行融合，下面分别对这三种方法进行说明。
1、特征相加
针对各点云，可以对点云在多种视角下的点云特征进行特征相加，根据特征相加的结果获取融合特征。例如，一个点云在点云视角、栅格化视角、环视视角的点云特征的特征张量分别是N1*C1、N2*C2、N3*C3，C1、C2、C3表示通道数且C1=C2=C3，对这三个点云特征进行特征相加时可以按位相加，得到融合特征的特征张量为N*C，N由N1、N2、N3中的特征按位相加得到的，C表示通道数且C= C1=C2=C3。
2、特征拼接
针对各点云，也可以对点云在多种视角下的点云特征进行特征拼接，根据特征拼接的结果获取融合特征。继续参阅前面的例子，对上述三个点云特征进行特征拼接时可以对通道数这个维度进行拼接，得到融合特征的特征张量为N*C，C C1+C2+C3。
3、基于注意力机制进行特征相加
针对各点云，可以采用注意力机制对点云在多种视角下的点云特征进行注意力处理，根据注意力处理的结果获取融合特征。
具体地，可以采用注意力机制得到点云在每种视角下的点云特征的权重，将点云特征与相应的权重相乘，再将每种视角下的点云特征对应的乘积相加，得到融合特征。其中，相加的方法与前述第1点中特征相加的方法相同，在此不再赘述。
基于上述步骤S1021至步骤S1023所述的方法，可以采用多种不同的融合方式对多种视角下的点云特征进行融合，提高了特征融合的灵活性和便捷性。在一些实施方式中，在通过上述步骤S1021至步骤S1023所述的方法得到融合特征之后，还可以将融合特征输入到由一层卷积组成的特征融合网络进行处理，以获取每个点云最终的融合特征。
在上述步骤S102的一些实施方式中，可以采用预设的语义分割网络，根据各点云在至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别。在本实施方式中可以采用人工智能技术领域中常规结构的网络（如卷积神经网络等）构建语义分割网络，本实施方式不对其网络结构作具体限定。
下面结合附图5，对预设的语义分割网络的训练以及采用预设的语义分割网络进行语义分割的过程进行简单说明。
如图5所示，在得到激光雷达点云之后，分别通过点云栅格特征提取支路、点云环视特征提取支路、点云特征提取支路，得到逐点栅格特征（也即前述实施例中各点云在栅格化视角的点云特征）、逐点环视特征（也即前述实施例中各点云在环视视角的点云特征）、逐点特征（也即前述实施例中各点云在点云视角的点云特征），然后对逐点栅格特征、逐点环视特征、逐点特征进行多视角特征融合，得到逐点融合特征（也即前述实施例中各点云的融合特征），将逐点融合特征输入到点云语义输出头（也即预设的语义分割网络）进行语义分割并输出点云语义。其中，点云语义的语义类别包括但不限于车、人、骑车人、路沿、灯杆、道路标识牌等。
此外，在得到激光雷达点云之后，还可以获取点云语义真值，根据该点云语义真值和上述输出头输出的语义类别计算损失函数的损失值，根据损失值计算网络参数的参数梯度，根据参数梯度反向传播更新网络参数，完成一次训练。需要说明的是，获取点云语义真值这个步骤可以在训练之前完成，开始训练之后直接使用激光雷达点云及其点云语义真值即可。在一些实施方式中，点云语义真值可以由人工标注得到，损失函数可以采用交叉熵损失函数。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本申请的另一方面还提供了一种计算机设备。
在根据本申请的一个计算机设备的实施例中，计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的点云语义分割方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的点云语义分割方法的程序。本申请所述的计算机设备，可以包括点云语义分割等。参阅附图6，图6中示例性地示出了存储装置11和处理器12通过总线通信连接。为了便于说明，仅示出了与本实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。
在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
本申请的另一方面还提供了一种计算机可读存储介质。
在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云语义分割方法的程序，该程序可以由处理器加载并运行以实现上述点云语义分割方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备。
在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图7，图7中示例性地示出了存储器21和处理器22通过总线通信连接。
在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶***，自动驾驶***用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶***通信，用于完成上述任一实施例所述的方法。
至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (11)

1.一种点云语义分割方法，其特征在于，所述方法包括：
获取三维点云中各点云在至少一种视角下的点云特征；
根据各点云在所述至少一种视角下的点云特征进行语义分割，以分别获取各点云的语义类别；
其中，
所述视角包括三维点云的点云视角、对三维点云进行栅格化处理之后形成的栅格化视角、将三维点云转换成环视图像之后形成的环视视角。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括通过以下方式获取所述各点云在所述栅格化视角下的点云特征：
获取对三维点云进行栅格化处理之后形成的各栅格的坐标和特征，根据所述各栅格的坐标和特征形成所述栅格化视角下的栅格视角特征；
采用预设的第一卷积网络，对所述栅格视角特征进行特征提取，以获取第一特征图；
分别获取所述各点云投影到所述第一特征图上的投影坐标，并获取所述第一特征图上每个投影坐标位置处的目标特征；
根据每个投影坐标位置处的目标特征，分别获取投影到每个投影坐标位置处的点云在所述栅格化视角下的点云特征。
3.根据权利要求2所述的方法，其特征在于，所述预设的第一卷积网络包括三维稀疏卷积网络和俯视图卷积网络，所述采用预设的第一卷积网络，对所述栅格视角特征进行特征提取，包括：
采用所述三维稀疏卷积网络，对所述栅格视角特征进行特征提取，以获取初始特征图；
采用所述俯视图卷积网络，对所述初始特征图进行特征提取，以获取所述第一特征图。
4.根据权利要求2所述的方法，其特征在于，所述获取所述第一特征图上每个投影坐标位置处的目标特征，包括：
针对每个投影坐标，根据所述投影坐标对所述第一特征图进行插值计算或最近邻采样，根据插值计算或最近邻采样的结果获取所述投影坐标位置处的目标特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括通过以下方式获取所述各点云在所述环视视角下的点云特征：
基于球面坐标系将所述三维点云投影成一个二维图像作为环视图像；
采用预设的第二卷积网络对所述环视图像进行特征提取，以获取第二特征图；
将所述第二特征图上的特征反投影至所述三维点云上，以获取反投影至所述三维点云中各点云位置处的特征；
根据所述反投影至所述三维点云中各点云位置处的特征，获取所述各点云在所述环视视角下的点云特征。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括通过以下方式获取所述各点云在所述点云视角下的点云特征：
分别获取所述各点云的点云信息；
采用预设的第三卷积网络，对所述各点云的点云信息进行特征提取，以获取所述各点云在所述点云视角下的点云特征。
7. 根据权利要求1所述的方法，其特征在于，所述根据各点云在所述至少一种视角下的点云特征进行语义分割，包括：
若根据各点云在多种视角下的点云特征进行语义分割，则分别对各点云在多种视角下的点云特征进行融合形成各点云的融合特征，并
根据各点云的融合特征进行语义分割。
8.根据权利要求7所述的方法，其特征在于，所述分别对各点云在多种视角下的点云特征进行融合形成各点云的融合特征，包括：
针对各点云，对所述点云在多种视角下的点云特征进行特征相加，根据特征相加的结果获取融合特征；
或者，
针对各点云，对所述点云在多种视角下的点云特征进行特征拼接，根据特征拼接的结果获取融合特征；
或者，
针对各点云，采用注意力机制对所述点云在多种视角下的点云特征进行注意力处理，根据注意力处理的结果获取融合特征。
9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的点云语义分割方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的点云语义分割方法。
11.一种智能设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至8中任一项所述的点云语义分割方法。
CN202311715587.XA 2023-12-13 2023-12-13 点云语义分割方法、计算机设备、存储介质及智能设备 Pending CN117541796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311715587.XA CN117541796A (zh) 2023-12-13 2023-12-13 点云语义分割方法、计算机设备、存储介质及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311715587.XA CN117541796A (zh) 2023-12-13 2023-12-13 点云语义分割方法、计算机设备、存储介质及智能设备

Publications (1)

Publication Number Publication Date
CN117541796A true CN117541796A (zh) 2024-02-09

Family

ID=89793850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311715587.XA Pending CN117541796A (zh) 2023-12-13 2023-12-13 点云语义分割方法、计算机设备、存储介质及智能设备

Country Status (1)

Country Link
CN (1) CN117541796A (zh)

Similar Documents

Publication Publication Date Title
CN110286387B (zh) 应用于自动驾驶***的障碍物检测方法、装置及存储介质
US11568548B2 (en) Methods and systems for data visualization
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN109993192B (zh) 目标对象识别方法及装置、电子设备、存储介质
CN111339996B (zh) 静态障碍物的检测方法、装置、设备及存储介质
CN115273039B (zh) 一种基于摄像头的小障碍物探测方法
CN115164919B (zh) 基于双目相机的空间可行驶区域地图构建方法及装置
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN114966651A (zh) 可行驶区域检测方法、计算机设备、存储介质及车辆
CN117437512A (zh) 一种目标检测方法、装置、设备及可读存储介质
CN117422629B (zh) 一种实例感知的单目语义场景补全方法、介质及设备
CN113421217A (zh) 可行驶区域检测方法和装置
CN117392181A (zh) 运动信息的预测方法、计算机设备、存储介质及智能设备
CN117830411A (zh) 跨模态定位方法、智能设备及存储介质
CN114743001B (zh) 语义分割方法、装置、电子设备及存储介质
CN117541796A (zh) 点云语义分割方法、计算机设备、存储介质及智能设备
CN115205846A (zh) 三维目标检测方法、计算机设备、存储介质及车辆
CN118172616B (zh) 点云噪点分类方法、可读存储介质及智能设备
CN117173693B (zh) 3d目标检测方法、电子设备、介质以及驾驶设备
US20230177737A1 (en) Systems and method for adaptive filtering in patch generation for video-based point cloud coding
CN109636841B (zh) 车道线生成方法和装置
CN116558540B (zh) 模型训练方法和装置、轨迹生成方法和装置
CN117392393A (zh) 点云语义分割方法、计算机设备、存储介质及智能设备
CN116660933A (zh) 一种遮挡状态的确定方法、设备、车辆及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination