CN115984583A - 数据处理方法、装置、计算机设备、存储介质和程序产品 - Google Patents
数据处理方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN115984583A CN115984583A CN202211722555.8A CN202211722555A CN115984583A CN 115984583 A CN115984583 A CN 115984583A CN 202211722555 A CN202211722555 A CN 202211722555A CN 115984583 A CN115984583 A CN 115984583A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- voxel
- pixel
- cloud data
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种数据处理方法、装置、计算机设备、存储介质和程序产品。所述方法包括：获取目标区域的点云数据；将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。采用本方法能够提升数据处理效率。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和程序产品。
背景技术
激光雷达目前已经越来越多的应用于各行各业。以自动驾驶为例，激光雷达作为车辆的“眼睛”，可以对车辆的行驶环境进行感知，探测车辆行驶过程中的路况和障碍物，具有极其重要的作用。
激光雷达所产生的点云数据包含众多信息，其数据量非常庞大，相关技术中，利用点云数据进行点云分割或者目标检测时，在模型训练阶段，通常基于大量带标注的点云数据进行监督学习。
然而，上述方式存在数据处理效率低下的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升数据处理效率的数据处理方法、装置、计算机设备、存储介质和程序产品。
第一方面，本申请提供了一种数据处理方法。所述方法包括：
获取目标区域的点云数据；
将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
在其中一个实施例中，所述方法还包括：
获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
在其中一个实施例中，所述根据所述样本图像获取各所述超像素对应的超像素特征，包括：
将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；
从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
在其中一个实施例中，所述根据所述样本点云数据获取各所述超像素对应的点云特征，包括：
将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
在其中一个实施例中，所述根据各所述初始体素特征获取各所述超像素对应的所述点云特征，包括：
根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；
从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
在其中一个实施例中，所述方法还包括：
对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在其中一个实施例中，所述方法还包括：
根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在其中一个实施例中，所述方法还包括：
将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
第二方面，本申请还提供了一种数据处理装置。所述装置包括：
第一获取模块，用于获取目标区域的点云数据；
处理模块，用于将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
上述数据处理方法、装置、计算机设备、存储介质和程序产品，通过获取目标区域的点云数据，而后，将该点云数据输入至特征提取网络中，得到该点云数据中各体素点云对应的体素特征，各体素点云是对该点云数据进行体素分割得到的，各体素特征用于对该点云数据进行点云分割处理或者目标检测处理，且该特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的，这样，本申请实施例在特征提取网络的训练阶段，不必对作为训练样本的点云数据(以下称之为样本点云数据)人工添加大量的标注标签，而是将样本点云数据和样本图像结合进行自监督学习，具体是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习，从而提升了特征提取网络的训练效率，进而提升了基于该特征提取网络对点云数据进行特征提取以及后续的点云分割处理或者目标检测处理的数据处理效率。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中训练特征提取网络的流程示意图；
图4为一个实施例中样本图像以及对样本图像进行超像素分割得到各超像素的示意图；
图5为一个实施例中获取各超像素对应的超像素特征的流程示意图；
图6为一个实施例中获取各超像素对应的点云特征的流程示意图；
图7为一个实施例中步骤602的流程示意图；
图8为一个实施例中样本点云数据与样本图像的映射对应关系示意图；
图9为一个实施例中特征提取网络的训练过程框图；
图10为一个实施例中对样本图像进行全景分割得到的分割结果示意图；
图11为一个实施例中数据处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
激光雷达(Light Detection And Ranging，LiDAR)提供了关于3D世界的丰富信息，目前已经越来越多的应用于各行各业。以自动驾驶为例，激光雷达作为车辆的“眼睛”，可以对车辆的行驶环境进行感知，探测车辆行驶过程中的路况和障碍物，因此，理解激光雷达所产生的点云数据对于车辆在不同外部条件下的安全行驶至关重要。
激光雷达所产生的点云数据包含众多信息，其数据量非常庞大，相关技术中，利用点云数据进行点云分割(或称之为语义分割)或者目标检测时，通常需要用到特征提取网络+预测网络/目标检测网络的网络结构，在特征提取网络的模型训练阶段，通常基于大量带标注的点云数据进行监督学习。然而，标注点云数据是一项耗时且成本高昂的任务，该种训练特征提取网络的方式存在数据处理效率低下的问题。
鉴于此，本申请实施例提供一种数据处理方法，通过获取目标区域的点云数据，而后，将该点云数据输入至特征提取网络中，得到该点云数据中各体素点云对应的体素特征，各体素点云是对该点云数据进行体素分割得到的，各体素特征用于对该点云数据进行点云分割处理或者目标检测处理，且该特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的，这样，本申请实施例在特征提取网络的训练阶段，不必对作为样本的点云数据(以下称之为样本点云数据)人工添加大量的标注标签，而是将样本点云数据和样本图像结合进行自监督学习，具体是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习，从而提升了特征提取网络的训练效率，进而提升了基于该特征提取网络对点云数据进行特征提取以及后续的点云分割处理或者目标检测处理的数据处理效率。
下面，对本申请实施例提供的数据处理方法所涉及到的实施环境进行简要说明。
示例性地，本申请实施例提供的数据处理方法可以用于图1所示的计算机设备中，该计算机设备可以是终端或者服务器。本申请实施例的内部结构图可以如图1所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据处理数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，本申请实施例提供的数据处理方法，其执行主体还可以是数据处理装置，该数据处理装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
在一个实施例中，如图2所示，提供了一种数据处理方法，包括以下步骤：
步骤201，计算机设备获取目标区域的点云数据。
以该数据处理方法用于自动驾驶场景为例：计算机设备可以是终端，例如可以是驾驶人员的终端，当然还可以是车辆中的相关控制器；车辆中还部署有激光雷达，上述目标区域即为激光雷达所覆盖的扫描区域。
这样，车辆在行驶过程中，计算机设备则可以获取激光雷达扫描得到的目标区域的点云数据，点云数据中包括众多信息，例如包括三维坐标(XYZ)、激光反射强度以及颜色信息。
步骤202，计算机设备将点云数据输入至特征提取网络中，得到点云数据中各体素点云对应的体素特征。
该特征提取网络是预先训练得到的，本申请实施例中，将样本点云数据(即作为训练样本的点云数据)和样本图像(作为训练样本的图像)结合进行自监督学习得到特征提取网络，该样本点云数据和样本图像均是针对同一样本区域采集的。
作为一种实施方式，以样本图像中划分的各个超像素为基础，根据样本图像得到各超像素的超像素特征，再根据样本点云数据得到各超像素的点云特征、超像素特征即像素维度的特征，点云特征即点云维度的特征，然后根据得到的特征进行对比学习，即特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
该特征提取网络在训练过程中，通过对比学***x-y方向进行均匀分割，对样本点云数据进行体素分割即是指将样本点云数据中的所有点沿水平x-y方向进行均匀分割，Z方向不做分割，这样，各个样本体素点云即是指体素分割后每一个单位柱状体内的所有点的点云数据集合。
关于特征提取网络具体的训练过程，将在下文实施例进行详细说明，在此不再赘述。
这样，计算机设备获取到目标区域的点云数据之后，计算机设备将该点云数据输入至特征提取网络中，得到点云数据中各体素点云对应的体素特征，各体素点云是对点云数据进行体素分割得到的，即通过特征提取网络对该点云数据进行体素分割，得到各体素点云，然后，对各体素点云进行特征提取，得到各体素点云对应的体素特征。
本申请实施例中，各体素特征用于对点云数据进行点云分割处理或者目标检测处理，点云分割处理是指对点云数据进行体素分割得到各体素点云以及对各体素点云输出对应的预测类别，目标检测处理是指以目标位置框的形式输出点云数据中目标的位置。
由于点云数据是空间的三维数据，因此该特征提取网络为3D Backbone(骨干网络)，在实际应用过程中，可以依据业务需求，选择对应的3D Head(头部网络)，连接在特征提取网络之后，形成3D Backbone+3D Head的网络架构，实现所需的具体功能，例如实现点云分割功能或者目标检测功能。
上述实施例通过获取目标区域的点云数据，而后，将该点云数据输入至特征提取网络中，得到该点云数据中各体素点云对应的体素特征，各体素点云是对该点云数据进行体素分割得到的，各体素特征用于对该点云数据进行点云分割处理或者目标检测处理，且该特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的，这样，本申请实施例在特征提取网络的训练阶段，不必对作为训练样本的点云数据(以下称之为样本点云数据)人工添加大量的标注标签，而是将样本点云数据和样本图像结合进行自监督学习，具体是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习，从而提升了特征提取网络的训练效率，进而提升了基于该特征提取网络对点云数据进行特征提取以及后续的点云分割处理或者目标检测处理的数据处理效率。
在一个实施例中，基于图2所示的实施例，本实施例涉及的是特征提取网络的训练过程。参见图3，该过程包括步骤301、步骤302和步骤303：
步骤301，计算机设备获取针对样本区域的样本图像以及样本点云数据，并对样本图像进行超像素分割，得到各超像素。
需要说明的是，在特征提取网络的训练阶段，考虑到数据处理量大，计算机设备可以是服务器，该服务器可以是单个服务器，也可以是多个服务器组成的服务器集群。
本申请实施例中，样本图像可以通过相机对样本区域进行图像采集得到，样本点云数据可以通过激光雷达对样本区域进行激光扫描得到，该样本区域可以是相机和激光雷达所覆盖的任意区域，该样本图像的数量可以是多个。
示例性地，假设有C个样本图像，样本图像表示为I1,...,Ic，样本图像可以是三通道的RGB图像；样本点云数据中假设有n个点，样本点云数据表示为P＝(pi)i＝1,...,n，样本点云数据中的每个点都可以包括多维信息，例如可以包括六维信息：三维坐标(XYZ)、激光反射强度、颜色信息以及法向量，等等。
接着，在一种可能的实施方式中，计算机设备对样本图像进行超像素分割，本申请实施例中，可以利用SLIC(simple linear iterative clustering，简单线性迭代聚类)算法进行超像素分割，得到超像素分割结果，即得到Q个超像素
超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。
示例性地，参见图4，图4为一种示例性地样本图像以及对样本图像进行超像素分割得到各超像素的示意图，图4仅示例性地指示出了三个超像素，可以理解的是，图4中的每个封闭区域均是一个超像素。
步骤302，计算机设备根据样本图像获取各超像素对应的超像素特征，并根据样本点云数据获取各超像素对应的点云特征。
首先，对计算机设备根据样本图像获取各超像素对应的超像素特征的过程进行介绍。
示例性地，参见图5，计算机设备可以执行图5所示的步骤501和步骤502实现根据样本图像获取各超像素对应的超像素特征的过程：
步骤501，计算机设备将样本图像输入至神经网络模型中，得到样本图像对应的像素特征。
该神经网络模型例如可以是残差神经网络，如ResNet-50，计算机设备将样本图像I1,...,Ic输入至ResNet-50中得到初始像素特征g(I1),...,g(Ic)，该ResNet-50使用了在Image Net数据集上用自监督模型Mocov2预训练得到的权重。
由于样本图像是平面的二维数据，因此该神经网络模型为2D Backbone，或称之为2D pre trained(经过预先训练的)Backbone，接着，计算机设备对初始像素特征g(I1),...,g(Ic)通过2D Head上采样至一个特定维度得到样本图像对应的像素特征g′(I1),...,g′(Ic)。
步骤502，计算机设备从像素特征中确定各超像素分别对应的目标像素特征，并分别对各目标像素特征进行池化处理，得到各超像素特征。
计算机设备将步骤501得到的像素特征g′(I1),...,g′(Ic)按照超像素进行池化，得到每个超像素对应的超像素特征g′S1(I1),...,g′SQ(I1),...,g′S1(Ic),...,g′SQ(Ic)，即每个样本图像中的每个超像素均会得到对应的超像素特征。
由于超像素中包含多个相似纹理、颜色、亮度等特征的相邻像素，本申请实施例中，计算机设备可以从步骤501得到的像素特征中确定各超像素分别对应的目标像素特征，例如，超像素1中包含100个像素，计算机设备则从像素特征中确定该100个像素分别对应的特征作为目标像素特征，然后对目标像素特征进行池化处理，例如可以是求均值处理，得到该超像素对应的超像素特征。
上述过程即为计算机设备根据样本图像获取各超像素对应的超像素特征的过程，记着，对计算机设备根据样本点云数据获取各超像素对应的点云特征的过程进行介绍。示例性地，参见图6，计算机设备可以执行图6所示的步骤601和步骤602实现根据样本点云数据获取各超像素对应的点云特征的过程：
步骤601，计算机设备将样本点云数据输入至初始特征提取网络中，得到样本点云数据中各初始体素点云对应的初始体素特征。
该初始特征提取网络可以是参数初始化的3D Backbone骨干网络，例如可以是参数初始化的pillar-based 3D网络，计算机设备将样本点云数据输入至该pillar-based 3D网络中，通过pillar-based 3D网络对样本点云数据进行体素分割得到各初始体素点云，然后进行特征提取得到各初始体素点云对应的初始体素特征：Pillar特征f(P)。
需要说明的是，本申请实施例可以使用任意pillar-based的3D backbone。
不同于现有技术中常见point-based的模型，本申请实施例使用的3D网络为pillar-based，这种结构的网络在训练中计算量更小、耗时更少。
步骤602，计算机设备根据各初始体素特征获取各超像素对应的点云特征。
计算机设备将步骤601得到的各初始体素特征按照超像素进行池化，得到每个超像素对应的点云特征。
在一种可能的实施方式中，参见图7，步骤602可以包括图7所示的步骤6021和步骤6022：
步骤6021，计算机设备根据样本点云数据与样本图像之间的坐标映射关系，将各初始体素特征投影至像素特征所在的坐标系，得到中间体素特征。
激光雷达和相机处于不同的坐标系中，因此其获取的数据也处于不同的坐标系，计算机设备可以根据激光雷达和相机之间的位姿关系，将激光雷达输出的点投影到相机输出的图像的坐标系中。本申请实施例中，计算机设备可以根据激光雷达和相机之间的位姿关系，建立样本点云数据与样本图像之间的坐标映射关系，这样，对于样本点云数据中的每个3D点pi，通过该坐标映射关系的映射，可以得到其在样本图像所在的像素坐标系中的像素坐标(u,v)，而在相机的摄像头中看不到的3D点其对应的像素坐标则为0。
示例性地，参见图8，图8为一种示例性地将样本点云数据映射到样本图像对应关系示意图。
这样，计算机设备可以根据该坐标映射关系，将各初始体素特征投影至像素特征所在的坐标系，得到中间体素特征，该中间体素特征即与样本图像、像素特征处于相同的像素坐标系。
步骤6022，计算机设备从中间体素特征中确定各超像素分别对应的目标体素特征，并分别对各目标体素特征进行池化处理，得到各点云特征。
计算机设备将步骤6021得到的中间体素特征按照超像素进行池化，得到每个超像素对应的点云特征。
示例性地，步骤2022之前，计算机设备还可以对中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与像素特征的特征维度相同。
即初始特征提取网络作为3D Backbone得到样本点云数据中各初始体素点云对应的初始体素特征：Pillar特征f(P)，而后，再通过3D Head将Pillar特征f(P)下采样到与像素特征的特征维度相同的维度，得到f′(P)。
这样，从中间体素特征中确定各超像素分别对应的目标体素特征包括：计算机设备从下采样处理后的中间体素特征中确定各超像素分别对应的目标体素特征。即，计算机设备将f′(P)按照超像素进行池化，得到每个超像素对应的点云特征。
由于激光雷达的扫描范围通常大于相机的覆盖范围，因此，激光雷达输出的样本点云数据对应的区域范围大于相机输出的样本图像对应的区域范围，因此，示例性地，步骤2022之前，计算机设备还可以根据上述坐标映射关系，从中间体素特征中剔除无效点特征，得到剔除后的中间体素特征fT′(P)，无效点特征即是相机未覆盖区域对应的点特征，该fT′(P)即为有效点特征。这样，从中间体素特征中确定各超像素分别对应的目标体素特征包括：计算机设备从剔除后的中间体素特征中确定各超像素分别对应的目标体素特征。接着，计算机设备将各超像素分别对应的目标体素特征进行池化，得到每个超像素对应的点云特征。
步骤303，计算机设备基于各超像素特征以及各点云特征进行对比学习，得到特征提取网络。
计算机设备得到根据样本图像获取各超像素对应的超像素特征，并根据样本点云数据获取各超像素对应的点云特征之后，基于各超像素特征以及各点云特征进行对比学习，即基于各超像素特征以及各点云特征训练初始特征提取网络，得到特征提取网络，使得特征提取网络学习到有效的3D表示。
相关技术中，在真实点云上工作的3D神经网络技术大多适用于具有密集点云的室内场景，这种方式在处理稀疏点云时存在如下缺点：需要构造点云对或者图像像素-点云对，对大量成对关系进行处理，消耗大量计算空间和时间，而且无法处理自动驾驶数据这种大型的稀疏的点云数据，适配模型只有point-based的3D模型，有一定局限性。
整体而言，本申请实施例中，参见图9，图9为一种示例性地特征提取网络的训练过程示意图，针对自动驾驶场景中多传感器(激光雷达和相机)融合的场景特点，设计了一种自监督预训练方法，利用车辆中的激光雷达和相机，将自监督预训练的2D Backbone蒸馏进3D Backbone中，得到特征提取网络。且本申请实施例特征提取网络的训练过程不需要任何点云或图像标注，且使用超像素，用于分割在视觉上相似的区域集合3D点特征和2D像素特征，然后训练3D Backbone完成自监督任务，将超像素的点特征和像素特征进行匹配，其中，使用超像素的点特征和像素特征可以极大缓解计算空间和时间的消耗。另外，不同于现有技术中常见point-based的模型，本申请实施例使用的3D网络为pillar-based，这种结构的网络在训练中计算量更小、耗时更少。
在其他可能的实施方式中，上述步骤301中计算机设备对样本图像进行超像素分割，得到各超像素的步骤，也可以利用如下步骤B替换：
步骤B，计算机设备对样本图像进行全景分割，得到各超像素。
全景分割结合了实例分割和语义分割，不仅对样本图像上所有的物体都进行了分割，并且将相同类别的不同物体都单独区分了出来，这种超像素生成方式更加接近预训练中对超像素的假设：每一个超像素是样本图像上的单个物体。
本申请实施例中，全景分割模型可以是PanopticFPN，其使用ResNet101和特征金字塔网络(Feature Pyramid Network)提取不同层级的图像特征，然后通过两个不同的分支分别基于图片特征输出实例分割和语义分割的结果，最后再混合两个分支的结果输出全景分割结果。
示例性地，参见图10，图10为一种示例性地对样本图像进行全景分割的分割结果示意图。
相较于超像素分割简单地基于图像的颜色和线条来划分超像素。而PanopticFPN全景分割模型是全监督地在COCO-panoptic数据集上训练，大量学习了不同日常物体在图片上的特点。经过如此学习的模型，将更能准确的对自动驾驶场景下的图像生成合理的超像素分割，有助于后续准确的预训练。
在一个实施例中，基于图2所示的实施例，本实施数据处理方法还包括步骤A：
步骤A，计算机设备将各体素特征输入至预测网络中，得到各体素点云对应的预测类别。
预测网络即上述的3D Head，预测网络是利用特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的，该点云训练样本可以是少量包含标注的点云数据。微调，是指根据与预测网络的使用场景高度类似的数据集上进行额外训练，可以使预测网络的的参数更加适配所需任务，达到更优效果。
这样，通过自监督预训练特征提取网络，然后再微调得到预测网络，可以缓解点云分割处理(或称之为点云语义分割)和目标检测任务中标注样本少的问题，并且可以有效利用大量无标注数据提升任务的精度。另外，自监督通过利用大量的无标注数据来预训练特征提取网络，随后在少量的有标注数据集上进行微调，以取得与监督训练相似甚至更好的效果，从而减少了标注大型数据集的负担，加速模型的的迭代速度，推动自动驾驶的快速演进，可以很好地迁移到各种复杂的下游任务。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种数据处理装置，包括：
第一获取模块1101，用于获取目标区域的点云数据；
处理模块1102，用于将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
在其中一个实施例中，所述装置还包括：
第二获取模块，用于获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
第三获取模块，用于根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
训练模块，用于基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
在其中一个实施例中，所述第三获取模块包括：
第一获取单元，用于将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
在其中一个实施例中，所述第三获取模块还包括：
第二获取单元，用于将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
第三获取单元，用于根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
在其中一个实施例中，所述第三获取单元具体用于根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
在其中一个实施例中，所述装置还包括：
下采样模块，用于对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述第三获取单元具体用于从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在其中一个实施例中，所述装置还包括：
剔除模块，用于根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述第三获取单元具体用于从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在其中一个实施例中，所述装置还包括：
预测模块，用于将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标区域的点云数据；
将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；
从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；
从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标区域的点云数据；
将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；
从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；
从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标区域的点云数据；
将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；
从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；
从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种数据处理方法，其特征在于，所述方法包括：
获取目标区域的点云数据；
将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取针对样本区域的所述样本图像以及样本点云数据，并对所述样本图像进行超像素分割，得到各所述超像素；
根据所述样本图像获取各所述超像素对应的超像素特征，并根据所述样本点云数据获取各所述超像素对应的点云特征；
基于各所述超像素特征以及各所述点云特征进行对比学习，得到所述特征提取网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本图像获取各所述超像素对应的超像素特征，包括：
将所述样本图像输入至神经网络模型中，得到所述样本图像对应的像素特征；
从所述像素特征中确定各所述超像素分别对应的目标像素特征，并分别对各所述目标像素特征进行池化处理，得到各所述超像素特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述样本点云数据获取各所述超像素对应的点云特征，包括：
将所述样本点云数据输入至初始特征提取网络中，得到所述样本点云数据中各初始体素点云对应的初始体素特征；
根据各所述初始体素特征获取各所述超像素对应的所述点云特征。
5.根据权利要求4所述的方法，其特征在于，所述根据各所述初始体素特征获取各所述超像素对应的所述点云特征，包括：
根据所述样本点云数据与所述样本图像之间的坐标映射关系，将各所述初始体素特征投影至所述像素特征所在的坐标系，得到中间体素特征；
从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，并分别对各所述目标体素特征进行池化处理，得到各所述点云特征。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述中间体素特征进行下采样处理，以使下采样处理后的中间体素特征的特征维度与所述像素特征的特征维度相同；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述下采样处理后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述坐标映射关系，从所述中间体素特征中剔除无效点特征，得到剔除后的中间体素特征；
所述从所述中间体素特征中确定各所述超像素分别对应的目标体素特征，包括：
从所述剔除后的中间体素特征中确定各所述超像素分别对应的所述目标体素特征。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将各所述体素特征输入至预测网络中，得到各所述体素点云对应的预测类别，所述预测网络是利用所述特征提取网络和点云训练样本对初始预测网络进行微调预训练得到的。
9.一种数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标区域的点云数据；
处理模块，用于将所述点云数据输入至特征提取网络中，得到所述点云数据中各体素点云对应的体素特征，各所述体素点云是对所述点云数据进行体素分割得到的，各所述体素特征用于对所述点云数据进行点云分割处理或者目标检测处理；
其中，所述特征提取网络是基于样本图像中的各个超像素对应的超像素特征和点云特征进行对比学习得到的。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722555.8A CN115984583B (zh) | 2022-12-30 | 2022-12-30 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722555.8A CN115984583B (zh) | 2022-12-30 | 2022-12-30 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984583A true CN115984583A (zh) | 2023-04-18 |
| CN115984583B CN115984583B (zh) | 2024-02-02 |
Family
ID=85969790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211722555.8A Active CN115984583B (zh) | 2022-12-30 | 2022-12-30 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984583B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
| CN110222626A (zh) * | 2019-06-03 | 2019-09-10 | 宁波智能装备研究院有限公司 | 一种基于深度学习算法的无人驾驶场景点云目标标注方法 |
| CN111815776A (zh) * | 2020-02-04 | 2020-10-23 | 山东水利技师学院 | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 |
| CN114092780A (zh) * | 2021-11-12 | 2022-02-25 | 天津大学 | 基于点云与图像数据融合的三维目标检测方法 |
| CN115439637A (zh) * | 2022-08-12 | 2022-12-06 | 北京宾理信息科技有限公司 | 车载增强现实的渲染方法、***、车辆及存储介质 |
| CN115457492A (zh) * | 2022-09-30 | 2022-12-09 | 苏州万集车联网技术有限公司 | 目标检测方法、装置、计算机设备及存储介质 |
-
2022
- 2022-12-30 CN CN202211722555.8A patent/CN115984583B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
| CN110222626A (zh) * | 2019-06-03 | 2019-09-10 | 宁波智能装备研究院有限公司 | 一种基于深度学习算法的无人驾驶场景点云目标标注方法 |
| CN111815776A (zh) * | 2020-02-04 | 2020-10-23 | 山东水利技师学院 | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 |
| CN114092780A (zh) * | 2021-11-12 | 2022-02-25 | 天津大学 | 基于点云与图像数据融合的三维目标检测方法 |
| CN115439637A (zh) * | 2022-08-12 | 2022-12-06 | 北京宾理信息科技有限公司 | 车载增强现实的渲染方法、***、车辆及存储介质 |
| CN115457492A (zh) * | 2022-09-30 | 2022-12-09 | 苏州万集车联网技术有限公司 | 目标检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984583B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera | |
| CN109859190B (zh) | 一种基于深度学习的目标区域检测方法 | |
| Fu et al. | Using convolutional neural network to identify irregular segmentation objects from very high-resolution remote sensing imagery | |
| Yang et al. | A multi-task Faster R-CNN method for 3D vehicle detection based on a single image | |
| CN112991413A (zh) | 自监督深度估测方法和*** | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| EP4404148A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| JP2023533907A (ja) | 自己注意ベースのニューラルネットワークを使用した画像処理 | |
| CN111325766B (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| US20220277581A1 (en) | Hand pose estimation method, device and storage medium | |
| CN115601511B (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
| Grigorev et al. | Depth estimation from single monocular images using deep hybrid network | |
| CN112686952A (zh) | 一种图像光流计算***、方法及应用 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN114170231A (zh) | 基于卷积神经网络的图像语义分割方法、装置及电子设备 | |
| CN113421217A (zh) | 可行驶区域检测方法和装置 | |
| CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与*** | |
| Xu et al. | Extended non-local feature for visual saliency detection in low contrast images | |
| Wang et al. | Salient object detection using biogeography-based optimization to combine features | |
| Jiang et al. | Semantic segmentation network combined with edge detection for building extraction in remote sensing images | |
| CN117333440A (zh) | 输配电线路缺陷检测方法、装置、设备、介质和程序产品 | |
| Osuna-Coutiño et al. | Structure extraction in urbanized aerial images from a single view using a CNN-based approach | |
| CN114638953B (zh) | 点云数据的分割方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |