CN111860493A - 一种基于点云数据的目标检测方法及装置 - Google Patents

一种基于点云数据的目标检测方法及装置 Download PDF

Info

Publication number
CN111860493A
CN111860493A CN202010535697.8A CN202010535697A CN111860493A CN 111860493 A CN111860493 A CN 111860493A CN 202010535697 A CN202010535697 A CN 202010535697A CN 111860493 A CN111860493 A CN 111860493A
Authority
CN
China
Prior art keywords
target detection
initial target
detection frame
frame
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010535697.8A
Other languages
English (en)
Other versions
CN111860493B (zh
Inventor
李智超
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202010535697.8A priority Critical patent/CN111860493B/zh
Publication of CN111860493A publication Critical patent/CN111860493A/zh
Application granted granted Critical
Publication of CN111860493B publication Critical patent/CN111860493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于点云数据的目标检测方法及装置，涉及目标检测技术领域。方法包括：获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息。从原始点云数据中提取各初始目标检测框周围预设框范围内的点云；根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据；将输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。本申请实施例可以提高目标检测的性能。

Description

一种基于点云数据的目标检测方法及装置
技术领域
本申请涉及目标检测技术领域，尤其涉及一种基于点云数据的目标检测方法及装置。
背景技术
目前，随着自动驾驶技术和移动机器人技术的发展，激光雷达设备在自动驾驶车辆和移动机器人上已经得到了广泛的应用。为了保证自动驾驶车辆和移动机器人的正常运行，一般需要通过激光雷达采集周围环境的点云数据，以帮助自动驾驶车辆和移动机器人感知自身周围环境。目前的自动驾驶车辆和移动机器人为了更好的感知自身周围环境，一般需要对自身周围环境的各种物体进行目标检测。其中一种方式是通过激光雷达采集的点云数据来实现。
当前，现有技术中有通过将点云数据输入到目标检测网络中来进行目标检测的，例如采用稀疏嵌入卷积目标检测网络(Sparsely Embedded Convolutional Detection，简称SECOND)、新型点云编码器和网络(PointPillars)、多视图三维网络(Multi-View3D，简称MV3D)、点体素集成网络(Point Voxel-RCNN，简称PV-RCNN)或者一种新型的三维物体检测网络(Point RCNN)。然而通过上述这些现有的目标检测网络进行的目标检测均存在检测性能较差的问题。为了提高目标检测的性能，本申请将提供一种基于点云数据的目标检测方案。
发明内容
本申请的实施例提供一种基于点云数据的目标检测方法及装置，以提高目标检测的性能。
为达到上述目的，本申请的实施例采用如下技术方案：
本申请实施例的第一方面，提供一种基于点云数据的目标检测方法，包括：
获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；
从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云；
根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据；
将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
本申请实施例的第二方面，提供一种基于点云数据的目标检测装置，包括：
初始信息获得单元，用于获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；
点云提取单元，用于从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云；
输入数据生成单元，用于根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据；
结果生成单元，用于将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
本申请实施例的第三方面，提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，实现上述第一方面所述的方法。
本申请实施例的第四方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述第一方面所述的方法。
本申请实施例的第五方面，提供一种芯片***，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述第一方面所述的方法。
本申请实施例的第六方面，提供一种计算机服务器，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述第一方面所述的方法。
本申请实施例提供一种基于点云数据的目标检测方法及装置，首先获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；为了让后续处理的神经网络获得初始目标检测框的信息，本申请从原始点云数据中提取各初始目标检测框周围预设框范围内的点云，并根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据。该输入数据即为考虑到初始目标检测框信息的数据，从而将输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。这样，得到的检测框结果和目标类别结果更为准确，可以提高目标检测的性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于点云数据的目标检测方法的流程图一；
图2为本申请实施例提供的一种基于点云数据的目标检测方法的流程图二；
图3为本申请实施例中初始目标检测框位置不准确的情况示意图；
图4为本申请实施例中初始目标检测框尺寸不精准的情况示意图；
图5为本申请实施例中的初始目标检测框、预设框范围及虚拟点的示意图；
图6为本申请实施例提供的一种基于点云数据的目标检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本领域的技术人员更好的了解本申请，下面先对本申请实施例中出现的部分技术术语进行解释如下：
可移动物体：是指车辆、移动机器人、飞行器等可移动运行的物体，可移动物体上可以搭载各类型传感器，如激光雷达、相机等。
点云：通过激光雷达采集的周围环境的数据，用稀疏的三维空间点标示。
帧(Frame)：传感器完成一次观测所接收到的测量数据，如相机的一帧数据为一张图片，激光雷达的一帧数据为一组激光点云。
PointNet：现有一种新型的处理点云数据的深度学习模型，可以不对原始点云数据进行编码，即可完成原始点云数据的处理。
PointNet++：现有的PointNet网络的一种改进版神经网络模型。
SECOND：Sparsely Embedded Convolutional Detection，现有的一种采用稀疏嵌入卷积目标检测网络。
PointPillars：现有的一种新型点云编码器和网络。
MV3D：Multi-View 3D，现有的一种多视图三维网络。
PV-RCNN：Point Voxel-RCNN，现有的一种点体素集成网络。
PointRCNN：现有的一种新型的三维物体检测网络。
DGCNN：Dynamic Graph Convolutional Neural Network，现有的一种动态图卷积神经网络。
RSCNN：Relation-Shape CNN，现有的一种基于几何关系的卷积神经网络。
NMS：Non Maximum Suppression，非极大值抑制，顾名思义就是抑制不是极大值的元素，搜索局部的极大值。
在本申请的一些实施例中，术语“车辆”广泛地解释为包括任何可移动物体，包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具，例如电车或火车以及其它有轨车辆。本申请中的“车辆”通常可以包括：动力***、传感器***、控制***、***设备和计算机***。在其它实施例中，车辆可以包括更多、更少或者不同的***。
其中，动力***是为车辆提供动力运动的***，包括：引擎/马达、变速器和车轮/轮胎、能源单元。
控制***可以包括控制车辆及其组件的装置的组合，例如转向单元、节气门、制动单元。
***设备可以是允许车辆与外部传感器、其它车辆、外部计算设备和/或用户进行交互的设备，例如无线通信***、触摸屏、麦克风和/或扬声器。
基于上述描述的车辆，自动驾驶车辆中还配置有传感器***和自动驾驶控制装置。
传感器***可以包括用于感测车辆所处环境的信息的多个传感器，以及改变传感器的位置和/或方向的一个或多个致动器。传感器***可以包括全球定位***传感器、惯性测量单元、无线电检测和测距(RADAR)单元、相机、激光测距仪、光检测和测距(LIDAR)单元和/或声学传感器等传感器的任何组合；传感器***还可以包括监视车辆内部***的传感器(例如O2监视器、燃油表、引擎温度计等)。
自动驾驶控制装置可以包括一个处理器和存储器，存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现包括地图引擎、定位模块、感知模块、导航或路径模块、以及自动控制模块等的功能。地图引擎和定位模块用于提供地图信息和定位信息。感知模块用于根据传感器***获取到的信息和地图引擎提供的地图信息感知车辆所处环境中的事物。导航或路径模块用于根据地图引擎、定位模块和感知模块的处理结果，为车辆规划行驶路径。自动控制模块将导航或路径模块等模块的决策信息输入解析转换成对车辆控制***的控制命令输出，并通过车载网(例如通过CAN总线、局域互联网络、多媒体定向***传输等方式实现的车辆内部电子网络***)将控制命令发送给车辆控制***中的对应部件，实现对车辆的自动控制；自动控制模块还可以通过车载网来获取车辆中各部件的信息。
当前，现有技术中有通过将点云数据输入到各种目标检测网络中来进行目标检测的，例如采用稀疏嵌入卷积目标检测网络(Sparsely Embedded ConvolutionalDetection，简称SECOND)、新型点云编码器和网络(PointPillars)、多视图三维网络(Multi-View 3D，简称MV3D)、点体素集成网络(Point Voxel-RCNN，简称PV-RCNN)或者一种新型的三维物体检测网络(Point RCNN)。然而通过上述这些现有的目标检测网络进行的目标检测均存在检测性能较差的问题，其原因主要有以下两种：
其一，在采用SECOND、PointPillars、MV3D或PV-RCNN进行目标检测时，均需要对点云数据做各种编码(例如栅格化或鸟瞰图投影等方式)，以使得杂乱无序的点云变得有序，以降低目标检测过程中的计算量。然而在进行各种编码的过程中，也造成了原始点云数据的位置信息的损失，导致得到的目标检测框位置不准确，整体检测性能下降。
其二，在采用Point RCNN进行目标检测时，其所预测的目标检测框尺寸在一些点云稀疏的位置可大可小(尺寸大一些，小一些均可以将相应的点云框进去)，这样后续处理的网络(如PointNet)在无法清楚知悉目标检测框尺寸的情况下，对各目标检测框所划分的正负样本不准确，使得后续的非极大值抑制(Non-Maximum Suppression，简称NMS)处理将不够准确，目标检测性能较差。
本申请实施例旨在提出一种基于点云数据的目标检测方案，以提高目标检测的性能。
如图1所示，本申请实施例提供一种基于点云数据的目标检测方法，包括：
步骤101、获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息。
步骤102、从原始点云数据中提取各初始目标检测框周围预设框范围内的点云。
步骤103、根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据。
步骤104、将输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
为了使本领域的技术人员更好的了解本申请，下面结合附图、实例等对本申请实施例做更为详细的阐述。值得说明的是，本申请实施例中的目标检测可以是指安装有雷达的自动驾驶车辆、智能机器人、无人机等对周围环境进行感知并检测识别所关注的物体(如车辆、行人、障碍物等，但不仅局限于此)，还可以是指安装有雷达的安防设施对所监控范围进行感知并检测识别所关注的物体(人、车辆、货箱等，但不仅局限于此)。当然，应用到目标检测的场景还有很多，应该知道的是，能够应用目标检测的场景均可能应用到本申请实施例，本申请实施例在此不再一一列举。
在本申请的一实施例中，如图2所示，提供一种基于点云数据的目标检测方法，包括：
步骤201、获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息。
此处，在本申请的一实施例中，获得的原始点云数据是指由雷达(如激光雷达)采集得到的原始点云数据。本申请实施例中后续会应用原始点云数据来进行目标检测，而无需对这些原始点云数据进行各种编码(例如栅格化或鸟瞰图投影等方式)，以避免在进行各种编码的过程中，造成原始点云数据的位置信息的损失，导致得到的初始目标检测框位置不准确，整体检测性能下降的问题。
此处，在本申请的一实施例中，该初始目标检测网络可以是目前现有的一些目标检测网络，例如一些需要对原始点云数据进行各种编码(例如栅格化或鸟瞰图投影等方式)的目标检测网络，如SECOND、PointPillars、MV3D或PV-RCNN等目标检测网络，这些目标检测网络的具体工作过程均属于现有技术，此处不再赘述。需要知道的是，这些目标检测网络所输出的初始目标检测框可能存在位置不准确的问题。例如在图3中，一组点云31(如车辆的外部轮廓点云)理想情况下应被准确的初始目标检测框框住，基本没有点落在初始目标检测框外，然而上述这些目标检测网络所输出的初始目标检测框32可能如图3中所示，其可能存在位置不准确，造成点云31中的部分点在初始目标检测框32外面的情况。本申请实施例提供的基于点云数据的目标检测方法的其中一个目的就是为了克服如图3所示的问题，使检测框结果位置更精准。
另外，在本申请的一实施例中，该初始目标检测网络可以是目前现有的一些目标检测网络，例如一些直接对原始点云数据进行处理的目标检测网络，如PointRCNN等目标检测网络，这些目标检测网络的具体工作过程均属于现有技术，此处不再赘述。需要知道的是，这些目标检测网络所输出的初始目标检测框可能存在尺寸大小不清楚的问题，初始目标检测框尺寸大一些或尺寸小一些均可以将相应的点云框进去，这样后续处理的网络(如PointNet)在无法清楚知悉初始目标检测框尺寸的情况下，对各初始目标检测框所划分的正负样本不准确，使得后续的非极大值抑制(Non-Maximum Suppression，简称NMS)处理将不够准确，目标检测性能较差。例如在图4中，一组点云41(如车辆的外部轮廓点云)理想情况下应被初始目标检测框框住，且初始目标检测框的尺寸应该是刚好满足将这些点云41框住。然而上述这些目标检测网络所输出的初始目标检测框42可能如图4中所示，其可能尺寸过大，造成点云41虽然被框住，但是初始目标检测框42中空白部分过多。本申请实施例提供的基于点云数据的目标检测方法的其中又一个目的就是为了克服如图4所示的问题，使检测框结果更精准地框住目标，且检测框尺寸大小合适。
另外，由于目标检测网络可以同时检测多个物体，且即使对于同一物体的目标检测，也可能存在多个初始目标检测框。为了保证后续的计算处理过程，本申请的一实施例中需要获得各初始目标检测框信息，其中该初始目标检测框信息可以包括初始目标检测框的尺寸范围信息，例如以(l、w、h)形式表示，但不仅局限于此；其中，l、w和h分别表示初始目标检测框的长度、宽度和高度。另外，该初始目标检测框信息还可以包括初始目标检测框中心点信息和朝向信息，例如初始目标检测框中心点信息以(Cx、Cy、Cz)表示，Cx、Cy、Cz分别表示初始目标检测框的中心点坐标，而该朝向信息可以记为heading，但不仅局限于此。
步骤202、从原始点云数据中提取各初始目标检测框周围预设框范围内的点云。
在本申请的一实施例中，由于初始目标检测框可能存在如图3所示的点云31中的部分点落在初始目标检测框32外面的情况，因此为了满足原始点云数据的处理需求，避免落下点云中的关键点，该步骤202需要从原始点云数据中提取各初始目标检测框周围预设框范围内的点云，其具体过程可以采用如下两种方式(但不仅局限于此)：
方式一：获得预先设置的框倍率，即如图5所示，该框倍率是指所需要的扩大到的预设范围(例如框范围51)与初始目标检测框52的大小的比值(如可以为两者体积的比值、两者框长度的比值或者两者表面积的比值，但不仅局限于此。)。一般情况下框倍率大于1，例如可以选用1.5倍，但不仅局限于此。
根据各初始目标检测框和框倍率，确定各预设框范围(即在已知初始目标检测框52和框倍率的情况下，是可以计算出预设框范围51的)，并从原始点云数据中提取各预设框范围内的点云，即在初始目标检测框之外，且在预设框范围之内的点云将被提取出来。
方式二：获得预先设置的框扩大量；其中，该框扩大量可以为预先设置的扩大长度、扩大面积或扩大体积；例如如图5所示，初始目标检测框52具有框长度、表面积、框体积等特征，因此在获得相应的框扩大量后，可以确定预设框范围51，并从原始点云数据中提取各预设框范围内的点云。即在初始目标检测框之外，且在预设框范围之内的点云将被提取出来。
值得说明的是，上述步骤103中，本申请实施例中的神经网络的输入数据可以包括待处理的点数据和各初始目标检测框的表达信息；初始目标检测框信息和该表达信息至少包括初始目标检测框的尺寸范围信息，另外，该初始目标检测框信息和表达信息还可以包括初始目标检测框中心点信息和朝向信息；待处理的点数据包括待处理的点位置(例如可以采用坐标的方式)。
此处该表达信息可以是指能够表达初始目标检测框的任何方式，本申请对此不作限定。为了理解方便，后续本申请实施例会提供几种常见的方式。
则在步骤202之后，继续执行下述步骤203至步骤204。该步骤203至步骤204可以作为上述步骤103的具体实现方式。
步骤203、根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框的尺寸范围信息，确定各初始目标检测框的表达信息。
此处，该步骤203可以采用多种方式，本申请实施例仅列举其中部分实施例，应该知道的是，凡是能够表达初始目标检测框的表达信息，均应被理解为本申请实施例中的表达信息。
其中，方式A、可以采用在初始目标检测框中设置虚拟点的方式：
例如，根据各初始目标检测框的尺寸范围信息，在各初始目标检测框中生成均匀填充于各初始目标检测框的虚拟点作为各初始目标检测框的表达信息。该虚拟点的分布即表达了初始目标检测框的范围。
具体的，可以根据各初始目标检测框的尺寸范围信息，获得各初始目标检测框对应的虚拟点的间隔；然后根据各初始目标检测框对应的虚拟点的间隔，在各初始目标检测框中生成均匀填充于初始目标检测框的虚拟点作为各初始目标检测框的表达信息。如图5所示，初始目标检测框52内即均匀分布了虚拟点53。其中，该虚拟点53的间隔可以是根据初始目标检测框的尺寸范围来确定，如初始目标检测框的尺寸范围为一个长宽高分别为5m、3m、2m的框，那么可以在该框范围内确定每立方分米的小格中心或八个顶角设置虚拟点53，但不仅局限于此，本领域技术人员还可以采用其他的方式来获得虚拟点的间隔，如直接人为设置该间隔。
为了便于后续神经网络能够识别出虚拟点、初始目标检测框内原始点云数据中的点，以及初始目标检测框外预设框范围内的点云中的点，需要为这些点进行赋值，例如：如图5所示，分别为各初始目标检测框52内原始点云数据中的点521、虚拟点53以及初始目标检测框52外预设框范围51内的点云中的点511分配预设的点类型值，如初始目标检测框内原始点云数据中的点对应的点类型值为1、虚拟点对应的点类型值为2、初始目标检测框外预设框范围内的点云中的点对应的点类型值为0，但不仅局限于此。
另外，方式B、将尺寸范围信息增加到点云中的点的特征中的方式：
例如可以将各初始目标检测框的尺寸范围信息增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的特征中，以使得所述特征中携带有所述表达信息，从而使得这些特征输入到后续的神经网络中后，后续的神经网络将能够获得到能够表达初始目标检测框的表达信息。
此处，具体如何将初始目标检测框的尺寸范围信息增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的特征中有多种方式，此处仅列举其中两种，但不仅局限于此两种方式。
其中一种：可以将各初始目标检测框的尺寸范围信息(l、w、h)增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的坐标(xi、yi、zi)中，生成各点带有所述表达信息的特征(xi、yi、zi、l、w、h)；其中，l、w和h分别表示初始目标检测框的长度、宽度和高度。
另一种：可以根据各初始目标检测框的尺寸范围信息(l、w、h)对对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点(xi、yi、zi)进行归一化处理，生成各点带有所述表达信息的特征
Figure BDA0002536974330000101
其中，l、w和h分别表示初始目标检测框的长度、宽度和高度。
步骤204、生成至少包含各待处理的点位置以及各初始目标检测框的表达信息的神经网络的输入数据。
其中，各待处理的点位置可以采用坐标的形式，待处理的点一般是指初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点。
步骤205、将输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
其中，预先训练的神经网络可以采用目前主流的能够对原始点云数据进行处理的目标检测网络，如PointNet网络、PointNet++网络、动态图卷积神经网络DGCNN或基于几何关系的卷积神经网络RSCNN等，但不仅局限于此。由于这些神经网络属于现有技术的目标检测网络，因此此处对这些神经网络的结构不再赘述。本申请实施例仅为这些神经网络提供输入数据，并获得这些神经网络的输出。
具体的，当上述步骤203采用的是方式A时，此处神经网络的预先训练过程为：
获得训练样本数据集；训练样本数据集包括若干组训练样本数据；其中，每组训练样本数据包括初始目标检测框内原始点云数据中的点、初始目标检测框内虚拟点、初始目标检测框外预设框范围内的点云中的点、上述各点对应的点类型值、预先标注的初始目标检测框对应的检测框结果和目标类别结果。
将初始目标检测框内原始点云数据中的点、初始目标检测框内虚拟点、初始目标检测框外预设框范围内的点云中的点，以及上述各点对应的点类型值作为输入，将预先标注的初始目标检测框对应的检测框结果和目标类别结果作为输出，对所述神经网络进行训练。
具体的，当上述步骤203采用的是方式B时，此处神经网络的预先训练过程为：
获得训练样本数据集；训练样本数据集包括若干组训练样本数据；其中，每组训练样本数据包括初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征、预先标注的初始目标检测框对应的检测框结果和目标类别结果；
将初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征作为输入，将预先标注的初始目标检测框对应的检测框结果和目标类别结果作为输出，对所述神经网络进行训练。
此处，具体的神经网络训练方法可以有多种，如BGD(Batch Gradient Descent，批量梯度下降法)、SGD(Stochastic Gradient Descent，随机梯度下降法)、Adam优化算法(Adam optimization algorithm)、RMSprop(Root Mean Square prop，均方根传递法)等，但不仅局限于此。
相应的，当上述步骤203采用的是方式A时，此处步骤205可以采用如下方式实现：
将各初始目标检测框内原始点云数据中的点、虚拟点以及初始目标检测框外预设框范围内的点云中的点和各自对应的点类型值输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
相应的，当上述步骤203采用的是方式B时，此处步骤205可以采用如下方式实现：
将各初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
经过上述步骤201至步骤205，使得预先训练的神经网络处理的是原始点云数据，没有造成原始点云数据的位置信息的损失，另外预先训练的神经网络由于能够得到表征初始目标检测框的表达信息，因此其输出的检测框结果也可以避免存在过大的情况。最终形成的检测框结果无论从位置上还是尺寸上，将更贴近于目标的真实情况。
具体的，预先训练的神经网络输出的检测框结果可以包括神经网络输出的检测框的中心点坐标、检测框尺寸信息以及检测框所对应的朝向信息。
具体的目标类别结果一般可以根据所关注的类别种类以数字的形式表示，对于同一目标物体，其对应的目标类别结果中表示各类别的数字之和为1。例如，整帧点云数据中，所关注的类别种类分别为行人和车辆，则目标类别结果可以表示为score的方式，即：(识别为行人的数值，识别为车辆的数值)，其中对于该行人可能输出了5个检测框，其目标类别结果可能分别为(0.90，0.10)、(0.87，0.13)、(0.78，0.22)、(0.96，0.04)、(0.89，0.11)，对于该车辆可能输出了4个检测框，其目标类别结果可能分别为(0.05，0.95)、(0.08，0.92)、(0.20，0.80)、(0.15，0.85)。一般情况下在目标检测领域中，还可以采用其他方式来表达检测框结果和目标类别结果，此处不再一一列举。
在步骤205之后，还可以继续执行步骤206：
步骤206、根据非极大值抑制NMS算法，对各初始目标检测框对应的检测框结果和目标类别结果进行处理，以生成非极大值抑制后的最终检测框结果。
由于上述的检测框结果和对应的目标类别结果有若干个，特别是对于同一目标，可能有多个检测框，多个检测框存在重合区域，因此要进行非极大值抑制，以筛选出最优选的最终检测框结果。例如上述行人对应有5个检测框，其目标类别结果分别为(0.90，0.10)、(0.87，0.13)、(0.78，0.22)、(0.96，0.04)、(0.89，0.11)，上述车辆对应有4个检测框，其目标类别结果分别为(0.05，0.95)、(0.08，0.92)、(0.20，0.80)、(0.15，0.85)。通过上述非极大值抑制处理，最终检测框结果可能仅剩下了(0.96，0.04)对应的检测框和(0.05，0.95)对应的检测框。具体的非极大值抑制算法已经较为成熟，此处不再赘述。
另外，如图6所示，本申请实施例还提供一种基于点云数据的目标检测装置，包括：
初始信息获得单元61，用于获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息。
点云提取单元62，用于从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云。
输入数据生成单元63，用于根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据。
结果生成单元64，用于将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
值得说明的是，本申请实施例提供的基于点云数据的目标检测装置的具体实现方式可以参见上述图1和图5对应的方法实施例，此处不再赘述。
另外，本申请实施例还提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，实现上述图1和图5所对应的方法。
另外，本申请实施例还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述图1和图5所对应的方法。
另外，本申请实施例还提供一种芯片***，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述图1和图5所对应的方法。
另外，本申请实施例还提供一种计算机服务器，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如上述图1和图5所对应的方法。
本申请实施例提供一种基于点云数据的目标检测方法及装置，首先获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；为了让后续处理的神经网络获得初始目标检测框的信息，本申请从原始点云数据中提取各初始目标检测框周围预设框范围内的点云，并根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据。该输入数据即为考虑到初始目标检测框信息的数据，从而将输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。这样，得到的检测框结果和目标类别结果更为准确，可以提高目标检测的性能。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (21)

1.一种基于点云数据的目标检测方法，其特征在于，包括：
获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；
从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云；
根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据；
将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
2.根据权利要求1所述的方法，其特征在于，从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云，包括：
获得预先设置的框倍率，所述框倍率大于1；
根据各初始目标检测框和所述框倍率，确定各预设框范围，并从所述原始点云数据中提取各预设框范围内的点云。
3.根据权利要求1所述的方法，其特征在于，从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云，包括：
获得预先设置的框扩大量；所述框扩大量为预先设置的扩大长度、扩大面积或扩大体积；
根据各初始目标检测框和所述框扩大量，确定各预设框范围，并从所述原始点云数据中提取各预设框范围内的点云。
4.根据权利要求1所述的方法，其特征在于，所述神经网络的输入数据包括待处理的点数据和各初始目标检测框的表达信息；所述初始目标检测框信息和所述表达信息至少包括初始目标检测框的尺寸范围信息；所述待处理的点数据包括待处理的点位置；
所述根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据，包括：
根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框的尺寸范围信息，确定各初始目标检测框的表达信息；
生成至少包含各待处理的点位置以及各初始目标检测框的表达信息的神经网络的输入数据。
5.根据权利要求4所述的方法，其特征在于，所述初始目标检测框信息和所述表达信息还包括初始目标检测框中心点信息和朝向信息。
6.根据权利要求4所述的方法，其特征在于，所述根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框的尺寸范围信息，确定各初始目标检测框的表达信息，包括：
根据各初始目标检测框的尺寸范围信息，在各初始目标检测框中生成均匀填充于各初始目标检测框的虚拟点作为各初始目标检测框的表达信息；
所述方法还包括：
分别为各初始目标检测框内原始点云数据中的点、所述虚拟点以及初始目标检测框外预设框范围内的点云中的点分配预设的点类型值。
7.根据权利要求6所述的方法，其特征在于，所述根据各初始目标检测框的尺寸范围信息，在各初始目标检测框中生成均匀填充于各初始目标检测框的虚拟点作为各初始目标检测框的表达信息，包括：
根据各初始目标检测框的尺寸范围信息，获得各初始目标检测框对应的虚拟点的间隔；
根据各初始目标检测框对应的虚拟点的间隔，在各初始目标检测框中生成均匀填充于初始目标检测框的虚拟点作为各目标检测框的表达信息。
8.根据权利要求7所述的方法，其特征在于，将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果，包括：
将各初始目标检测框内原始点云数据中的点、虚拟点以及初始目标检测框外预设框范围内的点云中的点和各自对应的点类型值输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括所述神经网络的预先训练过程：
获得训练样本数据集；所述训练样本数据集包括若干组训练样本数据；其中，每组训练样本数据包括初始目标检测框内原始点云数据中的点、初始目标检测框内虚拟点、初始目标检测框外预设框范围内的点云中的点、上述各点对应的点类型值、预先标注的初始目标检测框对应的检测框结果和目标类别结果；
将所述初始目标检测框内原始点云数据中的点、初始目标检测框内虚拟点、初始目标检测框外预设框范围内的点云中的点，以及上述各点对应的点类型值作为输入，将预先标注的初始目标检测框对应的检测框结果和目标类别结果作为输出，对所述神经网络进行训练。
10.根据权利要求4所述的方法，其特征在于，所述根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框的尺寸范围信息，确定各初始目标检测框的表达信息，包括：
将各初始目标检测框的尺寸范围信息增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的特征中，以使得所述特征中携带有所述表达信息。
11.根据权利要求10所述的方法，其特征在于，所述将各初始目标检测框的尺寸范围信息增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的特征中，以使得所述特征中携带有所述表达信息，包括：
将各初始目标检测框的尺寸范围信息(l、w、h)增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的坐标(xi、yi、zi)中，生成各点带有所述表达信息的特征(xi、yi、zi、l、w、h)；其中，l、w和h分别表示初始目标检测框的长度、宽度和高度。
12.根据权利要求10所述的方法，其特征在于，所述将各初始目标检测框的尺寸范围信息增加到对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点的特征中，以使得所述特征中携带有所述表达信息，包括：
根据各初始目标检测框的尺寸范围信息(l、w、h)对对应的初始目标检测框内原始点云数据中的点和初始目标检测框外预设框范围内的点云中的点(xi、yi、zi)进行归一化处理，生成各点带有所述表达信息的特征
Figure FDA0002536974320000031
其中，l、w和h分别表示初始目标检测框的长度、宽度和高度。
13.根据权利要求11或12所述的方法，其特征在于，将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果，包括：
将各初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括所述神经网络的预先训练过程：
获得训练样本数据集；所述训练样本数据集包括若干组训练样本数据；其中，每组训练样本数据包括初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征、预先标注的初始目标检测框对应的检测框结果和目标类别结果；
将初始目标检测框内待处理的点带有所述表达信息的特征、初始目标检测框外预设框范围内的待处理的点带有所述表达信息的特征作为输入，将预先标注的初始目标检测框对应的检测框结果和目标类别结果作为输出，对所述神经网络进行训练。
15.根据权利要求1所述的方法，其特征在于，所述检测框结果包括所述神经网络输出的检测框的中心点坐标、检测框尺寸信息以及检测框所对应的朝向信息。
16.根据权利要求1所述的方法，其特征在于，在得到各初始目标检测框对应的检测框结果和目标类别结果之后，还包括：
根据非极大值抑制NMS算法，对各初始目标检测框对应的检测框结果和目标类别结果进行处理，以生成非极大值抑制后的最终检测框结果。
17.一种基于点云数据的目标检测装置，其特征在于，包括：
初始信息获得单元，用于获得原始点云数据和初始目标检测网络输出的各初始目标检测框，并获得各初始目标检测框信息；
点云提取单元，用于从所述原始点云数据中提取各初始目标检测框周围预设框范围内的点云；
输入数据生成单元，用于根据各初始目标检测框内原始点云数据中的点、初始目标检测框外预设框范围内的点云中的点以及各初始目标检测框信息，生成神经网络的输入数据；
结果生成单元，用于将所述输入数据输入到预先训练的神经网络中进行处理，根据预先训练的神经网络的输出得到各初始目标检测框对应的检测框结果和目标类别结果。
18.一种计算机可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算机上运行时，实现权利要求1至16任一项所述的方法。
19.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至16任一项所述的方法。
20.一种芯片***，其特征在于，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至16任一项所述的方法。
21.一种计算机服务器，其特征在于，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1至16任一项所述的方法。
CN202010535697.8A 2020-06-12 2020-06-12 一种基于点云数据的目标检测方法及装置 Active CN111860493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010535697.8A CN111860493B (zh) 2020-06-12 2020-06-12 一种基于点云数据的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010535697.8A CN111860493B (zh) 2020-06-12 2020-06-12 一种基于点云数据的目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN111860493A true CN111860493A (zh) 2020-10-30
CN111860493B CN111860493B (zh) 2024-02-09

Family

ID=72987370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010535697.8A Active CN111860493B (zh) 2020-06-12 2020-06-12 一种基于点云数据的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN111860493B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及***
CN112561971A (zh) * 2020-12-16 2021-03-26 珠海格力电器股份有限公司 人流量统计方法、装置、设备及存储介质
CN112800971A (zh) * 2021-01-29 2021-05-14 深圳市商汤科技有限公司 神经网络训练及点云数据处理方法、装置、设备和介质
CN112862953A (zh) * 2021-01-29 2021-05-28 上海商汤临港智能科技有限公司 一种点云数据的处理方法、装置、电子设备及存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通***有限公司 目标检测方法、装置、***、电子设备及存储介质
CN113557528A (zh) * 2021-03-30 2021-10-26 商汤国际私人有限公司 生成点云补全网络及点云数据处理
CN114550161A (zh) * 2022-01-20 2022-05-27 北京大学 一种端到端的三维目标稀疏检测方法
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN114779271A (zh) * 2022-06-16 2022-07-22 杭州宏景智驾科技有限公司 目标检测方法和装置、电子设备和存储介质
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法
CN115965824A (zh) * 2023-03-01 2023-04-14 安徽蔚来智驾科技有限公司 点云数据标注方法、点云目标检测方法、设备及存储介质
CN116778262A (zh) * 2023-08-21 2023-09-19 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及***
CN109145931A (zh) * 2018-09-03 2019-01-04 百度在线网络技术（北京）有限公司 物体检测方法、装置及存储介质
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
US20190221003A1 (en) * 2015-12-30 2019-07-18 Tsinghua University Method and device for interactive calibration based on 3d reconstruction in 3d surveillance system
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN110532985A (zh) * 2019-09-02 2019-12-03 北京迈格威科技有限公司 目标检测方法、装置及***
CN110909800A (zh) * 2019-11-26 2020-03-24 浙江理工大学 一种基于Faster R-CNN改进算法的车辆检测方法
CN110991534A (zh) * 2019-12-03 2020-04-10 上海眼控科技股份有限公司 点云数据处理方法、装置、设备及计算机可读存储介质
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
US20200410690A1 (en) * 2018-08-27 2020-12-31 Tencent Technology (Shenzhen) Company Limited Method and apparatus for segmenting point cloud data, storage medium, and electronic device
CN112949661A (zh) * 2021-05-13 2021-06-11 北京世纪好未来教育科技有限公司 检测框自适应外扩方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190221003A1 (en) * 2015-12-30 2019-07-18 Tsinghua University Method and device for interactive calibration based on 3d reconstruction in 3d surveillance system
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及***
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
US20200410690A1 (en) * 2018-08-27 2020-12-31 Tencent Technology (Shenzhen) Company Limited Method and apparatus for segmenting point cloud data, storage medium, and electronic device
CN109145931A (zh) * 2018-09-03 2019-01-04 百度在线网络技术（北京）有限公司 物体检测方法、装置及存储介质
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110532985A (zh) * 2019-09-02 2019-12-03 北京迈格威科技有限公司 目标检测方法、装置及***
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN110909800A (zh) * 2019-11-26 2020-03-24 浙江理工大学 一种基于Faster R-CNN改进算法的车辆检测方法
CN110991534A (zh) * 2019-12-03 2020-04-10 上海眼控科技股份有限公司 点云数据处理方法、装置、设备及计算机可读存储介质
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN112949661A (zh) * 2021-05-13 2021-06-11 北京世纪好未来教育科技有限公司 检测框自适应外扩方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG, S等: "The registration of non-cooperative moving targets laser point cloud in different view point", 《NANOPHOTONICS AUSTRALASIA》, pages 10456 *
胡远志;刘俊生;何佳;肖航;宋佳;: "基于激光雷达点云与图像融合的车辆目标检测方法", 汽车安全与节能学报, no. 04, pages 65 - 72 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561971A (zh) * 2020-12-16 2021-03-26 珠海格力电器股份有限公司 人流量统计方法、装置、设备及存储介质
CN112800971A (zh) * 2021-01-29 2021-05-14 深圳市商汤科技有限公司 神经网络训练及点云数据处理方法、装置、设备和介质
CN112862953A (zh) * 2021-01-29 2021-05-28 上海商汤临港智能科技有限公司 一种点云数据的处理方法、装置、电子设备及存储介质
CN112800971B (zh) * 2021-01-29 2024-07-16 深圳市商汤科技有限公司 神经网络训练及点云数据处理方法、装置、设备和介质
CN112862953B (zh) * 2021-01-29 2023-11-28 上海商汤临港智能科技有限公司 一种点云数据的处理方法、装置、电子设备及存储介质
CN112528979B (zh) * 2021-02-10 2021-05-11 成都信息工程大学 变电站巡检机器人障碍物判别方法及***
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及***
CN113557528B (zh) * 2021-03-30 2023-11-28 商汤国际私人有限公司 生成点云补全网络及点云数据处理方法、装置和***
CN113557528A (zh) * 2021-03-30 2021-10-26 商汤国际私人有限公司 生成点云补全网络及点云数据处理
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通***有限公司 目标检测方法、装置、***、电子设备及存储介质
CN114550161A (zh) * 2022-01-20 2022-05-27 北京大学 一种端到端的三维目标稀疏检测方法
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN114998890B (zh) * 2022-05-27 2023-03-10 长春大学 一种基于图神经网络的三维点云目标检测算法
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法
CN114779271B (zh) * 2022-06-16 2022-10-21 杭州宏景智驾科技有限公司 目标检测方法和装置、电子设备和存储介质
CN114779271A (zh) * 2022-06-16 2022-07-22 杭州宏景智驾科技有限公司 目标检测方法和装置、电子设备和存储介质
CN115965824A (zh) * 2023-03-01 2023-04-14 安徽蔚来智驾科技有限公司 点云数据标注方法、点云目标检测方法、设备及存储介质
CN116778262A (zh) * 2023-08-21 2023-09-19 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和***
CN116778262B (zh) * 2023-08-21 2023-11-10 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和***

Also Published As

Publication number Publication date
CN111860493B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111860493B (zh) 一种基于点云数据的目标检测方法及装置
CN107246876B (zh) 一种无人驾驶汽车自主定位与地图构建的方法及***
WO2021115081A1 (zh) 三维目标检测和智能行驶
US10983217B2 (en) Method and system for semantic label generation using sparse 3D data
CN113819914B (zh) 一种地图构建方法及装置
WO2020094033A1 (en) Method and system for converting point cloud data for use with 2d convolutional neural networks
CN114930401A (zh) 基于点云的三维重建方法、装置和计算机设备
CN110969064B (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN113819905B (zh) 一种基于多传感器融合的里程计方法及装置
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
CN116745191A (zh) 场景相关轨迹评分***与方法
CN116449356A (zh) 基于聚集的lidar数据对准
CN117308972A (zh) 车辆定位方法、装置和存储介质及电子设备
US11645364B2 (en) Systems and methods for object detection using stereovision information
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
CN115379408A (zh) 基于场景感知的v2x多传感器融合方法及装置
CN115236696A (zh) 确定障碍物的方法、装置、电子设备及存储介质
CN114708292A (zh) 一种对象状态估计方法、装置、计算设备和车辆的改进方法
CN114549610A (zh) 一种点云数据的处理方法及相关装置
DE112021001872T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und programm
CN113066124A (zh) 一种神经网络的训练方法以及相关设备
EP4145352A1 (en) Systems and methods for training and using machine learning models and algorithms
US12050661B2 (en) Systems and methods for object detection using stereovision information
EP4131174A1 (en) Systems and methods for image based perception
US11823465B2 (en) Neural network object identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant