CN117907970B - 激光雷达的目标检测模型的生成、目标检测方法及其装置 - Google Patents
激光雷达的目标检测模型的生成、目标检测方法及其装置 Download PDFInfo
- Publication number
- CN117907970B CN117907970B CN202410311817.4A CN202410311817A CN117907970B CN 117907970 B CN117907970 B CN 117907970B CN 202410311817 A CN202410311817 A CN 202410311817A CN 117907970 B CN117907970 B CN 117907970B
- Authority
- CN
- China
- Prior art keywords
- target detection
- data set
- detection model
- data
- reasoning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 34
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 230000008685 targeting Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供一种激光雷达的目标检测模型的生成、目标检测方法及其装置，该生成方法包括以下步骤：获取已标注的第一数据集，基于第一数据集训练目标检测模型；获取未标注的第二数据集，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，生成基于点云的目标检测模型，目标检测模型用于激光雷达的目标检测；基于第一数据集训练目标检测模型，最终的目标检测模型为所述目标检测模型。该生成方法能够生成一种激光雷达的目标检测模型。
Description
技术领域
本发明涉及激光雷达技术领域，尤其涉及一种激光雷达的目标检测模型的生成、目标检测方法及其装置。
背景技术
目前汽车的发展的重点是自动驾驶技术，自动驾驶技术是指汽车驾驶员执行的工作完全自动化的、高度集中控制的汽车控制技术。在自动驾驶***，激光雷达得到越来越广泛的应用，其基本原理是：利用激光脉冲来测量和感知车辆周围的环境，从而实现高精度的三维场景重建和目标检测，然后，再做出汽车控制指令。
可以理解的是，目标检测算法是一个非常重要的技术，目前，目标检测算法一般包括：1、基于点云的目标检测算法，其主要依赖于点云数据的处理和特征提取，该算法一般通过对点云进行聚类、分割和特征提取，来识别和分类不同的物体。然而，由于点云数据的稀疏性和噪声干扰，这些算法在复杂场景下的准确性和鲁棒性有限；2、基于深度学习的目标检测算法，一般包括深度学习模型（例如：卷积神经网络和循环神经网络等），其能够自动学习从点云数据中提取特征和进行目标分类的能力；3、基于多传感器融合的目标检测算法，其可以综合利用不同传感器的优势，提供更全面、准确的目标检测结果。通过融合多个传感器的数据，可以在不同环境和情况下更好地检测和跟踪目标。
综上所述，提供一种用于激光雷达的目标检测方法，就成为一个亟待解决的问题。
发明内容
本发明的目的在于提供一种激光雷达的目标检测模型的生成、目标检测方法及其装置。
为了实现上述发明目的之一，本发明一实施方式提供了一种激光雷达的目标检测模型的生成方法，包括以下步骤：获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；获取未标注的第二数据集，第二数据集由激光雷达采集；使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数；生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>，最终的目标检测模型为所述目标检测模型/>。
作为本发明一实施方式的进一步改进，还包括以下步骤：i的初始值为2，持续执行以下操作：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
作为本发明一实施方式的进一步改进，所述获取未标注的第二数据集，第二数据集由激光雷达采集具体包括，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为，其中，/>，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别。
作为本发明一实施方式的进一步改进，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型。
本发明实施例还提供了一种激光雷达的目标检测模型的生成装置，包括以下模块：初始化模块，用于获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；第一处理模块，用于获取未标注的第二数据集，第二数据集由激光雷达采集；使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数；模型训练模块，用于生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型，最终的目标检测模型为所述目标检测模型/>。
作为本发明一实施方式的进一步改进，还包括以下模块：第二处理模块，用于：i的初始值为2，持续执行以下操作：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
作为本发明一实施方式的进一步改进，所述获取未标注的第二数据集，第二数据集由激光雷达采集具体包括，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为，其中，/>，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别。
作为本发明一实施方式的进一步改进，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型。
本发明实施例还提供了一种用于激光雷达的目标检测方法，包括以下步骤：获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行上述的生成方法，生成最终的目标检测模型；获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
本发明实施例还提供了一种用于激光雷达的目标检测装置，包括以下模块：模型生成模块，用于获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行上述的生成方法，生成最终的目标检测模型；第三处理模块，用于获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
相对于现有技术，本发明的技术效果在于：本发明实施例提供一种激光雷达的目标检测模型的生成、目标检测方法及其装置，该生成方法包括以下步骤：获取已标注的第一数据集，基于第一数据集训练目标检测模型；获取未标注的第二数据集，使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>，最终的目标检测模型为所述目标检测模型/>。该生成方法能够生成一种激光雷达的目标检测模型。
附图说明
图1是本发明实施例中的激光雷达的目标检测模型的生成方法的流程示意图。
具体实施方式
以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明实施例一提供了一种激光雷达的目标检测模型的生成方法，如图1所述，包括以下步骤：
步骤101：获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；在发明人的实验中，第一数据集是KITTI数据集，KITTI数据集包含激光雷达传感器数据以及目标的标注信息。在训练第一目标检测模型时，需要将KITTI数据集划分为训练集和验证集，并设置合适的训练参数，如学习率、批量大小和训练迭代次数等，通过迭代训练得到KITTI数据集。
步骤102：获取未标注的第二数据集，第二数据集由激光雷达采集；使用目标检测模型对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数；这里，第二数据集可以为使用激光雷达采集的本地数据集，相对于第一数据集而言，本地数据集应尽可能贴近实际应用场景。这里，伪标签方法作为一种同时从未标记数据和标记数据中学习的监督范式，将具有最大预测概率的类作为伪标签。形式化后等价于熵最小化，由于决策边界应该尽可能通过数据较为稀疏的区域，即低密度区域，从而避免把密集的样本数据点分到决策边界的两侧，也就是说模型需要对未标记数据做出低熵预测，即熵最小化。使用N个已训练目标检测模型对数据data推理得到的N个第一投票结果，对每个数据data中，N个已训练目标检测模型会产生N个投票结果，其中，有些投票结果是相同的（该投票结果的数量即为投票数量），有些投票结果是不同的，于是，投票数量最大的投票结果即为N个第一投票结果的众数。
步骤103：生成基于点云的目标检测模型，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>，最终的目标检测模型为所述目标检测模型。
这里，使用第一数据集再次训练得到一个目标检测模型，该目标检测模型/>可以作为最终的目标检测模型。
在伪标签法中，未标记样本的伪标签可能存在噪声或错误。伪标签法依赖于模型的预测结果生成伪标签，如果模型的预测出现错误，那么伪标签中将引入噪声。这可能导致噪声数据对模型的负面影响，尤其是在初始阶段。而在本发明实施例的生成方法中，使用多个已训练目标检测模型来较低伪标签中的噪声。
本发明实施例的生成方法能生成更加精确的伪标签。一般来说通过自行训练的一个初始模型来生成伪标签的方法往往存在噪声，因为初始模型的推理结果可能存在错误。为了解决这个问题，本方法引入多模型投票机制，多模型投票可以通过采用多个模型生成的检测结果来进行一致性检测。对于同一个样本，如果不同模型的预测结果一致，那么可以认为该伪标签是可靠的。相反，如果不同模型的预测结果不一致，那么该伪标签可能是不可靠的，需要进行修正或丢弃。
本实施例中，还包括以下步骤：i的初始值为2，持续执行以下操作：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
这里，会持续的利用第一数据集来训练出目标检测模型，直到NuN1/NuN2>预设阈值。该生成方法在伪标签算法筛选的过程中，加入了多模型预测的方法，由此得到新的第一数据集，在得到新的目标检测模型/>后，结合第一数据集再次进行多次迭代训练，算法收敛后即可得到一个最优的激光雷达目标检测模型。
这里，通过迭代训练以进一步提高模型的准确性。结合多模型投票机制，迭代训练的方法利用公开数据集和伪标签数据集共同训练得到的新模型，重新推理本地数据并生成新的标注，同时继续使用多模型投票机制得到新的伪标签。直至准确率收敛以得到更准确的模型。
本实施例中，所述获取未标注的第二数据集，第二数据集由激光雷达采集具体包括，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为，其中，/>，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别。
这里，也可以理解为/>类别的置信度，此外输入示例中所有类别的置信度之和应该为1。也就是说，当某个类的预测值接近1，而其他所有类的预测值接近0时，熵将最小化。在推理过程中，将可靠性较高的部分筛选出来，当筛选规则为时，可以使置信度最高的样本被筛选出来。不过这些标注并非全部正确。这些错误的标注可能会产生噪声，继而对后续模型的准确率产生负面影响。
本实施例中，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型。
Pointpillars目标检测模型由论文《PointPillars: Fast Encoders for ObjectDetection from Point Clouds》，论文是发表在CVPR 2019上关于激光点云3D目标检测的文章，该论文提出了一种新的点云编码方法用于给PointNet提取点云特征，再将提取的特征映射为2D伪图像以便用2D目标检测的方式进行目标检测。
PointNet目标检测模型由论文《PointNet: Deep Learning on Point Sets for3D Classification and Segmentation》公开，该论文的下载地址为：https://arxiv.org/abs/1612.00593。
VoxelNet目标检测模型能够将3D点云数据看做一个个的Voxel（即立体块）进行处理。总的来说，VoxelNet的网络结构分为三部分，分别为：1、特征学习网络，2、中部卷积层，3、RPN层。
本发明实施例二提供了一种激光雷达的目标检测模型的生成装置，包括以下模块：初始化模块，用于获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；第一处理模块，用于获取未标注的第二数据集，第二数据集由激光雷达采集；使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数；模型训练模块，用于生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型，最终的目标检测模型为所述目标检测模型/>。
本实施例中，还包括以下模块：第二处理模块，用于：i的初始值为2，持续执行以下操作：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
本实施例中，所述获取未标注的第二数据集，第二数据集由激光雷达采集具体包括：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为，其中，/>，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别。
本实施例中，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型。
本发明实施例三提供了一种用于激光雷达的目标检测方法，包括以下步骤：获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行实施例一中的生成方法，生成最终的目标检测模型；获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
本发明实施例四提供了一种用于激光雷达的目标检测装置，包括以下模块：模型生成模块，用于获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行实施例一中的生成方法，生成最终的目标检测模型；第三处理模块，用于获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (6)
1.一种激光雷达的目标检测模型的生成方法，其特征在于，包括以下步骤：
获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；
获取未标注的第二数据集，第二数据集由激光雷达采集，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为/>，其中，，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别；使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型；
生成基于点云的目标检测模型，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>，最终的目标检测模型为所述目标检测模型/>。
2.根据权利要求1所述的生成方法，其特征在于，还包括以下步骤：
i的初始值为2，持续执行以下操作：
使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
3.一种激光雷达的目标检测模型的生成装置，其特征在于，包括以下模块：
初始化模块，用于获取已标注的第一数据集，生成基于点云的目标检测模型，第一数据集由激光雷达采集，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；
第一处理模块，用于获取未标注的第二数据集，第二数据集由激光雷达采集，使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，在推理过程中，最初的标注根据熵/>来对结果进行可靠性衡量，筛选规则为/>，其中，，/>为第二数据集中的类别的数量，/>为检测结果的熵，/>是目标为第c个类别的概率，第二数据集中的所有类别的置信度之和为1，/>为预设的熵阈值，/>表示第二数据集关于第c个类别的伪标签标注，函数argmax()输出为使得函数值/>最大化时的类别；使用目标检测模型/>对第二数据集进行推理，得到第二数据集的标注；使用N个已训练目标检测模型分别对第二数据集进行推理，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；其中，N为自然数，N=3，3个已训练目标检测模型具体为：Pointpillars目标检测模型，PointNet目标检测模型和VoxelNet目标检测模型；
模型训练模块，用于生成基于点云的目标检测模型，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>，最终的目标检测模型为所述目标检测模型/>。
4.根据权利要求3所述的生成装置，其特征在于，还包括以下模块：
第二处理模块，用于：i的初始值为2，持续执行以下操作：使用目标检测模型对第二数据集进行推理，得到第二数据集的标注，使用N个已训练目标检测模型分别对第二数据集进行推理，初始化Num1=0，获取第二数据集中的数据的数量Num2，对第二数据集中的每个数据data均做以下处理：获取N个已训练目标检测模型对数据data推理得到的N个第一投票结果，获取目标检测模型/>对数据data处理的第二投票结果，当N个第一投票结果的众数等于第二投票结果时，将数据data从第二数据集中删除，Num1的值增加1，并将数据data添加到第一数据集中，且数据data对应的伪标签为第二投票结果；当Num1/Num2>预设阈值时，停止执行后面的操作；否则，i的值增加1，生成基于点云的目标检测模型/>，目标检测模型/>用于激光雷达的目标检测；基于第一数据集训练目标检测模型/>；其中，0<预设阈值<1；最终的目标检测模型替换为所述目标检测模型/>。
5.一种用于激光雷达的目标检测方法，其特征在于，包括以下步骤：
获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行权利要求1-2任一项所述的生成方法，生成最终的目标检测模型；
获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
6.一种用于激光雷达的目标检测装置，其特征在于，包括以下模块：
模型生成模块，用于获取已标注的第一数据集，以及未标注的第二数据集，第一、第二数据集由激光雷达采集；执行权利要求1-2任一项所述的生成方法，生成最终的目标检测模型；
第三处理模块，用于获取激光雷达获取的待处理数据，使用最终的目标检测模型处理所述待处理数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410311817.4A CN117907970B (zh) | 2024-03-19 | 2024-03-19 | 激光雷达的目标检测模型的生成、目标检测方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410311817.4A CN117907970B (zh) | 2024-03-19 | 2024-03-19 | 激光雷达的目标检测模型的生成、目标检测方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117907970A CN117907970A (zh) | 2024-04-19 |
| CN117907970B true CN117907970B (zh) | 2024-05-28 |
Family
ID=90685462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410311817.4A Active CN117907970B (zh) | 2024-03-19 | 2024-03-19 | 激光雷达的目标检测模型的生成、目标检测方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117907970B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN111179329A (zh) * | 2019-12-31 | 2020-05-19 | 智车优行科技（上海）有限公司 | 三维目标检测方法、装置及电子设备 |
| CN112990921A (zh) * | 2021-01-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 基于区块链的数据处理方法、装置、计算机及存储介质 |
| CN114708474A (zh) * | 2022-03-14 | 2022-07-05 | 电子科技大学 | 一种融合局部和全局特征的图像语义理解算法 |
| CN115327572A (zh) * | 2022-08-09 | 2022-11-11 | 河南科技大学 | 一种车辆前方障碍物检测方法 |
| CN115761392A (zh) * | 2022-10-14 | 2023-03-07 | 际络科技(上海)有限公司 | 激光雷达目标检测模型训练方法、检测方法及装置 |
| CN115841552A (zh) * | 2022-11-30 | 2023-03-24 | 北京百度网讯科技有限公司 | 高精地图生成方法及装置、电子设备和介质 |
| CN115877372A (zh) * | 2022-11-28 | 2023-03-31 | 重庆长安汽车股份有限公司 | 一种激光雷达检测方法、设备、车辆及存储介质 |
| CN116342851A (zh) * | 2022-12-29 | 2023-06-27 | 浙江啄云智能科技有限公司 | 目标检测模型构建方法、目标检测方法及装置 |
| CN116343077A (zh) * | 2023-01-03 | 2023-06-27 | 西安电子科技大学 | 一种基于注意力机制与多尺度特征的火灾检测预警方法 |
-
2024
- 2024-03-19 CN CN202410311817.4A patent/CN117907970B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN111179329A (zh) * | 2019-12-31 | 2020-05-19 | 智车优行科技（上海）有限公司 | 三维目标检测方法、装置及电子设备 |
| CN112990921A (zh) * | 2021-01-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 基于区块链的数据处理方法、装置、计算机及存储介质 |
| CN114708474A (zh) * | 2022-03-14 | 2022-07-05 | 电子科技大学 | 一种融合局部和全局特征的图像语义理解算法 |
| CN115327572A (zh) * | 2022-08-09 | 2022-11-11 | 河南科技大学 | 一种车辆前方障碍物检测方法 |
| CN115761392A (zh) * | 2022-10-14 | 2023-03-07 | 际络科技(上海)有限公司 | 激光雷达目标检测模型训练方法、检测方法及装置 |
| CN115877372A (zh) * | 2022-11-28 | 2023-03-31 | 重庆长安汽车股份有限公司 | 一种激光雷达检测方法、设备、车辆及存储介质 |
| CN115841552A (zh) * | 2022-11-30 | 2023-03-24 | 北京百度网讯科技有限公司 | 高精地图生成方法及装置、电子设备和介质 |
| CN116342851A (zh) * | 2022-12-29 | 2023-06-27 | 浙江啄云智能科技有限公司 | 目标检测模型构建方法、目标检测方法及装置 |
| CN116343077A (zh) * | 2023-01-03 | 2023-06-27 | 西安电子科技大学 | 一种基于注意力机制与多尺度特征的火灾检测预警方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于激光雷达与毫米波雷达融合的车辆目标检测算法;王海 等;江苏大学学报;20210731;第42卷(第4期);390-394 * |
| 面向交通场景三维目标检测的平行视觉关键方法研究;田永林;中国科学技术大学博士学位论文;20220529;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117907970A (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | A review and comparative study on probabilistic object detection in autonomous driving | |
| CN108805170B (zh) | 形成用于全监督式学习的数据集 | |
| Nitsch et al. | Out-of-distribution detection for automotive perception | |
| US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| US10318848B2 (en) | Methods for object localization and image classification | |
| EP3985552A1 (en) | System for detection and management of uncertainty in perception systems | |
| US20210319340A1 (en) | Machine learning model confidence score validation | |
| Ravindran et al. | Camera, LiDAR, and radar sensor fusion based on Bayesian neural network (CLR-BNN) | |
| KR20210002018A (ko) | 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법 | |
| US11094080B2 (en) | Method and device for determining whether a hand cooperates with a manual steering element of a vehicle | |
| Dong et al. | Automatic aerospace weld inspection using unsupervised local deep feature learning | |
| CN112633310A (zh) | 具有改进的训练鲁棒性地对传感器数据进行分类的方法和*** | |
| US11663840B2 (en) | Method and system for removing noise in documents for image processing | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| US11551084B2 (en) | System and method of robust active learning method using noisy labels and domain adaptation | |
| CN117274768A (zh) | 目标检测网络的训练方法、目标检测方法及相关装置 | |
| CN117690098A (zh) | 一种基于动态图卷积的开放驾驶场景下多标签识别方法 | |
| Patel et al. | Investigation of uncertainty of deep learning-based object classification on radar spectra | |
| CN117907970B (zh) | 激光雷达的目标检测模型的生成、目标检测方法及其装置 | |
| Dong et al. | Combination of modified U‐Net and domain adaptation for road detection | |
| CN112802034A (zh) | 图像分割、识别方法、模型构建方法、装置及电子设备 | |
| CN112597997A (zh) | 感兴趣区域确定方法、图像内容识别方法及装置 | |
| Alashhab et al. | Precise ship location with cnn filter selection from optical aerial images | |
| US20210201015A1 (en) | System and method for enhancing neural sentence classification | |
| CN111950582A (zh) | 为分类模型确定扰动掩模 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |