CN116206275A - 基于知识蒸馏的识别模型训练方法及装置 - Google Patents

基于知识蒸馏的识别模型训练方法及装置 Download PDF

Info

Publication number
CN116206275A
CN116206275A CN202310160316.6A CN202310160316A CN116206275A CN 116206275 A CN116206275 A CN 116206275A CN 202310160316 A CN202310160316 A CN 202310160316A CN 116206275 A CN116206275 A CN 116206275A
Authority
CN
China
Prior art keywords
result
loss function
distillation
regression
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310160316.6A
Other languages
English (en)
Other versions
CN116206275B (zh
Inventor
单佳炜
张正杰
沈罗丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Tanwei Photoelectric Technology Co ltd
Original Assignee
Nantong Tanwei Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Tanwei Photoelectric Technology Co ltd filed Critical Nantong Tanwei Photoelectric Technology Co ltd
Priority to CN202310160316.6A priority Critical patent/CN116206275B/zh
Publication of CN116206275A publication Critical patent/CN116206275A/zh
Application granted granted Critical
Publication of CN116206275B publication Critical patent/CN116206275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种基于知识蒸馏的识别模型训练方法及装置，其中，该方法利用不同分辨率的点云数据之间的知识蒸馏，为低线数激光雷达***训练识别模型，使得低线数激光雷达***通过使用训练好的识别模型基于采集到的低分辨率的点云数据能够获得准确度较高的识别结果，保证识别性能。此外，采用本公开的方法在数据采集与训练阶段部署少量的高线数激光雷达装置便可以提升应用部署端大规模的基于低线数激光雷达的识别性能，极大地降低了应用成本。

Description

基于知识蒸馏的识别模型训练方法及装置
技术领域
本公开涉及计算机技术领域，尤其涉及一种基于知识蒸馏的识别模型训练方法及装置。
背景技术
随着人工智能浪潮的推进，自动驾驶作为最前沿、难度系数最高且未来运用领域最广的技术得到广泛关注与研究。在车辆行驶过程中，自动驾驶***通过分析不同的传感器数据来获取障碍物位置、可通行区域等周围环境信息，并根据感知得到的环境信息规划合适的路径和运动速度，并控制车辆自动实施操作，进而保证车辆能够安全、平稳、高效地行驶至目的地点。激光雷达得益于其对环境光的不敏感性以及捕捉物体三维空间结构的能力，可以更准确地探测车辆周围环境，从而实现更安全的自动驾驶***，因此，基于激光点云的目标识别被广泛地应用于自动驾驶领域中的环境感知任务中。
其中，通过激光雷达采集的点云数据的分辨率容易受到激光雷达硬件参数规格的影响，通常激光雷达的通道数越多，点云数据的分辨率越高，识别准确度较高，但成本也越高，无法广泛应用。因此，如何实现通过低线数激光雷达采集的较低分辨率的点云数据能够得到准确度较高的识别结果是当前亟待解决的问题。
发明内容
为了解决上述技术问题，本公开提供了一种基于知识蒸馏的识别模型训练方法及装置。
第一方面，本公开提供一种基于知识蒸馏的识别模型训练方法，包括：
获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率；
将所述第一点云数据作为训练样本输入至所述教师模型进行目标识别得到所述教师模型输出的第一结果，以及，将所述第二点云数据作为训练样本输入至所述学生模型进行目标识别得到所述学生模型输出的第二结果；
利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。
在一些实施例中，所述第一结果包括：所述教师模型基于所述第一点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述第二结果包括：所述学生模型基于所述第二点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练，包括：
基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项；
对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数；其中，所述学生模型对应的初始损失函数基于所述第二结果与相应训练样本的特征图标签、回归标签以及分类标签得到；
利用所述目标损失函数对所述学生模型进行训练。
在一些实施例中，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
计算所述第一结果和所述第二结果分别包含的分类结果之间的KL散度作为所述分类蒸馏损失函数。
在一些实施例中，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
计算所述第一结果和所述第二结果分别包含的特征图之间的L2距离作为所述特征蒸馏损失函数。
在一些实施例中，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本；
计算所述学生模型针对所述目标训练样本输出的回归结果与所述教师模型针对所述目标训练样本输出的回归结果之间的距离的平均值作为所述回归蒸馏损失函数。
在一些实施例中，所述基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本，包括：
针对训练样本，计算回归目标与所述第一识别结果包含的回归结果之间的第一距离，以及，计算所述回归目标与所述第二识别结果包含的回归结果之间的第二距离；
根据所述第一距离和所述第二距离之间的差值确定所述目标训练样本。
在一些实施例中，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项之后，还包括：
通过所述训练样本的焦点权重对计算得到的特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项进行修正；
所述对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数，包括：
基于修正后的特征蒸馏损失函数、修正后的回归蒸馏损失函数以及修正后的分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数。
在一些实施例中，还包括：
获取针对目标环境通过激光雷达采集的第三点云数据，所述第三点云数据对应所述第二分辨率；
将所述第三点云数据输入至所述目标学生模型得到所述目标学生模型输出的结果；
根据所述目标学生模型输出的结果确定所述第三点云数据对应的目标识别结果。
第二方面，本公开提供一种基于知识蒸馏的识别模型训练装置，包括：
获取模块，用于获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率；
第一识别模块，用于将所述第一点云数据输入所述教师模型进行目标识别得到所述教师模型对应的第一结果；
第二识别模块，用于将所述第二点云数据输入所述学生模型进行目标识别得到所述学生模型对应的第二结果；
知识蒸馏模块，用于利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。
第三方面，本公开提供一种电子设备，包括：存储器和处理器；
所述存储器被配置为存储计算机程序指令；
所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现第一方面以及第一方面任一项所述的基于知识蒸馏的识别模型训练方法。
第四方面，本公开提供了一种可读存储介质，包括：计算机程序指令；电子设备的至少一个处理器执行所述计算机程序指令，使得所述电子设备实现第一方面以及第一方面任一项所述的基于知识蒸馏的识别模型训练方法。
第五方面，本公开提供一种计算机程序产品，电子设备运行所述计算机程序产品，使得所述电子设备实现如第一方面以及第一方面任一项所述的基于知识蒸馏的识别模型训练方法。
第六方面，本公开还提供一种芯片***，芯片***包括：处理器；当处理器执行存储器中存储的计算机指令时，电子设备执行第一方面及第一方面任一项所述的基于知识蒸馏的识别模型训练方法。
本公开提供的基于知识蒸馏的识别模型训练方法及装置，其中，该方法利用不同分辨率的点云数据之间的知识蒸馏，为低线数激光雷达***训练识别模型，使得低线数激光雷达***通过使用训练好的识别模型基于采集到的低分辨率的点云数据能够获得准确度较高的识别结果，保证识别性能。此外，采用本公开的方法在数据采集与训练阶段部署少量的高线数激光雷达装置便可以提升应用部署端大规模的基于低线数激光雷达的识别性能，极大地降低了应用成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开提供的知识蒸馏的架构示意图；
图2为本公开提供的知识蒸馏策略的框架示意图；
图3为本公开实施例提供的基于知识蒸馏的识别模型训练方法的流程图；
图4为本公开实施例提供的基于知识蒸馏的识别模型训练装置的结构示意图；
图5为本公开一实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
随着人工智能浪潮的推进，自动驾驶，尤其是无人驾驶，作为最前沿、难度系数最高且未来运用领域最广的技术得到广泛关注与研究。自动驾驶***主要由环境感知模块、规划决策模块和运动控制模块组成，在自动驾驶场景下，自动驾驶***会分析不同传感器数据来获取障碍物位置、可通行区域等周围环境信息，并根据感知到的环境信息规划车辆的路径和运动速度，由运动控制模块实施操作，保证车辆能够安全、平稳、高效地行驶至目的地。由于激光雷达能够更准确地探测车辆周围环境，因此被广泛应用于自动驾驶领域的环境感知任务中。
激光雷达的线数/通道数决定了其获取的点云数据的分辨率，线数/通道数量的减少会导致点云数据的分辨率下降，点云数据的分辨率降低会导致识别性能显著下降。对于目标对象的回归任务而言，低分辨率点云数据导致目标对象上的像素点数明显减少，因此精准预测包围盒的难度增大。对于目标对象的分类任务而言，低分辨率的点云数据中环境的上下文信息不足，导致识别模型难以区分不同的类别，容易造成误检和漏检。相比之下，高线数激光雷达由于能够采集到高分辨率的点云数据，也能够得到准确度更高的识别结果。
然而，高线数激光雷达成本较高无法广泛部署，因此，如何实现通过低线数激光雷达采集的低分辨率的点云数据能够得到准确度较高的识别结果是当前亟待解决的问题。
知识蒸馏是目前广泛使用的神经网络压缩技术之一，其旨在利用网络规模大、计算量复杂的大型模型来训练更适合部署的小型模型，将大模型获得的知识转移到小模型上，实现利用小型规模与计算量的模型达到与大型模型相似的性能，在损失较少精度的情况下提高计算效率，从而起到模型参数压缩与计算加速的目的。知识蒸馏方法通常采用教师-学生模型的训练方式，如图1所示。其中，大型网络作为教师模型，小型网络作为学生模型，教师模型和学生模型针对训练样本各自输出预测结果，再利用教师模型输出的预测结果进行知识蒸馏以监督约束学生模型输出的预测结果。
为解决上述问题，本公开利用不同线数的激光雷达采集不同分辨率的点云数据并进行知识蒸馏，将高分辨率的点云数据输入至教师模型，低分辨率的点云数据输入至学生模型，将高分辨率的点云数据中额外的信息作为知识通过所设计的知识蒸馏框架传递给学生模型进行训练，从而为低线数激光雷达***训练识别性能较高的识别模型，低线数激光雷达***通过使用训练好的识别模型基于低线数激光雷达装置采集的低分辨率的点云数据能够获得准确度较高的识别结果，保证识别性能。此外，采用本公开的方法在数据采集与训练阶段部署少量的高线数激光雷达装置便可以提升应用端大规模的基于低线数激光雷达的识别性能，极大地降低了应用成本。
本实施例提供的基于知识蒸馏的识别模型训练方法可以由本公开提供的基于知识蒸馏的识别模型训练装置执行，该装置可以通过任意的软件和/或硬件的方式实现。示例性地，该装置可以为服务器、服务平台、服务集群、云服务器、笔记本电脑、台式电脑等电子设备，本公开对于电子设备不做限定。
接下来，将通过几个具体实施例对本公开提供的基于知识蒸馏的识别模型训练方法进行详细介绍。下述实施例中，以电子设备为例进行举例说明。
图2为本公开一实施例提供的基于知识蒸馏的识别模型训练方法的流程图。请参阅图2所示，本实施例的方法包括：
S201、获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，第一点云数据对应的第一分辨率高于第二点云数据对应的第二分辨率。
上述教师模型和学生模型是针对相同的目标任务的神经网络模型。其中，教师模型可以为规模较大、层级较深、参数较多的神经网络模型，学生模型可以为规模较小、层级较浅、参数较少的神经网络模型，即学生模型更加轻量级；或者，教师模型和学生模型的网络结构也可以相同。本公开中，目标任务即为基于点云数据进行目标识别的任务。
本方案中，电子设备中存储有教师模型的网络结构信息和教师模型对应的各参数的权重系数；类似地，电子设备中存储有学生模型的网络结构信息。在进行知识蒸馏时，电子设备加载教师模型的网络结构以及教师模型中各参数的权重系数，并进行赋值操作得到教师模型；电子设备加载学生模型的网络结构以及初始化学生模型所包含的各参数的权重系数，并进行赋值操作得到学生模型。
在一些实施例中，可以预先部署高低不同线数的激光雷达针对相同场景采集点云数据，其中，通过高线数的激光雷达采集得到高分辨率的第一点云数据，通过低线数的激光雷达采集得到低分辨率的第二点云数据。在采集点云数据时，不同线数的激光雷达可以位于相同或者相近的位置进行采集，再通过两个激光雷达之间的外参关系，将两种分辨率的点云数据统一在一个坐标系下，采集到的点云数据之间的关联性更强，有利于提升知识蒸馏的效果。
其中，激光雷达可以但不限于为4线、8线、16线、32线、64线和128线，其中，线数与激光雷达内部所包含的激光器数量一致。示例性地，若高线数的激光雷达为32线，则低线数的激光雷达可以为4线、8线或者16线。
S202、将第一点云数据作为训练样本输入至教师模型进行目标识别得到教师模型输出的第一结果。
其中，教师模型可以包含特征提取模块、区域提案模块、回归模块和分类模块，特征提取模块用于从输入的点云数据中提取3D稀疏特征图以及根据3D稀疏特征图得到2D特征图；区域提案模块用于从2D特征图中再次提取特征图；回归模块用于根据区域提案模块输出的特征图预测目标框的属性，其中，目标框即包围盒，本公开对于包围盒的类型不做限定，例如可以为AABB包围盒(Axis-aligned bounding box)、方向包围盒OBB(Orientedbounding box)等，目标框的属性可以包括中心点的坐标、目标框的长宽高、偏航角等信息；分类分支用于根据区域提案模块输出的特征图预测像素点所属的目标类别。
将第一点云数据输入至教师模型得到中一个或多个模块或者网络层的输出作为第一结果用于进行知识蒸馏。其中，第一结果具体包含哪些模块或者网络层的输出与知识蒸馏策略相关。
第一点云数据为高分辨率的点云数据，其中包含更多的环境信息，其作为教师模型的训练样本能够使教师模型学习更多的知识，在蒸馏时教师模型基于学习到的知识指导学生模型训练优化能够取得更好的效果。
S203、将第二点云数据作为训练样本输入至学生模型进行目标识别得到学生模型输出的第二结果。
其中，学生模型可以包括特征提取模块、区域提案模块、回归模块和分类模块，各模块所执行的功能与教师模型类似，但各模块的结构可以与教师模型中相对应的模块相同，也可以不同。
将第二点云数据输入至学生模型得到中一个或多个模块或者网络层的输出作为第二结果用于进行知识蒸馏。其中，第二结果具体包含哪些模块或者网络层的输出与知识蒸馏策略相关。
S204、利用第一结果以及第二结果进行知识蒸馏对学生模型进行训练直至满足训练结束条件得到目标学生模型。
知识蒸馏策略可以包括一个或多个蒸馏模块(即蒸馏分支)，例如，可以包括特征图蒸馏模块、回归蒸馏模块、分类蒸馏模块中的一个或多个。
示例性地，图3为本公开一实施例提供的知识蒸馏策略的框架图，请参阅图3所示，教师模型和学生模型分别包含特征提取模块、区域提案模块、回归模块和分类模块，知识蒸馏策略包含上述特征图蒸馏模块、回归蒸馏模块以及分类蒸馏模块；相应地，第一结果包括：教师模型基于第一点云数据得到的特征图、输出的回归结果以及分类结果；第二结果包括学生模型基于第二点云数据得到的特征图、输出的回归结果以及分类结果。其中，特征蒸馏模块旨在指导学生模型的特征分布，通过特征图间的约束使得学生模型产生与教师模型更加一致的特征。回归蒸馏模块旨在通过利用教师模型的目标框回归输出作为预测精确目标框的中间指导，协助学生模型在有限的信息中更加准确地定位目标框。分类蒸馏模块旨在将教师模型产生的概率分布作为学生模型的软训练目标来提升学生模型目标分类的准确性。特征蒸馏模块、回归蒸馏模块以及分类蒸馏模块分别计算各自对应的蒸馏分支的损失函数，再通过将各蒸馏分支的损失函数与学生模型的原始损失函数进行加权求和得到整体优化的目标损失函数，基于目标损失函数对学生模型进行训练。需要说明的是，图3中的物体框即为前文描述的目标框。
1、特征蒸馏(也可以称为特征图蒸馏)
本公开以区域提案模块的最后一网络层输出的特征图进行特征蒸馏，通过特征蒸馏，学生模型在教师模型的约束下可以尽可能学习额外信息，从而辅助后端网络进行回归和分类。
特征蒸馏损失函数(也可以称为特征图蒸馏损失函数)可以为任意类型损失函数，用于表达特征图之间的差异，本公开对于特征蒸馏损失函数的类型不作限定，如可以但不限于为：L2距离(L2-norm)、欧氏距离、交叉熵等等。以L2距离为例，特征蒸馏损失函数Ldfeat满足公式
Figure BDA0004093886610000111
ft表示教师模型的最后一层特征图，fs表示学生模型的最后一层特征图。
2、回归蒸馏
由于第二点云数据的信息稀疏，学生模型难以直接实现精确定位，因此，本公开通过使用教师模型输出的回归结果作为学生模型的辅助指令，从而使学生模型更容易从回归目标中学习。
由于教师模型的回归输出是无界的，教师模型预测的回归结果可能与真实结果之间存在误差，预测的回归结果不准确的训练样本会给学生模型带来额外的噪声，导致训练效果较差，因此，本公开利用学生模型输出的回归结果不如教师模型输出的回归结果的训练样本进行回归蒸馏。
首先，需要基于回归目标、学生模型的回归模型输出的回归结果以及教师模型的回归模块输出的回归结果识别哪些目标训练样本可以用于回归蒸馏损失的计算；接下来，再计算学生模型针对目标训练样本输出的回归结果与教师模型针对目标训练样本输出的回归结果之间的距离的平均值作为回归蒸馏损失函数。本公开对于计算回归结果之间的距离的实现方式不做限定。
示例性地，回归蒸馏损失函数Ldreg满足公式
Figure BDA0004093886610000112
其中，
Figure BDA0004093886610000113
或者，
Figure BDA0004093886610000114
P表示正样本集合，|P|表示正样本集合的样本数量，正样本即为用于计算回归蒸馏损失函数的目标训练样本；
Figure BDA0004093886610000115
分别表示学生模型输出的回归结果、教师模型输出的回归结果以及回归目标，其中，回归目标可以由用户预先对第二点云数据通过人工标注的方式得到；/>
Figure BDA0004093886610000121
表示目标框的第j维度属性，ψ表示维度数量；m是阈值超参数。
3、分类蒸馏
分类蒸馏损失函数可以为但不限于为KL散度、交叉熵、欧式距离等，以KL散度为例，分类损失函数Ldcls满足公式Ldcls＝KL(pt,ps)，公式中KL表示KL散度(Kullback-LeiblerDivergence)，pt,ps分别表示教师模型和学生模型输出的分类结果，分类结果可以为分类概率分布。
4、学生模型的原始损失函数
其中，学生模型的
在获得上述各蒸馏分支对应的损失函数后，可通过加权求和得到学生模型训练的整体目标损失函数。
其中，目标损失函数L满足公式L＝λLdcls+ηLdreg+σLdfeat+Ldetector，λ、η、σ用于调节各个蒸馏分支的损失函数的权重，Ldetector表示原始的学生模型的损失函数。
在一些实施例中，为了更有效地提升针对低分辨率下点云数据的目标识别效果，希望将高分辨率点云数据中的知识转移更多地集中在学生模型无法很好的处理的关键训练样本上。例如，远处的目标物体上通常包含较少的点云数据，因此，这类训练样本推理出精确的结果对于学生模型来说更困难，这类训练样本即为关键训练样本，在蒸馏过程中更加应该受到重视。因此，为了提升这类关键训练样本的蒸馏效果，本公开在知识蒸馏框架中引入了焦点权重(focal weights)，并依据学生模型的检测性能来自适应地调整对不同样本的蒸馏软约束损失权重，从而使得学生模型可以更加专注于学习关键样本的蒸馏知识以产生更精确的识别结果。
其中，本公开通过引入焦点权重来自适应地使知识蒸馏损失关注在更关键的区域。焦点权重由学生模型输出的分类结果决定，分类结果为分类概率分布，满足下述公式：
Ws＝α(1-ps)γ
其中，Ws表示样本的焦点权重，α和γ是超参数，分别用于平衡正负样本与难易样本，ps表示学生模型输出的分类概率分布。
本公开将焦点权重应用于所设计的知识蒸馏框架的三个分支中，对计算的各分支的蒸馏损失函数进行修正，从而实现调整不同样本和特征区域的蒸馏权重，使得学生模型在蒸馏学习过程中更加关注那些无法正确处理的关键样本上，有利于高分辨率点云知识的传递更加具有针对性，进而使知识蒸馏过程更加得有效。
其中，对于特征图蒸馏分支而言，焦点权重使知识蒸馏自适应地关注学生模型检测困难的关键区域。假设，利用第一结果和第二结果计算得到的特征蒸馏损失函数Ldfeat满足公式
Figure BDA0004093886610000131
利用焦点权重进行修正，修正后的特征蒸馏损失函数如下所示：
Figure BDA0004093886610000132
若采用其他类型函数作为特征蒸馏损失函数，也可以采用将焦点权重与函数相乘的方式进行修正。
其中，对于分类蒸馏分支而言，为了提高学生模型对检测困难的关键样本进行正确分类的能力，本公开根据学生模型的分类置信度自适应地动态调整每个训练样本的蒸馏权重，对学生模型识别结果较差的训练样本分配更大的权重以给予更多的关注，使其在蒸馏过程中发挥更大的作用。分类蒸馏损失函数利用KL散度表示时，可以利用焦点权重采用如下方式进行修正，修正后的分类蒸馏损失函数如下公式所示：L′dcls＝WsKL(pt,ps)。若采用其他类型函数作为分类蒸馏损失函数，也可以采用将焦点权重与函数相乘的方式进行修正。
其中，对于回归蒸馏分支而言，本公开为不同的训练样本分配不同大小的焦点权重，以关注学生模型识别不佳的区域。假设，利用第一结果和第二结果计算得到的回归蒸馏损失函数Ldreg满足公式
Figure BDA0004093886610000141
时，利用焦点权重进行修正，修正后的回归蒸馏损失函数如下公式所示：/>
Figure BDA0004093886610000142
β表示超参数。
在利用焦点权重对各分支的蒸馏损失函数进行修正后，可以利用各分支对应的修正后的蒸馏损失函数通过加权的方式计算目标损失函数，通过公式可以表示如下：L＝λL′dcls+ηL′dreg+σL′dfeat+Ldetector。
需要说明的是，用户可根据实际场景需求配置是否采用焦点权重对蒸馏损失函数进行修正，且如何使用焦点权重并不限于上述示例，可根据需求进行调整。
还需要说明的是，若蒸馏策略包含其中部分分支，例如，仅包含回归蒸馏分支和分类蒸馏分支，无特征图蒸馏分支，也可以采用类似的加权方式计算整体训练的目标损失函数，再基于目标损失函数训练学生模型。
此外，可以迭代训练直至满足预设迭代条件得到训练好的目标学生模型，并将目标学生模型部署在应用端执行目标识别任务。预设迭代条件可以但不限于为迭代次数或者其他模型评价指标。
其中，应用端可以采用低线数激光雷达采集低分辨率的第三点云数据，并将第三点云数据输入至目标学生模型，目标学生模型通过提取第三点云数据中的3D稀疏特征图，基于3D稀疏特征图得到2D特征图，进而通过区域提案模块对2D特征图再次进行特征提取，并将提取的特征输入至回归模块和分类模块，之后，对回归模块预测的回归结果和分类模块预测的分类结果进行后处理得到目标识别结果。在推理过程中，使用低分辨率点云作为目标学生模型的输入，无需任何额外的计算量与信息可以得到更准确的识别结果。
综上所述，采用本公开的方法通过在数据采集与训练阶段部署少量的高线数激光雷达便可以大幅提升应用端大规模的基于低线数激光雷达的目标识别性能，极大降低自动驾驶***成本。
需要说明的是，本公开提供的方法除自动驾驶场景之外，还可以适用于其他场景，例如工业检测场景，以提升利用点云数据提升识别效果且降低成本。
图4为本公开一实施例提供的基于知识蒸馏的识别模型训练装置的结构示意图。请参阅图4所示，本实施例提供的基于知识蒸馏的识别模型训练装置400包括：
获取模块401，用于获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率。
第一识别模块402，用于将所述第一点云数据输入所述教师模型进行目标识别得到所述教师模型对应的第一结果。
第二识别模块403，用于将所述第二点云数据输入所述学生模型进行目标识别得到所述学生模型对应的第二结果。
知识蒸馏模块404，用于利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。
在一些实施例中，所述第一结果包括：所述教师模型基于所述第一点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述第二结果包括：所述学生模型基于所述第二点云数据得到的特征图、回归结果、分类结果中的一项或多项。
知识蒸馏模块404，具体用于基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项；对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到所述目标损失函数；以及，利用所述目标损失函数对所述学生模型进行训练。其中，所述学生模型对应的初始损失函数基于所述第二结果与相应训练样本的特征图标签、回归标签以及分类标签得到。
在一些实施例中，知识蒸馏模块404，具体用于计算所述第一结果和所述第二结果分别包含的分类结果之间的KL散度作为所述分类蒸馏损失函数。
在一些实施例中，知识蒸馏模块404，具体用于计算所述第一结果和所述第二结果分别包含的特征图之间的L2距离作为所述特征蒸馏损失函数。
在一些实施例中，知识蒸馏模块404，具体用于基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本；计算所述学生模型针对所述目标训练样本输出的回归结果与所述教师模型针对所述目标训练样本输出的回归结果之间的距离的平均值作为所述回归蒸馏损失函数。
在一些实施例中，知识蒸馏模块404，具体用于针对训练样本，计算回归目标与所述第一结果包含的回归结果之间的第一距离，以及，计算所述回归目标与所述第二结果包含的回归结果之间的第二距离；根据所述第一距离和所述第二距离确定目标训练样本。
在一些实施例中，基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项之后，知识蒸馏模块404，还用于通过所述训练样本的焦点权重对计算得到的特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项进行修正。
相应地，知识蒸馏模块404，具体用于基于修正后的特征蒸馏损失函数、修正后的回归蒸馏损失函数以及修正后的分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数。
在一些实施例中，获取模块401，还用于获取针对目标环境通过激光雷达采集的第三点云数据，所述第三点云数据对应所述第二分辨率；将所述第三点云数据输入至所述目标学生模型进行目标识别得到所述目标学生模型输出的结果；根据所述目标学生模型输出的结果确定所述第三点云数据对应的目标识别结果。
本实施例提供的装置可以用于实现前述任一方法实施例的技术方案，其实现原理以及技术效果类似，可参照前述方法实施例的详细描述，简明起见，此处不再赘述。
图5为本公开一实施例提供的电子设备的结构示意图。请参阅图5所示，本实施例提供的电子设备500包括：存储器501和处理器502。
其中，存储器501可以是独立的物理单元，与处理器502可以通过总线503连接。存储器501、处理器502也可以集成在一起，通过硬件实现等。
存储器501用于存储程序指令，处理器502调用该程序指令，执行以上任一方法实施例提供的基于知识蒸馏的识别模型训练方法。
可选地，当上述实施例的方法中的部分或全部通过软件实现时，上述电子设备500也可以只包括处理器502。用于存储程序的存储器501位于电子设备500之外，处理器502通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器502可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。
处理器502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器501可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
本公开还提供一种可读存储介质，包括：计算机程序指令，所述计算机程序指令被电子设备的至少一个处理器执行时，使得所述电子设备实现如上任一方法实施例提供的基于知识蒸馏的识别模型训练方法。
本公开还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如上任一方法实施例提供的基于知识蒸馏的识别模型训练方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于知识蒸馏的识别模型训练方法，其特征在于，包括：
获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率；
将所述第一点云数据作为训练样本输入至所述教师模型进行目标识别得到所述教师模型输出的第一结果，以及，将所述第二点云数据作为训练样本输入至所述学生模型进行目标识别得到所述学生模型输出的第二结果；
利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。
2.根据权利要求1所述的方法，其特征在于，所述第一结果包括：所述教师模型基于所述第一点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述第二结果包括：所述学生模型基于所述第二点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练，包括：
基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项；
对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数；其中，所述学生模型对应的初始损失函数基于所述第二结果与相应训练样本的特征图标签、回归标签以及分类标签得到；
利用所述目标损失函数对所述学生模型进行训练。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
计算所述第一结果和所述第二结果分别包含的分类结果之间的KL散度作为所述分类蒸馏损失函数。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
计算所述第一结果和所述第二结果分别包含的特征图之间的L2距离作为所述特征蒸馏损失函数。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：
基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本；
计算所述学生模型针对所述目标训练样本输出的回归结果与所述教师模型针对所述目标训练样本输出的回归结果之间的距离的平均值作为所述回归蒸馏损失函数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本，包括：
针对训练样本，计算回归目标与所述第一识别结果包含的回归结果之间的第一距离，以及，计算所述回归目标与所述第二识别结果包含的回归结果之间的第二距离；
根据所述第一距离和所述第二距离确定所述目标训练样本。
7.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项之后，还包括：
通过所述训练样本的焦点权重对计算得到的特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项进行修正；
所述对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数，包括：
基于修正后的特征蒸馏损失函数、修正后的回归蒸馏损失函数以及修正后的分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数。
8.根据权利要求1所述的方法，其特征在于，还包括：
获取针对目标环境通过激光雷达采集的第三点云数据，所述第三点云数据对应所述第二分辨率；
将所述第三点云数据输入至所述目标学生模型得到所述目标学生模型输出的结果；
根据所述目标学生模型输出的结果确定所述第三点云数据对应的目标识别结果。
9.一种基于知识蒸馏的识别模型训练装置，其特征在于，包括：
获取模块，用于获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率；
第一识别模块，用于将所述第一点云数据输入所述教师模型进行目标识别得到所述教师模型对应的第一结果；
第二识别模块，用于将所述第二点云数据输入所述学生模型进行目标识别得到所述学生模型对应的第二结果；
知识蒸馏模块，用于利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。
10.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器被配置为存储计算机程序指令；
所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现如权利要求1至8任一项所述的基于知识蒸馏的识别模型训练方法。
11.一种可读存储介质，其特征在于，包括：计算机程序指令；
电子设备的至少一个处理器执行所述计算机程序指令，使得所述电子设备实现如权利要求1至8任一项所述的基于知识蒸馏的识别模型训练方法。
CN202310160316.6A 2023-02-23 2023-02-23 基于知识蒸馏的识别模型训练方法及装置 Active CN116206275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310160316.6A CN116206275B (zh) 2023-02-23 2023-02-23 基于知识蒸馏的识别模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310160316.6A CN116206275B (zh) 2023-02-23 2023-02-23 基于知识蒸馏的识别模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN116206275A true CN116206275A (zh) 2023-06-02
CN116206275B CN116206275B (zh) 2024-03-01

Family

ID=86510840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310160316.6A Active CN116206275B (zh) 2023-02-23 2023-02-23 基于知识蒸馏的识别模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN116206275B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116861261A (zh) * 2023-09-04 2023-10-10 浪潮(北京)电子信息产业有限公司 自动驾驶模型的训练方法、部署方法、***、介质和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210239828A1 (en) * 2020-02-03 2021-08-05 Veev Group, Inc. System, method and computer program product for improved radar-based object recognition
CN113569882A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于知识蒸馏的快速行人检测方法
CN114529819A (zh) * 2022-02-23 2022-05-24 合肥学院 一种基于知识蒸馏学习的生活垃圾图像识别方法
CN114819135A (zh) * 2022-03-18 2022-07-29 上海高仙自动化科技发展有限公司 检测模型的训练方法、目标检测方法、装置和存储介质
CN114898189A (zh) * 2022-03-31 2022-08-12 西安电子科技大学 基于模态差异特征引导的红外可见光融合识别***和方法
CN115100238A (zh) * 2022-05-24 2022-09-23 北京理工大学 基于知识蒸馏的轻量化单目标***训练方法
CN115331285A (zh) * 2022-07-29 2022-11-11 南京邮电大学 一种基于多尺度特征知识蒸馏的动态表情识别方法及***
US20220383072A1 (en) * 2021-05-28 2022-12-01 Samsung Sds Co., Ltd. Knowledge distillation method based on regression task and computing device for executing the method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800942B (zh) * 2021-01-26 2024-02-13 泉州装备制造研究所 一种基于自校准卷积网络的行人检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210239828A1 (en) * 2020-02-03 2021-08-05 Veev Group, Inc. System, method and computer program product for improved radar-based object recognition
CN113569882A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于知识蒸馏的快速行人检测方法
US20220383072A1 (en) * 2021-05-28 2022-12-01 Samsung Sds Co., Ltd. Knowledge distillation method based on regression task and computing device for executing the method
CN114529819A (zh) * 2022-02-23 2022-05-24 合肥学院 一种基于知识蒸馏学习的生活垃圾图像识别方法
CN114819135A (zh) * 2022-03-18 2022-07-29 上海高仙自动化科技发展有限公司 检测模型的训练方法、目标检测方法、装置和存储介质
CN114898189A (zh) * 2022-03-31 2022-08-12 西安电子科技大学 基于模态差异特征引导的红外可见光融合识别***和方法
CN115100238A (zh) * 2022-05-24 2022-09-23 北京理工大学 基于知识蒸馏的轻量化单目标***训练方法
CN115331285A (zh) * 2022-07-29 2022-11-11 南京邮电大学 一种基于多尺度特征知识蒸馏的动态表情识别方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116861261A (zh) * 2023-09-04 2023-10-10 浪潮(北京)电子信息产业有限公司 自动驾驶模型的训练方法、部署方法、***、介质和设备
CN116861261B (zh) * 2023-09-04 2024-01-19 浪潮(北京)电子信息产业有限公司 自动驾驶模型的训练方法、部署方法、***、介质和设备

Also Published As

Publication number Publication date
CN116206275B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
Gerdzhev et al. Tornado-net: multiview total variation semantic segmentation with diamond inception module
Li et al. Multi-scale interaction for real-time lidar data segmentation on an embedded platform
US10885352B2 (en) Method, apparatus, and device for determining lane line on road
WO2023138300A1 (zh) 目标检测方法及应用其的移动目标跟踪方法
US11783568B2 (en) Object classification using extra-regional context
US20220236075A1 (en) Map construction device and method thereof
US11822621B2 (en) Systems and methods for training a machine-learning-based monocular depth estimator
CN110197106A (zh) 物件标示***及方法
CN115223117B (zh) 三维目标检测模型的训练和使用方法、装置、介质及设备
CN116206275B (zh) 基于知识蒸馏的识别模型训练方法及装置
US11526807B2 (en) Machine learning systems and methods with source-target adaptation
EP4086817A1 (en) Training distilled machine learning models using a pre-trained feature extractor
Asyraf et al. CNN-based YOLOv3 comparison for underwater object detection
Lu et al. An efficient network for multi-scale and overlapped wildlife detection
Fanthony et al. YOLO algorithm-based surrounding object identification on autonomous electric vehicle
CN116612450A (zh) 一种面向点云场景的差异化知识蒸馏3d目标检测方法
Kuppusamy et al. Traffic Sign Recognition for Autonomous Vehicle Using Optimized YOLOv7 and Convolutional Block Attention Module
JP2023126130A (ja) オブジェクト検出のためのコンピュータにより実施される方法、データ処理機器及びコンピュータプログラム
Zhang et al. TriHelper: Zero-Shot Object Navigation with Dynamic Assistance
US20240119723A1 (en) Information processing device, and selection output method
Ngoc et al. Efficient Evaluation of SLAM Methods and Integration of Human Detection with YOLO Based on Multiple Optimization in ROS2.
Dos Santos et al. Performance comparison of convolutional neural network models for object detection in tethered balloon imagery
Wang et al. LIO-CSI: LiDAR inertial odometry with loop closure combined with semantic information
KR102681856B1 (ko) 상황 정보 기반의 객체 검출 정확도 보정 방법 및 시스템
Wozniak et al. UADA3D: Unsupervised Adversarial Domain Adaptation for 3D Object Detection with Sparse LiDAR and Large Domain Gaps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant