CN111523600B - 神经网络训练、目标检测、及智能设备控制的方法及装置 - Google Patents

神经网络训练、目标检测、及智能设备控制的方法及装置 Download PDF

Info

Publication number
CN111523600B
CN111523600B CN202010340892.5A CN202010340892A CN111523600B CN 111523600 B CN111523600 B CN 111523600B CN 202010340892 A CN202010340892 A CN 202010340892A CN 111523600 B CN111523600 B CN 111523600B
Authority
CN
China
Prior art keywords
point cloud
data
data sample
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010340892.5A
Other languages
English (en)
Other versions
CN111523600A (zh
Inventor
张文蔚
王哲
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010340892.5A priority Critical patent/CN111523600B/zh
Publication of CN111523600A publication Critical patent/CN111523600A/zh
Application granted granted Critical
Publication of CN111523600B publication Critical patent/CN111523600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种神经网络训练、目标检测、及智能设备控制的方法、装置、电子设备及存储介质，其中，该神经网络训练的方法包括：获取多个原始数据样本对；每个原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；针对每个原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；基于多个融合数据样本对，进行神经网络训练。采用上述方案一定程度上丰富需要训练的对象特征，提升数据样本的特征表达能力，从而能够使得训练得到的神经网络具有较高的检测准确率。

Description

神经网络训练、目标检测、及智能设备控制的方法及装置
技术领域
本公开涉及目标检测技术领域，具体而言，涉及一种神经网络训练、目标检测、及智能设备控制的方法、装置、电子设备及存储介质。
背景技术
目标检测作为计算机视觉研究领域的一个基础问题，它的任务是给出感兴趣物体在图像中的位置信息和类别信息，可以应用于智能机器人、自动驾驶、辅助驾驶、人机交互、行为识别等相关领域中。
其中，三维(3-Dimensional，3D)目标检测作为一种可以提供更多位姿信息的检测方案越来越受到重视。3D目标检测即指的是利用多类型传感器得到的数据，从中推断出各个目标的3D位置、大小以及方向的任务。这里通常可采用的数据包括从彩色相机得到的RGB图像，以及从激光雷达得到的点云数据，另外，信息的推断则可以基于训练完成的神经网络来实现。
但3D目标检测的效果还存在不足，如何提升3D目标检测的准确率是值得研究的问题。
发明内容
本公开实施例提供一种神经网络训练、目标检测、及智能设备控制的方法、装置、电子设备及存储介质，能够通过对样本内容进行对象融合，丰富样本的特征表达能力，使得训练得到的神经网络具有较高的检测准确率。
第一方面，本公开实施例提供了一种神经网络训练的方法，所述方法包括：
获取多个原始数据样本对；每个所述原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
针对每个所述原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将所述至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
基于多个所述融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络。
采用上述神经网络训练的方法，在进行神经网络训练之前，可以首先对获取的同一真实场景的点云数据样本和图像数据样本分别进行样本内容丰富处理，也即，针对原始数据样本对中的点云数据样本，基于至少一个补充对象分别对应的点云数据对该点云数据样本进行融合处理，针对原始数据样本对中的图像数据样本，基于至少一个补充对象分别对应的图像数据对该图像数据样本进行融合处理，然后，可以利用融合处理得到的融合数据样本对进行神经网络的训练。
上述神经网络训练的方法，融合后的点云数据样本除了包括原对象的点云数据，还包括了补充对象的点云数据，同理，融合后的图像数据样本既包括原对象的图像数据又包括了补充对象的图像数据，这将一定程度上提升了数据样本的特征表达能力，从而能够使得训练得到的神经网络具有较高的检测准确率。
在一种实施方式中，所述神经网络包括第一特征提取网络、第二特征提取网络、和目标检测网络，所述基于多个所述融合数据样本对，进行神经网络训练，包括：
利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将所述点云特征信息和所述图像特征信息进行特征融合后，得到融合特征信息；
将所述融合特征信息输入目标检测网络，得到目标检测结果，并基于该目标检测结果与所述融合数据样本对所对应的标注信息，调整所述第一特征提取网络、所述第二特征提取网络、以及所述目标检测网络的网络参数。
为了提升不同数据样本的特征表达能力，本公开实施例提供的神经网络训练的方法在针对点云数据样本和图像数据样本进行特征提取的过程中，可以采用两路特征提取网络(即第一特征提取网络和第二特征提取网络)分别进行点云特征信息的提取以及图像特征信息的提取。在实现特征提取之后，可以依次进行特征融合和目标检测。在确定目标检测结果之后，可以基于目标检测结果与标注信息实现有关第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数的调整，从而训练得到高准确率的神经网络。
在一种实施方式中，所述利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息，包括：
针对每个融合数据样本对，对该融合数据样本对中的点云数据样本按照第一数据增强操作集进行第一数据增强处理，以及，对该融合数据样本对中的图像数据样本按照第二数据增强操作集进行第二数据增强处理，得到数据增强处理后的融合数据样本对；
利用第一特征提取网络对所述数据增强处理后的融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述数据增强处理后的融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将所述点云特征信息和所述图像特征信息进行特征融合，包括：
将所述点云特征信息所对应的进行第一数据增强处理后的点云数据样本按照所述第一数据增强操作集对应的反向操作集进行处理，将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标，并将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到所述点云特征信息所对应的图像特征信息；
将得到的所述点云特征信息和确定的与该点云特征信息所对应的图像特征信息进行特征融合。
为了进一步提升不同数据样本的特征表达能力，本公开实施例提供的神经网络训练的方法，在将融合数据样本对中的点云数据样本输入第一特征提取网络以及将融合数据样本对中的图像数据样本输入第二特征提取网络之前，还可以采用不同的数据增强策略对不同的数据样本进行数据增强处理。考虑到在针对点云特征信息和图像特征信息进行特征融合的过程中，上述数据增强处理对不同数据样本将产生不同的影响，为了将特征整合至同一参考坐标系下进行融合，在进行特征融合之前，还可以首先针对点云数据样本进行反向的增强操作、坐标转换操作，然后再按照图像数据样本的增强操作进行处理，以确定点云特征信息所对应的图像特征信息，这样，融合后的特征将处于同一参考坐标系下，从而进一步提升后续神经网络训练的准确率。
在一种实施方式中，所述将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到所述点云特征信息所对应的图像特征信息，包括：
将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到各个点的处理后图像坐标；
将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标；
基于各个点对应的每种缩放比例下的图像坐标，提取不同特征图尺寸下的图像特征信息，将所述不同特征图尺寸下的图像特征信息作为所述点云特征信息所对应的图像特征信息。
本公开实施例中，可以基于对各个点的处理后图像坐标进行不同缩放比例的处理，实现不同特征图尺寸的图像特征信息的提取，从而丰富提取的图像数据样本的图像特征信息，提升神经网络训练的鲁棒性。
在一种实施方式中，所述基于该目标检测结果与所述融合数据样本对所对应的标注信息，调整所述第一特征提取网络、所述第二特征提取网络、以及所述目标检测网络的网络参数，包括：
基于该目标检测结果与所述融合数据样本对所对应的标注信息，确定当前迭代周期内当前次训练的损失信息；其中，每个迭代周期内包含预设训练次数；
基于所述损失信息，调整所述第一特征提取网络和所述目标检测网络的网络参数；
在当前次训练为当前迭代周期内的最后一次训练时，基于所述损失信息，调整所述第二特征提取网络的网络参数。
本公开实施例在进行神经网络的训练过程中，针对不同的神经网络可以采用不同的参数调整策略，这里，由于一般第二特征提取网络相比第一特征提取网络，其使用的基础网络模型较为成熟，可以针对提取点云特征信息的第一特征提取网络以及进行目标检测的目标检测网络采用速度较快的参数调整策略，而针对提取图像特征信息的第二特征提取网络则可以采用速度较慢的参数调整策略，以确保上述各个神经网络训练的平衡性。
在一种实施方式中，补充对象采用以下步骤确定：
从补充对象库中选取多个候选补充对象的点云数据和图像数据；
针对每个所述候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进所述点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；并基于该候选补充对象的图像数据，确定若将该图像数据融合进所述图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
若确定该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系、且与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值，则将该候选补充对象作为补充对象。
本公开实施例在基于补充对象的数据进行数据融合之前，可以通过遮挡验证操作从候选补充对象中确定可融合的补充对象。针对点云数据样本而言，考虑其作为一种三维构造结构具有空间唯一性，需要选用不存在遮挡关系的候选补充对象作为可融合的补充对象，针对图像数据样本而言，可以选用遮挡面积不大于设定面积阈值的候选补充对象作为可融合的补充对象，在同时满足上述两种遮挡验证操作的前提下即可确定最终可融合的补充对象，从而能够在确保图像数据样本的特征表达能力的前提下，避免无关信息对其特征表达能力的干扰。
第二方面，本公开实施例还提供了一种目标检测的方法，所述方法包括：
获取待处理数据；所述待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
将获取的所述待处理数据中的待处理点云数据和待处理图像数据输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果。
第三方面，本公开实施例还提供了一种智能设备控制的方法，所述方法包括：
获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
将获取的所述道路点云数据和所述道路图像数据输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果；
根据所述目标检测结果控制所述智能设备行驶。
第四方面，本公开实施例还提供了一种神经网络训练的装置，所述装置包括：
样本获取模块，用于获取多个原始数据样本对；每个所述原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
数据融合模块，用于针对每个所述原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将所述至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
网络训练模块，用于基于多个所述融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络。
第五方面，本公开实施例还提供了一种目标检测的装置，所述装置包括：
数据获取模块，用于获取待处理数据；所述待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
目标检测模块，用于将获取的所述待处理数据中的待处理点云数据和待处理图像数据输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果。
第六方面，本公开实施例还提供了一种智能设备控制的装置，所述装置包括：
数据获取模块，用于获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
目标检测模块，用于将获取的所述道路点云数据和所述道路图像数据输入至利用第一方面及其各种实施方式任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果；
设备控制模块，用于根据所述目标检测结果控制所述智能设备行驶。
第七方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述神经网络训练的方法的步骤或者如第二方面所述的目标检测的方法的步骤或者如第三方面所述的智能设备控制的方法的步骤。
第八方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述神经网络训练的方法的步骤或者如第二方面所述的目标检测的方法的步骤或者如第三方面所述的智能设备控制的方法的步骤。
关于上述目标检测、智能设备控制的方法及装置、电子设备、及计算机可读存储介质的效果描述参见上述神经网络训练的方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例一所提供的一种神经网络训练的方法流程图；
图2示出了本公开实施例一所提供的一种神经网络训练的方法应用示意图；
图3示出了本公开实施例二所提供的一种神经网络训练的装置的示意图；
图4示出了本公开实施例二所提供的一种目标检测的装置的示意图；
图5示出了本公开实施例二所提供的一种智能设备控制的装置的示意图；
图6示出了本公开实施例三所提供的一种电子设备的示意图；
图7示出了本公开实施例三所提供的另一种电子设备的示意图；
图8示出了本公开实施例三所提供的另一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，相关三维(3-Dimensional，3D)目标检测可以利用多类型传感器得到的数据，从中推断出各个目标的3D位置、大小以及方向的任务。就目前来看，基于训练完成的神经网络来实现3D目标检测的研究还不够成熟，主要体现在算法不成熟以及处理对象过于单调，导致目标检测的准确率较低。
基于上述研究，本公开提供了一种神经网络训练、目标检测、及智能设备控制的方法、装置、电子设备及存储介质，能够通过数据融合丰富数据样本的特征表达能力，使得训练得到的神经网络具有较高的检测准确率。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练的方法进行详细介绍，本公开实施例所提供的神经网络训练的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络训练的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为服务器为例对本公开实施例提供的神经网络训练的方法加以说明。
实施例一
参见图1所示，为本公开实施例提供的神经网络训练的方法的流程图，方法包括步骤S101～S103，其中：
S101、获取多个原始数据样本对；每个原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本。
这里，考虑到本公开实施例提供的神经网络训练的方法可以应用于多类型传感器的3D目标检测中，因此，这里可以采用包括多类型传感器采集的数据样本所组成的原始数据样本对作为训练神经网络的训练样本。
其中，本公开实施例中的多类型传感器可以是包括雷达传感器，还可以包括图像传感器，前者所采集的数据为点云数据样本，后者所采集的数据为图像数据样本。除此之外，本公开实施例提供的神经网络训练的方法还可以采用其它传感器所采集的数据样本，对此不做具体的限制，接下来可以以上述两种传感器所采集的点云数据样本和图像数据样本为例进行具体说明。
为了实现上述两种数据样本的相互配合，本公开实施例可以采用同一真实场景下的两种数据样本作为训练样本的数据源，这里的两种数据样本是成对出现的。以自动驾驶这一应用场景为例，这里的同一真实场景下的两种数据样本可以是设置于智能汽车上的雷达传感器和图像传感器同时对同一行驶环境所采集的点云数据样本和图像数据样本。其中，点云数据样本是扫描行驶环境并以点的形式记录的周边环境的三维坐标，而图像数据样本则对应周边环境的相关图像。
S102、针对每个原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对。
这里，本公开实施例在进行网络训练之前，可以针对各个原始数据样本对进行数据融合，得到融合数据样本对。针对每个原始数据样本对，可以对该原始数据对中的点云数据样本和图像数据样本进行同一补充对象的数据融合，也即，可以将一补充对象对应的点云数据融合进点云数据样本的同时，将同一补充对象对应的图像数据融合进图像数据样本中，以得到融合后的点云数据样本和图像数据样本，配对成融合数据样本对。
其中，上述补充对象可以是从补充对象库中选取出来的。该补充对象库可以是在神经网络训练之前，基于预先标注的点云数据样本和图像数据样本所生成的。
在具体应用中，可以预先准备若干成对的点云数据样本和图像数据样本，然后可以标注图像数据样本和点云数据样本中的目标(即对象)，这里的标注信息包括但不限于采用不同颜色的框将不同类型的目标标记出来，并标注出他们的位置，长宽高等信息，最后，可以根据标注的3D框，将每一个目标包含的点云数据和图像数据关联在一起，并剪切存储下来，存储至补充对象库中。
本公开实施例中，由于补充对象库中的点云数据和图像数据是关联存储的，因此，可以基于关联的点云数据和图像数据实现点云数据样本和图像数据样本的同步融合，也即，在将一个补充对象对应的点云数据融合进上述原始数据样本对中的点云数据样本的同时，还可以将该补充对象对应的图像数据融合进上述原始数据样本对中的图像数据样本。
为了确保数据融合的成功率，本公开实施例中有关补充对象的点云数据可以是与原始数据样本对中的点云数据样本处于相同或相似的场景中，同理，有关补充对象的图像数据可以是与原始数据样本对中的图像数据样本处于相同或相似的场景中，例如，均是处于同一交通路口的场景下所确定的图像数据和图像数据样本。
需要说明的是，本公开实施例中补充对象库所采用的数据源与训练阶段所采用的数据源可以是来自于同一数据库，也可以是来自于不同的数据库，确保两个数据库是处于相同或相似场景所采集的数据样本即可。
S103、基于多个融合数据样本对，进行神经网络训练。
这里，基于融合数据样本对可以进行神经网络训练，可知，本公开实施例是针对成对的点云数据样本和图像数据样本实现的神经网络的训练。为了确保融合数据样本对中的每个数据样本均能够实现更为针对性的特征表达，这里，可以首先利用两路特征提取网络实现特征信息的提取，而后再进行提取的两种特征信息的融合，最后再利用目标检测网络实现目标检测。
由于上述神经网络训练的方法在基于成对的点云数据样本和图像数据样本进行训练的过程中，利用补充对象的相关数据进行了融合，这样，融合后的点云数据样本除了包括原对象的点云数据，还包括了补充对象的点云数据，同理，融合后的图像数据样本既包括原对象的图像数据又包括了补充对象的图像数据，这将一定程度上丰富需要训练的对象特征，提升数据样本的特征表达能力，从而能够使得训练得到的神经网络具有较高的检测准确率。
考虑到补充对象的确定对实现神经网络训练的关键作用，接下来可以通过如下两个方面对有关针对点云数据样本选取补充对象的过程以及有关针对图像数据样本选取补充对象的过程进行具体说明。
第一方面：可以按照如下步骤从补充对象库中的候选补充对象中选取出针对点云数据样本的补充对象：
步骤一、从补充对象库中选取多个候选补充对象的点云数据；
步骤二、针对每个候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；
步骤三、若不存在遮挡关系，则将该候选补充对象作为融合进点云数据样本的补充对象。
这里，首先可以从补充数据库中选取多个候选补充对象的点云数据，而后针对每个候选补充对象进行遮挡验证，即确定若将该候选补充对象的点云数据融合进点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系。
这里的点云数据样本中的其它对象可以包括该点云数据样本原有的对象，还可以包括已融合进该点云数据样本的其它候选补充对象。也即，本公开实施例中，针对点云数据样本进行任意两个对象之间是否存在遮挡的验证，并能够将不存在遮挡关系的候选补充对象确定为可以融合进点云数据样本的补充对象。
需要说明的是，在点云数据样本所对应的俯瞰图下不允许有任何的遮挡，也即，在造成遮挡的两个对象中可以任意舍弃一个，被舍弃的对象不会被融合到点云数据样本中。
第二方面：可以按照如下步骤从补充对象库中的候选补充对象中选取出针对图像数据样本的补充对象：
步骤一、从补充对象库中选取多个候选补充对象的图像数据；
步骤二、针对每个候选补充对象，基于该候选补充对象的图像数据，确定若将该图像数据融合进图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
步骤三、若不大于设定面积阈值，则将该候选补充对象作为融合进图像数据样本的补充对象。
这里，首先可以从补充数据库中选取多个候选补充对象的点云数据，而后针对每个候选补充对象进行遮挡验证，即确定若将该候选补充对象的图像数据融合进图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值。
这里的图像数据样本中的其它对象可以包括该图像数据样本原有的对象，还可以包括已融合进该图像数据样本的其它候选补充对象，也即，本公开实施例中，针对图像数据样本进行任意两个对象之间是否存在遮挡的验证，并能够将遮挡面积不大于设定面积阈值确定为可以融合进图像数据样本的补充对象。
在具体应用中，针对图像数据样本对应的二维图，假设若融合进候选补充对象的图像数据样本之后，该图像数据样本中有n个对象，计算该目标被其他n-1个对象遮挡的最大面积(Intersection-over-Foreground，IoF)。在确定设定面积阈值之后，一旦当前待融合的候选补充对象的IoF大于这个阈值，则该对象不会被融合到上述图像数据样本。
本公开实施例中，不仅可以基于一个候选补充对象所对应的遮挡面积与设定面积阈值之间的比较结果来确定是否将候选补充对象作为补充对象进行融合，还可以基于各个对象所对应的遮挡面积和值与设定面积阈值之间的比较结果来确定是否将候选补充对象作为补充对象进行融合，在此不再赘述。
需要说明的是，上述有关点云数据样本和图像数据样本的遮挡验证可以是同步进行的。这时，针对一个候选补充对象需要在同时满足点云数据样本的遮挡验证条件(即该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系)以及图像数据样本的遮挡验证条件(即该候选补充对象与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值)的情况下，才可以作为最终可以被融合的补充对象，这主要是为了确保后续进行两路特征提取网络训练时所捕获的点云数据样本中的对象特征以及图像数据样本中的对象特征的平衡性，避免因融合进的对象数量不同而对网络训练所产生的不良影响。
基于上述融合方法所确定的融合数据样本对，即可以进行神经网络的训练，上述训练神经网络的过程具体包括如下步骤：
步骤一、利用第一特征提取网络对融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
步骤二、将点云特征信息和图像特征信息进行特征融合后，得到融合特征信息；
步骤三、将融合特征信息输入目标检测网络，得到目标检测结果，并基于该目标检测结果与融合数据样本对所对应的标注信息，调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数。
这里，首先可以将融合数据样本对中的点云数据样本和图像数据样本分别输入第一特征提取网络和第二特征提取网络，将得到的点云特征信息和图像特征信息进行特征融合之后，可以将融合得到的融合特征信息输入目标检测网络，得到目标检测结果。这里的目标检测结果可以与融合数据样本对所对应的标注信息一致，也可以不一致，然后基于目标检测结果与融合数据样本对所对应的标注信息之间的差异，对神经网络进行反向传播调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数，而后利用调整后的第一特征提取网络、第二特征提取网络以及目标检测网络进行下一轮的迭代训练，直至在达到训练截止条件的情况下，得到训练完成的神经网络。
其中，上述训练截止条件可以是训练次数达到预设次数(如25次)，也可以是其它符合训练需求的截止条件，例如遍历完各个融合数据样本对，本公开实施例对此不做具体的限制。
为了进一步提升不同数据样本的特征表达能力，本公开实施例提供的神经网络训练的方法，在将融合数据样本对中的点云数据样本输入第一特征提取网络以及将融合数据样本对中的图像数据样本输入第二特征提取网络之前，还可以采用不同的数据增强策略对不同的数据样本进行数据增强处理。也即，针对每个融合数据样本对，对该融合数据样本对中的点云数据样本按照第一数据增强操作集进行第一数据增强处理，以及，对该融合数据样本对中的图像数据样本按照第二数据增强操作集进行第二数据增强处理，得到数据增强处理后的融合数据样本对。
其中，上述第一数据增强操作集可以指示有第一数据增强处理的增强处理方式，还可以指示有第一数据增强处理的增强处理顺序，还可以指示有与第一数据增强处理相关的其它内容。
这里，第一数据增强操作集可以指示一种增强处理方式，例如，仅采用旋转这一增强处理方式进行第一数据增强处理，还可以仅采用平移这一增强处理方式进行第一数据增强处理，还可以仅采用翻转这一增强处理方式进行第一数据增强处理，还可以仅采用缩放这一增强处理方式进行第一数据增强处理，还可以采用其它增强处理方式进行增强处理，本公开实施例对此不做具体的限制。
除此之外，第一数据增强操作集还可以指示多种增强处理方式及各种增强处理方式的处理顺序，例如采用上述增强处理方式的组合方式进行第一数据增强处理，还可以采用其它增强处理方式进行增强处理，本公开实施例对此不做具体的限制。
同理，上述第二数据增强操作集也可以指示有第二数据增强处理的增强处理方式，还可以指示有第二数据增强处理的增强处理顺序，还可以指示有与第二数据增强处理相关的其它内容。有关第二数据增强操作集的相关内容具体参见上述第一数据增强操作集的描述，在此不再赘述。
需要说明的是，针对融合数据样本对中的图像数据样本执行的第二数据增强处理与点云数据样本执行的第一数据增强处理可以选用不同的增强处理方式和增强处理顺序，以进一步提升不同数据样本的特征表达能力。例如，针对融合数据样本对中的点云数据样本可以执行先缩小50％后向右旋转90度的增强处理操作。针对融合数据样本对中的图像数据样本则可以执行先向左旋转90度后放大1倍的增强处理操作。
在执行上述增强处理操作之后，即可以基于两路特征提取网络进行特征信息的提取。为了确保点云特征和图像特征的一致性，在进行点云特征信息和图像特征信息的融合之前，还可以针对点云特征进行反增强处理、坐标系变换处理等操作。也即，本公开实施例中，可以首先将点云特征信息所对应的进行第一数据增强处理后的点云数据样本按照第一数据增强操作集对应的反向操作集进行处理，然后将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标，并将各个点的图像坐标按照第二数据增强操作集进行处理，得到点云特征信息所对应的图像特征信息，最后将点云特征信息所对应的图像特征信息与点云特征信息进行融合，即可得到融合特征信息。
其中，上述反向操作集指示的增强处理方式以及增强处理顺序是与第一数据增强操作集完全相反的操作，这里的反向操作是为了将增强处理后的点云数据样本为数据增强前的点云数据样本，这主要是考虑到本公开实施例执行特征提取的操作即可以是依赖于进行增强处理后的融合数据样本对，通常情况下不会对增强处理前的融合数据样本对进行存储。
因此，这里可以利用第一数据增强操作集对应的反向操作集对点云特征信息所对应的点云数据样本进行操作，以恢复到数据增强前的点云数据样本。这里，仍以先缩小50％后向右旋转90度的第一增强处理操作为例，反向操作集则是指示先向左旋转90度再放大1倍，从而恢复到数据增强前的点云数据样本。
这里，可以针对恢复到数据增强前的点云数据样本执行坐标系变换，也即，将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标。考虑到当前的图像特征信息所对应的图像数据样本是经过第二增强处理的图像数据样本，因此，为了实现点云特征和图像特征的一致性，可以将各个点的图像坐标按照第二数据增强操作集进行处理，得到最终的图像坐标，基于该图像坐标所选取的图像特征信息即是与点云特征信息所对应的图像特征信息。
本公开实施例中，将上述与点云特征信息所对应的图像特征信息与点云特征信息进行融合，可以得到融合特征信息。在具体应用中，可以采用包括但不限于拼接、相加、基于注意力的加法等融合方式进行特征融合。
本公开实施例中，第一特征提取网络和第二特征提取网络训练的目的在于为点云数据样本提取更为准确的点云特征信息以及为图像数据样本提取更为准确的图像特征信息。考虑到本公开实施例中所采用的第一特征提取网络和第二特征提取网络均可以采用包括多个网络层的深度学习网络，相邻网络层中前一个网络层的输出层可以输入至下一个网络层的输入层，而每一个网络层均可以输出对应的特征信息，且每一个网络层所对应的特征缩放比例可以确定，这时，在针对点云数据样本确定点云特征信息时，可以仅采用最后一个网络层输出的特征信息，也可以既采用最后一个网络层的输出结果，又采用中间网络层的输出结果，同理，在针对图像数据样本确定图像特征信息时，也可以仅采用最后一个网络层输出的特征信息，也可以既采用最后一个网络层的输出结果，又采用中间网络层的输出结果。本公开实施例中，为了提取到更多不同尺度的图像特征信息，可以先进行图像坐标的缩放处理，再进行特征提取，如下步骤所示：
步骤一、将各个点的图像坐标按照第二数据增强操作集进行处理，得到各个点的处理后图像坐标；
步骤二、将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标；
步骤三、基于各个点对应的每种缩放比例下的图像坐标，提取不同特征图尺寸下的图像特征信息，将不同特征图尺寸下的图像特征信息作为点云特征信息所对应的图像特征信息。
这里，在将各个点的图像坐标按照第二数据增强操作集进行处理，可以得到各个点的处理后图像坐标。然后可以将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标，这里的缩放比例可以按照上述每一个网络层所对应的预设特征缩放比例来确定。这时，即可以提取到与每种缩放比例下的图像坐标相对应的特征图尺寸下的图像特征信息，将各种缩放比例下所提取到的图像特征信息作为点云特征信息相对应的图像特征信息即可实现特征融合，从而进一步提升数据样本的特征表达能力，为后续高准确率的目标检测做好了准备。
本公开实施例提供的神经网络训练的方法可以采用不同的网络参数调整策略对上述第一特征提取网络、第二特征提取网络以及第三特征提取网络进行参数调整，具体可以通过如下步骤实现：
步骤一、基于该目标检测结果与融合数据样本对所对应的标注信息，确定当前迭代周期内当前次训练的损失信息；其中，每个迭代周期内包含预设训练次数；
步骤二、基于损失信息，调整第一特征提取网络和目标检测网络的网络参数；
步骤三、在当前次训练为当前迭代周期内的最后一次训练时，基于损失信息，调整第二特征提取网络的网络参数。
这里，基于目标检测网络输出的目标检测结果与融合数据样本对所对应的标注信息，可以确定当前迭代周期内当前次训练的损失信息，然后可以基于该损失信息调整第一特征提取网络和目标检测网络的网络参数，也即，在每一次训练后对第一特征提取网络和目标检测网络的网络参数进行调整，而仅在一个迭代周期内的最后一次训练后，调整第二特征提取网络的网络参数，也即，第二特征提取网络的网络参数的调整的频率要低于第一特征提取网络和目标检测网络的网络参数的调整的频率。
这主要是考虑到针对图像数据样本进行特征提取的第二特征提取网络可以是基于已知图像库及其标注信息预先训练得到的，即可以采用的是已经初始化的特征提取网络；而针对点云数据样本进行特征提取的第一特征提取网络则需要从头训练，也即，第二特征提取网络相比第一特征提取网络，其使用的基础网络模型较为成熟。
因此，为了确保上述第一特征提取网络和第二特征提取网络训练的平衡性，本公开实施例针对点云数据样本可以采用较快的参数调整速度，例如，神经网络每迭代训练一次即更新一次第一特征提取网络的网络参数，而针对图像数据样本则可以采用较慢的参数调整速度，例如，神经网络迭代训练若干次(如5次)才更新一次第二特征提取网络的网络参数。
在具体应用中，针对点云数据样本可以采用自适应矩估计(Adaptive MomentEstimation，ADAM)优化器更新第一特征提取网络及目标检测网络的网络参数，针对图像数据样本则可以采用随机梯度下降(Stochastic Gradient Descent，SGD)优化器更新第二特征提取网络的网络参数。
为了进一步理解本公开实施例提供的神经网络训练的方法，接下来可以结合图2进行具体说明。这里，以包括真实场景的点云数据样本和图像数据样本的一个原始数据样本对作为训练神经网络的数据源为例进行具体说明。
如图2所示，针对包括点云数据样本和图像数据样本的一个原始数据样本而言，实线框选的1个对象为原始数据样本中原有的对象，在经过补充对象的融合之后，可以将虚线框选的2个补充对象融合进点云数据样本及图像数据样本中，得到融合后的点云数据样本和图像数据样本(对应融合数据样本对)。
本公开实施例中，可以将上述融合后的点云数据样本输入至第一特征提取网络以及将上述融合后的图像数据样本输入至第二特征提取网络，通过第一特征提取网络提取得到的点云特征信息和第二特征提取网络提取得到的图像特征信息的融合，即可得到融合特征信息，这样，将融合特征信息输入到目标检测网络，即可得到目标检测结果，通过基于该目标检测结果与融合数据样本对所对应的标注信息，即可反向调整上述第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数，从而训练得到包括第一特征提取网络、第二特征提取网络以及目标检测网络的神经网络。
基于上述实施例所示的神经网络训练的方法，本公开实施例还可以基于训练好的神经网络对待处理图像进行目标检测，上述实现目标检测的方法具体包括如下步骤：
步骤一、获取待处理数据；待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
步骤二、将获取的待处理数据中的待处理点云数据和待处理图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果。
这里，首先可以将获取的对应同一真实场景的待处理点云数据和待处理图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，确定上述待处理点云数据和待处理图像数据中的目标及其3D信息，将该3D信息作为目标检测结果。其中，上述3D信息可以包括目标的位置、长宽高等信息。
基于上述实施例所示的神经网训练络的方法，本公开实施例还可以基于训练好的神经网络实现智能设备控制的方案，上述实现智能设备控制的方法具体包括如下步骤：
步骤一、获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
步骤二、将获取的道路点云数据和道路图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果；
步骤三、根据目标检测结果控制智能设备行驶。
这里，针对智能设备所获取的道路点云数据和道路图像数据，可以将道路点云数据和道路图像数据输入至上述训练好的神经网络，以得到道路上的目标检测结果，这样，即可以基于该目标检测结果实现智能设备控制。
例如，在针对自动驾驶这一应用领域中，可以在确定出道路上的目标检测结果包含行人时，降低智能汽车速度以自动避让行人。
值得说明的是，本公开实施例提供的智能设备控制的方法不仅可以适应于上述智能汽车的控制场景中，还可以应用于其它应用场景中，本公开实施例对此不做具体的限制。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与神经网络训练的方法对应的神经网络训练的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络训练的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
参照图3所示，为本公开实施例提供的一种神经网络训练的装置的结构示意图，上述装置包括：
样本获取模块301，用于获取多个原始数据样本对；每个原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
数据融合模块302，用于针对每个原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
网络训练模块303，用于基于多个融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络。
上述神经网络训练的装置，融合后的点云数据样本除了包括原对象的点云数据，还包括了补充对象的点云数据，同理，融合后的图像数据样本既包括原对象的图像数据又包括了补充对象的图像数据，这将一定程度上提升了数据样本的特征表达能力，从而能够使得训练得到的神经网络具有较高的检测准确率。
在一种实施方式中，神经网络包括第一特征提取网络、第二特征提取网络、和目标检测网络，网络训练模块303，用于按照以下步骤进行神经网络训练：
利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将点云特征信息和图像特征信息进行特征融合后，得到融合特征信息；
将融合特征信息输入目标检测网络，得到目标检测结果，并基于该目标检测结果与融合数据样本对所对应的标注信息，调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数。
在一种实施方式中，网络训练模块303，用于按照以下步骤将点云特征信息和图像特征信息进行特征融合：
针对每个融合数据样本对，对该融合数据样本对中的点云数据样本按照第一数据增强操作集进行第一数据增强处理，以及，对该融合数据样本对中的图像数据样本按照第二数据增强操作集进行第二数据增强处理，得到数据增强处理后的融合数据样本对；
利用第一特征提取网络对所述数据增强处理后的融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述数据增强处理后的融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将点云特征信息所对应的进行第一数据增强处理后的点云数据样本按照第一数据增强操作集对应的反向操作集进行处理，将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标，并将各个点的图像坐标按照第二数据增强操作集进行处理，得到点云特征信息所对应的图像特征信息；
将得到的点云特征信息和确定的与该点云特征信息所对应的图像特征信息进行特征融合。
在一种实施方式中，网络训练模块303，用于按照以下步骤得到点云特征信息所对应的图像特征信息：
将各个点的图像坐标按照第二数据增强操作集进行处理，得到各个点的处理后图像坐标；
将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标；
基于各个点对应的每种缩放比例下的图像坐标，提取不同特征图尺寸下的图像特征信息，将不同特征图尺寸下的图像特征信息作为点云特征信息所对应的图像特征信息。
在一种实施方式中，网络训练模块303，用于按照以下步骤调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数：
基于该目标检测结果与融合数据样本对所对应的标注信息，确定当前迭代周期内当前次训练的损失信息；其中，每个迭代周期内包含预设训练次数；
基于损失信息，调整第一特征提取网络和目标检测网络的网络参数；
在当前次训练为当前迭代周期内的最后一次训练时，基于所述损失信息，调整所述第二特征提取网络的网络参数。
在一种实施方式中，数据融合模块302，用于按照以下步骤确定补充对象：
从补充对象库中选取多个候选补充对象的点云数据和图像数据；
针对每个候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；并基于该候选补充对象的图像数据，确定若将该图像数据融合进所述图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
若确定该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系、且与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值，则将该候选补充对象作为补充对象。
基于同一发明构思，本公开实施例中还提供了与目标检测的方法对应的目标检测的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述目标检测的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种目标检测的装置的架构示意图，该装置包括：
数据获取模块401，用于获取待处理数据；待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
目标检测模块402，用于将获取的待处理数据中的待处理点云数据和待处理图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果。
基于同一发明构思，本公开实施例中还提供了与智能设备控制的方法对应的智能设备控制的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述智能设备控制的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种智能设备控制的装置的架构示意图，该装置包括：
数据获取模块501，用于获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
目标检测模块502，用于将获取的道路点云数据和道路图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果；
设备控制模块503，用于根据目标检测结果控制智能设备行驶。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
实施例三
本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器601、存储器602和总线603，存储器602存储有处理器601可执行的机器可读指令(比如图3中的神经网络训练的装置中样本获取模块301、数据融合模块302、以及网络训练模块303对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行以实现下述步骤：
获取多个原始数据样本对；每个原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
针对每个原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
基于多个融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络。
在一种实施方式中，神经网络包括第一特征提取网络、第二特征提取网络、和目标检测网络，上述处理器601执行的指令中，基于多个融合数据样本对，进行神经网络训练，包括：
利用第一特征提取网络对融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将点云特征信息和图像特征信息进行特征融合后，得到融合特征信息；
将融合特征信息输入目标检测网络，得到目标检测结果，并基于该目标检测结果与融合数据样本对所对应的标注信息，调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数。
在一种实施方式中，上述处理器601执行的指令中，所述利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息，包括：
针对每个融合数据样本对，对该融合数据样本对中的点云数据样本按照第一数据增强操作集进行第一数据增强处理，以及，对该融合数据样本对中的图像数据样本按照第二数据增强操作集进行第二数据增强处理，得到数据增强处理后的融合数据样本对；
利用第一特征提取网络对所述数据增强处理后的融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述数据增强处理后的融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
上述处理器601执行的指令中，将点云特征信息和图像特征信息进行特征融合，包括：
将点云特征信息所对应的进行第一数据增强处理后的点云数据样本按照第一数据增强操作集对应的反向操作集进行处理，将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标，并将各个点的图像坐标按照第二数据增强操作集进行处理，得到点云特征信息所对应的图像特征信息；
将得到的点云特征信息和确定的与该点云特征信息所对应的图像特征信息进行特征融合。
在一种实施方式中，上述处理器601执行的指令中，将各个点的图像坐标按照第二数据增强操作集进行处理，得到点云特征信息所对应的图像特征信息，包括：
将各个点的图像坐标按照第二数据增强操作集进行处理，得到各个点的处理后图像坐标；
将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标；
基于各个点对应的每种缩放比例下的图像坐标，提取不同特征图尺寸下的图像特征信息，将不同特征图尺寸下的图像特征信息作为点云特征信息所对应的图像特征信息。
在一种实施方式中，上述处理器601执行的指令中，基于该目标检测结果与融合数据样本对所对应的标注信息，调整第一特征提取网络、第二特征提取网络、以及目标检测网络的网络参数，包括：
基于该目标检测结果与融合数据样本对所对应的标注信息，确定当前迭代周期内当前次训练的损失信息；其中，每个迭代周期内包含预设训练次数；
基于损失信息，调整第一特征提取网络和目标检测网络的网络参数；
在当前次训练为当前迭代周期内的最后一次训练时，基于所述损失信息，调整第二特征提取网络的网络参数。
在一种实施方式中，上述处理器601执行的指令中，补充对象采用以下步骤确定：
从补充对象库中选取多个候选补充对象的点云数据和图像数据；
针对每个候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；并基于该候选补充对象的图像数据，确定若将该图像数据融合进所述图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
若确定该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系、且与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值，则将该候选补充对象作为补充对象。
本公开实施例还提供了另一种电子设备，如图7所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器701、存储器702和总线703，存储器702存储有处理器701可执行的机器可读指令(比如图4中的目标检测的装置中数据获取模块401、目标检测模块402对应的执行指令等)，当电子设备运行时，处理器701与存储器702之间通过总线703通信，机器可读指令被处理器701执行以实现下述步骤：
获取待处理数据；待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
将获取的待处理数据中的待处理点云数据和待处理图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果。
本公开实施例还提供了另一种电子设备，如图8所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器801、存储器802和总线803，存储器802存储有处理器801可执行的机器可读指令(比如图5中的智能设备控制的装置中数据获取模块501、目标检测模块502、以及设备控制模块503对应的执行指令等)，当电子设备运行时，处理器801与存储器802之间通过总线803通信，机器可读指令被处理器801执行以实现下述步骤：
获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
将获取的道路点云数据和道路图像数据输入至利用上述神经网络训练的方法训练得到的神经网络，得到目标检测结果；
根据目标检测结果控制智能设备行驶。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络训练的方法的步骤或者目标检测的方法的步骤或者智能设备控制的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的神经网络训练的方法或者目标检测的方法或者智能设备控制的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络训练的方法的步骤或者目标检测的方法的步骤或者智能设备控制的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种神经网络训练的方法，其特征在于，所述方法包括：
获取多个原始数据样本对；每个所述原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
针对每个所述原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将所述至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
基于多个所述融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络；
所述补充对象采用以下步骤确定：
从补充对象库中选取多个候选补充对象的点云数据和图像数据；
针对每个所述候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进所述点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；并基于该候选补充对象的图像数据，确定若将该图像数据融合进所述图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
若确定该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系、且与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值，则将该候选补充对象作为补充对象。
2.根据权利要求1所述的方法，其特征在于，所述神经网络包括第一特征提取网络、第二特征提取网络、和目标检测网络，所述基于多个所述融合数据样本对，进行神经网络训练，包括：
利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将所述点云特征信息和所述图像特征信息进行特征融合后，得到融合特征信息；
将所述融合特征信息输入目标检测网络，得到目标检测结果，并基于该目标检测结果与所述融合数据样本对所对应的标注信息，调整所述第一特征提取网络、所述第二特征提取网络、以及所述目标检测网络的网络参数。
3.根据权利要求2所述的方法，其特征在于，所述利用第一特征提取网络对所述融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息，包括：
针对每个融合数据样本对，对该融合数据样本对中的点云数据样本按照第一数据增强操作集进行第一数据增强处理，以及，对该融合数据样本对中的图像数据样本按照第二数据增强操作集进行第二数据增强处理，得到数据增强处理后的融合数据样本对；
利用第一特征提取网络对所述数据增强处理后的融合数据样本对中的点云数据样本进行特征提取，得到点云特征信息，以及利用第二特征提取网络对所述数据增强处理后的融合数据样本对中的图像数据样本进行特征提取，得到图像特征信息；
将所述点云特征信息和所述图像特征信息进行特征融合，包括：
将所述点云特征信息所对应的第一数据增强处理后的点云数据样本按照所述第一数据增强操作集对应的反向操作集进行处理，将处理后的点云数据样本中各个点在雷达坐标系下的点云坐标转换为图像坐标系下的图像坐标，并将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到所述点云特征信息所对应的图像特征信息；
将得到的所述点云特征信息和确定的与该点云特征信息所对应的图像特征信息进行特征融合。
4.根据权利要求3所述的方法，其特征在于，所述将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到所述点云特征信息所对应的图像特征信息，包括：
将所述各个点的图像坐标按照第二数据增强操作集进行处理，得到各个点的处理后图像坐标；
将各个点的处理后图像坐标，按照不同缩放比例进行处理，得到各个点对应的每种缩放比例下的图像坐标；
基于各个点对应的每种缩放比例下的图像坐标，提取不同特征图尺寸下的图像特征信息，将所述不同特征图尺寸下的图像特征信息作为所述点云特征信息所对应的图像特征信息。
5.根据权利要求2～4任一所述的方法，其特征在于，所述基于该目标检测结果与所述融合数据样本对所对应的标注信息，调整所述第一特征提取网络、所述第二特征提取网络、以及所述目标检测网络的网络参数，包括：
基于该目标检测结果与所述融合数据样本对所对应的标注信息，确定当前迭代周期内当前次训练的损失信息；其中，每个迭代周期内包含预设训练次数；
基于所述损失信息，调整所述第一特征提取网络和所述目标检测网络的网络参数；
在当前次训练为当前迭代周期内的最后一次训练时，基于所述损失信息，调整所述第二特征提取网络的网络参数。
6.一种目标检测的方法，其特征在于，所述方法包括：
获取待处理数据；所述待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
将获取的所述待处理数据中的待处理点云数据和待处理图像数据输入至利用权利要求1～5任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果。
7.一种智能设备控制的方法，其特征在于，所述方法包括：
获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
将获取的所述道路点云数据和所述道路图像数据输入至利用权利要求1～5任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果；
根据所述目标检测结果控制所述智能设备行驶。
8.一种神经网络训练的装置，其特征在于，所述装置包括：
样本获取模块，用于获取多个原始数据样本对；每个所述原始数据样本对包括对应同一真实场景的点云数据样本和图像数据样本；
数据融合模块，用于针对每个所述原始数据样本对，将至少一个补充对象分别对应的点云数据融合进该原始数据样本对中的点云数据样本，以及将所述至少一个补充对象分别对应的图像数据融合进该原始数据样本对中的图像数据样本，得到融合数据样本对；
网络训练模块，用于基于多个所述融合数据样本对，进行神经网络训练，得到用于进行目标检测的神经网络；
所述补充对象采用以下步骤确定：
从补充对象库中选取多个候选补充对象的点云数据和图像数据；
针对每个所述候选补充对象，基于该候选补充对象的点云数据，确定若将该点云数据融合进所述点云数据样本，该候选补充对象与点云数据样本中的其他对象之间是否存在遮挡关系；并基于该候选补充对象的图像数据，确定若将该图像数据融合进所述图像数据样本，该候选补充对象与图像数据样本中的其他对象之间的遮挡面积是否大于设定面积阈值；
若确定该候选补充对象与点云数据样本中的其他对象之间不存在遮挡关系、且与图像数据样本中的其他对象之间的遮挡面积不大于设定面积阈值，则将该候选补充对象作为补充对象。
9.一种目标检测的装置，其特征在于，所述装置包括：
数据获取模块，用于获取待处理数据；所述待处理数据对包括对应同一真实场景的待处理点云数据和待处理图像数据；
目标检测模块，用于将获取的所述待处理数据中的待处理点云数据和待处理图像数据输入至利用权利要求1～5任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果。
10.一种智能设备控制的装置，其特征在于，所述装置包括：
数据获取模块，用于获取智能设备在行驶过程中采集的道路点云数据和道路图像数据；
目标检测模块，用于将获取的所述道路点云数据和所述道路图像数据输入至利用权利要求1～5任一所述的神经网络训练的方法训练得到的神经网络，得到目标检测结果；
设备控制模块，用于根据所述目标检测结果控制所述智能设备行驶。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述神经网络训练的方法的步骤或者如权利要求6所述的目标检测的方法的步骤或者如权利要求7所述的智能设备控制的方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述神经网络训练的方法的步骤或者如权利要求6所述的目标检测的方法的步骤或者如权利要求7所述的智能设备控制的方法的步骤。
CN202010340892.5A 2020-04-26 2020-04-26 神经网络训练、目标检测、及智能设备控制的方法及装置 Active CN111523600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340892.5A CN111523600B (zh) 2020-04-26 2020-04-26 神经网络训练、目标检测、及智能设备控制的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340892.5A CN111523600B (zh) 2020-04-26 2020-04-26 神经网络训练、目标检测、及智能设备控制的方法及装置

Publications (2)

Publication Number Publication Date
CN111523600A CN111523600A (zh) 2020-08-11
CN111523600B true CN111523600B (zh) 2023-12-19

Family

ID=71903726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340892.5A Active CN111523600B (zh) 2020-04-26 2020-04-26 神经网络训练、目标检测、及智能设备控制的方法及装置

Country Status (1)

Country Link
CN (1) CN111523600B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112435331A (zh) * 2020-12-07 2021-03-02 上海眼控科技股份有限公司 模型训练方法、点云生成方法、装置、设备及存储介质
CN112465076A (zh) * 2021-01-28 2021-03-09 知行汽车科技（苏州）有限公司 多特征融合的方法、装置、***及存储介质
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113469042A (zh) * 2021-06-30 2021-10-01 上海商汤临港智能科技有限公司 真值数据确定、神经网络训练、行驶控制方法及装置
CN113781502B (zh) * 2021-09-30 2024-06-28 浪潮云信息技术股份公司 一种超大分辨率图像训练数据预处理方法
CN114998856B (zh) * 2022-06-17 2023-08-08 苏州浪潮智能科技有限公司 一种多相机图像的3d目标检测方法、装置、设备及介质
CN116580163B (zh) * 2023-07-14 2023-12-22 深圳元戎启行科技有限公司 三维场景重建方法、电子设备及存储介质
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测***
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data
CN109145680B (zh) * 2017-06-16 2022-05-27 阿波罗智能技术(北京)有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109376615A (zh) * 2018-09-29 2019-02-22 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110738121A (zh) * 2019-09-17 2020-01-31 北京科技大学 一种前方车辆检测方法及检测***
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fusing laser point cloud and visual image at data level using a new reconstruction algorithm;Lipu Zhou;《2013 IEEE Intelligent Vehicles Symposium (IV)》;全文 *
基于一类支持向量机的快速人脸相似性学习;张莉;卢星凝;夏佩佩;;浙江师范大学学报(自然科学版)(01);全文 *
基于特征融合卷积神经网络的SAR图像目标检测方法;刘志宏;李玉峰;;微处理机(02);全文 *

Also Published As

Publication number Publication date
CN111523600A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523600B (zh) 神经网络训练、目标检测、及智能设备控制的方法及装置
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
Jaritz et al. Sparse and dense data with cnns: Depth completion and semantic segmentation
CN111126379B (zh) 一种目标检测方法与装置
CN107742311B (zh) 一种视觉定位的方法及装置
CN109919993B (zh) 视差图获取方法、装置和设备及控制***
US11274922B2 (en) Method and apparatus for binocular ranging
Tan et al. Color model-based real-time learning for road following
CN107292949B (zh) 场景的三维重建方法、装置及终端设备
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN103716687B (zh) 使用指纹以在视频中追踪移动对象的***和方法
CN113056769A (zh) 利用软交叉熵损失的语义分段
CN110889464B (zh) 检测目标对象的神经网络训练、目标对象的检测方法及装置
CN109410316B (zh) 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN111382613A (zh) 图像处理方法、装置、设备和介质
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
CN109670516B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
CN112200035A (zh) 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN115375736A (zh) 一种基于图像的行人轨迹跟踪方法和装置
CN114170290A (zh) 图像的处理方法及相关设备
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN112950675A (zh) 一种目标跟踪的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant