CN116311157A - 障碍物识别方法、障碍物识别模型训练方法 - Google Patents

Abstract

本申请公开了一种障碍物识别方法、障碍物识别模型训练方法，属于自动驾驶技术领域。方法包括：获取目标场景的图像；通过闭集识别模型，对所述图像进行识别，得到第一识别结果，所述闭集识别模型用于识别学习到的已知类别的障碍物图像，所述第一识别结果包括识别到的障碍物图像以及所述障碍物图像的类别；通过开集识别模型，对所述图像进行识别，得到第二识别结果，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，所述第二识别结果包括识别到的障碍物图像；将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果。该方法提高了识别结果的准确性。

Description

障碍物识别方法、障碍物识别模型训练方法

技术领域

本申请涉及自动驾驶技术领域，特别涉及一种障碍物识别方法、障碍物识别模型训练方法。

背景技术

自动驾驶是一种通过计算机***控制车辆在道路上实现自动行驶的技术。由于实际道路情况复杂，存在大量行人和车辆等障碍物，因此如何实现障碍物识别，进而规划出规避障碍物的行驶路线成为自动驾驶的关键。

相关技术中，自动驾驶车辆上设置有摄像头，通过该摄像头采集环境图像，通过闭集识别模型识别该环境图像中的障碍物。但是，该闭集识别模型是基于人工标注的样本训练得到的，如果该样本中仅标注了汽车、行人和自行车，那么该闭集识别模型只能识别出汽车、行人和自行车。然而自动驾驶车辆行驶的道路中障碍物多种多样，采用该闭集识别模型经常出现漏检的问题，障碍物识别的准确率较低。

发明内容

本申请实施例提供了一种障碍物识别方法、障碍物识别模型训练方法，提高了障碍物识别的准确率。该技术方案如下：

一方面，提供了一种障碍物识别方法，所述方法包括：

获取目标场景的图像；

通过闭集识别模型，对所述图像进行识别，得到第一识别结果，所述闭集识别模型用于识别学习到的已知类别的障碍物图像，所述第一识别结果包括识别到的障碍物图像以及所述障碍物图像的类别；

通过开集识别模型，对所述图像进行识别，得到第二识别结果，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，所述第二识别结果包括识别到的障碍物图像；

将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果。

在一种可能的实现方式中，所述基于所述第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，包括：

对于所述第二识别结果中的任一障碍物图像，从所述障碍物图像所属的图像中，识别出道路图像；

基于所述障碍物图像和所述道路图像在所述图像中的位置，确定所述图像中所述障碍物图像所指示的障碍物与所述道路图像所指示的道路之间的距离。

在一种可能的实现方式中，所述从所述障碍物图像所属的图像中，识别出道路图像，包括：

获取所述图像对应的点云数据，所述图像和所述点云数据对应于同一场景；基于所述点云数据中点的高度，从所述点云数据中获取属于路面的点；将获取的点投影到所述图像中，得到所述图像中的道路图像；或者，

通过道路分割模型，对所述图像进行处理，得到所述图像中的道路图像。

在一种可能的实现方式中，所述方法还包括：

对于所述第二识别结果中的任一障碍物图像，基于所述障碍物图像所属的图像，获取点云数据，所述图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述图像中，基于所述点云数据中点的深度，确定所述图像的深度图，基于所述图像的深度图，确定所述图像中所述障碍物图像的图像深度；或者，

对于所述第二识别结果中的任一障碍物图像，基于所述障碍物图像所属的图像，获取点云数据，所述图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述图像中，基于所述图像中所述障碍物图像对应的点云数据的深度，确定所述障碍物图像的图像深度；或者，

对于所述第二识别结果中的任一障碍物图像，通过深度确定模型，确定所述障碍物图像的图像深度。

一方面，提供了一种障碍物识别模型训练方法，所述方法包括：

获取样本集，所述样本集包括多个样本图像；

在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别所述第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数；

基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，所述闭集识别模型用于识别已知类别的障碍物图像；

若所述训练过程达到循环终止条件，将所述第N次迭代对应的闭集识别模型输出为障碍物识别模型；

若所述训练过程未达到循环终止条件，通过第N次迭代对应的闭集识别模型，对所述样本集中的所述多个样本图像进行识别，基于识别结果对所述样本集中的所述多个样本图像进行标注，得到所述第N次迭代对应的样本集，基于所述第N次迭代对应的样本集训练所述第N-1次迭代对应的开集识别模型，以得到所述第N次迭代对应的开集识别模型。

在一种可能的实现方式中，所述将识别到的障碍物图像标注为未知类别，包括：

从识别到的障碍物图像中筛选出满足障碍物条件的障碍物图像，所述障碍物条件为物体影响自动驾驶车辆行驶的条件；

将筛选出的障碍物图像标注为所述未知类别。

在一种可能的实现方式中，所述从识别到的障碍物图像中筛选出满足障碍物条件的障碍物图像，包括以下至少一项：

所述障碍物条件包括距离阈值，所述距离阈值指示与道路距离小于所述距离阈值的物体为影响自动驾驶车辆行驶的障碍物；确定所述识别到的障碍物图像中障碍物与道路的距离，从所述识别到的障碍物图像中筛选出距离小于距离阈值的障碍物图像；

所述障碍物条件包括深度阈值，所述深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于所述识别到的障碍物图像的图像深度，从所述识别到的障碍物图像中筛选出图像深度大于所述深度阈值的障碍物图像；

所述障碍物条件包括尺寸阈值，所述尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于所述识别到的障碍物图像的图像尺寸，从所述识别到的障碍物图像中筛选出图像尺寸大于所述尺寸阈值的障碍物图像。

在一种可能的实现方式中，所述确定所述识别到的障碍物图像中障碍物与道路的距离，包括：

对于任一识别出的障碍物图像，从所述障碍物图像所属的样本图像中，识别出道路图像；

基于所述障碍物图像和所述道路图像在所述样本图像中的位置，确定所述样本图像中所述障碍物图像所指示的障碍物与所述道路图像所指示的道路之间的距离。

在一种可能的实现方式中，所述从所述障碍物图像所属的样本图像中，识别出道路图像，包括：

获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；基于所述点云数据中点的高度，从所述点云数据中获取属于路面的点；将获取的点投影到所述样本图像中，得到所述样本图像中的道路图像；或者，

通过道路分割模型，对所述样本图像进行处理，得到所述样本图像中的道路图像。

在一种可能的实现方式中，所述方法还包括：

对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述点云数据中点的深度，确定所述样本图像的深度图，基于所述样本图像的深度图，确定所述样本图像中所述障碍物图像的图像深度；或者，

对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述样本图像中所述障碍物图像对应的点云数据的深度，确定所述障碍物图像的图像深度；或者，

对于任一识别出的障碍物图像，通过深度确定模型，确定所述障碍物图像的图像深度。

在一种可能的实现方式中，所述方法还包括：

在任一次迭代过程中，获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；

将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；

将所述多个点簇映射到所述样本图像中，若任一点簇在所述样本图像中对应的物体图像不是所述开集识别模型识别出的障碍物图像，则将所述物体图像确定为障碍物图像，并标注为未知类别。

在一种可能的实现方式中，所述基于识别结果对所述样本集中的所述多个样本图像进行标注，得到所述第N次迭代对应的样本集，包括：

在所述样本集中，基于识别出的障碍物图像所属的类别，对所述识别出的障碍物图像进行标注；

从所述识别出的障碍物图像中，筛选出满足置信度条件且属于所述未知类别的障碍物图像；

将筛选出的障碍物图像按照目标方式进行位置重置，得到所述第N次迭代对应的样本集。

在一种可能的实现方式中，所述若所述训练过程达到循环终止条件，将所述第N次迭代对应闭集识别模型输出为障碍物识别模型，包括：

若所述训练过程的迭代次数达到目标次数，则将所述第N次迭代对应闭集识别模型输出为所述障碍物识别模型。

一方面，提供了一种障碍物识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标场景的图像；

第一识别模块，用于通过闭集识别模型，对所述图像进行识别，得到第一识别结果，所述闭集识别模型用于识别学习到的已知类别的障碍物图像，所述第一识别结果包括识别出的障碍物图像以及所述障碍物图像的类别；

第二识别模块，用于通过开集识别模型，对所述图像进行识别，得到第二识别结果，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，所述第二识别结果包括识别出的障碍物图像；

融合模块，用于将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果。

在一种可能的实现方式中，所述融合模块，包括：

筛选单元，用于从所述第二识别结果中筛选出满足障碍物条件的障碍物图像，得到第四识别结果，所述障碍物条件为物体影响自动驾驶车辆行驶的条件；

融合单元，用于将所述第一识别结果和所述第四识别结果进行融合，得到所述第三识别结果。

在一种可能的实现方式中所述障碍物条件包括距离阈值，所述距离阈值指示与道路距离小于所述距离阈值的物体为影响自动驾驶车辆行驶的障碍物；所述筛选单元，用于基于所述第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，从所述第二识别结果中筛选出距离小于距离阈值的障碍物图像；

所述障碍物条件包括深度阈值，所述深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；所述筛选单元，用于基于所述第二识别结果，确定识别到的障碍物图像的图像深度，从所述第二识别结果中筛选出图像深度大于所述深度阈值的障碍物图像；

所述障碍物条件包括尺寸阈值，所述尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；所述筛选单元，用于基于所述第二识别结果中障碍物图像的图像尺寸，从所述第二识别结果中筛选出图像尺寸大于所述尺寸阈值的障碍物图像。

在一种可能的实现方式中，所述筛选单元，用于对于所述第二识别结果中的任一障碍物图像，从所述障碍物图像所属的图像中，识别出道路图像；基于所述障碍物图像和所述道路图像在所述图像中的位置，确定所述图像中所述障碍物图像所指示的障碍物与所述道路图像所指示的道路之间的距离。

在一种可能的实现方式中，所述筛选单元，用于获取所述图像对应的点云数据，所述图像和所述点云数据对应于同一场景；基于所述点云数据中点的高度，从所述点云数据中获取属于路面的点；将获取的点投影到所述图像中，得到所述图像中的道路图像；或者，

所述筛选单元，用于通过道路分割模型，对所述图像进行处理，得到所述图像中的道路图像。

在一种可能的实现方式中，所述筛选单元，用于对于所述第二识别结果中的任一障碍物图像，基于所述障碍物图像所属的图像，获取点云数据，所述图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述图像中，基于所述点云数据中点的深度，确定所述图像的深度图，基于所述图像的深度图，确定所述图像中所述障碍物图像的图像深度；或者，

所述筛选单元，用于对于所述第二识别结果中的任一障碍物图像，基于所述障碍物图像所属的图像，获取点云数据，所述图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述图像中，基于所述图像中所述障碍物图像对应的点云数据的深度，确定所述障碍物图像的图像深度；或者，

所述筛选单元，用于对于所述第二识别结果中的任一障碍物图像，通过深度确定模型，确定所述障碍物图像的图像深度。

在一种可能的实现方式中，所述融合模块，用于获取所述目标场景的点云数据；将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；将所述多个点簇映射到所述样本图像中，得到所述多个点簇分别对应的物体图像；基于所述多个点簇分别对应的物体图像和所述第二识别结果，确定第五识别结果，所述第五识别结果包括所述多个点簇分别对应的物体图像中不属于所述第二识别结果的物体图像；将所述第一识别结果、所述第二识别结果与所述第五识别结果进行融合，得到所述第三识别结果。

一方面，提供了一种障碍物识别模型训练装置，所述装置包括：

获取模块，用于获取样本集，所述样本集包括多个样本图像；

标注模块，用于在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别所述第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数；

训练模块，用于基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，所述闭集识别模型用于识别已知类别的障碍物图像；

输出模块，用于若所述训练过程达到循环终止条件，将所述第N次迭代对应的闭集识别模型输出为障碍物识别模型；

所述训练模块，还用于若所述训练过程未达到循环终止条件，通过第N次迭代对应的闭集识别模型，对所述样本集中的所述多个样本图像进行识别，基于识别结果对所述样本集中的所述多个样本图像进行标注，得到所述第N次迭代对应的样本集，基于所述第N次迭代对应的样本集训练所述第N-1次迭代对应的开集识别模型，以得到所述第N次迭代对应的开集识别模型。

在一种可能的实现方式中，所述标注模块，包括：

筛选单元，用于从识别到的障碍物图像中筛选出满足障碍物条件的障碍物图像，所述障碍物条件为物体影响自动驾驶车辆行驶的条件；

标注单元，用于将筛选出的障碍物图像标注为所述未知类别。

在一种可能的实现方式中，所述筛选单元，用于至少以下至少一项：

所述障碍物条件包括距离阈值，所述距离阈值指示与道路距离小于所述距离阈值的物体为影响自动驾驶车辆行驶的障碍物；确定所述识别到的障碍物图像中障碍物与道路的距离，从所述识别到的障碍物图像中筛选出距离小于距离阈值的障碍物图像；

所述障碍物条件包括深度阈值，所述深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于所述识别到的障碍物图像的图像深度，从所述识别到的障碍物图像中筛选出图像深度大于所述深度阈值的障碍物图像；

所述障碍物条件包括尺寸阈值，所述尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于所述识别到的障碍物图像的图像尺寸，从所述识别到的障碍物图像中筛选出图像尺寸大于所述尺寸阈值的障碍物图像。

在一种可能的实现方式中，所述筛选单元，用于对于任一识别出的障碍物图像，从所述障碍物图像所属的样本图像中，识别出道路图像；基于所述障碍物图像和所述道路图像在所述样本图像中的位置，确定所述样本图像中所述障碍物图像所指示的障碍物与所述道路图像所指示的道路之间的距离。

在一种可能的实现方式中，所述筛选单元，用于获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；基于所述点云数据中点的高度，从所述点云数据中获取属于路面的点；将获取的点投影到所述样本图像中，得到所述样本图像中的道路图像；或者，

所述筛选单元，用于通过道路分割模型，对所述样本图像进行处理，得到所述样本图像中的道路图像。

在一种可能的实现方式中，所述装置还包括：

确定模块，用于对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述点云数据中点的深度，确定所述样本图像的深度图，基于所述样本图像的深度图，确定所述样本图像中所述障碍物图像的图像深度；或者，

所述确定模块，用于对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述样本图像中所述障碍物图像对应的点云数据的深度，确定所述障碍物图像的图像深度；或者，

所述确定模块，用于对于任一识别出的障碍物图像，通过深度确定模型，确定所述障碍物图像的图像深度。

在一种可能的实现方式中，所述装置还包括：

所述获取模块，还用于在任一次迭代过程中，获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；

聚类模块，用于将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；

所述标注模块，还用于将所述多个点簇映射到所述样本图像中，若任一点簇在所述样本图像中对应的物体图像不是所述开集识别模型识别出的障碍物图像，则将所述物体图像确定为障碍物图像，并标注为未知类别。

在一种可能的实现方式中，所述训练模块，用于在所述样本集中，基于识别出的障碍物图像所属的类别，对所述识别出的障碍物图像进行标注；从所述识别出的障碍物图像中，筛选出满足置信度条件且属于所述未知类别的障碍物图像；将筛选出的障碍物图像按照目标方式进行位置重置，得到所述第N次迭代对应的样本集。

在一种可能的实现方式中，所述输出模块，用于若所述训练过程的迭代次数达到目标次数，则将所述第N次迭代对应闭集识别模型输出为障碍物识别模型。

一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如上述任一种可能实现方式的障碍物识别方法所执行的操作，或者，以实现如上述任一种可能实现方式的障碍物识别模型训练方法所执行的操作。

一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的障碍物识别方法所执行的操作，或者，以实现如上述任一种可能实现方式的障碍物识别模型训练方法所执行的操作。

一方面，提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品包括：计算机程序代码，所述计算机程序代码被计算机执行时，使得所述计算机实现如上述任一种可能实现方式的障碍物识别方法所执行的操作，或者，以实现如上述任一种可能实现方式的障碍物识别模型训练方法所执行的操作。

本申请实施例提供的障碍物识别方法，考虑到闭集识别模型识别出的障碍物图像不够全面，但是识别结果的准确性较高；而开集识别模型识别出的障碍物图像比较全面，但是识别结果的准确性较低，因此，本申请实施例通过闭集识别模型和开集识别模型对同一图像进行识别，将两个识别结果进行融合，作为最终的识别结果，提高了识别结果的准确性。

本申请实施例提供的障碍物识别模型训练方法，通过开集识别模型挖掘样本集中新类别的障碍物图像，通过迭代训练开集识别模型和闭集识别模型，使得开集识别模型和闭集识别模型能够识别出更多类别的障碍物图像，提高了开集识别模型和闭集识别模型的障碍物识别能力，将最终得到的闭集识别模型作为障碍物识别模型，提高了障碍物识别模型的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种障碍物识别模型训练方法的流程图；

图3是本申请实施例提供的一种障碍物识别模型训练方法的流程图；

图4是本申请实施例提供的一种障碍物识别模型训练方法的流程图；

图5是本申请实施例提供的一种障碍物识别方法的流程图；

图6是本申请实施例提供的一种障碍物识别模型训练装置的结构示意图；

图7是本申请实施例提供的另一种障碍物识别模型训练装置的结构示意图；

图8是本申请实施例提供的一种障碍物识别装置的结构示意图；

图9是本申请实施例提供的另一种障碍物识别装置的结构示意图；

图10是本申请实施例提供的一种终端的结构示意图；

图11是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一样本图像称为第二样本图像，将第二样本图像称为第一样本图像。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或者两个以上，多个包括两个或者两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个，举例来说，多个样本图像包括3个样本图像，而每个是指这3个样本图像中的每一个样本图像，任一是指这3个样本图像中的任意一个，可以是第一个，也可以是第二个，还可以是第三个。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的样本图像、点云数据等都是在充分授权的情况下获取的。且上述信息、数据经过加工处理后使用于大数据应用场景，无法识别至任意自然人或与其产生特定关联。

在一些实施例中，本申请实施例提供的障碍物识别模型训练方法由计算机设备执行。在一些实施例中，该计算机设备为终端，该终端是手机、电脑、平板电脑、自动驾驶车辆等任一种类型的终端。其中，该自动驾驶车辆包括在地面上行驶的车辆(例如，汽车、卡车、公交车等)，也可以包括在空中行驶的车辆(例如，无人机、飞机、直升机等)，也可以包括在水上或者水中行驶的车辆(例如，船、潜艇等)。该自动驾驶车辆可以容纳或者不容纳一个或者多个乘客。另外，该自动驾驶车辆可以应用于无人配送领域，例如，快递物流领域、外卖送餐领域等。

在另一些实施例中，该计算机设备为服务器，该服务器为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。在另一些实施例中，该计算机设备包括自动驾驶车辆和服务器。

需要说明的是，本申请实施例对障碍物识别模型训练方法的执行主体不做限定。

图1是本申请实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括自动驾驶车辆101和服务器102，该自动驾驶车辆101与服务器102之间通过无线或者有线网络连接。

在一些实施例中，该服务器102是为该自动驾驶车辆101提供服务的服务器。可选地，该服务器102为自动驾驶车辆101提供电子地图，该服务器102用于更新自动驾驶车辆的障碍物识别模型等，本申请实施例对服务器102的作用不做限定。

在一些实施例中，服务器102用于训练障碍物识别模型，将训练好的障碍物识别模型部署到自动驾驶车辆101中。

图2是本申请实施例提供的一种障碍物识别模型训练方法的流程图。本申请实施例以执行主体为计算机设备为例进行示例性说明，该实施例包括：

201、计算机设备获取样本集，该样本集包括多个样本图像。

该样本图像可以是任一图像。可选地，该样本图像是拍摄的道路的图像。在一些实施例中，该样本图像是自动驾驶车辆在行驶过程中拍摄的图像，也可以是道路上设置的摄像头拍摄的图像，还可以是通过其他方式获取的图像，本申请实施例对样本图像不做限定。

202、计算机设备在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，该开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数。

本申请实施例中，第N-1次迭代对应的开集识别模型是通过第N-1次迭代对应的样本集训练得到的，因此，第N-1次迭代对应的开集识别模型学习到的已知类别的障碍物图像就是第N-1次迭代对应的样本集中标注的障碍物图像。通过第N-1次迭代对应的开集识别模型，对第N-1次迭代对应的样本集进行识别，不仅能够识别出该第N-1次迭代对应的样本集中标注的障碍物图像，还能够识别出第N-1次迭代对应的样本集中未标注的障碍物图像，并将这些障碍物图像的类别确定为未知类别。

在一些实施例中，开集识别模型对图像进行识别时，先从图像中检测出物体图像，确定该物体图像的置信度，该置信度用于表示该物体图像中的物体是障碍物的概率。如果物体图像的置信度大于第一阈值，则对该物体图像进行已知类别分类，从已知类别中选择出与该物体图像最匹配的类别作为该物体图像对应的类别。如果物体图像的置信度小于第一阈值且大于第二阈值，则确定该物体图像为障碍物图像，且该物体图像对应的类别为未知类别。其中，第一阈值大于第二阈值。本申请实施例对第一阈值和第二阈值的具体数值不做限定。可选地，第一阈值为0.8，第二阈值为0.3。

如果使用某一样本集对开集识别模型进行训练，样本集中标注出的障碍物图像在开集识别模型中的置信度会提高，甚至为1。这样，与这些障碍物图像相似的其他物体图像的置信度也会相应升高，从而使得开集识别模型将与这些障碍物图像相似的其他物体图像判定为未知类别的障碍物图像。

例如，使用标注了汽车、行人和自行车这三类障碍物的样本集，对开集识别模型进行训练，训练后的开集识别模型不仅能够识别汽车、行人和自行车这三类障碍物，还能够识别出与汽车、行人和自行车这三类障碍物相似的其他障碍物，如三轮车，并将识别出的其他障碍物判定为未知类别。

203、计算机设备基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，该闭集识别模型用于识别已知类别的障碍物图像。

闭集识别模型只能识别已知类别的障碍物图像。例如，使用标注了汽车、行人和自行车这三类障碍物的样本集，对闭集识别模型进行训练，训练后的闭集识别模型只能识别汽车、行人和自行车这三类障碍物。

由于开集识别模型将识别出的未知类别的障碍物图像标注为未知类别了，那么该“未知类别”可以看做是“已知类别”了。基于该标注后的样本集，训练该闭集识别模型，使得该闭集识别模型能够学习到样本集中标注的已知类别的障碍物图像和未知类别的障碍物图像。

204、若训练过程达到循环终止条件，将第N次迭代对应的闭集识别模型输出为障碍物识别模型。

本申请实施例中的训练过程是一个多次迭代的过程，在训练过程达到循环终止条件时，停止训练。可选地，循环终止条件为迭代次数达到目标次数。

通过N次迭代过程，开集识别模型不断挖掘样本集中新的障碍物图像，使得第N次迭代对应的闭集识别模型能够识别出类别更加丰富的障碍物图像，大大提高了闭集识别模型的障碍物识别能力，可以将该第N次迭代对应的闭集识别模型输出为障碍物识别模型，后续将该障碍物识别模型投入使用。

205、若训练过程未达到循环终止条件，基于第N次迭代对应的闭集识别模型，对样本集中的多个样本图像进行识别，基于识别结果对样本集中的多个样本图像进行标注，得到第N次迭代对应的样本集，基于该第N次迭代对应的样本集训练第N-1次迭代对应的开集识别模型，以得到第N次迭代对应的开集识别模型。

如果训练过程未达到循环终止条件，那么还需要继续进行训练。为了使得开集识别模型能够继续从样本集中挖掘出新类别的障碍物，还需要重新对开集识别模型进行训练。

以第N-1次迭代对应的开集识别模型挖掘出三轮车这一障碍物为例，第N-1次迭代对应的开集识别模型很有可能未能将样本集中的全部的三轮车图像识别出来，因此，上述步骤203中“标注后的样本集”的准确性较低。为了得到更加准确的样本集，本申请实施例基于第N次迭代对应的闭集识别模型，对样本集中的多个样本图像进行识别，基于识别结果对样本集中的多个样本图像进行标注，得到第N次迭代对应的样本集。基于该第N次迭代对应的样本集训练第N-1次迭代对应的开集识别模型，得到第N次迭代对应的开集识别模型。

本申请实施例提供的障碍物识别模型训练方法，通过开集识别模型挖掘样本集中新类别的障碍物图像，通过迭代训练开集识别模型和闭集识别模型，使得开集识别模型和闭集识别模型能够识别出更多类别的障碍物图像，提高了开集识别模型和闭集识别模型的障碍物识别能力，将最终得到的闭集识别模型作为障碍物识别模型，提高了障碍物识别模型的准确性。

图3是本申请实施例提供的一种障碍物识别模型训练方法的流程图。本申请实施例以执行主体为计算机设备为例进行示例性说明，该实施例包括：

301、计算机设备获取样本集，该样本集包括多个样本图像。

需要说明的是，该样本集可以是标注过的样本集，也可以是未经标注的样本集，本申请实施例对此不做限定。

302、计算机设备在训练过程的第1次迭代过程中，通过闭集识别模型，对样本集中的多个样本图像进行识别。

上述步骤302中的闭集识别模型是训练完成的闭集识别模型，能够识别M种类别的障碍物。其中，M为任一正整数。该闭集识别模型可以是通过标注了M种类别的障碍物的样本集训练得到的。该闭集识别模型可以是cascade模型，也可以是RCNN(RegionConvolutional Neural Networks，一种卷积神经网络)模型。

通过该闭集识别模型，对样本集中的多个样本图像进行识别，不仅能够识别出样本图像中M种类别的障碍物，还能确定该障碍物的类别。

303、计算机设备通过开集识别模型，识别该样本集中未知类别的障碍物图像。

上述步骤302中的开集识别模型是训练完成的开集识别模型，该开集识别模型是通过标注了M种类别的障碍物的样本集训练得到的。因此，该开集识别模型能够依赖该M种类别的障碍物，挖掘样本集中1类未知类别的障碍物。

其中，该开集识别模型可以是OpenDet模型，该OpenDet模型由两个学习器组成，一个学习器用于学习提取更准确的图像特征，另一个学习器用于学习更加准确的第一阈值和第二阈值。在一些实施例中，针对该OpenDet模型，可以采用随机梯度下降的优化方式进行训练，采用初始学习率为0.001、动量为0.9、权重衰减系数为0.00001的学习方式进行训练，在第3万次和第5万次训练时进行学习率10倍的下降，共训练6万次。

304、计算机设备从开集识别模型识别到的障碍物图像中，筛选出满足障碍物条件的障碍物图像，该障碍物条件为物体影响自动驾驶车辆行驶的条件。

需要说明的是，开集识别模型既能识别已知类别的障碍物图像，又能识别未知类别的障碍物图像，上述步骤304中的“开集识别模型识别到的障碍物图像”仅是开集识别模型识别到的未知类别的障碍物图像。

根据上述步骤202中的记载可知，开集识别模型是将置信度小于第一阈值且大于第二阈值的物体图像确定为未知类别的障碍物图像，这种方式确定出的障碍物图像不够准确，确定出的障碍物图像中可能会包括非障碍物图像。因此，本申请实施例在通过开集识别模型识别样本集中未知类别的障碍物图像之后，会对识别到的障碍物图像进行筛选，以消除不可靠的未知类别障碍物图像的检测结果。

在一种可能的实现方式中，计算机设备从开集识别模型识别到的障碍物图像中，筛选出满足障碍物条件的障碍物图像，包括以下至少一项：

(1)该障碍物条件包括距离阈值，该距离阈值指示与道路距离小于该距离阈值的物体为影响自动驾驶车辆行驶的障碍物；确定识别到的障碍物图像中障碍物与道路的距离，从识别到的障碍物图像中筛选出距离小于距离阈值的障碍物图像。

需要说明的是，路面上的物体或者距离路面较近的物体才会影响自动驾驶车辆行驶，才可以看做是障碍物，而距离路面较远的物体，是在空中较高的物体，不会影响自动驾驶车辆行驶，因此，距离路面较远的物体并不是障碍物。计算机设备会从识别到的障碍物图像中，筛选出位于道路上或者距离道路较近的障碍物的障碍物图像。

其中，距离阈值可以是任一距离，该距离阈值可以是一经验值，也可以是技术人员设置的数值，本申请实施例对距离阈值不做限定。

在确定识别到的障碍物图像中障碍物与道路的距离之前，需要先识别出样本图像中的道路。在一些实施例中，确定识别到的障碍物图像中障碍物与道路的距离，包括：对于任一识别出的障碍物图像，从该障碍物图像所属的样本图像中，识别出道路图像；基于该障碍物图像和该道路图像在样本图像中的位置，确定该样本图像中障碍物图像所指示的障碍物与道路图像所指示的道路之间的距离。

在一种可能的实现方式中，样本集还包括样本图像对应的点云数据，计算机设备可以基于点云数据，来确定样本图像中的道路图像。计算机设备从障碍物图像所属的样本图像中，识别出道路图像，包括：获取该样本图像对应的点云数据，该样本图像和该点云数据对应于同一场景；基于点云数据中点的高度，从点云数据中获取属于路面的点；将获取的点投影到样本图像中，得到样本图像中的道路图像。

其中，路面可以看做一个平面，计算机设备可以基于聚类算法对路面上的点云进行聚类，得到点云道路分割结果，也即是得到点云数据中属于路面的点；将属于路面的点投影到样本图像中，确定这些投影点组成的凹包多边形，得到样本图像中的道路图像。

在另一种可能的实现方式中，计算机设备通过道路分割模型，识别出样本图像中的道路图像。计算机设备从障碍物图像所属的样本图像中，识别出道路图像，包括：通过道路分割模型，对样本图像进行处理，得到样本图像中的道路图像。

在一些实施例中，样本集中包含部分样本图像对应的点云数据，如图4所示，计算机设备可以基于该部分样本图像对应的点云数据，对该部分样本图像进行道路分割，得到该部分样本图像中的道路图像，基于该部分样本图像中的道路图像，训练道路分割模型，后续，直接使用道路分割模型对样本图像进行处理，得到样本图像中的道路图像。

(2)该障碍物条件包括深度阈值，该深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于识别到的障碍物图像的图像深度，从识别到的障碍物图像中筛选出图像深度大于深度阈值的障碍物图像。

需要说明的是，样本图像中物体的深度能够表示该物体与自动驾驶车辆距离的远近，物体的深度越大，该物体与自动驾驶车辆的距离越远，对自动驾驶车辆的行驶影响越小；物体的深度越小，该物体与自动驾驶车辆的距离越近，对自动驾驶车辆的行驶影响越大。并且，远处的小物体通常是很难检测的，远处未知障碍物的确定存在更多的错误，因此，本申请实施例中，会对远处小物体进行滤除。

该深度阈值可以是任一数值，可选地，该深度阈值为一经验数值；可选地，该深度阈值是技术人员设置的数值，本申请实施例对深度阈值不做限定。

在一些实施例中，为了得到障碍物图像的深度，计算机设备基于点云数据来确定障碍物图像的深度。可选地，该方法还包括：对于任一识别出的障碍物图像，基于该障碍物图像所属的样本图像，获取点云数据，该样本图像和该点云数据对应于同一场景；将该点云数据中的点映射到样本图像中，基于点云数据中点的深度，确定该样本图像的深度图，基于该样本图像的深度图，确定该样本图像中障碍物图像的图像深度。

其中，计算机设备将点云数据中的点映射到样本图像之后，可以采用传统的深度补全方法(例如，IP-Basic方法)，来得到该样本图像的深度图，该深度图为像素级深度图。

在另一些实施例中，无需确定样本图像的深度图，直接基于障碍物图像对应的点云数据的深度，确定障碍物图像的图像深度即可。该方法还包括：对于任一识别出的障碍物图像，基于该障碍物图像所属的样本图像，获取点云数据，该样本图像和该点云数据对应于同一场景；将该点云数据中的点云映射到样本图像中，基于样本图像中该障碍物图像对应的点云数据的深度，确定该障碍物图像的图像深度。

在另一些实施例中，计算机设备还可以基于深度确定模型来确定障碍物图像的图像深度。该方法还包括：对于任一识别出的障碍物图像，通过深度确定模型，确定该障碍物图像的图像深度。

可选地，该样本集包括部分样本图像对应的点云数据，如图4所示，计算机设备可以基于该部分样本图像对应的点云数据，确定该部分样本图像的深度图，基于该部分样本图像的深度图来训练深度确定模型，后续，计算机设备直接基于该深度确定模型，确定障碍物图像的图像深度。

(3)该障碍物条件包括尺寸阈值，该尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于识别到的障碍物图像的图像尺寸，从识别到的障碍物图像中筛选出图像尺寸大于尺寸阈值的障碍物图像。

需要说明的是，如果障碍物图像的图像尺寸较小，那么可能是障碍物的尺寸较小，也可能是障碍物与自动驾驶车辆距离较远；无论是障碍物自身的尺寸较小，还是障碍物距离自动驾驶车辆较远，都难以对自动驾驶车辆的行驶产生影响，因此，可以过滤掉图像尺寸较小的障碍物图像，而不对自动驾驶车辆的行驶产生影响。

其中，尺寸阈值可以是任一数值，可选地，尺寸阈值为一经验数值；可选地，尺寸阈值为技术人员设置的数值，本申请实施例对尺寸阈值不做限定。

305、计算机设备基于闭集识别模型的识别结果和满足障碍物条件的障碍物图像，对该样本集进行标注。

其中，闭集识别模型的识别结果为带有标注信息的M类已知障碍物检测结果，满足障碍物条件的障碍物图像为1类未知障碍物检测结果。计算机设备基于闭集识别模型的识别结果和满足障碍物条件的障碍物图像，对样本集进行标注，可以得到标注有M+1类障碍物的样本集。

在一些实施例中，样本集还包括部分样本图像对应的点云数据，为了提高未知类别障碍物的召回率，本申请实施例还可以基于该点云数据，对未知类别的障碍物进行补充。如图4所示，该方法还包括：获取样本图像对应的点云数据，该样本图像和该点云数据对应于同一场景；将该点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；将该多个点簇映射到样本图像中，若任一点簇在样本图像中对应的物体图像不是开集识别模型识别出的障碍物图像，则将该物体图像确定为障碍物图像，并标注为未知类别。

需要说明的是，开集识别模型识别出的障碍物图像包括未知类别的障碍物图像，还包括M类已知类别的障碍物图像。任一点簇在样本图像中对应的物体图像不是开集识别模型识别出的障碍物图像是指：该点簇在样本图像中对应的物体图像既不是开集识别模型识别出的未知类别的障碍物图像，也不是开集识别模型识别出的M类已知类别的障碍物图像。

其中，将点云数据中与道路距离不超过距离阈值的点进行聚类之后，可以通过障碍物预选框框住聚类得到的点簇，后续将这些预选框与开集识别模型得到的预选框进行比较，滤除重叠的预选框。

306、计算机设备基于标注后的样本集训练闭集识别模型，以得到第1次迭代对应的闭集识别模型。

其中，标注后的样本集包括M类已知类别的障碍物和1类未知类别的障碍物，基于标注后的样本集训练闭集识别模型，得到的第1次迭代对应的闭集识别模型是用于识别M+1类已知类别障碍物的模型。

307、计算机设备通过第1次迭代对应的闭集识别模型，对样本集中的多个样本图像进行识别，基于识别结果对样本集中的多个样本图像进行标注，得到第1次迭代对应的样本集，基于该第1次迭代对应的样本集训练该开集识别模型，以得到第1次迭代对应的开集识别模型。

开集识别模型虽然挖掘出1类未知类别的障碍物，但是样本集中可能存在相同类别的障碍物未被挖掘出。例如，开集识别模型将三轮车挖掘为未知类别的障碍物，但是样本集中可能还包括部分三轮车图像未被标注出来，为了提高样本集的准确性，本申请实施例还通过第1次迭代对应的闭集识别模型，来对样本集进行标注。由于第1次迭代对应的闭集识别模型能够识别M+1类已知类别的障碍物，因此，通过该第1次迭代对应的闭集识别模型能够比较准确地将样本集中的M+1类已知类别的障碍物识别出来。

在一些实施例中，闭集识别模型的训练过程通常存在类不平衡的问题，开集识别模型存在检测错误的问题，为了缓解上述问题，计算机设备还会对未知类别的障碍物进行重采样。也即是，从样本集中挖掘出的未知类别的障碍物中选择可信度高的未知类别障碍物图像，将这些未知类别障碍物图像按照随机摆放、沿直线摆放或沿半径密集摆放等多种方法进行障碍物重置，同时将这些未知类别障碍物图像的标注信息作为训练监督信息，由于未知类别障碍物图像的数目多且组合方式多，因此，采用上述方法可以达到充分的数据增强的效果。

在一种可能的实现方式中，计算机设备基于识别结果对样本集中的多个样本图像进行标注，得到第1次迭代对应的样本集，包括：在样本集中，基于识别出的障碍物图像所属的类别，对识别出的障碍物图像进行标注；从识别出的障碍物图像中，筛选出满足置信度条件且属于未知类别的障碍物图像；将筛选出的障碍物图像按照目标方式进行位置重置，得到第1次迭代对应的样本集。

例如，基于障碍物图像的置信度，对障碍物图像进行聚类，滤除聚类结果中远离类中心的障碍物图像，然后在簇中采用目标采样均匀、按样本出现概率方式进行采样，采用泊松融合的方案进行目标放置，达到视觉效果的自然扩增，采用这种的样本集对模型进行训练，保证了未知障碍物预测的准确率和召回率。

308、计算机设备在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，N为大于1的正整数。

上述步骤308可以是训练过程的第2次迭代过程、第3次迭代过程……最后一次迭代过程。

在一种可能的实现方式中，计算机设备将识别到的障碍物图像标注为未知类别，包括：计算机设备从识别到的障碍物图像中筛选出满足障碍物条件的障碍物图像，该障碍物条件为物体影响自动驾驶车辆行驶的条件；将筛选出的障碍物图像标注为未知类别。

该步骤308与上述步骤303和步骤304同理，在此不再一一赘述。

309、计算机设备基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型。

该步骤309与上述步骤306同理，在此不再一一赘述。

310、若训练过程的迭代次数达到目标次数，计算机设备将第N次迭代对应的闭集识别模型输出为障碍物识别模型。

其中，目标次数可以是任一次数，例如，5、10、20、100等。本申请实施例对目标次数不做限定。

311、若训练过程的迭代次数未达到目标次数，计算机设备将通过第N次迭代对应的闭集识别模型，对样本集中的多个样本图像进行识别，基于识别结果对样本集中的多个样本图像进行标注，得到第N次迭代对应的样本集，基于该第N次迭代对应的样本集训练该第N-1次迭代对应的开集识别模型，以得到该第N次迭代对应的开集识别模型。

该步骤311与上述步骤307同理，在此不再一一赘述。

本申请实施例循环执行上述步骤308、步骤309和步骤311，直至训练过程的迭代次数达到目标次数，则执行上述步骤310，结束。

本申请实施例通过开集识别模型获取可靠的未知类别障碍物检测结果，将这些未知类别障碍物标记为未知类别，然后融合原有的M类已知类别障碍物，训练M+1类的已知障碍物闭集识别模型，以使闭集识别模型能够检测出更多的未知类别障碍物，同时保证未知类别障碍物的检测性能。并基于训练后的已知障碍物闭集识别模型的检测结果，训练开集识别模型，以使开集识别模型挖掘新的未知类别障碍物。通过循环迭代执行上述步骤，可以得到强大的N+1类已知障碍物闭集识别模型和未知障碍物开集识别模型。

本申请实施例提供的障碍物识别模型训练方法，通过开集识别模型挖掘样本集中新类别的障碍物图像，通过迭代训练开集识别模型和闭集识别模型，使得开集识别模型和闭集识别模型能够识别出更多类别的障碍物图像，提高了开集识别模型和闭集识别模型的障碍物识别能力，将最终得到的闭集识别模型作为障碍物识别模型，提高了障碍物识别模型的准确性。

需要说明的是，在ECCV 2022SSLAD Track 3:Corner Case Detection(是自动驾驶场景中运用大规模无标注数据及少量标注数据进行障碍物检测的国际竞赛)比赛中，基于本申请实施例提供的方法获得了该比赛的第一名，且整体指标远远高于第二名。

需要说明的是，本申请实施例提供的障碍物识别模型训练方法，是通过开集识别模型挖掘样本集中新类别的障碍物图像，通过迭代训练开集识别模型和闭集识别模型，从样本集中挖掘出更多类别的障碍物图像，通过挖掘出更多类别障碍物图像的样本集训练闭集识别模型来得到障碍物识别模型。由此可见，结合开集识别模型和闭集识别模型，能够得到准确的识别结果。因此，在实际应用中，可以通过图3所示的障碍物识别模型训练方法训练出的障碍物识别模型进行识别，也可以通过开集识别模型和闭集识别模型来进行识别。本申请实施例通过图5所示的实施例对“通过开集识别模型和闭集识别模型来进行障碍物识别”进行示例性说明。

图5是本申请实施例提供的一种障碍物识别方法方法的流程图，本申请实施例以执行主体为自动驾驶车辆为例进行示例性说明，参见图5，该实施例包括：

501、自动驾驶车辆获取目标场景的图像。

其中，目标场景的图像可以是自动驾驶车辆行驶过程中拍摄的任一图像，本申请实施例不对目标场景进行限定。需要说明的是，本申请实施例仅是以执行主体为自动驾驶车辆为例进行示例性说明，因此，当执行主体是其他设备时，该目标场景还可以是其他场景，本申请实施例对目标场景不做限定，该目标场景可以是任一场景。

502、自动驾驶车辆通过闭集识别模型，对该图像进行识别，得到第一识别结果，该闭集识别模型用于识别学习到的已知类别的障碍物图像，该第一识别结果包括识别到的障碍物图像以及该障碍物图像的类别。

上述步骤502与上述步骤302同理，在此不再一一赘述。

503、自动驾驶车辆通过开集识别模型，对图像进行识别，得到第二识别结果，该开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，该第二识别结果包括识别到的障碍物图像。

上述步骤503与上述步骤303同理，在此不再一一赘述。

504、自动驾驶车辆将第一识别结果和第二识别结果进行融合，得到第三识别结果。

闭集识别模型识别出的障碍物图像不够全面，但是识别结果的准确性较高；而开集识别模型识别出的障碍物图像全面，但是识别结果的准确性较低。因此，本申请实施例通过闭集识别模型和开集识别模型对同一图像进行识别，将两个识别结果进行融合，作为最终的识别结果，提高了识别结果的准确性。

在一种可能的实现方式中，自动驾驶车辆将第一识别结果和第二识别结果进行融合，得到第三识别结果，包括：自动驾驶车辆确定第二识别结果中与第一识别结果中障碍物图像相同的障碍物图像，获取所确定的障碍物图像的置信度；基于该置信度，从第二识别结果中筛选障碍物图像；将筛选出的障碍物图像和第一识别结果进行融合，得到第三识别二级果。

其中，基于置信度，从第二识别结果中筛选障碍物图像可以是从第二识别结果中筛选置信度不小于该置信度的障碍物图像；或者，从第二识别结果中筛选置信度不小于置信度阈值的障碍物图像，该置信度阈值是基于该置信度确定的，可以小于该置信度。

在另一种可能的实现方式中，自动驾驶车辆将第一识别结果和第二识别结果进行融合，得到第三识别结果，包括：自动驾驶车辆从第二识别结果中筛选出满足障碍物条件的障碍物图像，得到第四识别结果，该障碍物条件为物体影响自动驾驶车辆行驶的条件；将第一识别结果和第四识别结果进行融合，得到第三识别结果。

可选地，自动驾驶车辆从第二识别结果中筛选出满足障碍物条件的障碍物图像，包括以下至少一项：(1)障碍物条件包括距离阈值，距离阈值指示与道路距离小于距离阈值的物体为影响自动驾驶车辆行驶的障碍物；基于第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，从第二识别结果中筛选出距离小于距离阈值的障碍物图像；(2)障碍物条件包括深度阈值，深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于第二识别结果，确定识别到的障碍物图像的图像深度，从第二识别结果中筛选出图像深度大于深度阈值的障碍物图像；(3)障碍物条件包括尺寸阈值，尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于第二识别结果中障碍物图像的图像尺寸，从第二识别结果中筛选出图像尺寸大于尺寸阈值的障碍物图像。

可选地，自动驾驶车辆基于第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，包括：对于第二识别结果中的任一障碍物图像，从障碍物图像所属的图像中，识别出道路图像；基于障碍物图像和道路图像在图像中的位置，确定图像中障碍物图像所指示的障碍物与道路图像所指示的道路之间的距离。

可选地，自动驾驶车辆从障碍物图像所属的图像中，识别出道路图像，包括：获取图像对应的点云数据，图像和点云数据对应于同一场景；基于点云数据中点的高度，从点云数据中获取属于路面的点；将获取的点投影到图像中，得到图像中的道路图像；或者，通过道路分割模型，对图像进行处理，得到图像中的道路图像。

可选地，方法还包括：对于第二识别结果中的任一障碍物图像，基于障碍物图像所属的图像，获取点云数据，图像和点云数据对应于同一场景；将点云数据中的点映射到图像中，基于点云数据中点的深度，确定图像的深度图，基于图像的深度图，确定图像中障碍物图像的图像深度；或者，对于第二识别结果中的任一障碍物图像，基于障碍物图像所属的图像，获取点云数据，图像和点云数据对应于同一场景；将点云数据中的点映射到图像中，基于图像中障碍物图像对应的点云数据的深度，确定障碍物图像的图像深度；或者，对于第二识别结果中的任一障碍物图像，通过深度确定模型，确定障碍物图像的图像深度。

其中，得到第四识别结果的步骤可以参考上述步骤304，在此不再一一赘述。

在另一种可能的方式中，还可以基于点云数据，来得到第三识别结果。可选地，将第一识别结果和第二识别结果进行融合，得到第三识别结果，包括：获取目标场景的点云数据；将点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；将多个点簇映射到样本图像中，得到多个点簇分别对应的物体图像；基于多个点簇分别对应的物体图像和第二识别结果，确定第五识别结果，第五识别结果包括多个点簇分别对应的物体图像中不属于第二识别结果的物体图像；将第一识别结果、第二识别结果与第五识别结果进行融合，得到第三识别结果。

图6是本申请实施例提供的一种障碍物识别模型训练装置的结构示意图，参见图6，该装置包括：

获取模块601，用于获取样本集，所述样本集包括多个样本图像；

标注模块602，用于在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别所述第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数；

训练模块603，用于基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，所述闭集识别模型用于识别已知类别的障碍物图像；

输出模块604，用于若所述训练过程达到循环终止条件，将所述第N次迭代对应的闭集识别模型输出为障碍物识别模型；

所述训练模块603，还用于若所述训练过程未达到循环终止条件，通过第N次迭代对应的闭集识别模型，对所述样本集中的所述多个样本图像进行识别，基于识别结果对所述样本集中的所述多个样本图像进行标注，得到所述第N次迭代对应的样本集，基于所述第N次迭代对应的样本集训练所述第N-1次迭代对应的开集识别模型，以得到所述第N次迭代对应的开集识别模型。

如图7所示，在一种可能的实现方式中，所述标注模块602，包括：

筛选单元6021，用于从识别到的障碍物图像中筛选出满足障碍物条件的障碍物图像，所述障碍物条件为物体影响自动驾驶车辆行驶的条件；

标注单元6022，用于将筛选出的障碍物图像标注为所述未知类别。

在一种可能的实现方式中，所述筛选单元6021，用于至少以下至少一项：

所述障碍物条件包括距离阈值，所述距离阈值指示与道路距离小于所述距离阈值的物体为影响自动驾驶车辆行驶的障碍物；确定所述识别到的障碍物图像中障碍物与道路的距离，从所述识别到的障碍物图像中筛选出距离小于距离阈值的障碍物图像；

所述障碍物条件包括深度阈值，所述深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于所述识别到的障碍物图像的图像深度，从所述识别到的障碍物图像中筛选出图像深度大于所述深度阈值的障碍物图像；

所述障碍物条件包括尺寸阈值，所述尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于所述识别到的障碍物图像的图像尺寸，从所述识别到的障碍物图像中筛选出图像尺寸大于所述尺寸阈值的障碍物图像。

在一种可能的实现方式中，所述筛选单元6021，用于对于任一识别出的障碍物图像，从所述障碍物图像所属的样本图像中，识别出道路图像；基于所述障碍物图像和所述道路图像在所述样本图像中的位置，确定所述样本图像中所述障碍物图像所指示的障碍物与所述道路图像所指示的道路之间的距离。

在一种可能的实现方式中，所述筛选单元6021，用于获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；基于所述点云数据中点的高度，从所述点云数据中获取属于路面的点；将获取的点投影到所述样本图像中，得到所述样本图像中的道路图像；或者，

所述筛选单元6021，用于通过道路分割模型，对所述样本图像进行处理，得到所述样本图像中的道路图像。

在一种可能的实现方式中，所述装置还包括：

确定模块605，用于对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述点云数据中点的深度，确定所述样本图像的深度图，基于所述样本图像的深度图，确定所述样本图像中所述障碍物图像的图像深度；或者，

所述确定模块605，用于对于任一识别出的障碍物图像，基于所述障碍物图像所属的样本图像，获取点云数据，所述样本图像和所述点云数据对应于同一场景；将所述点云数据中的点映射到所述样本图像中，基于所述样本图像中所述障碍物图像对应的点云数据的深度，确定所述障碍物图像的图像深度；或者，

所述确定模块605，用于对于任一识别出的障碍物图像，通过深度确定模型，确定所述障碍物图像的图像深度。

在一种可能的实现方式中，所述装置还包括：

所述获取模块601，还用于在任一次迭代过程中，获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；

聚类模块606，用于将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；

所述标注模块602，还用于将所述多个点簇映射到所述样本图像中，若任一点簇在所述样本图像中对应的物体图像不是所述开集识别模型识别出的障碍物图像，则将所述物体图像确定为障碍物图像，并标注为未知类别。

在一种可能的实现方式中，所述训练模块603，用于在所述样本集中，基于识别出的障碍物图像所属的类别，对所述识别出的障碍物图像进行标注；从所述识别出的障碍物图像中，筛选出满足置信度条件且属于所述未知类别的障碍物图像；将筛选出的障碍物图像按照目标方式进行位置重置，得到所述第N次迭代对应的样本集。

在一种可能的实现方式中，所述输出模块604，用于若所述训练过程的迭代过程达到目标次数，则所述第N次迭代对应闭集识别模型输出为目标闭集识别模型。

需要说明的是：上述实施例提供的障碍物识别模型训练装置在训练障碍物识别模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的障碍物识别模型训练装置与障碍物识别模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本申请实施例提供的一种障碍物识别装置的结构示意图，参见图8，该装置包括：

获取模块801，用于获取目标场景的图像；

第一识别模块802，用于通过闭集识别模型，对图像进行识别，得到第一识别结果，闭集识别模型用于识别学习到的已知类别的障碍物图像，第一识别结果包括识别出的障碍物图像以及障碍物图像的类别；

第二识别模块803，用于通过开集识别模型，对图像进行识别，得到第二识别结果，开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，第二识别结果包括识别出的障碍物图像；

融合模块804，用于将第一识别结果和第二识别结果进行融合，得到第三识别结果。

如图9所示，在一种可能的实现方式中，融合模块804，包括：

筛选单元8041，用于从第二识别结果中筛选出满足障碍物条件的障碍物图像，得到第四识别结果，障碍物条件为物体影响自动驾驶车辆行驶的条件；

融合单元8042，用于将第一识别结果和第四识别结果进行融合，得到第三识别结果。

在一种可能的实现方式中障碍物条件包括距离阈值，距离阈值指示与道路距离小于距离阈值的物体为影响自动驾驶车辆行驶的障碍物；筛选单元8041，用于基于第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，从第二识别结果中筛选出距离小于距离阈值的障碍物图像；

障碍物条件包括深度阈值，深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；筛选单元8041，用于基于第二识别结果，确定识别到的障碍物图像的图像深度，从第二识别结果中筛选出图像深度大于深度阈值的障碍物图像；

障碍物条件包括尺寸阈值，尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；筛选单元8041，用于基于第二识别结果中障碍物图像的图像尺寸，从第二识别结果中筛选出图像尺寸大于尺寸阈值的障碍物图像。

在一种可能的实现方式中，筛选单元8041，用于对于第二识别结果中的任一障碍物图像，从障碍物图像所属的图像中，识别出道路图像；基于障碍物图像和道路图像在图像中的位置，确定图像中障碍物图像所指示的障碍物与道路图像所指示的道路之间的距离。

在一种可能的实现方式中，筛选单元8041，用于获取图像对应的点云数据，图像和点云数据对应于同一场景；基于点云数据中点的高度，从点云数据中获取属于路面的点；将获取的点投影到图像中，得到图像中的道路图像；或者，

筛选单元8041，用于通过道路分割模型，对图像进行处理，得到图像中的道路图像。

在一种可能的实现方式中，筛选单元8041，用于对于第二识别结果中的任一障碍物图像，基于障碍物图像所属的图像，获取点云数据，图像和点云数据对应于同一场景；将点云数据中的点映射到图像中，基于点云数据中点的深度，确定图像的深度图，基于图像的深度图，确定图像中障碍物图像的图像深度；或者，

筛选单元8041，用于对于第二识别结果中的任一障碍物图像，基于障碍物图像所属的图像，获取点云数据，图像和点云数据对应于同一场景；将点云数据中的点映射到图像中，基于图像中障碍物图像对应的点云数据的深度，确定障碍物图像的图像深度；或者，

筛选单元8041，用于对于第二识别结果中的任一障碍物图像，通过深度确定模型，确定障碍物图像的图像深度。

在一种可能的实现方式中，融合模块804，用于获取目标场景的点云数据；将点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；将多个点簇映射到样本图像中，得到多个点簇分别对应的物体图像；基于多个点簇分别对应的物体图像和第二识别结果，确定第五识别结果，第五识别结果包括多个点簇分别对应的物体图像中不属于第二识别结果的物体图像；将第一识别结果、第二识别结果与第五识别结果进行融合，得到第三识别结果。

需要说明的是：上述实施例提供的障碍物识别装置在识别障碍物时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将自动驾驶车辆的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的障碍物识别装置与障碍物识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图10是本申请实施例提供的一种终端1000的结构框图。终端1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1001所执行以实现本申请中方法实施例提供的障碍物识别模型训练方法或者障碍物识别方法。

在一些实施例中，终端1000还可选包括有：***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地，***设备包括：射频电路1004、显示屏1005、摄像头1006和电源1007中的至少一种。

本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图11是本申请实施例提供的一种服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)1101和一个或一个以上的存储器1102，其中，该存储器1102中存储有至少一条程序代码，该至少一条程序代码由该处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

该服务器1100用于执行上述方法实施例中服务器所执行的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的障碍物识别模型训练方法或者障碍物识别方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括计算机程序代码，该计算机程序代码被计算机执行时，使得计算机实现上述实施例中的障碍物识别模型训练方法或者障碍物识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种障碍物识别方法，其特征在于，所述方法包括：

获取目标场景的图像；

通过闭集识别模型，对所述图像进行识别，得到第一识别结果，所述闭集识别模型用于识别学习到的已知类别的障碍物图像，所述第一识别结果包括识别到的障碍物图像以及所述障碍物图像的类别；

通过开集识别模型，对所述图像进行识别，得到第二识别结果，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，所述第二识别结果包括识别到的障碍物图像；

将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果，包括：

从所述第二识别结果中筛选出满足障碍物条件的障碍物图像，得到第四识别结果，所述障碍物条件为物体影响自动驾驶车辆行驶的条件；

将所述第一识别结果和所述第四识别结果进行融合，得到所述第三识别结果。

3.根据权利要求2所述的方法，其特征在于，所述从所述第二识别结果中筛选出满足障碍物条件的障碍物图像，包括以下至少一项：

所述障碍物条件包括距离阈值，所述距离阈值指示与道路距离小于所述距离阈值的物体为影响自动驾驶车辆行驶的障碍物；基于所述第二识别结果，确定识别到的障碍物图像中障碍物与道路的距离，从所述第二识别结果中筛选出距离小于距离阈值的障碍物图像；

所述障碍物条件包括深度阈值，所述深度阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最大图像深度；基于所述第二识别结果，确定识别到的障碍物图像的图像深度，从所述第二识别结果中筛选出图像深度大于所述深度阈值的障碍物图像；

所述障碍物条件包括尺寸阈值，所述尺寸阈值指示影响自动驾驶车辆行驶的物体在行驶环境图像中的最小图像尺寸；基于所述第二识别结果中障碍物图像的图像尺寸，从所述第二识别结果中筛选出图像尺寸大于所述尺寸阈值的障碍物图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果，包括：

获取所述目标场景的点云数据；

将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；

将所述多个点簇映射到所述样本图像中，得到所述多个点簇分别对应的物体图像；

基于所述多个点簇分别对应的物体图像和所述第二识别结果，确定第五识别结果，所述第五识别结果包括所述多个点簇分别对应的物体图像中不属于所述第二识别结果的物体图像；

将所述第一识别结果、所述第二识别结果与所述第五识别结果进行融合，得到所述第三识别结果。

5.一种障碍物识别模型训练方法，其特征在于，所述方法包括：

获取样本集，所述样本集包括多个样本图像；

在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别所述第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数；

基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，所述闭集识别模型用于识别已知类别的障碍物图像；

若所述训练过程达到循环终止条件，将所述第N次迭代对应的闭集识别模型输出为障碍物识别模型；

若所述训练过程未达到循环终止条件，通过所述第N次迭代对应的闭集识别模型，对所述样本集中的所述多个样本图像进行识别，基于识别结果对所述样本集中的所述多个样本图像进行标注，得到第N次迭代对应的样本集，基于所述第N次迭代对应的样本集训练所述第N-1次迭代对应的开集识别模型，以得到所述第N次迭代对应的开集识别模型。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在任一次迭代过程中，获取所述样本图像对应的点云数据，所述样本图像和所述点云数据对应于同一场景；

将所述点云数据中与道路距离不超过距离阈值的点进行聚类，得到多个点簇；

将所述多个点簇映射到所述样本图像中，若任一点簇在所述样本图像中对应的物体图像不是所述开集识别模型识别出的障碍物图像，则将所述物体图像确定为障碍物图像，并标注为未知类别。

7.一种障碍物识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标场景的图像；

第一识别模块，用于通过闭集识别模型，对所述图像进行识别，得到第一识别结果，所述闭集识别模型用于识别学习到的已知类别的障碍物图像，所述第一识别结果包括识别出的障碍物图像以及所述障碍物图像的类别；

第二识别模块，用于通过开集识别模型，对所述图像进行识别，得到第二识别结果，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，所述第二识别结果包括识别出的障碍物图像；

融合模块，用于将所述第一识别结果和所述第二识别结果进行融合，得到第三识别结果。

8.一种障碍物识别模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取样本集，所述样本集包括多个样本图像；

标注模块，用于在训练过程的第N次迭代过程中，通过第N-1次迭代对应的开集识别模型，识别所述第N-1次迭代对应的样本集中未知类别的障碍物图像，将识别到的障碍物图像标注为未知类别，所述开集识别模型用于基于学习到的已知类别的障碍物图像识别未知类别的障碍物图像，N为大于1的正整数；

训练模块，用于基于标注后的样本集训练闭集识别模型，以得到第N次迭代对应的闭集识别模型，所述闭集识别模型用于识别已知类别的障碍物图像；

输出模块，用于若所述训练过程达到循环终止条件，将所述第N次迭代对应的闭集识别模型输出为障碍物识别模型；

所述训练模块，还用于若所述训练过程未达到循环终止条件，通过所述第N次迭代对应的闭集识别模型，对所述样本集中的所述多个样本图像进行识别，基于识别结果对所述样本集中的所述多个样本图像进行标注，得到第N次迭代对应的样本集，基于所述第N次迭代对应的样本集训练所述第N-1次迭代对应的开集识别模型，以得到所述第N次迭代对应的开集识别模型。

9.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至4任一项所述的障碍物识别方法所执行的操作，或者，以实现如权利要求5至6任一项所述的障碍物识别模型训练方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至4任一项所述的障碍物识别方法所执行的操作，或者，以实现如权利要求5至6任一项所述的障碍物识别模型训练方法所执行的操作。

Images