CN115830399B - 分类模型训练方法、装置、设备、存储介质和程序产品 - Google Patents

Abstract

本申请涉及一种分类模型训练方法、装置、设备、存储介质和程序产品，所述方法包括：基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果；基于所述识别结果从所述目标交通图像中确定长尾交通图像，所述长尾交通图像为长尾交通场景中的图像；基于所述长尾交通图像对初始分类模型进行训练，以得到目标分类模型，所述目标分类模型用于进行对象分类。本申请通过长尾识别模型从不同的交通场景对应的目标交通图像中确定出长尾交通场景中的长尾交通图像，并基于长尾交通图像训练得到目标分类模型，进而该目标分类模型能够针对长尾交通场景中的对象快速分类，提高了长尾交通场景下的分类效率。

Description

分类模型训练方法、装置、设备、存储介质和程序产品

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种分类模型训练方法、装置、设备、存储介质和程序产品。

背景技术

随着自动驾驶技术的发展，相关技术目前已能够解决日常生活中出现的绝大多数问题。但仍然存在一些在日常生活中难以遇到的长尾交通场景，比如零碎的场景、极端的情况和无法预测的人类行为。根据长尾效应，这些长尾交通场景即使少见，但是累计的总量已经对自动驾驶的安全性构成了很大的威胁。而目标分类是自动驾驶中非常重要的一个环节，如车辆的行为预测、轨迹规划等任务均与目标分类的结果息息相关，其任务是对道路中检测到的目标进行准确的预测出目标的类别，比如车辆、行人、自行车等。因此，如何解决长尾交通场景下的目标分类问题，是自动驾驶目前面临的重要研究方向。

传统技术中，针对不同的长尾交通场景，设置不同的规则条件，分别进行目标分类处理。然而，长尾交通场景种类丰富，数量众多，这种办法虽然能够有效解决某一特定长尾交通场景下的目标分类问题，但是其效率较低，难以快速解决多种长尾交通场景下的目标分类问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高长尾交通场景下的分类效率的分类模型训练方法、装置、设备、存储介质和程序产品。

第一方面，本申请提供了一种分类模型训练方法。所述方法包括：基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果；基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像；基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类。

在其中一个实施例中，长尾识别模型用于识别图像中对象的类别为目标类别的长尾交通场景中的图像；基于识别结果从目标交通图像中确定长尾交通图像，包括：从目标交通图像中获取识别结果指示图像中对象的类别为目标类别的长尾交通图像。

在其中一个实施例中，基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，包括：对长尾交通图像所对应的原始交通图像进行目标图像处理，目标图像处理为对象分类任务的上游任务所涉及的图像处理；基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，对长尾交通图像所对应的原始交通图像进行目标图像处理之前，方法还包括：将属于同一交通场景的长尾交通图像进行拼接处理，得到至少一个长尾图像序列；对于各长尾图像序列，根据长尾图像序列所属的交通场景确定上游任务，并根据上游任务确定图像处理类别；对应地，对长尾交通图像所对应的原始交通图像进行目标图像处理，包括：对于各长尾图像序列，基于对应的图像处理类别对长尾图像序列对应的原始交通图像进行目标图像处理。

在其中一个实施例中，基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型，包括：基于图像特征和识别结果确定图像特征对应的对象类别标签；基于图像特征和图像特征对应的对象类别标签，对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，图像特征包括特征检测框，特征检测框用于标识原始交通图像中的对象，识别结果包括识别检测框，识别检测框用于标识长尾交通图像中的属于目标类别的对象，基于图像特征和识别结果确定图像特征对应的对象类别标签，包括：对特征检测框和识别检测框进行匹配处理；若某特征检测框与识别检测框相互匹配，则将目标类别作为某特征检测框对应的对象类别标签。

在其中一个实施例中，对特征检测框和识别检测框进行匹配处理，包括：基于坐标转换矩阵将特征检测框映射至识别检测框所在的坐标系；根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理。

在其中一个实施例中，基于长尾识别模型对各种不同的交通场景对应的交通图像进行识别处理，得到识别结果之前，方法还包括：获取长尾样本数据，长尾样本数据包括长尾样本图像以及样本检测框，长尾样本图像为长尾交通场景中的样本图像，长尾样本图像中的样本对象为目标类别，样本检测框用于标识长尾样本图像中的样本对象；基于长尾样本数据对初始识别模型进行训练，得到长尾识别模型。

第二方面，本申请还提供了一种分类模型训练装置。所述装置包括：识别模块，用于基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果；确定模块，用于基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像；训练模块，用于基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类。

在其中一个实施例中，长尾识别模型用于识别图像中对象的类别为目标类别的长尾交通场景中的图像；确定模块，具体用于从目标交通图像中获取识别结果指示图像中对象的类别为目标类别的长尾交通图像。

在其中一个实施例中，训练模块，具体用于对长尾交通图像所对应的原始交通图像进行目标图像处理，目标图像处理为对象分类任务的上游任务所涉及的图像处理；基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，该装置还包括：拼接模块，用于将属于同一交通场景的长尾交通图像进行拼接处理，得到至少一个长尾图像序列；图像处理类别确定模块，用于对于各长尾图像序列，根据长尾图像序列所属的交通场景确定上游任务，并根据上游任务确定图像处理类别；对应地，训练模块，还用于对于各长尾图像序列，基于对应的图像处理类别对长尾图像序列对应的原始交通图像进行目标图像处理。

在其中一个实施例中，训练模块，还用于基于图像特征和识别结果确定图像特征对应的对象类别标签；基于图像特征和图像特征对应的对象类别标签，对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，图像特征包括特征检测框，特征检测框用于标识原始交通图像中的对象，识别结果包括识别检测框，识别检测框用于标识长尾交通图像中的属于目标类别的对象，训练模块，还用于对特征检测框和识别检测框进行匹配处理；若某特征检测框与识别检测框相互匹配，则将目标类别作为某特征检测框对应的对象类别标签。

在其中一个实施例中，训练模块，还用于基于坐标转换矩阵将特征检测框映射至识别检测框所在的坐标系；根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理。

在其中一个实施例中，该装置还包括：长尾识别模型训练模块，用于获取长尾样本数据，长尾样本数据包括长尾样本图像以及样本检测框，长尾样本图像为长尾交通场景中的样本图像，长尾样本图像中的样本对象为目标类别，样本检测框用于标识长尾样本图像中的样本对象；基于长尾样本数据对初始识别模型进行训练，得到长尾识别模型。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项所述的方法的步骤。

上述分类模型训练方法、装置、设备、存储介质和程序产品，通过基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果，再基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像，然后基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类，这样，本申请通过长尾识别模型从不同的交通场景对应的目标交通图像中确定出长尾交通场景中的长尾交通图像，并基于长尾交通图像训练得到目标分类模型，由于目标分类模型在训练过程中充分学习了长尾交通场景中的长尾交通图像的图像特点，进而该目标分类模型能够针对长尾交通场景中的对象快速分类，提高了长尾交通场景下的分类效率。

附图说明

图1为一个实施例中一种分类模型训练方法的流程示意图；

图2为一个实施例中另一种分类模型训练方法的流程示意图；

图3为一个实施例中一种分类模型训练装置的结构框图；

图4为另一个实施例中另一种分类模型训练装置的结构框图；

图5为一个实施例中又一种分类模型训练装置的结构框图；

图6为一个实施例中一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目标分类是自动驾驶中非常重要的一个环节，因为车辆的行为预测、轨迹规划等任务均与目标分类的结果息息相关，常见交通场景的目标分类的技术目前已经成熟，但长尾交通场景的目标分类仍需研究。目前针对长尾交通场景，一种是针对不同的长尾交通场景，设置不同的规则条件，分别进行目标分类处理，然而，长尾交通场景种类丰富，数量众多，这种办法虽然能够有效解决某一特定长尾交通场景下的目标分类问题，但是其效率较低，难以快速解决多种长尾交通场景下的目标分类问题；另一种是通过车路协同来解决长尾交通场景的问题，但是，车路协同对基础硬件设施要求较高、且具有较大的延时，仍存在一定困难，因此，有必要提出能够高效率、有效、低成本的对长尾交通场景进行目标分类的技术手段。

在一个实施例中，如图1所示，提供了一种分类模型训练方法的流程示意图，本实施例以该方法应用于服务器进行举例说明。该方法包括以下步骤：

步骤101，基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果。

其中，长尾识别模型是基于长尾样本数据训练好的神经网络分类模型，具体可以是训练好的LSTM(Long Short-Term Memory，长短期记忆网路)模型，该长尾识别模型能够从多个图像中准确识别出目标类别的图像，其中目标类别如行人类别、车辆类别、树木类别，该目标类别是训练长尾识别模型时，长尾识别模型学习到的类别。一种长尾识别模型可以识别出一种类别的图像，也可以识别出多种类别的图像。若长尾识别模型仅能识别出一种类别的图像，则本申请实施例长尾识别模型可以为多个；若长尾识别模型可以识别多种类别的图像，则本申请实施例长尾识别模型可以为一个。

各种不同的交通场景包括常见交通场景和长尾交通场景，其中长尾交通场景如人举着伞行走、人在车后搬箱子、树倒在路中央等；目标交通图像指的是交通场景对应的视频中的任意图像帧，一种交通场景对应多个目标交通图像。

可选的，每个交通场景都对应有唯一场景ID(Identity document，身份标识号)，服务器将各种不同的交通场景对应的多个目标交通图像输入长尾识别模型中，针对每一个目标交通图像，长尾识别模型判断在目标交通图像中是否存在学习过的对象，若有，则在该目标交通图像上用识别检测框进行标注，然后输出带有识别检测框的目标交通图像，还有识别检测框中的对象对应的目标类别，也就是说，识别结果包括：带有识别检测框的目标交通图像，目标类别；若不存在，则不在该目标交通图像上用识别检测框进行标注，不输出带有识别检测框的目标交通图像，还有识别检测框中的对象对应的目标类别。

自动驾驶车辆在路测期间会保存大量的交通场景数据，但是只有少量的长尾交通场景会被人工标注并记录，剩余多数的长尾交通场景由于较大的工作量会被忽略掉，因此利用少量的人工标注的长尾交通场景对应的长尾样本数据训练得到长尾识别模型，再利用长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，可以从各种不同的交通场景对应的目标交通图像中识别出长尾交通场景对应的目标交通图像，实现了从各种不同的交通场景对应的目标交通图像中挖掘出长尾交通场景对应的目标交通图像的目的，进而为训练目标分类模型的输入增加了数据量，从而可以提高目标分类模型的准确性。

步骤102，基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像。

可选的，根据步骤101，识别结果包括带有识别检测框的目标交通图像，目标类别，由于长尾识别模型是基于长尾样本数据训练的，因此长尾识别模型仅能够识别各种不同的交通场景中的长尾交通场景，所以长尾识别模型输出的带有识别检测框的目标交通图像就是长尾交通图像。

步骤103，基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类。

其中，初始分类模型为神经网络分类模型，可以是LSTM模型，相应地，目标分类模型就是训练好的神经网络分类模型，可以是训练好的LSTM模型。

可选的，长尾识别模型能够从各种不同的交通场景对应的目标交通图像中识别出目标类别的长尾交通图像，然后将长尾交通图像和长尾交通图像对应的目标类别共同输入初始分类模型进行训练，则得到的目标分类模型就能够对长尾交通场景对应的长尾交通图像进行分类。

可选的，还可以基于长尾交通图像和常见交通场景对应的常见交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类。具体的，将长尾交通图像和长尾交通图像对应的目标类别，以及常见交通图像和常见交通图像对应的目标类别共同输入初始分类模型进行训练，则得到的目标分类模型就能够对各种不同的交通场景对应的交通图像进行分类。需要说明的是，常见交通图像和常见交通图像对应的目标类别可以从历史交通数据存储库中获取。

另外，需要说明的是，该目标分类模型可以应用于自动驾驶车辆中，以用来自动驾驶车辆基于目标分类模型对车辆前方的对象进行分类。

综上所述，通过基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果，再基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像，然后基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类，这样，本申请通过长尾识别模型从不同的交通场景对应的目标交通图像中确定出长尾交通场景中的长尾交通图像，并基于长尾交通图像训练得到目标分类模型，由于目标分类模型在训练过程中充分学习了长尾交通场景中的长尾交通图像的图像特点，进而该目标分类模型能够针对长尾交通场景中的对象快速分类，提高了长尾交通场景下的分类效率。

在其中一个实施例中，长尾识别模型用于识别图像中对象的类别为目标类别的长尾交通场景中的图像；基于识别结果从目标交通图像中确定长尾交通图像，包括：从目标交通图像中获取识别结果指示图像中对象的类别为目标类别的长尾交通图像。

其中，图像中对象指的是图像中的目标物体，由于在长尾识别模型的训练阶段，给长尾识别模型输入的长尾交通图像是带有检测框的图像，以及检测框中的对象对应的目标类别。因此，长尾识别模型能够识别图像中对象的类别为目标类别的长尾交通场景中的图像。

可选的，基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理得到每个目标交通图像的类别后，选出那些目标交通图像的类别为目标类别的目标交通图像，则这些挑选出的目标交通图像就是长尾交通图像。

在其中一个实施例中，基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，包括：对长尾交通图像所对应的原始交通图像进行目标图像处理，目标图像处理为对象分类任务的上游任务所涉及的图像处理；基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型。

其中，原始交通图像指的是根据长尾交通图像对应的交通场景ID从历史交通数据存储库中提取的图像。上游任务所涉及的图像处理指的是对图像进行检测和分割等。图像特征包括特征检测框、目标速度、目标位姿、大小、点云坐标等，需要说明的是，每张原始交通图像均对应有一个图像特征。

可选的，根据原始交通图像、地图信息、车辆自身位置，传感器内外参等进行检测、分割等上游任务所涉及的图像处理，得到图像特征，然后将步骤102中的得到的长尾交通图像和本实施例中的图像特征输入初始分类模型进行训练，得到目标分类模型。

在自动驾驶***的目标分类任务中，其输入并非直接来自于原始场景数据，如雷达和相机的观测等，而是来自于上游任务处理之后的输出，因此本实施例中通过对原始交通图像进行目标图像处理，以仿真上游任务所涉及的图像处理，从而使通过目标图像处理得到的图像特征与实际相符，进而利用图像特征对初始分类模型进行训练得到的目标分类模型，能够更加准确的对图像中的对象进行分类，达到了提高长尾交通场景的目标分类的准确度的目的。

在其中一个实施例中，对长尾交通图像所对应的原始交通图像进行目标图像处理之前，方法还包括：将属于同一交通场景的长尾交通图像进行拼接处理，得到至少一个长尾图像序列；对于各长尾图像序列，根据长尾图像序列所属的交通场景确定上游任务，并根据上游任务确定图像处理类别；对应地，对长尾交通图像所对应的原始交通图像进行目标图像处理，包括：对于各长尾图像序列，基于对应的图像处理类别对长尾图像序列对应的原始交通图像进行目标图像处理。

可选的，由于在长尾识别模型的训练阶段，给长尾识别模型输入的长尾交通图像是带有检测框的图像，以及检测框中的对象对应的目标类别，因此，当将各种不同的交通场景对应的目标交通图像输入长尾识别模型后，长尾识别模型能够输出长尾交通图像，以及长尾交通图像中的对象对应的识别检测框和目标类别，其中目标交通图像均带有ID，属于同一交通场景的目标交通图像的ID相同。在得到长尾交通图像，以及长尾交通图像中的对象对应的识别检测框和目标类别之后，将属于同一ID的长尾交通图像按照时间戳进行拼接，得到至少一个初始长尾图像序列，各初始长尾图像序列包括ID、时间戳、识别检测框和目标类别等。然后对初始长尾图像进行人工审核，剔除掉哪些长尾识别模型误将常见交通图像识别为长尾交通图像从而拼接得到的初始长尾图像序列，以得到至少一个长尾图像序列，相应的，各长尾图像序列也包括ID、时间戳、识别检测框和目标类别等。

可选的，得到各长尾图像序列后，根据长尾图像序列的ID，从历史交通数据存储库中提取长尾图像序列所属的交通场景的原始交通图像，以及上游任务对原始交通图像处理的数据记录，然后根据该数据记录确定出图像处理类别，其中图像处理类别包括检测、分割等，从而可以根据图像类别对各长尾图像序列对应的原始交通图像进行目标图像处理，以得到符合上游任务处理之后的图像的图像特征。

在其中一个实施例中，基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型，包括：基于图像特征和识别结果确定图像特征对应的对象类别标签；基于图像特征和图像特征对应的对象类别标签，对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，图像特征包括特征检测框，特征检测框用于标识原始交通图像中的对象，识别结果包括识别检测框，识别检测框用于标识长尾交通图像中的属于目标类别的对象，基于图像特征和识别结果确定图像特征对应的对象类别标签，包括：对特征检测框和识别检测框进行匹配处理；若某特征检测框与识别检测框相互匹配，则将目标类别作为某特征检测框对应的对象类别标签。

在其中一个实施例中，对特征检测框和识别检测框进行匹配处理，包括：基于坐标转换矩阵将特征检测框映射至识别检测框所在的坐标系；根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理。

其中，重叠度(Intersection over Union，IoU)是一种测量在特定数据集中检测相应物体准确度的一个标准，映射后的特征检测框与识别检测框之间的重叠度具体是计算映射后的特征检测框的面积以及识别检测框的面积，映射后的特征检测框的面积除以识别检测框的面积，再乘以100％，就是重叠度。

可选的，对原始交通图像进行目标图像处理得到的图像特征包括：原始交通图像中的对象对应的特征检测框，目标速度、目标位姿、大小和点云坐标等，基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理得到的识别结果包括：长尾交通图像，以及长尾交通图像中的对象对应的识别检测框和目标类别等。根据车辆信息和相机信息计算出坐标转换矩阵，其中车辆信息包括车辆的位姿等，相机信息包括相机的参数、相机相对车辆的位置等。然后根据坐标转换矩阵，将特征检测框的坐标由全局坐标系转换为图像坐标系，使得特征检测框和识别检测框位于同一坐标系下。再计算特征检测框和识别检测框的重叠度，若重叠度大于等于特定阈值，则表示该特征检测框和识别检测框匹配，若重叠度小于特定阈值，则表示该特征检测框和识别检测框不匹配。对于匹配的特征检测框和识别检测框，则将目标类别作为该特征检测框对应的对象类别标签。最后，将图像特征和图像特征对应的对象类别标签，以及常见交通场景对应的常见图像特征和常见图像特征对应的对象类别标签输入初始分类模型进行训练，以得到目标分类模型。其中常见交通场景对应的常见图像特征和常见图像特征对应的对象类别标签可以从历史交通数据存储库中获取到。

可选的，根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理包括：针对每一个长尾交通场景，有至少一个特征检测框和至少一个识别检测框，对于各特征检测框，计算特征检测框与至少一个识别检测框的重叠度，若至少有一个重叠度大于等于特定阈值，则表示该特征检测框与识别检测框匹配；若所有重叠度均小于特定阈值，则表示特征检测框与识别检测框不匹配。

由于经过长尾识别模型进行数据挖掘得到的识别结果没有经过人工标注，可能存在识别结果出错的情况，直接使用识别结果获得长尾交通图像以及对应的目标类别作为训练初始分类模型所需的对象类别标签，会导致训练得到的目标分类模型的准确度较低。因此，需要进行特征检测框和识别检测框的匹配处理，得到图像特征对应的对象类别标签，将图像特征对应的对象类别标签作为训练初始分类模型所需的对象类别标签，能够达到提高目标分类模型的准确度的目的。

在其中一个实施例中，基于长尾识别模型对各种不同的交通场景对应的交通图像进行识别处理，得到识别结果之前，方法还包括：获取长尾样本数据，长尾样本数据包括长尾样本图像以及样本检测框，长尾样本图像为长尾交通场景中的样本图像，长尾样本图像中的样本对象为目标类别，样本检测框用于标识长尾样本图像中的样本对象；基于长尾样本数据对初始识别模型进行训练，得到长尾识别模型。

其中，初始识别模型为神经网络分类模型，可以是LSTM模型，相应地，长尾识别模型就是训练好的神经网络分类模型，可以是训练好的LSTM模型。

可选的，长尾样本图像是预先人工标注并记录的，可以从历史交通数据存储库中获取得到。样本检测框是通过主动学习、多元检索、人工标注中的至少一种交互式检索方式获得的。将带有样本检测框的长尾样本图像，以及样本检测框中的样本对象的目标类别作为初始识别模型的输入，以得到长尾识别模型。

综上所述，如图2所示，提供了另一种分类模型训练方法的流程示意图，首先获取长尾样本数据，基于长尾样本数据训练得到长尾识别模型，利用长尾识别模型进行数据挖掘，从各种不同的交通场景对应的目标交通图像中得到长尾交通图像、识别检测框、目标类别等。再将同一交通场景的长尾交通图像进行拼接处理，得到至少一个长尾图像序列。然后对于各长尾图像序列，根据长尾图像序列所属的交通场景确定上游任务，并根据上游任务确定图像处理类别，基于对应的图像处理类别对长尾图像序列对应的原始交通图像进行目标图像处理，得到图像特征，其中图像特征包括特征检测框、目标速度、目标位姿、大小、点云坐标等。再基于坐标转换矩阵将特征检测框映射至识别检测框所在的坐标系，根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理，若某特征检测框与识别检测框相互匹配，则将目标类别作为某特征检测框对应的对象类别标签，即就是将数据挖掘得到的长尾交通图像的目标类别关联给目标图像处理后的特征检测框。最后将匹配上的特征检测框对应的图像特征和特征检测框对应的对象类别标签，以及从历史交通数据库中获取到的常见图像特征和常见图像特征对应的对象类别标签作为初始分类模型的输入进行模型训练，得到用于进行对象分类的目标分类模型，其中，为了匹配上的特征检测框对应的图像特征和常见图像特征做明显的区分，可以将匹配上的特征检测框对应的图像特征称为长尾图像特征。基于这样的方式，可以提高模型训练输入的数据量与丰富度，使得目标分类模型能够对各种交通场景进行目标分类，提高分类效率。而且本申请与车路协同方式解决长尾交通场景的方式相比，不需要车路协同的所需的基础硬件设施和人工成本，实现了有效、低成本解决长尾交通场景，且具有较高的可实施性与可拓展性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的分类模型训练方法的分类模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个分类模型训练装置实施例中的具体限定可以参见上文中对于分类模型训练方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种分类模型训练装置的结构框图，该分类模型训练装置300包括：识别模块301、确定模块302和训练模块303，其中：

识别模块301，用于基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果.

确定模块302，用于基于识别结果从目标交通图像中确定长尾交通图像，长尾交通图像为长尾交通场景中的图像。

训练模块303，用于基于长尾交通图像对初始分类模型进行训练，以得到目标分类模型，目标分类模型用于进行对象分类。

在其中一个实施例中，长尾识别模型用于识别图像中对象的类别为目标类别的长尾交通场景中的图像；确定模块302，具体用于从目标交通图像中获取识别结果指示图像中对象的类别为目标类别的长尾交通图像。

在其中一个实施例中，训练模块303，具体用于对长尾交通图像所对应的原始交通图像进行目标图像处理，目标图像处理为对象分类任务的上游任务所涉及的图像处理；基于目标图像处理所得到的图像特征对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，如图4所示，提供了另一种分类模型训练装置的结构框图，该分类模型训练装置300还包括：拼接模块401，用于将属于同一交通场景的长尾交通图像进行拼接处理，得到至少一个长尾图像序列；图像处理类别确定模块402，用于对于各长尾图像序列，根据长尾图像序列所属的交通场景确定上游任务，并根据上游任务确定图像处理类别；对应地，训练模块303，还用于对于各长尾图像序列，基于对应的图像处理类别对长尾图像序列对应的原始交通图像进行目标图像处理。

在其中一个实施例中，训练模块303，还用于基于图像特征和识别结果确定图像特征对应的对象类别标签；基于图像特征和图像特征对应的对象类别标签，对初始分类模型进行训练，以得到目标分类模型。

在其中一个实施例中，图像特征包括特征检测框，特征检测框用于标识原始交通图像中的对象，识别结果包括识别检测框，识别检测框用于标识长尾交通图像中的属于目标类别的对象，训练模块303，还用于对特征检测框和识别检测框进行匹配处理；若某特征检测框与识别检测框相互匹配，则将目标类别作为某特征检测框对应的对象类别标签。

在其中一个实施例中，训练模块303，还用于基于坐标转换矩阵将特征检测框映射至识别检测框所在的坐标系；根据映射后的特征检测框与识别检测框之间的重叠度进行匹配处理。

在其中一个实施例中，如图5所示，提供了又一种分类模型训练装置的结构框图，该分类模型训练装置300还包括：长尾识别模型训练模块501，用于获取长尾样本数据，长尾样本数据包括长尾样本图像以及样本检测框，长尾样本图像为长尾交通场景中的样本图像，长尾样本图像中的样本对象为目标类别，样本检测框用于标识长尾样本图像中的样本对象；基于长尾样本数据对初始识别模型进行训练，得到长尾识别模型。

上述分类模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始交通图像和长尾样本数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类模型训练方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种分类模型训练方法，其特征在于，所述方法包括：

基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果；

基于所述识别结果从所述目标交通图像中确定长尾交通图像，所述长尾交通图像为长尾交通场景中的图像；

基于所述长尾交通图像对初始分类模型进行训练，以得到目标分类模型，所述目标分类模型用于进行对象分类；

所述基于所述长尾交通图像对初始分类模型进行训练，以得到目标分类模型，包括：

将属于同一交通场景的所述长尾交通图像进行拼接处理，得到至少一个长尾图像序列；对于各所述长尾图像序列，根据所述长尾图像序列所属的交通场景确定对象分类任务的上游任务，并根据所述上游任务确定图像处理类别；

对于各所述长尾图像序列，基于对应的所述图像处理类别对所述长尾图像序列对应的原始交通图像进行目标图像处理，所述目标图像处理为所述上游任务所涉及的图像处理；

基于所述目标图像处理所得到的图像特征对所述初始分类模型进行训练，以得到所述目标分类模型。

2.根据权利要求1所述的方法，其特征在于，所述长尾识别模型用于识别图像中对象的类别为目标类别的长尾交通场景中的图像；所述基于所述识别结果从所述目标交通图像中确定长尾交通图像，包括：

从所述目标交通图像中获取所述识别结果指示图像中对象的类别为所述目标类别的所述长尾交通图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像处理所得到的图像特征对所述初始分类模型进行训练，以得到所述目标分类模型，包括：

基于所述图像特征和所述识别结果确定所述图像特征对应的对象类别标签；

基于所述图像特征和所述图像特征对应的对象类别标签，对所述初始分类模型进行训练，以得到所述目标分类模型。

4.根据权利要求3所述的方法，其特征在于，所述图像特征包括特征检测框，所述特征检测框用于标识所述原始交通图像中的对象，所述识别结果包括识别检测框，所述识别检测框用于标识所述长尾交通图像中的属于所述目标类别的对象，所述基于所述图像特征和所述识别结果确定所述图像特征对应的对象类别标签，包括：

对所述特征检测框和所述识别检测框进行匹配处理；

若某特征检测框与所述识别检测框相互匹配，则将所述目标类别作为所述某特征检测框对应的对象类别标签。

5.根据权利要求4所述的方法，其特征在于，所述对所述特征检测框和所述识别检测框进行匹配处理，包括：

基于坐标转换矩阵将所述特征检测框映射至所述识别检测框所在的坐标系；

根据映射后的特征检测框与所述识别检测框之间的重叠度进行匹配处理。

6.根据权利要求1至5任一所述的方法，其特征在于，所述基于长尾识别模型对各种不同的交通场景对应的交通图像进行识别处理，得到识别结果之前，所述方法还包括：

获取长尾样本数据，所述长尾样本数据包括长尾样本图像以及样本检测框，所述长尾样本图像为长尾交通场景中的样本图像，所述长尾样本图像中的样本对象为目标类别，所述样本检测框用于标识所述长尾样本图像中的所述样本对象；

基于所述长尾样本数据对初始识别模型进行训练，得到所述长尾识别模型。

7.一种分类模型训练装置，其特征在于，所述装置包括：

识别模块，用于基于长尾识别模型对各种不同的交通场景对应的目标交通图像进行识别处理，得到识别结果；

确定模块，用于基于所述识别结果从所述目标交通图像中确定长尾交通图像，所述长尾交通图像为长尾交通场景中的图像；

训练模块，用于基于所述长尾交通图像对初始分类模型进行训练，以得到目标分类模型，所述目标分类模型用于进行对象分类；

拼接模块，用于将属于同一交通场景的所述长尾交通图像进行拼接处理，得到至少一个长尾图像序列；对于各所述长尾图像序列，根据所述长尾图像序列所属的交通场景确定对象分类任务的上游任务，并根据所述上游任务确定图像处理类别；

所述训练模块，具体用于对于各所述长尾图像序列，基于对应的所述图像处理类别对所述长尾图像序列对应的原始交通图像进行目标图像处理，所述目标图像处理为所述上游任务所涉及的图像处理；基于所述目标图像处理所得到的图像特征对所述初始分类模型进行训练，以得到所述目标分类模型。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。