CN114118413A - 网络训练及设备的控制方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种网络训练方法、设备的控制方法、装置、电子设备及存储介质，该方法包括：确定待训练的目标网络以及待训练的目标网络的期望性能信息；基于待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；基于训练图像样本集合对待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。本公开实施例，根据待训练网络的期望性能自动确定训练图像样本集合，并且可以基于测试结果自动调整训练图像样本集合，有利于节约人力成本以及提升目标网络的训练效率。

Description

网络训练及设备的控制方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种网络训练方法、智能行驶设备的控制方法、装置、电子设备以及计算机可读存储介质。

背景技术

目前，网络模型已经在多个领域(例如，自动驾驶领域)中得到应用，在网络模型的构建过程中，经常会对待训练的网络模型进行训练，进而利用训练好的网络模型完成工作任务。

在现有的网络模型的训练过程中，为了提高网络模型的精度，通常会采用手动切换数据集或向数据集中添加数据的方法，然而，此种方法不仅影响网络模型的开发进度，还占用大量的人力和时间成本。

发明内容

本公开实施例提供了一种网络训练方法，包括：

确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；

基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；

基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

本公开实施例中，基于待训练的目标网络的期望性能信息，可以从训练数据库中自动确定与待训练的目标网络匹配的训练图像样本集合，并且可以根据测试结果自动调整训练图像样本集合，使得调整后的训练图像样本集合更加符合训练要求，如此，不仅可以节省人力和时间成本，还可以提高目标网络的训练效率。

一种可选的实施方式中，基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件，包括：

基于所述训练图像样本集合对所述待训练的目标网络进行训练，得到中间网络；

对所述中间网络进行测试，得到测试结果；

基于所述测试结果，从所述训练数据库中重新确定所述训练图像样本集合；

利用重新确定的训练图像样本集合对测试后的中间网络进行训练，并对训练后的中间网络进行测试，以及基于测试结果再次从所述训练数据库中重新确定所述训练图像样本集合，直至符合预设条件，得到训练好的目标网络。

本公开实施例中，根据测试结果重新确定训练图像样本集合，并基于重新确定的训练图像样本集合重复对中间网络进行训练，如此，可以提高目标网络的训练精度以及训练效率。

一种可选的实施方式中，所述得到训练好的目标网络，包括：

基于各个中间网络对应的测试结果，确定所述训练好的目标网络。

本公开实施例中，由于每个阶段的中间网络的检测性能均不同，对应的测试结果也会存在不同，通过该测试结果确定训练好的目标网络，如此，可以确定出最优且最适配的目标网络。

一种可选的实施方式中，所述符合预设条件是指当前测试结果与前一轮测试结果的变化趋势符合预设要求；或者，

对所述待训练的目标网络的训练总次数到达预设训练次数。

本公开实施例中，可以从上述两个方面判断是否符合预设条件，如此，可以为目标网络设置不同的预设条件，具有更多的选择性。

一种可选的实施方式中，所述图像样本的标注信息是从多个维度进行标注得到的。

本公开实施例中，由于从多个维度对图像样本进行标注，进而可以从多个维度对待训练网络进行训练，因此，可以提高目标网络的深度与广度。

一种可选的实施方式中，所述对所述中间网络进行测试，得到测试结果，包括：

从测试数据库中确定测试图像样本集合，其中，所述测试图像样本集合包含具有标注信息的第一图像样本，以及不具有标注信息的第二图像样本，所述第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对；

基于所述测试图像样本集合，对所述中间网络进行测试，得到测试结果。

本公开实施例中，利用测试图像样本集合中的第一图像样本以及第二图像样本对中间网络进行测试，有利于提高目标网络的训练精度。

一种可选的实施方式中，所述训练图像样本集合与所述测试图像样本集合不存在交集，且所述第二图像样本中的待检测物体的形状与所述训练图像样本中的目标物体的形状相似。

本公开实施例中，训练图像样本和测试图像样本不存在交集，并且，第二图像样本中的待检测物体的形状与训练图像样本中的目标物体的形状相似，如此，可以提高目标网络的精度，

一种可选的实施方式中，所述方法还包括：

记录每次测试的中间网络以及对应的测试结果，生成训练历史记录；

响应于查询指令，展示所述训练历史记录。

本公开实施例中，对每次测试的中间网络以及对应的测试结果进行记录，并在接收到查询指令的情况下，展示训练历史记录，可以有效地对中间网络进行管理，以便于用户根据测试结果选择适配地网络。

本公开实施例提供了一种智能行驶设备的控制方法，包括：

获取智能行驶设备所处场景的场景图像；

基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络由根据本公开实施例提供的网络训练方法训练得到；

基于所述目标检测结果，控制所述智能行驶设备。

本公开实施例中，基于目标网络对环境图像进行目标检测，并基于目标检测结果控制智能行驶设备，如此，可以提高智能行驶设备的准确性。

本公开实施例还提供一种网络训练装置，所述装置包括：

网络确定模块，用于确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；

训练样本确定模块，用于基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；

网络训练模块，用于基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

一种可选的实施方式中，所述网络训练模块具体用于：

基于所述训练图像样本集合对所述待训练的目标网络进行训练，得到中间网络；

对所述中间网络进行测试，得到测试结果；

基于所述测试结果，从所述训练数据库中重新确定所述训练图像样本集合；

利用重新确定的训练图像样本集合对测试后的中间网络进行训练，并对训练后的中间网络进行测试，以及基于测试结果再次从所述训练数据库中重新确定所述训练图像样本集合，直至符合预设条件，得到训练好的目标网络。

一种可选的实施方式中，所述网络训练模块具体用于：

基于各个中间网络对应的测试结果，确定所述训练好的目标网络。

一种可选的实施方式中，所述符合预设条件是指当前测试结果与前一轮训练的测试结果的变化趋势符合预设要求；或者，对所述待训练的目标网络的训练总次数到达预设训练次数。

一种可选的实施方式中，所述图像样本的标注信息是从多个维度进行标注得到的。

一种可选的实施方式中，所述网络训练模块具体用于：

从测试数据库中确定测试图像样本集合，其中，所述测试图像样本集合包含具有标注信息的第一图像样本，以及不具有标注信息的第二图像样本，所述第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对；

基于所述测试图像样本集合，对所述中间网络进行测试，得到测试结果。

一种可选的实施方式中，所述训练图像样本集合与所述测试图像样本集合不存在交集，且所述第二图像样本中的待检测物体的形状与所述训练图像样本中的目标物体的形状相似。

一种可选的实施方式中，所述装置还包括记录生成模块，所述记录生成模块用于：

记录每次测试的中间网络以及对应的测试结果，生成训练历史记录；

响应于查询指令，展示所述训练历史记录。

本公开实施例还提供一种智能行驶设备的控制装置，所述装置包括：

获取模块，用于获取智能行驶设备所处场景的场景图像；

检测模块，用于基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络根据上述任一所述的网络训练方法得到；

控制模块，用于基于所述目标检测结果，控制所述智能行驶设备。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述网络训练方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述网络训练方法的步骤。

关于上述网络训练装置、电子设备、及计算机可读存储介质的效果描述参见上述网络训练方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例所提供的一种网络训练方法的流程图；

图2为本公开实施例所提供的一种得到训练好的目标网络的方法流程图；

图3为本公开实施例所提供的一种生成测试结果的方法流程图；

图4为本公开实施例所提供的另一种网络训练方法的流程图；

图5为本公开实施例所提供的一种网络训练流程的示意图；

图6为本公开实施例所提供的一种智能行驶设备的控制方法的流程图；

图7为本公开实施例所提供的一种网络训练装置的结构示意图；

图8为本公开实施例所提供的另一种网络训练装置的结构示意图；

图9为本公开实施例所提供的一种智能行驶设备的控制装置的结构示意图；

图10为本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

目前，网络模型已经在多个领域(例如，自动驾驶领域)中得到应用，在网络模型的构建过程中，经常会对待训练的网络模型进行训练，进而利用训练好的网络模型完成工作任务。

经研究发现，目前，在训练网络模型的过程中，会将大量的训练样本一起输入至网络模型中，如此，便会出现以下情况：

(1)由于训练样本的数量较多，导致网络模型的规模较大，在对网络模型进行调整时，则调整的难度和复杂度也相应的增加，进而影响网络模型的开发进度和质量。

(2)在确定训练样本时，由于无法确定训练样本在当前应用场景中的比重，则容易出现训练样本的类别和数量不均衡的问题，进而会导致网络模型应用在某些场景或者检测某些图像类别时的检测效果较好，而在其它场景或者检测其它图像类别时的检测效果较差。

(3)若在网络模型训练过程中，训练样本的设置不是最优的样本，则需要研究人员手动重新设置训练样本，如此，不仅浪费研发时间，还会影响网络模型的开发进度。

基于上述研究，本公开实施例提供了一种网络训练方法，该方法包括：确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

本公开实施例中，基于待训练的目标网络的期望性能信息，可以从训练数据库中自动确定与待训练的目标网络匹配的训练图像样本集合，并且可以根据测试结果自动调整训练图像样本集合，使得调整后的训练图像样本集合更加符合训练要求，如此，不仅可以节省人力和时间成本，还可以提高目标网络的训练效率。

该网络训练方法可应用于终端设备中，或者可应用于服务器中，或者可应用于由终端设备和服务器所组成的实施环境中。此外，该网络训练方法还可以是运行于终端设备或服务器中的软体，例如具有网络训练功能的应用程序等。

其中，终端设备可以包括手机、平板电脑、车载设备及可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实施方式中，该网络训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参阅图1，图1为本公开实施例所提供的一种网络训练方法的流程图。如图1所示，本公开实施例提供的一种网络训练方法包括以下S101～S105：

S101，确定待训练的目标网络以及所述待训练的目标网络的期望性能信息。

示例性地，待训练的目标网络可以是目标检测网络，例如车辆检测网络、行人检测网络或者障碍物检测网络等，在此不做限定。

其中，期望性能信息是指预先设置的能够使待训练的目标网络达到预期效果的信息，示例性地，性能信息可以是预先设置的待训练的目标网络的容量、学习率、准确率或者检测比重中的一项或者多项，在此不做限定。

其中，预先设置的待训练的目标网络的容量是指，目标网络能够检测的数据规模，也即，数据规模越大，则目标网络的容量越大；所述检测比重可以根据预先设定的哪一类图像数据的检测结果更优的方式来确定，示例性地，若需要目标网络检测机动车，则可以提高包含机动车的图像数据的占比。

示例性地，所述标注信息是指用于对图像样本进行标注的一个或者多个标签。示例性地，该标注信息可以包括图像样本的尺寸信息、用于指示图像样本中的目标物体的标注框、以及标注框的位置信息等。

在一些实施方式中，所述图像样本的标注信息可以从所述图像样本的多个维度进行标注，示例性的，所述多个维度可以是时间(例如，白天、夜晚或者上午、下午等)、场景(例如，城市、乡村、街道、隧道或者高速公路等)，还可以是目标类别(例如，行人、机动车或者非机动车等)，在此不做限定。

S102，基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关。

示例性地，期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关，比如，在标注信息类别较多且训练图像样本的数量较多的情况下，则该网络的性能较强，也即，该网络的精度较高以及网络的容量较大。

可以理解，训练数据库中包括大量的训练图像样本，本公开实施例中，可以基于待训练的目标网络的期望性能信息，从训练数据库中确定训练图像样本集合，其中，每张训练图像样本集合均携带标注信息。

在一些实施方式中，所述标注信息可以标注在所述训练图像样本中，也可以是单独存储的。本公开实施例中，将标注信息单独存储于JSON文件中，即每张训练图像样本分别对应于一组标注信息，并且可以通过搜索关键字的方式确定与其对应的训练图像样本。

在一些实施方式中，所述标注信息可以通过人工标注，也可以是通过标注工具进行标注，在此不做限定。

S103，基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，得到测试结果。

S104，判断训练结果是否符合预设条件，若是，结束流程，若否，执行步骤S105。

在一些实施方式中，所述符合预设条件可以是当前测试结果与前一轮测试结果的变化趋势符合预设要求；还可以是对所述待训练的目标网络的训练总次数达到预设训练次数。

示例性地，当前测试结果与前一轮测试结果的变化趋势可以是当前测试结果与前一轮训练的测试结果的变化程度符合预设需求，也即，测试结果的变化程度趋于平滑、涨幅小于预设阈值。

其中，所述训练结果可以是当前训练的轮数，还可以是测试结果，可以根据实际需求进行设置。

S105，根据所述测试结果，对所述训练图像样本集合进行调整。

可以理解，在网络训练过程中，既包括基于训练图像样本集合对待训练的目标网络进行训练的过程，还包括对训练得到的中间网络进行测试的过程，因此，可以对训练后的中间网络进行测试，并得到测试结果，然后，判断训练结果是否符合预设条件，若符合预设条件，则训练结束，若不符合预设条件，则根据测试结果，对训练图像样本集合进行调整，并再次执行步骤S103，直至训练结果符合预设条件。

可以理解，为了提高目标网络的精度，经常进行多轮训练，最终得到训练好的目标网络。其中，训练的轮数可以根据需求进行设置，例如，若需要目标网络的精度较高，则可以将训练的轮数设置为较大的数字。在一些实施方式中，每轮训练中可以包括多次训练，例如20次，在此不做限定。

本公开实施例中，基于待训练的目标网络的期望性能信息，可以从训练数据库中自动确定与待训练的目标网络匹配的训练图像样本集合，并且可以根据测试结果自动调整训练图像样本集合，使得调整后的训练图像样本集合更加符合训练要求，如此，不仅可以节省人力和时间成本，还可以提高目标网络的训练效率。

在一些实施方式中，针对上述步骤S103～S105的详细流程，如图2中所示，可以包括以下S201～S206：

S201，基于所述训练图像样本集合对所述待训练的目标网络进行训练，得到中间网络。

可以理解，所述中间网络是指对待训练的目标网络进行训练过程中得到的网络，并且，每轮训练所得到的中间网络的精度均不同。

S202，对所述中间网络进行测试，得到测试结果。

其中，所述测试结果也即中间网络的检测结果，用来反映中间网络的检测性能，其中，检测性能可以是检测准确率等，在此不做限定。

可以理解，为了检测训练后的目标网络的性能是否满足预设要求，可以对中间网络进行测试，得到测试结果，然后，可以通过测试结果，进一步判断通过中间网络得到的检测结果与实际的标注信息是否一致，并根据判断结果，确定当前中间网络的精度。

S203，基于所述测试结果，从所述训练数据库中重新确定所述训练图像样本集合。

可以理解，若测试结果中反映出当前中间网络的精度未达到预设要求时，则可以调整训练图像样本集合，也即，可以从训练数据库中重新确定训练图像样本集合。具体的，可以调整训练图像样本集合中各类图像样本的比例，也可以调整训练图像样本集合中的图像数量。

需要注意的是，由于此处的训练图像样本集合是根据测试结果重新确定的，因此，重新确定的训练图像样本集合与步骤S1031中初始确定的训练图像样本集合中的图像样本可能不相同。

S204，利用重新确定的训练图像样本集合对测试后的中间网络进行训练，并对训练后的中间网络进行测试，得到测试结果。

S205，判断训练结果是否符合预设条件，若是，执行步骤S206，若否，执行步骤S203。

其中，对于预设条件的详细描述请参见步骤S104，在此不再赘述。

S206，基于各个中间网络对应的测试结果，确定训练好的目标网络。

具体的，可以根据测试结果所反映出的当前中间网络的检测性能，确定训练好的网络。示例性地，由于不同的中间网络的性能可能不同，例如，对于一些分类网络，在训练的不同阶段，对不同物体的分类的准确度可能不同，例如，在第一轮的训练完成后，对于A物体的分类精度较高，随着对训练图像样本集合的调整，在第五轮的训练完成后，该网络对于B物体的分类精度较高，因此，可以根据实际需要，确定最终的网络。

可以理解，由于需要对待训练的目标网络进行多轮训练，因此，可以根据重新确定的训练图像样本集合，重复对中间网络进行训练，并对训练后的中间网络进行测试，直至符合预设条件，停止训练，进而得到训练好的目标网络。

在一些实施方式中，针对上述步骤S202，在对所述中间网络进行测试，得到测试结果时，如图3中所示，可以包括以下S2021～S2022：

S2021，从测试数据库中确定测试图像样本集合，其中，所述测试图像样本集合包含具有标注信息的第一图像样本，以及不具有标注信息的第二图像样本，所述第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对。

可以理解，测试图像样本用于检测在训练待训练的目标网络的过程中，得到的中间网络的性能。在一些实施方式中，可以通过随机的方式，从测试数据库中确定测试图像样本集合，其中，测试图像样本的数量可以为训练图像样本的数量的20％。

本公开实施例中，所述测试图像样本集合包括具有标注信息的第一图像样本以及不具有标注信息的第二图像样本，可以理解，第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对，也即，第一图像样本的标注信息可能是人工或者标注工具标注的准确的信息，将第一图像样本的标注信息作为被参照信息，如此，即可判断将第一图像样本输入中间网络得到的检测结果是否准确。

另外，为了提高目标网络的检测精度，在确定训练图像样本集合以及确定测试图像样本集合时，可以从不存在交集的训练数据库和测试数据库中分别进行随机选取，如此，即可使训练图像样本集合与测试图像样本集合之间不存在交集；除此之外，所述第二图像样本中的待检测物体的形状与所述训练图像样本中的目标物体的形状相似。也即，将没有携带标注信息的第二图像样本作为攻击测试图像样本，如此，可以进一步测试中间网络的精度。

示例性地，若训练图像样本中包括车辆A，则第一图像样本中可以包括车辆B且携带车辆B相应的标注信息，第二图像样本中可以包括与车辆A的形状相似的其他物体(比如，车辆A的影像)。

S2022，基于所述测试图像样本集合，对所述中间网络进行测试，得到测试结果。

具体的，可以将随机确定的测试图像样本集合输入至中间网络，可以得到当前中间网络所对应的测试结果。

请参阅图4，图4为本公开实施例所提供的另一种网络训练方法的流程图。与图1所示的网络训练方法不同的是，还包括以下S106～S107：

S106，记录每次测试的中间网络以及对应的测试结果，生成训练历史记录。

S107，响应于查询指令，展示所述训练历史记录。

请参阅图5，图5为本公开实施例所提供的一种网络训练流程的示意图。如图5中所示，首先可以建立训练数据库以及测试数据库，接下来，可以根据待训练的目标网络的期望性能信息，从训练数据库中确定训练图像样本集合，并随机从测试数据库中确定测试图像样本集合，基于训练图像样本集合对待训练的目标网络进行训练，得到中间网络；然后，将测试图像样本集合输入至中间网络，对中间网络进行测试，并得到与当前中间网络对应的测试结果；接着，对测试结果进行分析，若当前中间网络的测试结果符合预设条件，则得到目标网络；若当前中间网络的测试结果不符合预设条件，则调整训练图像样本集合，并继续对上一轮得到的中间网络进行训练，直至测试结果符合预设条件。

在上述网络训练的过程中，为了提供更多的中间网络以便于用户进行选择，可以将得到的所有中间网络以及对应的测试结果进行记录，生成训练历史记录。

具体的，可以响应于用户针对训练历史记录的查询指令，展示所述训练历史记录，以供用户根据训练历史记录对中间网络进行选择，最终可以基于用户的需求而确定最终的目标网络。

请参阅图6，图6为本公开实施例所提供的一种智能行驶设备的控制方法的流程图。如图6所示，本公开实施例提供的一种智能行驶设备的控制方法包括以下S501～S503：

S501，获取智能行驶设备所处场景的场景图像。

S502，基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络根据上述任一所述的网络训练方法得到。

S503，基于所述目标检测结果，控制所述智能行驶设备。

示例性地，所述智能行驶设备可以是自动驾驶车辆、移动机器人等，在此不做限定。

下面以自动驾驶车辆为例，对所述智能行驶设备的控制方法进行详细说明。可以理解，自动驾驶车辆具有车载相机，在车辆行驶过程中，车载相机可以拍摄到该车辆所处场景的场景图像，然后，基于目标网络对场景图像进行目标检测，得到目标检测结果，其中，目标检测结果可以包括道路、目标行人、目标车辆或者目标障碍物等，最后，可以根据目标检测结果，控制自动驾驶车辆规划行驶路径，例如，若目标检测结果中指示该车辆的正前方存在路障，则对车辆进行控制，例如，可以控制车辆对该路障进行避障等。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与网络训练方法对应的网络训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述网络训练方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。

请参阅图7，为本公开实施例提供的一种网络训练装置的结构示意图，所述装置包括：网络确定模块410、训练样本确定模块420以及网络训练模块430；其中，

网络确定模块410，用于确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；

训练样本确定模块420，用于基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；

网络训练模块430，用于基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

一种可选的实施方式中，所述网络训练模块430具体用于：

基于所述训练图像样本集合对所述待训练的目标网络进行训练，得到中间网络；

对所述中间网络进行测试，得到测试结果；

基于所述测试结果，从所述训练数据库中重新确定所述训练图像样本集合；

利用重新确定的训练图像样本集合对测试后的中间网络进行训练，并对训练后的中间网络进行测试，以及基于测试结果再次从所述训练数据库中重新确定所述训练图像样本集合，直至符合预设条件，得到训练好的目标网络。

一种可选的实施方式中，所述网络训练模块430具体用于：

基于各个中间网络对应的测试结果，确定所述训练好的目标网络。

一种可选的实施方式中，所述符合预设条件是指当前测试结果与前一轮测试结果的变化趋势符合预设要求；或者，对所述待训练的目标网络的训练总次数到达预设训练次数。

一种可选的实施方式中，所述图像样本的标注信息是从多个维度进行标注得到的。

一种可选的实施方式中，所述网络训练模块430具体用于：

从测试数据库中确定测试图像样本集合，其中，所述测试图像样本集合包含具有标注信息的第一图像样本，以及不具有标注信息的第二图像样本，所述第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对；

基于所述测试图像样本集合，对所述中间网络进行测试，得到测试结果。

一种可选的实施方式中，所述训练图像样本集合与所述测试图像样本集合不存在交集，且所述第二图像样本中的待检测物体的形状与所述训练图像样本中的目标物体的形状相似。

请参阅图8，图8为本公开实施例提供的另一种网络训练装置的结构示意图，所述装置还包括：记录生成模块440；其中：

所述记录生成模块440用于：

记录每次测试的中间网络以及对应的测试结果，生成训练历史记录；

响应于查询指令，展示所述训练历史记录。

请参阅图9，为本公开实施例提供的一种智能行驶设备的控制装置的结构示意图，所述装置包括：获取模块510、检测模块520以及控制模块530；其中，

获取模块510，用于获取智能行驶设备所处场景的场景图像；

检测模块520，用于基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络根据上述任一所述的网络训练方法得到；

控制模块530，用于基于所述目标检测结果，控制所述智能行驶设备。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图10所示，为本公开实施例提供的电子设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换。

本申请实施例中，存储器802具体用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。也即，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801执行存储器802中存储的应用程序代码，进而执行前述任一实施例中的方法。

处理器801可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器802可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的网络训练方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的网络训练方法的步骤，具体可参阅上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种网络训练方法，其特征在于，包括：

确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；

基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；

基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

2.根据权利要求1所述的方法，其特征在于，基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件，包括：

基于所述训练图像样本集合对所述待训练的目标网络进行训练，得到中间网络；

对所述中间网络进行测试，得到测试结果；

基于所述测试结果，从所述训练数据库中重新确定所述训练图像样本集合；

利用重新确定的训练图像样本集合对测试后的中间网络进行训练，并对训练后的中间网络进行测试，以及基于测试结果再次从所述训练数据库中重新确定所述训练图像样本集合，直至符合预设条件，得到训练好的目标网络。

3.根据权利要求2所述的方法，其特征在于，所述得到训练好的目标网络，包括：

基于各个中间网络对应的测试结果，确定所述训练好的目标网络。

4.根据权利要求1所述的方法，其特征在于，所述符合预设条件是指当前测试结果与前一轮测试结果的变化趋势符合预设要求；或者，对所述待训练的目标网络的训练总次数到达预设训练次数。

5.根据权利要求1所述的方法，其特征在于，所述图像样本的标注信息是从多个维度进行标注得到的。

6.根据权利要求2所述的方法，其特征在于，所述对所述中间网络进行测试，得到测试结果，包括：

从测试数据库中确定测试图像样本集合，其中，所述测试图像样本集合包含具有标注信息的第一图像样本，以及不具有标注信息的第二图像样本，所述第一图像样本的标注信息用于与将所述第一图像样本输入所述中间网络得到的检测结果进行比对；

基于所述测试图像样本集合，对所述中间网络进行测试，得到测试结果。

7.根据权利要求6所述的方法，其特征在于，所述训练图像样本集合与所述测试图像样本集合不存在交集，且所述第二图像样本中的待检测物体的形状与所述训练图像样本中的目标物体的形状相似。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

记录每次测试的中间网络以及对应的测试结果，生成训练历史记录；

响应于查询指令，展示所述训练历史记录。

9.一种智能行驶设备的控制方法，其特征在于，包括：

获取智能行驶设备所处场景的场景图像；

基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络由根据权利要求1-8任一所述的网络训练方法训练得到；

基于所述目标检测结果，控制所述智能行驶设备。

10.一种网络训练装置，其特征在于，包括：

网络确定模块，用于确定待训练的目标网络以及所述待训练的目标网络的期望性能信息；

训练样本确定模块，用于基于所述待训练的目标网络的期望性能信息，从训练数据库中确定多张携带有标注信息的训练图像样本，构成训练图像样本集合；所述期望性能信息与所述训练图像样本集合中的不同标注类别的训练图像样本数量相关；

网络训练模块，用于基于所述训练图像样本集合对所述待训练的目标网络进行训练，并对训练后的中间网络进行测试，根据测试结果对所述训练图像样本集合进行调整，重复训练、测试和对所述训练图像样本集合进行调整的步骤，直至符合预设条件。

11.一种智能行驶设备的控制装置，其特征在于，包括：

获取模块，用于获取相机所拍摄的智能行驶设备所处场景的场景图像；

检测模块，用于基于目标网络对所述场景图像进行目标检测，得到目标检测结果；所述目标网络根据权利要求1-8任一所述的网络训练方法得到；

控制模块，用于基于所述目标检测结果，控制所述智能行驶设备。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的网络训练方法。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的网络训练方法。

Images