CN114118440A - 模型迭代方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种模型迭代方法、装置、电子设备和计算机可读存储介质，涉及计算机技术领域。该实施例包括：接收模型迭代需求数据；根据模型迭代需求数据，生成样本采集任务和多个模型参数模板；将样本采集任务发送至满足样本采集任务的要求的采集终端；接收采集终端发送的样本数据；利用样本数据和多个模型参数模板进行训练，获得多个候选模型；确定多个候选模型中的每一候选模型的性能是否优于当前线上模型，若存在性能优于当前线上模型的候选模型，则将性能优于当前线上模型的候选模型作为目标模型替换当前线上模型。本实施例规避了利用公开数据集进行模型训练迭代的偏差，提高模型迭代的便利性和准确性，提高迭代效率，缩短迭代周期。

Description

模型迭代方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型迭代方法、装置、电子设备、存储介质及车辆。

背景技术

机器学习和深度学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。目前，机器学习模型和深度学习模型有了较大的发展。在模型使用过程中，由于模型使用已有的历史数据或第三方公开的数据集作为训练数据进行训练，所以导致模型在上线后对线上业务数据的处理具有一定偏差，因此，需要对线上模型进行迭代更换，使得迭代后的模型的效果更好。机器学习可以通过海量数据训练自己，才能开发新规则来完成日益复杂的任务。然而，目前，通用的模型迭代做法是获取开源的第三方数据集做模型训练，通过人工判断实现模型迭代，效率低下，而且迭代的模型效果差，难以达到与其的效果。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明实施例提供一种模型迭代方法、装置、电子设备和计算机可读存储介质。

第一方面，本发明实施例提供了一种模型迭代方法，包括：接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；接收所述采集终端发送的样本数据；利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

在可选的实施例中，根据所述模型迭代需求数据，生成多个模型参数模板包括：解析所述模型迭代数据，确定待迭代参数和所述待迭代参数的可选取值；对所述待迭代参数的可选取值进行排列组合，获得多个参数组合，每一所述参数组合为一模型参数模板。

在可选的实施例中，确定满足所述样本采集任务的要求的采集终端包括：解析所述样本采集任务，确定所述样本采集任务的任务项，所述任务项包括待采集的样本数据的采集区域以及所述待采集的样本数据的类型；确定在所述采集区域内的可用车辆，确定所述可用车辆是否具备与所述待采集的样本数据的类型对应的目标采集设备；将具备所述目标采集设备的可用车辆作为采集终端。

在可选的实施例中，所述方法还包括：在利用所述样本数据和所述多个模型参数模板进行训练之前，确定所述样本数据的数量满足预设条件。

在可选的实施例中，利用所述样本数据和所述多个模型参数模板进行训练，得到多个候选模型包括：根据所述样本采集任务，对所述样本数据进行抽帧去重处理，得到关键帧样本数据；利用所述关键帧样本数据和所述多个模型参数模板进行训练，得到多个候选模型。

在可选的实施例中，利用所述样本数据和所述多个模型参数进行训练，得到多个候选模型包括：从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型。

在可选的实施例中，确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型包括：针对每一候选模型，计算所述候选模型的评价指标值；根据所述评价指标值，确定所述多个候选模型中性能最优的候选模型；获取测试数据集；利用所述测试数据集对所述性能最优的候选模型进行测试，获得测试结果集；比较所述性能最优的候选模型的测试结果集与所述当前线上模型的测试结果集，以确定所述性能最优的候选模型的性能是否优于所述当前线上模型。

第二方面，本发明实施例提供了一种模型迭代装置，包括：任务生成模块，用于接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；确定模块，用于确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；样本接收模块，用于接收所述采集终端发送的样本数据；训练模块，用于利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；迭代模块，用于确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

在可选的实施例中，所述任务生成模块还用于：解析所述模型迭代数据，确定待迭代参数和所述待迭代参数的可选取值；对所述待迭代参数的可选取值进行排列组合，获得多个参数组合，每一所述参数组合为一模型参数模板。

在可选的实施例中，所述确定模块还用于：解析所述样本采集任务，确定所述样本采集任务的任务项，所述任务项包括待采集的样本数据的采集区域以及所述待采集的样本数据的类型；确定在所述采集区域内的可用车辆，确定所述可用车辆是否具备与所述待采集的样本数据的类型对应的目标采集设备；将具备所述目标采集设备的可用车辆作为采集终端。

在可选的实施例中，所述训练模块还用于：在利用所述样本数据和所述多个模型参数模板进行训练之前，确定所述样本数据的数量满足预设条件。

在可选的实施例中，所述训练模块还用于：根据所述样本采集任务，对所述样本数据进行抽帧去重处理，得到关键帧样本数据；利用所述关键帧样本数据和所述多个模型参数模板进行训练，得到多个候选模型。

在可选的实施例中，所述训练模块还用于：从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型。

在可选的实施例中，所述迭代模块还用于：针对每一候选模型，计算所述候选模型的评价指标值；根据所述评价指标值，确定所述多个候选模型中性能最优的候选模型；获取测试数据集；利用所述测试数据集对所述性能最优的候选模型进行测试，获得测试结果集；比较所述性能最优的候选模型的测试结果集与所述当前线上模型的测试结果集，以确定所述性能最优的候选模型的性能是否优于所述当前线上模型。

第三方面，本发明实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使得所述处理器执行以下步骤：接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；接收所述采集终端发送的样本数据；利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例的模型迭代算法。

上述实施例中的一个或多个技术方案至少具有如下优点的部分或全部：

通过结合当前线上模型反馈的问题，采集针对该问题设置样本采集任务以及模型参数，根据该样本采集任务采集样本数据，然后根据采集到的样本数据和预先配置的模型参数进行训练，得到多个候选模型，比对该候选模型与当前线上模型的性能，确定性能最好的模型作为目标模型，以替换当前线上模型的技术手段，规避了利用公开数据集进行模型训练迭代的偏差，提高模型迭代的便利性和准确性，提高模型迭代的效率，缩短模型迭代的周期。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了本发明实施例的模型迭代方法的主要步骤的流程图；

图2示意性地示出了本发明实施例的模型迭代方法的子流程的示意图；

图3示意性地示出了本发明实施例的模型迭代方法的另一子流程的示意图；

图4示意性地示出了本发明另一实施例的模型迭代方法的流程图；

图5示意性地示出了本发明实施例的模型迭代装置的结构示意图；

图6示意性地示出了适用于本发明实施例的模型迭代方法的***架构；

图7示意性示出了本发明实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施例的模型迭代方法的主要步骤的流程图。如图1所示，该模型迭代方法包括：

步骤S101：接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

步骤S102：确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

步骤S103：接收所述采集终端发送的样本数据；

步骤S104：利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；

步骤S105：确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

对于步骤S101，在线上模型使用过程中会发现模型存在的不足或性能欠佳的问题，收集这些不足或性能欠佳的问题，针对这些问题可以确定模型迭代优化的需求，从而用户可以针对当前线上模型配置迭代需求数据，该迭代需求数据可以对待采集的样本数据进行限定以及对需要调整的模型参数进行限定。进而，可以根据迭代需求数据，生成样本采集任务和多个模型参数模板。其中，样本采集任务可以限定待采集的样本数据的类型、待采集的样本数据的采集区域、待采集样本数据的数据量等。在可选的实施例中，待采集的样本数据的类型可以包括图像、视频或音频等，其中，对于图像还可以划分为2D图像、3D图像或全景图像等。在其他可选的实施例中，样本采集任务还可以限定采集环境，例如限定采集环境为晴天、阴天或雨天等。不同的模型参数模板是需要调整的模型参数的不同组合。

具体的，根据模型迭代需求数据，生成多个模型参数模板的过程包括：

解析所述模型迭代数据，确定待迭代参数和所述待迭代参数的可选取值；

对所述待迭代参数的可选取值进行排列组合，获得多个参数组合，每一所述参数组合为一模型参数模板。

上述待迭代的参数指此次迭代需要调整的参数。该待迭代的参数可以设置有不同的取值，或者将待迭代参数的取值设置在预设区间内。对于此次迭代，可以将不同待迭代的参数的可选取值进行排列组合，获得多个参数组合，每一参数组合即为一个模型参数模板。作为具体的示例，此次待迭代的参数包括参数A和参数B，参数A的可选取值包括x1和x2，参数B的可选取值包括y1、y2和y3。对参数A和参数B的可选取值进行排列组合，得到以下多个组合：{x1、y1}，{x1、y2}，{x1、y3}，{x2、y1}，{x2、y2}，{x2、y3}。上述多个组合即为多个模型参数模板。

对于步骤S102，在生成样本采集任务之后，需要确定具备执行该样本采集任务能力的采集终端。样本采集任务对待采集的样本数据的类型、采集区域、数据量的大小进行了限定。根据待采集的样本数据的类型可以确定采集终端应具备的采集能力，例如，若待采集的样本数据为图片，则采集终端应具备采集图片的能力。

在可选的实施例中，如图2所示，确定满足所述样本采集任务要求的采集终端的过程包括：

步骤S201：解析所述样本采集任务，确定所述样本采集任务的任务项，所述任务项包括待采集的样本数据的采集区域以及所述待采集的样本数据的类型；

步骤S202：确定在所述采集区域内的可用车辆，确定所述可用车辆是否具备与所述待采集的样本数据的类型对应的目标采集设备；

步骤S203：将具备所述目标采集设备的可用车辆作为采集终端。

在本实施例中，待采集的样本数据的类型可以包括以下一种或多种：图像、音频、视频、激光数据。针对每一类型，还可以对其进行细粒度划分，例如针对图像，本实施例可以进一步划分为2D图像、3D图像、全景图像等。

对于步骤S202，可以获取采集区域内所有车辆的状态信息，例如车辆上安装的采集设备(即传感器)、当前电量、是否正在执行其他任务等。若车辆目前没有正在执行的任务，即车辆处于空闲状态，则该车辆属于可用车辆。然后，确定该可用车辆是否具备与待采集的样本数据的类型对应的传感器，例如是否具备摄像头、音频采集传感器或雷达等。若具备对应的传感器，则将该可用车辆作为执行样本采集任务的采集终端。

对于步骤S103-S104，接收采集终端采集到的样本数据，利用该样本数据和预先设置的多个模型参数进行训练，获得多个候选模型。其中，在训练之前，本发明实施例还可以先确定该样本数据的数量满足预设条件，例如确定该样本数据的数据量大于或等于预设阈值。由于模型训练需要大量的样本数据，所以本实施例在训练之前判断参与训练的样本数据的数据量是否满足预设条件，可以保证参与训练的样本数据是足量的，训练得到的候选模型能够具备良好的性能与效果。

在可选的实施例中，步骤S104还包括如下子步骤：

根据所述样本采集任务，对所述样本数据进行抽帧去重处理，得到关键帧样本数据；

利用所述关键帧样本数据和所述多个模型参数模板进行训练，得到多个候选模型。

其中，抽帧是指间隔一定帧或间隔一定时间抽取若干帧的方式。去重是指去除重复的样本数据。在本发明实施例中，采集终端按照一个较高的采集速度采集样本数据，采集的样本数据存在相同的或差异极小的，大量相同或差异极小的样本数据会影响模型的训练效率，而不会提升模型的性能或效果，因此，需要对样本数据进行抽帧去重处理，得到关键帧样本数据，利用该关键帧样本数据和预设的多个模型参数进行训练，得到多个候选模型。抽帧的频率和去重的依据可以通过样本采集任务中设定。

在可选的实施例中，对样本数据进行抽帧去重的操作也可以由具有计算能力的采集终端执行，采集终端先对采集的样本数据进行抽帧去重处理，然后上传经过抽帧去重处理的样本数据。

在可选的实施例中，步骤S104还包括如下子步骤：

从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；

利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型。

本发明实施例可以针对不同的应用场景或不同的迭代需求或不同类型的样本数据设置算法模型库，在进行模型迭代时，可以直接调用算法模型库中的算法模型，从而可以提高模型训练效率和迭代效率，提升模型迭代的便利性。

对于步骤S105，在获得多个候选模型之后，比较该多个候选模型的性能是否优于当前线上模型，如果候选模型的性能优于当前线上模型，则将优于当前线上模型的候选模型作为目标模型，即迭代后的模型。若优于当前线上模型的候选模型有多个，则比较该多个候选模型的性能，从中选择性能最好的候选模型作为目标模型。若不存在优于当前线上模型性能的候选模型，则将当前线上模型作为目标模型。其中，在比较候选模型与当前线上模型的性能或比较候选模型之间的性能时可以通过模型评价指标(或模型评估指标)或测试用例来进行评定。例如，评价指标可以包括查准率(或精确率，是指在所有判定为“真”的样本中，，确实是“真”的样本的占比)、查全率(或召回率，是指在所有确定为“真”的样本中，被判定为“真”的占比)、AUC面积(Area Under Curve)、F1-score(其是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，F1-score值最大)等。在本实施例，可以将各个模型参数模板与训练得到的候选模型、评价指标值记录存储，以用于后续模型迭代和参数优化。

本发明实施例的模型迭代方法，通过结合当前线上模型反馈的问题，采集针对该问题设置样本采集任务以及模型参数，根据该样本采集任务采集样本数据，然后根据采集到的样本数据和预先配置的模型参数的训练数据进行训练，得到多个候选模型，比对该候选模型与当前线上模型的性能，确定性能最好的模型作为目标模型，以替换当前线上模型的技术手段，规避了利用公开数据集进行模型训练迭代的偏差，提高模型迭代的便利性和准确性，提高模型迭代的效率，缩短模型迭代的周期。本发明实施例的模型迭代方法可以应用于服务器，也可以应用于云端。

在可选的实施例中，如图3所示，确定多个候选模型中的每一候选模型的性能是否优于所述当前线上模型的过程包括：

步骤S301：针对每一候选模型，计算所述候选模型的评价指标值；

步骤S302：根据所述评价指标值，确定所述多个候选模型中性能最优的候选模型；

步骤S303：获取测试数据集；

步骤S304：利用所述测试数据集对所述性能最优的候选模型进行测试，获得测试结果集；

步骤S305：比较所述性能最优的候选模型的测试结果集与所述当前线上模型的测试结果集，以确定所述性能最优的候选模型的性能是否优于所述当前线上模型。

其中，上述评价指标值可以是查准率、查全率、AUC面积或F1-score等。比较所有候选模型的评价指标值，根据评价指标值确定性能最优的候选模型，例如查准率最高的候选模型为性能最优的候选模型。在实际应用中，可以根据应用场景要求灵活、综合考虑各个评价指标值，从而确定性能最优的候选模型。在确定性能最优的候选模型之后，利用测试数据集中测试数据对性能最优的候选模型进行测试，获得测试结果集。比较性能最优的候选模型与当前线上模型的性能，以确定该性能最优的候选模型的性能是否优于当前线上模型。在可选的实施例中，测试数据集中包括正常的测试数据，也可以包括badcase(异常的测试数据)。

图4是本发明另一实施例的模型迭代方法的主要步骤的流程图。如图4所示，该方法包括：

步骤S401：接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

步骤S402：确定是否存在满足所述样本采集任务的要求的采集终端；

步骤S403：若否，则发出提示消息，以提示当前不存在满足样本采集任务的采集终端；

步骤S404：若是，则将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

步骤S405：接收所述采集终端发送的样本数据；

步骤S406：对所述样本数据进行抽帧去重处理，得到关键帧样本数据；

步骤S407：确定该关键帧样本数据的数据量是否满足预设条件；

步骤S408：若否，则暂停执行模型训练，直至关键帧样本数据的数据量满足预设条件；

步骤S409：若是，则从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；

步骤S410：利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型；

步骤S411：确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

该实施例可以应用于自动驾驶领域，采集终端可以是自动驾驶车辆，通过自动驾驶车辆采集样本数据。在本实施例中还可以在将样本采集任务下发至满足要求的自动驾驶车辆之后，还可以变更收车条件，并提示自动驾驶车辆已进入样本数据采集状态。其中，将收车条件设置为完成样本采集任务之后收车或接收到收车命令时收车。当自动驾驶车辆静止时间超过一定时长(如10分钟)时，检查该自动驾驶车辆的样本采集任务是否完成，如果未完成则提示剩余任务，如果此时触发了收车逻辑，则收车归档，当再次检测到该自动驾驶车辆启动时，根据归档的内容控制该自动驾驶车辆继续未完成的任务。当自动驾驶车辆完成任务之后，则登记车辆信息和任务结果，执行自动清空本地数据的程序。

本发明实施例的模型迭代方法，通过结合当前线上模型反馈的问题，采集针对该问题设置样本采集任务以及模型参数，根据该样本采集任务采集样本数据，然后根据采集到的样本数据和预先配置的模型参数的训练数据进行训练，得到多个候选模型，比对该候选模型与当前线上模型的性能，确定性能最好的模型作为目标模型，以替换当前线上模型的技术手段，规避了利用公开数据集进行模型训练迭代的偏差，提高模型迭代的便利性和准确性，提高模型迭代的效率，缩短模型迭代的周期。

图5是本发明实施例的模型迭代装置500的主要模块的示意图，如图5所示，该模型迭代装置500包括：

任务生成模块501，用于接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

确定模块502，用于确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

样本接收模块503，用于接收所述采集终端发送的样本数据；

训练模块504，用于利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；

迭代模块505，用于确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

在可选的实施例中，所述任务生成模块还用于：解析所述模型迭代数据，确定待迭代参数和所述待迭代参数的可选取值；对所述待迭代参数的可选取值进行排列组合，获得多个参数组合，每一所述参数组合为一模型参数模板。

在可选的实施例中，所述确定模块还用于：解析所述样本采集任务，确定所述样本采集任务的任务项，所述任务项包括待采集的样本数据的采集区域以及所述待采集的样本数据的类型；确定在所述采集区域内的可用车辆，确定所述可用车辆是否具备与所述待采集的样本数据的类型对应的目标采集设备；将具备所述目标采集设备的可用车辆作为采集终端。

在可选的实施例中，所述训练模块还用于：在利用所述样本数据和所述多个模型参数模板进行训练之前，确定所述样本数据的数量满足预设条件。

在可选的实施例中，所述训练模块还用于：根据所述样本采集任务，对所述样本数据进行抽帧去重处理，得到关键帧样本数据；利用所述关键帧样本数据和所述多个模型参数模板进行训练，得到多个候选模型。

在可选的实施例中，所述训练模块还用于：从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型。

在可选的实施例中，所述迭代模块还用于：针对每一候选模型，计算所述候选模型的评价指标值；根据所述评价指标值，确定所述多个候选模型中性能最优的候选模型；获取测试数据集；利用所述测试数据集对所述性能最优的候选模型进行测试，获得测试结果集；比较所述性能最优的候选模型的测试结果集与所述当前线上模型的测试结果集，以确定所述性能最优的候选模型的性能是否优于所述当前线上模型。

本发明实施例的模型迭代装置，通过结合当前线上模型反馈的问题，采集针对该问题设置样本采集任务以及模型参数，根据该样本采集任务采集样本数据，然后根据采集到的样本数据和预先配置的模型参数的训练数据进行训练，得到多个候选模型，比对该候选模型与当前线上模型的性能，确定性能最好的模型作为目标模型，以替换当前线上模型的技术手段，规避了利用公开数据集进行模型训练迭代的偏差，提高模型迭代的便利性和准确性，提高模型迭代的效率，缩短模型迭代的周期。

图6示意性地示出了适用于本发明实施例的模型迭代方法的***架构。

如图6所示，适用于本发明实施例的模型迭代方法的***架构600包括：终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。

终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用。

终端设备601、602、603可以是具有数据采集功能的电子设备或自动驾驶车辆或机器人。

服务器605可以是提供各种服务的服务器，。服务器可以对接收到的请求或消息进行分析和处理，并将数据处理后得到的结果反馈给终端设备。

需要说明的是，本发明实施例所提供的模型迭代方法一般可以由服务器605执行。本发明实施例所提供的模型迭代方法也可以由不同于服务器605且能够与终端设备601、602、603和/或服务器605通信的服务器或服务器集群执行。

应该理解的是，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图7示意性示出了本发明一实施例的电子设备的示意图。如图7所示，本发明实施例提供的电子设备700包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信；存储器703，用于存放至少一可执行指令；处理器701，用于执行存储器上所存放的可执行指令时，实现如上所述的模型迭代方法。

具体而言，当实现上述模型迭代方法时，上述可执行指令使得上述处理器执行以下步骤：接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；接收所述采集终端发送的样本数据；利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

上述存储器703可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器703具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各个步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与上述电子设备中的存储器703类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的实施例的方法步骤的程序，即可以由例如诸如701之类的处理器读取的代码，这些代码当由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

本发明实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的模型迭代方法。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

本发明的实施例提供的上述各个技术方案可以全部或部分步骤以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明的实施例的电子设备中的一些或者全部部件的一些或者全部功能。本发明的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。实现本发明的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者步骤与另一个实体或步骤区分开来，而不一定要求或者暗示这些实体或步骤之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模型迭代方法，其特征在于，包括：

接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

接收所述采集终端发送的样本数据；

利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；

确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

2.根据权利要求1所述的方法，其特征在于，根据所述模型迭代需求数据，生成多个模型参数模板包括：

解析所述模据，确定待迭代参数和所述待迭代参数的可选取值；

对所述待迭代参数的可选取值进行排列组合，获得多个参数组合，每一所述参数组合为一模型参数模板。

3.根据权利要求1所述的方法，其特征在于，确定满足所述样本采集任务的要求的采集终端包括：

解析所述样本采集任务，确定所述样本采集任务的任务项，所述任务项包括待采集的样本数据的采集区域以及所述待采集的样本数据的类型；

确定在所述采集区域内的可用车辆，确定所述可用车辆是否具备与所述待采集的样本数据的类型对应的采集设备；

将具备所述采集设备的可用车辆作为采集终端。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在利用所述样本数据和所述多个模型参数模板进行训练之前，确定所述样本数据的数量满足预设条件。

5.根据权利要求1所述的方法，其特征在于，利用所述样本数据和所述多个模型参数模板进行训练，得到多个候选模型包括：

根据所述样本采集任务，对所述样本数据进行抽帧去重处理，得到关键帧样本数据；

利用所述关键帧样本数据和所述多个模型参数模板进行训练，得到多个候选模型。

6.根据权利要求1或5所述的方法，其特征在于，利用所述样本数据和所述多个模型参数进行训练，得到多个候选模型包括：

从预设的算法模型库中匹配与所述样本数据的类型对应的目标算法模型；

利用所述样本数据和所述多个模型参数模板对所述目标算法模型进行训练，得到多个候选模型。

7.根据权利要求1所述的方法，其特征在于，确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型包括：

针对每一候选模型，计算所述候选模型的评价指标值；

根据所述评价指标值，确定所述多个候选模型中性能最优的候选模型；

获取测试数据集；

利用所述测试数据集对所述性能最优的候选模型进行测试，获得测试结果集；

比较所述性能最优的候选模型的测试结果集与所述当前线上模型的测试结果集，以确定所述性能最优的候选模型的性能是否优于所述当前线上模型。

8.一种模型迭代装置，其特征在于，包括：

任务生成模块，用于接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

确定模块，用于确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

样本接收模块，用于接收所述采集终端发送的样本数据；

训练模块，用于利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；

迭代模块，用于确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使得所述处理器执行以下步骤：

接收模型迭代需求数据；根据所述模型迭代需求数据，生成样本采集任务和多个模型参数模板；其中，所述模型迭代需求数据是根据当前线上模型反馈的问题配置的；

确定满足所述样本采集任务的要求的采集终端，将所述样本采集任务发送至所述采集终端，以使所述采集终端根据所述样本采集任务采集样本数据；

接收所述采集终端发送的样本数据；

利用所述样本数据和所述多个模型参数模板进行训练，获得多个候选模型；

确定所述多个候选模型中的每一候选模型的性能是否优于所述当前线上模型，若存在性能优于所述当前线上模型的候选模型，则将性能优于所述当前线上模型的候选模型作为目标模型，以替换所述当前线上模型。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images