CN110007946B - 一种算法模型的更新方法、装置、设备及介质 - Google Patents

Abstract

本发明提供了一种算法模型的更新方法、装置、设备及介质。所述方法，包括：接收至少一个算法对应的插件；按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；利用所述模型文件更新相应客户端中的旧模型文件。本发明通过调度算法插件，并在工作节点上运行插件获得模型文件，根据模型文件更新客户端中的旧模型文件，不再需要运维手动将模型文件上传到服务器的指定目录，解决了算法应用上线时的复杂度，同时，实现了算法模型的离线训练。

Description

一种算法模型的更新方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，具体涉及一种算法模型的更新方法、装置、设备及介质。

背景技术

随着公司业务的发展，算法在公司的应用场景越来越多，不同算法依赖的离线模型文件越来越多，这就导致传统的上线方式存在如下问题：一、离线模型资源较大，运维手动上线麻烦，并且不易维护；二、手动上传方式导致每次模型变更都得走上线流程；三、算法模型数据更新不及时，导致算法结果正确性受到影响。

发明内容

针对现有技术中的缺陷，本发明提供一种算法模型的更新方法、装置、设备及介质，能够解决算法应用上线时的复杂度，同时，能够实现算法模型的离线训练。

第一方面，本发明提供了一种算法模型的更新方法，包括：

接收至少一个算法对应的插件；

按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；

在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；

利用所述模型文件更新相应客户端中的旧模型文件。

可选的，所述插件是客户端根据插件标准格式编写而成。

可选的，所述利用所述模型文件更新相应客户端中的旧模型文件，包括：

检测算法对应的模型文件的状态是否为更新状态；

若是，则利用所述模型文件替换当前的旧模型文件；

若否，则利用继续检测相应算法对应的模型文件的状态。

可选的，所述检测算法对应的模型文件的状态是否为更新状态，包括：

客户端利用接口检测算法对应的模型文件的状态是否为更新状态。

可选的，在所述按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行的步骤之前，还包括：

根据当前节点可用内存和当前剩余可执行的任务数据，为每个所述插件选择合适的工作节点。

可选的，在所述利用所述模型文件更新相应客户端中的旧模型文件的步骤之前，还包括：

校验每个模型文件的正确性；

若正确，则执行所述利用所述模型文件更新相应客户端中的旧模型文件的步骤；

若不正确，则将所述模型文件切换为上一个周期校验正确的模型文件。

第二方面，本发明提供了一种算法模型的更新装置，包括：

接收模块，用于接收至少一个算法对应的插件；

调度模块，用于按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；

文件获得模块，用于在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；

更新模块，用于利用所述模型文件更新相应客户端中的旧模型文件。

第三方面，本发明提供了一种算法模型的更新设备，包括：处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面提供的一种算法模型的更新方法。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面提供的一种算法模型的更新方法。

本发明提供了一种算法模型的更新方法，包括：接收至少一个算法对应的插件；按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；利用所述模型文件更新相应客户端中的旧模型文件。本发明通过调度算法插件，并在工作节点上运行插件获得模型文件，根据模型文件更新客户端中的旧模型文件，不再需要运维手动将模型文件上传到服务器的指定目录，解决了算法应用上线时的复杂度，同时，实现了算法模型的离线训练。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例提供的一种算法模型的更新方法的流程图；

图2为本发明实施例提供的一种算法模型的更新装置的示意图；

图3为本发明实施例提供的一种算法模型的更新设备的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明提供了一种算法模型的更新方法、装置、设备及介质。下面结合附图对本发明的实施例进行说明。

请参考图1，图1为本发明具体实施例提供的一种算法模型的更新方法的流程图，本实施例提供的一种算法模型的更新方法，包括：

步骤S101：接收至少一个算法对应的插件。

本发明的执行主体为服务器，服务器终端可以为管理平台，该平台可以包括：主节点、工作节点等部分，主节点主要负责进行任务调度、数据存储、客户端请求自动分发等工作。工作节点主要负责任务的执行。

其中，插件是客户端根据插件标准格式编写而成的，是指根据插件标准格式编写每个算法对应的运算逻辑。通过执行插件，可以得到插件对应的算法模型文件。插件属于平台的最小工作单元，因为其涉及到了不同的训练逻辑和算法逻辑，所以插件只需要遵循标准规范。

工作节点用于执行插件。由于服务器中可设置多个工作节点，因此，可以允许多个算法对应的插件同时进行执行，其中，每个算法可以对应一个插件或多个插件。

步骤S102：按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行。

利用调度器调度插件，将插件分配到工作节点上运行，运行结果为算法对应的模型文件。其中，周期可以为一天，也就是按天调度，一天运行一次插件，每次运行的结果都会输出一个模型文件。插件中设置有调度时间规则，该调度时间规则规定了预设周期。

在输出模型文件时，模型文件带有时间戳，利用该时间戳可以区分出模型文件的先后顺序。

其中，任务调度标准包括三方面，具体为：

1、任务调度时间标准格式：采用通用的cron定时表达式的方案，由插件自定义调度周期。

2、数据加载器：平台在对任务进行调度的时候，会调用实现了标准接口的数据加载器，进行数据的加载。

3、模型训练：算法插件在实现标准训练单元接口后，平台在数据加载完成后，将会调用该训练单元，输入数据加载单元生成的数据文件，最终产出相应的算法模型文件。

由于服务器的工作节点较多，当有多个插件时，可以随机分配工作节点，也可以为每个插件选择合适的工作节点。当一个任务开始时，主节点负责从所有的工作节点中选择当前最合适的节点来执行该任务，主要选择指标包括当前节点可用内存、当前剩余可执行的任务数等。如果节点能够执行该任务，则将任务下达到对应节点执行，节点负责该任务整个生命周期过程中的信息监控和数据采集等，任务执行完成后，节点将对应的执行结果数据统一提交到主节点，由主节点进行数据的存储。

步骤S103：在每个周期，根据运行结果，获得并存储每个算法对应的模型文件。

其中，运行结果为算法的模型文件。

步骤S104：利用所述模型文件更新相应客户端中的旧模型文件。

利用所述模型文件更新相应客户端中的旧模型文件，包括：检测算法对应的模型文件的状态是否为更新状态；若是，则利用所述模型文件替换当前的旧模型文件；若否，则利用继续检测相应算法对应的模型文件的状态。

在检测算法对应的模型文件的状态时，可以是客户端通过相应的接口去管理平台检测，也可以是管理平台自动检测。

在检测模型文件的状态时，可以通过模型文件带有的时间戳进行检测，以时间戳来判断模型文件是否更新。若更新，则利用最新的模型文件替换当前的旧模型文件。具体过程为：客户端可以向管理平台发送更新请求，当请求到达集群任意节点时，节点根据客户端请求IP所属机房，自动将请求路由到最近的节点上，节点根据该请求下载模型文件，并上传至客户端。这样，可以减少网络传输的时间，提高最新模型文件下载速度。

在检测算法对应的模型文件的状态时，可以按照预设时间间隔进行检测。例如，每隔半小时检测一次。这样，能够实时更新模型文件，提高算法数据更新的时效性。

在所述利用所述模型文件更新相应客户端中的旧模型文件的步骤之前，还可以包括：校验每个模型文件的正确性；若正确，则执行所述利用所述模型文件更新相应客户端中的旧模型文件的步骤；若不正确，则将所述模型文件切换为上一个周期校验正确的模型文件。

通过该方法，在最新模型出现问题后，能够快速切换到历史版本的模型，解决的模型文件的管理问题。

当切换为上一个周期校验正确的模型文件时，客户端在更新模型文件时，更新为上一个周期校验正确的模型文件，进而保证模型文件执行后的正确性。

当模型文件被客户端使用后出现问题，则可以人工切换模型文件版本，使客户端下载正确的模型文件。

在切换为上一个周期校验正确的模型文件时，需要改变模型文件的时间戳，将时间戳改为当前时间戳，这样，客户端才能判断出模型文件的状态，进而更新正确的模型文件。

本发明解决了算法应用上线时的复杂度，不再需要运维手动将模型文件传到服务器的指定目录，同时也解决了模型文件的管理问题，在最新模型出现问题后，能够快速切换到历史版本的模型；算法训练项目通过采用标准插件化的方式开发，并将其交给平台进行统一的调度执行，解决了算法模型离线训练问题和算法数据更新的时效性。

以上，为本发明提供的一种算法模型的更新方法。

基于与上述一种算法模型的更新方法相同的发明构思，与之相对应的，本发明实施例还提供了一种算法模型的更新装置，如图2所示。由于装置实施例基本相似与方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本发明提供的一种算法模型的更新装置，包括：

接收模块101，用于接收至少一个算法对应的插件；

调度模块102，用于按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；

文件获得模块103，用于在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；

更新模块104，用于利用所述模型文件更新相应客户端中的旧模型文件。

在本发明提供的一个具体实施例中，所述插件是客户端根据插件标准格式编写而成。

在本发明提供的一个具体实施例中，所述更新模块104，具体用于：

检测算法对应的模型文件的状态是否为更新状态；

若是，则利用所述模型文件替换当前的旧模型文件；

若否，则利用继续检测相应算法对应的模型文件的状态。

在本发明提供的一个具体实施例中，所述检测算法对应的模型文件的状态是否为更新状态，包括：

客户端利用接口检测算法对应的模型文件的状态是否为更新状态。

在本发明提供的一个具体实施例中，在所述调度模块102之前，还包括：

节点选择模块，用于根据当前节点可用内存和当前剩余可执行的任务数据，为每个所述插件选择合适的工作节点。

在本发明提供的一个具体实施例中，在所述更新模块104之前，还包括：

校验模块，用于校验每个模型文件的正确性；

若所述校验模块的结果为正确，则执行所述更新模块104的内容；

若不正确，则执行切换模块的内容，所述切换模块用于将所述模型文件切换为上一个周期校验正确的模型文件。

以上，为本发明提供的一种算法模型的更新装置。

进一步地，在上述实施例所提供的一种算法模型的更新方法及装置的基础上，本发明实施例还提供了一种算法模型的更新设备。如图3所示，该设备可以包括：一个或多个处理器201、一个或多个输入设备202、一个或多个输出设备203和存储器204，上述处理器201、输入设备202、输出设备203和存储器204通过总线205相互连接。存储器204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201被配置用于调用所述程序指令执行上述方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器201可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备202可以包括键盘等，输出设备203可以包括显示器(LCD等)、扬声器等。

该存储器204可以包括只读存储器和随机存取存储器，并向处理器201提供指令和数据。存储器204的一部分还可以包括非易失性随机存取存储器。例如，存储器204还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器201、输入设备202、输出设备203可执行本发明实施例提供的一种算法模型的更新方法的实施例中所描述的实现方式，在此不再赘述。

相应地，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述算法模型的更新方法。

所述计算机可读存储介质可以是前述任一实施例所述的***的内部存储单元，例如***的硬盘或内存。所述计算机可读存储介质也可以是所述***的外部存储设备，例如所述***上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述***的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述***所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种算法模型的更新方法，其特征在于，包括：

接收至少一个算法对应的插件；

按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；运行结果为算法对应的模型文件；

在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；每个周期运行一次插件，每次运行的结果都输出一个模型文件，所述模型文件带有时间戳；

利用所述模型文件更新相应客户端中的旧模型文件。

2.根据权利要求1所述的方法，其特征在于，所述插件是客户端根据插件标准格式编写而成。

3.根据权利要求1所述的方法，其特征在于，所述利用所述模型文件更新相应客户端中的旧模型文件，包括：

检测算法对应的模型文件的状态是否为更新状态；

若是，则利用所述模型文件替换当前的旧模型文件；

若否，则利用继续检测相应算法对应的模型文件的状态。

4.根据权利要求3所述的方法，其特征在于，所述检测算法对应的模型文件的状态是否为更新状态，包括：

客户端利用接口检测算法对应的模型文件的状态是否为更新状态。

5.根据权利要求1所述的方法，其特征在于，在所述按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行的步骤之前，还包括：

根据当前节点可用内存和当前剩余可执行的任务数据，为每个所述插件选择合适的工作节点。

6.根据权利要求1所述的方法，其特征在于，在所述利用所述模型文件更新相应客户端中的旧模型文件的步骤之前，还包括：

校验每个模型文件的正确性；

若正确，则执行所述利用所述模型文件更新相应客户端中的旧模型文件的步骤；

若不正确，则将所述模型文件切换为上一个周期校验正确的模型文件。

7.一种算法模型的更新装置，其特征在于，包括：

接收模块，用于接收至少一个算法对应的插件；

调度模块，用于按预设周期，利用调度器，基于任务调度标准，将所述插件分配到工作节点上运行；运行结果为算法对应的模型文件；

文件获得模块，用于在每个周期，根据运行结果，获得并存储每个算法对应的模型文件；每个周期运行一次插件，每次运行的结果都输出一个模型文件，所述模型文件带有时间戳；

更新模块，用于利用所述模型文件更新相应客户端中的旧模型文件。

8.一种算法模型的更新设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。

Images