CN115034367A - 一种模型部署的方法及装置 - Google Patents

Abstract

本说明书公开了一种模型部署的方法及装置，该模型部署的方法包括：确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

Description

一种模型部署的方法及装置

技术领域

本说明书涉及人工智能领域，尤其涉及一种模型部署的方法及装置。

背景技术

随着深度学习技术的发展，神经网络的应用也日益走向成熟。目前神经网络模型已经被广泛应用于工业界和人们日常生活的各个业务场景中。而其中一些领域(如工业领域)通常对神经网络模型的精度与延时有着十分严格的要求，需要部署在终端上的模型能够保持高精度的同时，具有较低的延迟，以充分满足业务需求。为达成这一目标，诸多神经网络压缩及优化技术被深入研究，其中就包括重参数化结构和模型量化两种经典的模型优化方法。

由于在对模型的网络参数进行量化(即将高精度的网络参数压缩为低精度的网络参数，如将浮点精度的网络参数压缩为整数精度的网络参数)的过程中会产生一定的误差，所以目前通常会采用先对模型训练，再对训练后的模型的多个网络分支进行融合，而后在对融合后的单分支模型进行训练，在这一次训练的过程中会对单分支模型的网络参数进行伪量化处理(即先将高精度的网络参数压缩为带有一定量化误差的低精度的网络参数，再将该带有量化误差的低精度的网络参数还原为高精度的网络参数，但此时的高精度网络参数带有量化误差)，而后再对这一次训练完成后的模型中对应的网络参数进行量化处理。但是这样的优化过程会降低模型的精度，对于一些精度要求较为严格的业务来说无法满足其业务需求。

因此，如何在保证模型精度的前提下，对模型进行优化，提高模型运行效率，是一个亟待解决的问题。

发明内容

本说明书提供一种模型部署方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种模型部署的方法，包括：

确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；

根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；

根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；

将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

可选地，在将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支之前，所述方法还包括：

将经过伪量化处理后的模型进行训练，得到优化后模型；

根据替换后的模型进行模型部署，具体包括：

将所述优化后模型进行模型部署。

可选地，在根据替换后的模型进行模型部署之前，所述方法还包括：

对所述指定网络分支对应的网络参数进行量化处理；

根据替换后的模型进行模型部署，具体包括：

将经过量化处理后的模型进行部署。

可选地，将经过伪量化处理后的模型进行训练，得到优化后模型，具体包括：

获取输入数据；

将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果；

以最小化所述输出结果与所述输入数据对应的实际标签之间的偏差为优化目标，对所述经过伪量化处理后的模型进行训练，得到优化后的模型。

可选地，获取输入数据，具体包括：

获取初始输入数据；

对所述初始输入数据进行伪量化处理，得到所述输入数据。

可选地，将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果，具体包括：

根据所述输入数据，确定所述输入数据对应的数据分布

根据所述数据分布，对所述输入数据进行正则化处理，并根据处理后的输入数据，确定所述输入数据对应的输出结果。

可选地，所述方法还包括：

确定历史输入数据对应的数据分布，作为历史数据分布；

根据所述输入数据，对所述历史数据分布进行更新，得到更新后数据分布；

将所述优化后的模型进行部署，具体包括：

根据所述更新后数据分布，对所述优化后的模型进行部署。

本说明书提供了一种模型部署的装置，包括：

第一确定模块，确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；

第二确定模块，根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；

处理模块，根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；

部署模块，将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型部署的方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型部署的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的模型部署的方法中，会先根据各目标网络分支对应的初始网络参数，来确定出假设将各目标网络分支等效替换为指定网络分支后指定网络分支对应的网络参数，并根据该指定网络分支对应的网络参数，来更新初始网络参数，并对更新后的初始网络参数进行伪量化处理，进而将经过伪量化处理后的模型中包含的各目标网络分支等效替换为指定网络分支，进而将最终得到的模型进行部署。

现有技术在将较多目标网络分支等效替代为较少的指定网络分支后，才会对替换后的较少网络分支对应的网络参数进行量化处理，但是对替换后的较少网络分支对应网络参数进行量化处理的过程中会产生较大的误差，而从上述方法可以看出，本说明书中在模型的训练阶段就已经对网络参数进行伪量化处理，并在训练时保持具有较多目标网络分支的模型结构，使得在模型训练过程中就已经消除了一部分伪量化网络参数的误差。因此，相比于现有技术通过较少指定网络分支的模型结构对带有伪量化参数的模型进行训练的方法，本方案进一步提高了模型的精度。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的一种现有的模型优化方法示意图；

图2为本说明书中提供的一种模型部署的方法的流程示意图；

图3为本说明书提供的一种模型部署的方法示意图；

图4为本说明书提供的一种模型部署的装置的示意图；

图5为本说明书提供的一种对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

由于模型的每个网络分支对应的网络参数不同，如果先对这些网络参数进行伪量化处理，那么训练结束后这些网络参数之间的差异就会被进一步放大，导致无法在后续对模型进行优化的过程中，对模型的各个网络分支进行等效替换，因此，现有技术通常采用如图1所示的方法，来对模型进行部署。

图1为本说明书提供的一种现有的模型优化方法示意图。

其中，网络分支1、网络分支2、网络分支3分别为模型中包含的在后续优化阶段需要进行替换的目标网络分支，现有的方法会先对包含有较多目标网络分支的模型进行第一次训练，得到具有多个目标网络分支的模型，而后将第一次训练后的模型中的各个目标网络分支，等效替换为一个指定网络分支，从而得到具有指定网络分支的模型，而后再对具有指定网络分支模型的模型参数进行伪量化处理，处理后对该模型进行训练，从而就得到了一个具有指定分支网络结构的经过伪量化处理后的模型，最后对该模型进行量化，进而进行部署。

在此过程中，只能通过较少的指定网络分支的网络结构，来对带有伪量化网络参数的模型进行训练，相比于通过具有较多的目标网络分支的模型进行训练的方法，模型精度十分有限。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图2为本说明书中提供的一种模型部署的方法的流程示意图，包括以下步骤：

S201：确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支。

在对神经网络模型进行训练时，通常会在诸如服务器等具体较高的处理能力以及内存资源的云端数据中心中进行，从而即使面对较为复杂的神经网络模型，也能够在保证其精度的同时顺利完成训练。而对模型训练完成后，服务器通常需要将其安装在诸如手机、笔记本电脑、平板电脑、台式电脑等终端上的客户端中，以完成对模型的部署。

但是，在实际应用的过程中，由于一些设备自身配置(如处理器、内存)等条件的限制，导致终端设备的处理能力和内存资源与服务器具有较大的差异，如果将训练好的模型直接部署在该终端设备上，该终端设备较低的处理能力往往会使模型运行缓慢，甚至无法正常启动，而且还会占用该终端设备较大的内存。

例如，通常情况下，手机的处理能力以及内存资源是远低于服务器的，如果将在服务器中训练好的模型直接部署在安装在手机上的客户端中，以手机自身的配置根本无法使该模型在客户端中流畅的运行，甚至造成客户端的崩溃，而且，通过服务器训练完成后的模型通常会占用较大的内存资源，如果直接将其部署在手机上，势必会影响到用户的使用体验。

因此，就需要对训练完成后的模型先进行优化，以简化其逻辑结构，以及缩小占用的内存资源，而后再将优化后的模型进行部署。

基于此，本说明书提供了一种模型部署的方法，其中，在服务器对预设模型进行训练过程中，需要确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支。

具体的，在模型训练完成后，服务器通常会对训练后的模型进行优化，即，将训练后的模型中能够等效替换的部分网络分支，采用一些等效公式或者等效算法，将这部分网络分支等效替换为指定网络分支，从而实现对训练后模型中的多网络分支的融合与简化，达到对模型运行速度的优化。所以，服务器可以确定出预设模型中需要进行等效替换的网络分支，以及在训练过程中需要使用，但是在部署之后就没有作用的网络分支，并将这些分支作为目标网络分支。

需要说明的是，这里的指定网络分支可以为一个，当然，也可以为多个，但是指定网络分支的数量一定小于目标网路分支的数量，这样才能实现对模型的优化。

在本说明书中，用于实现模型部署的方法执行主体，可以指服务器等设置于业务平台的指定设备，为了便于描述，本说明书仅以服务器是执行主体为例，对本说明书提供的一种模型部署的方法进行说明。

S202：根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数。

在模型训练的过程中，由于每个网络分支对应的网络参数(如卷积权重)之间都具有一定的差异，如果先对模型中各目标网络分支对应的初始网络参数进行伪量化处理，在模型训练完成后，这些不同的初始网络参数之间的差异往往会被进一步放大，这就导致在模型优化的过程中，无法通过指定网络分支对这些目标网络分支进行等效替代，如果强行进行替代会造成较大的误差。关于伪量化处理的过程将在下文进行详细描述，在此处不做过多赘述。

因此，服务器可以先确定出假设将所述各目标网络分支等效替换为指定网络分支后，指定网络分支对应的网络参数，然后用这些网络参数更新各目标网络分支的初始网络参数，这样一来，在模型训练完成后，各目标网络分支之间就会产生较小的差异，甚至没有差异，这样就能够通过指定网络分支，对这些被指定分支对应的网络参数更新后的目标网络分支进行等效替代。

具体的，确定目标网络分支后，服务器可以对这些目标网络分支进行等效替换模拟，通过模拟来确定将这些目标网络分支等效替换为指定网络分支后，指定网络分支对应的网络参数。

需要说明的是，这里的模拟只是为了确定指定网络分支对应的网络参数，在实际训练过程中，还是对具有初始网络结构(即包含有目标网络分支的网络结构)的预设模型进行训练。

S203：根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理。

服务器确定假设将各目标网络分支等效替换为指定网络分支后指定网络分支对应的网络参数后，服务器可以根据指定网络分支对应的网络参数，来对各目标网络参数进行更新，例如通过指定网络分支对应的网络参数对目标网络参数中的至少部分进行替换或者调整，从而得到更新后的各目标网络分支对应的网络参数。

由于将模型部署在客户端后，运行该客户端的终端设备(如手机、平板电脑等)的配置相比于服务器的配置来说通常较低，所以需要对替换后的模型中对应的网络参数进行量化处理，从而将其压缩到与终端设备的配置相匹配的范围内。

但是在对训练后的模型中包含的网络参数进行量化处理时，会产生一定的误差，这些误差会影响部署后的模型的准确性，因此，为了降低这些误差，服务器可以在该模型中设置相应的伪量化节点，这样在服务器对该模型进行训练时，就可以通过这些伪量化节点，来对上述更新后的初始网络参数进行伪量化处理，以降低或者消除在后续对模型量化过程中产生的误差。

具体的，服务器可以通过伪量化节点，先对网络参数进行量化操作，从而得到带有量化误差的量化后的网络参数，而后将该量化后的网络参数进行还原，得到还原后的网络参数，服务器可以将该还原后的网络参数，与量化操作之前的网络参数进行比较，从而确定在量化过程中产生的量化误差，进而将该量化误差，与量化前的网络参数进行组合，从而得到携带有量化误差的伪量化处理后的网络参数。这样一来就能通过这些量化误差，来对后需优化过程中对网络参数进行量化处理时产生的误差中的至少部分进行抵消，进而提升模型识别精度。

例如，对于一个目标网络分支中32bit的浮点型(float)网络参数，服务器可以通过一定的量化参数(如量化比例、量化差值等)对其进行量化，从而将其通过一个8bit的整型(int)网络参数进行表示，这时的量化后的整型网络参数会带有一定的量化误差，而后再对该带有量化误差的整型网络参数通过上述量化参数进行还原，并将还原后得到的浮点型网络参数，与量化之前的浮点型网络参数进行比较，以确定出在量化过程中产生的量化误差，进而将该量化误差与量化之前的浮点型网络参数进行组合，从而得到携带有量化误差的浮点型网络参数，

当然，在实际应用中，服务器也可以先对指定网络分支对应的网络参数进行伪量化处理，而后在通过这些伪量化处理后的网络参数，对各目标网络分支对应的初始网络参数进行更新。

S204：将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

服务器对更新后的初始网络参数进行伪量化处理后，可以得到伪量化处理后的模型，其中，该模型中的每一个目标网络分支对应的网络参数，都是经过指定网络分支的网络参数更新，并对更新后的网络参数进行伪量化处理后得到的。

而后服务器可以对该伪量化处理后的模型进行训练，在对该伪量化处理后的模型进行训练的过程中，服务器可以先获取输入数据，并将该输入数据输入到上述伪量化处理后的模型中，通过该模型中的批正则化(Batch Normalization，BN)层，对输入数据进行正则化处理，从而得到处理后的输入数据，以限制在训练过程中数据的分布范围，防止训练后的模型过拟合化。

具体的，服务器可以通过该模型中的BN层，确定这些输入数据的数据分布，其中，该数据分布可以包含输入到伪量化处理后的模型中的输入数据的均值以及方差等，而后根据该数据分布，来对这些输入数据进行正则化处理。

由于将模型部署在客户端后，在模型的实际运行过程中，通常也会对输入数据进行量化处理，例如，在通过安装在手机上的指定客户端进行图片识别时，部署在客户端中的模型通常会将具体较高的初始分辨率的图片压缩为较低分辨率的图片，以提升模型的识别效率。而且，由于在训练过程中已经对各初始网络参数进行伪量化处理，对输入数据进行伪量化处理能够保证模型的训练效果。

因此，为了模拟在实际运行过程中的输入效果，使训练出的模型与部署环境的配置更加匹配，以及保证模型的训练效果，服务器可以先获取初始输入数据，而后对该初始数据也进行伪量化处理，从而得到伪量化处理后的输入数据。其中，对初始输入数据进行伪量化处理的方法与上述对更新后的初始网络参数进行量化处理的方法相同，此处不做过多赘述。

此外，服务器可以确定每一轮对该伪量化处理后的模型进行训练时，输入的历史输入数据对应的数据分布(如每一轮训练的输入数据对应的数据分布均值)，作为历史数据分布，并根据之后每一轮的输入数据，对该历史数据分布进行更新，得到更新后数据分布。需要说明的时，在每一轮对该伪量化处理后的模型进行训练时，只会使用通过该轮训练时输入数据对应的数据分布，来对输入数据进行正则化处理。

而后该伪量化处理后的模型可以通过这些处理后的输入数据，确定输入数据对应的识别结果，并以最小化该识别结果与该输入数据对应的实际信息之间的偏差为优化目标，对该伪量化处理后的模型进行训练，直至满足训练目标。其中，该训练目标可以为模型收敛至预设阈值范围内，或者，达到预设训练次数，以保证模型的识别精度，预设阈值范围和预设训练次数可以跟据实际情况进行设定，本说明书不做具体限定。

在实际应用的过程中，上述初始输入数据可以为图像数据、声纹数据、文本数据等，相应的，初始输入数据对应的实际信息可以为图像数据中包含的图像信息，声纹数据中包含的声纹信息，以及文本数据中包含的文本信息等，本说明书对此不做具体限定。

在对模型进行训练后，服务器可以对该训练后的模型进行优化，得到优化后模型。

具体的，服务器可以将训练后的模型中包含的各个网络分支，等效替换为指定网络分支，以得到替换后的模型，从而简化模型的网络结构，提升模型的运行效率。其中，在此过程中，模型中包含的各个BN网络，也会被等效替换到指定分支中的指定网络中。

此外，服务器可以对替换完成后的模型中，指定分支对应的网络参数进行量化，以减少其内存占用，进而得到优化后的模型。

而后服务器可以将该优化后的模型部署在客户端中。

需要强调的是，由于模型训练的过程中，已经对模型中的更新后的网络参数进行伪量化处理，所以训练后的模型中各目标网络分支包含的网络参数已经带有一定的量化误差，而在优化过程中将目标网络分支等效替换为指定网络分支后，该指定网络分支对应的网络参数也带有上述量化误差，这些量化误差可以抵消至少部分对替换后的模型对应的网络参数进行量化时产生的误差，从而提高模型精度。

需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给与授权的情况下进行的。

从上述方法可以看出，本说明书提供的模型部署的方法可以通过指定网络分支对应的网络参数，来对初始网络参数进行更新，使得模型即使在训练过程中对这些更新后的网络参数进行伪量化处理，也能够在后续优化的过程中将目标网络分支替换为指定网络分支，实现了通过多网络分支的模型结构来对带有伪量化参数的模型进行训练，相比于现有方法通过较少的指定网络分支结构对带有伪量化参数的模型进行训练的方法，进一步提高了模型的识别精度。

为了便于理解，本说明书还提供了一种模型部署的方法示意图，以便于与现有方法进行明显的区分。

图3为本说明书提供的一种模型部署的方法示意图。

其中，网络分支1、网络分支2、网络分支3分别为预设模型中包含的能够在后续优化阶段进行替换的目标网络分支，本方案中服务器会先确定假设将目标网络分支等效替换为指定网络分支后，指定网络分支对应的网络参数，而后通过该网络参数，对各目标分支的初始网络参数进行更新，得到更新后参数，再对更新后参数进行伪量化处理，从而得到包含有目标网络分支，以及各目标网络分支对应有伪量化参数的伪量化处理后模型，进而对该模型进行训练。

训练完成后，服务器可以对该模型中包含的各目标网络分支等效替换为指定网络分支，在对该指定网络分支中对应的网络参数进行量化处理，进而将量化处理后得到的模型进行部署。

相比于现有方法，本方案能在模型训练过程中，通过具有较多目标网络分支的网络结构，对带有伪量化参数的模型进行训练，相比与目前通过具有较少的指定网络分支的网络结构，对带有外量化参数的模型进行训练，部署后的模型精度得到了显著的提升。

以上为本说明书的一个或多个实施模型部署的方法，基于同样的思路，本说明书还提供了相应的模型部署的装置，如图4所示。

图4为本说明书提供的一种模型部署的装置的示意图，包括：

第一确定模块401，确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；

第二确定模块402，根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；

处理模块403，根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；

部署模块404，将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

可选地，所述装置还包括：

训练模块405，用于将经过伪量化处理后的模型进行训练，得到优化后模型；

所述部署模块404具体用于，将所述优化后模型进行模型部署。

可选地，所述部署模块404还用于，对所述指定网络分支对应的网络参数进行量化处理；

所述部署模块404具体用于，将经过量化处理后的模型进行部署。

可选地，所述训练模块405具体用于，获取输入数据；将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果；以最小化所述输出结果与所述输入数据对应的实际标签之间的偏差为优化目标，对所述经过伪量化处理后的模型进行训练，得到优化后的模型。

可选地，所述训练模块405具体用于，获取初始输入数据；对所述初始输入数据进行伪量化处理，得到所述输入数据。

可选地，所述训练模块405具体用于，根据所述输入数据，确定所述输入数据对应的数据分布；根据所述数据分布，对所述输入数据进行正则化处理，并根据处理后的输入数据，确定所述输入数据对应的输出结果。

可选地，所述训练模块405还用于，确定历史输入数据对应的数据分布，作为历史数据分布；根据所述输入数据，对所述历史数据分布进行更新，得到更新后数据分布；

所述部署模块404具体用于，根据所述更新后数据分布，对所述优化后的模型进行部署。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种模型部署的方法。

本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型部署的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、***、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种模型部署的方法，其特征在于，包括：

确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；

根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；

根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；

将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

2.如权利要求1所述的方法，其特征在于，在将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支之前，所述方法还包括：

将经过伪量化处理后的模型进行训练，得到优化后模型；

根据替换后的模型进行模型部署，具体包括：

将所述优化后模型进行模型部署。

3.如权利要求1或2所述的方法，其特征在于，在根据替换后的模型进行模型部署之前，所述方法还包括：

对所述指定网络分支对应的网络参数进行量化处理；

根据替换后的模型进行模型部署，具体包括：

将经过量化处理后的模型进行部署。

4.如权利要求2所述的方法，其特征在于，将经过伪量化处理后的模型进行训练，得到优化后模型，具体包括：

获取输入数据；

将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果；

以最小化所述输出结果与所述输入数据对应的实际标签之间的偏差为优化目标，对所述经过伪量化处理后的模型进行训练，得到优化后的模型。

5.如权利要求4所述的方法，其特征在于，获取输入数据，具体包括：

获取初始输入数据；

对所述初始输入数据进行伪量化处理，得到所述输入数据。

6.如权利要求4所述的方法，其特征在于，将所述输入数据输入到所述经过伪量化处理后的模型中，确定所述输入数据对应的输出结果，具体包括：

根据所述输入数据，确定所述输入数据对应的数据分布；

根据所述数据分布，对所述输入数据进行正则化处理，并根据处理后的输入数据，确定所述输入数据对应的输出结果。

7.如权利要求4所述的方法，其特征在于，所述方法还包括：

确定历史输入数据对应的数据分布，作为历史数据分布；

根据所述输入数据，对所述历史数据分布进行更新，得到更新后数据分布；

将所述优化后的模型进行部署，具体包括：

根据所述更新后数据分布，对所述优化后的模型进行部署。

8.一种模型部署的装置，其特征在于，包括：

第一确定模块，确定预设模型中包含的需要替换的各网络分支，作为各目标网络分支；

第二确定模块，根据所述各目标网络分支对应的初始网络参数，确定假设将所述各目标网络分支等效替换为指定网络分支后，所述指定网络分支对应的网络参数；

处理模块，根据所述指定网络分支对应的网络参数更新所述初始网络参数，并对更新后的初始网络参数进行伪量化处理；

部署模块，将经过伪量化处理后的模型中包含的所述各目标网络分支等效替换为指定网络分支，并根据替换后的模型进行模型部署。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

Images