CN114118358A - 图像处理方法、装置、电子设备、介质及程序产品 - Google Patents

图像处理方法、装置、电子设备、介质及程序产品 Download PDF

Info

Publication number
CN114118358A
CN114118358A CN202111205593.1A CN202111205593A CN114118358A CN 114118358 A CN114118358 A CN 114118358A CN 202111205593 A CN202111205593 A CN 202111205593A CN 114118358 A CN114118358 A CN 114118358A
Authority
CN
China
Prior art keywords
precision
layer
quantization precision
quantization
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205593.1A
Other languages
English (en)
Inventor
康瑞鹏
游亮
龙欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba China Co Ltd
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd, Alibaba Cloud Computing Ltd filed Critical Alibaba China Co Ltd
Priority to CN202111205593.1A priority Critical patent/CN114118358A/zh
Publication of CN114118358A publication Critical patent/CN114118358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例公开了一种图像处理方法、装置、电子设备、介质及程序产品。其中，图像处理方法，包括：获取用于图像处理的多层神经网络中多个层的量化精度敏感度；基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。

Description

图像处理方法、装置、电子设备、介质及程序产品
技术领域
本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备、介质及程序产品。
背景技术
在例如公有云的云计算环境中，在进行图像处理时，神经网络模型的推理需求比重越来越大，存在优化推理任务性能的需求。神经网络模型量化为16比特浮点(16bitFloating Point，FP16)模型时可以基本不损失运算精度。神经网络模型量化也可以量化为8比特整数(8bit Integer，INT8)类型的运算，INT8的标称算力是FP16的两倍，但是直接把模型全部量化为INT8存在不可接受的精度损失。因此，在使用FP16量化精度不满足速度要求的情况下，需要采用混合量化，在保证精度的前提下，进一步提升神经网络模型推理的性能，最大化地利用目标硬件的算力。在求解混合量化优化解时，遍历选择优化解需要的计算资源巨大，耗时长，效率低，难以满足实际需要，需要得到快速求解混合量化优化解的方法。
发明内容
为了解决相关技术中的问题，本公开实施例提供一种图像处理方法、装置、电子设备、介质及程序产品。
第一方面，本公开实施例中提供了一种图像处理方法。
具体地，所述图像处理方法，包括：
获取用于图像处理的多层神经网络中多个层的量化精度敏感度；
基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；
使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；
根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。
结合第一方面，本公开在第一方面的第一种实现方式中，所述层的量化精度敏感度表示所述多层神经网络的性能对所述层的量化精度改变的敏感程度。
结合第一方面，本公开在第一方面的第二种实现方式中，所述基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，包括通过以下步骤确定所述初始种群中的成员对应的量化精度配置：
针对所述成员生成随机数集合，所述随机数集合中的每个随机数对应于所述多个层中的相应一层；
针对所述多个层中的每个层，基于所述层的量化精度敏感度和相应的随机数生成所述层的概率因子；
基于所述多个层中的每个层的概率因子确定所述成员对应的量化精度配置。
结合第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，包括，针对当前种群：
根据具有所述种群中成员对应的量化精度配置的所述多层神经网络在处理所述评测图像集合时表现出的性能，确定所述成员的表现；
使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群。
结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述使用所述表现好的成员对应的量化精度配置更新所述表现差的成员的量化精度配置，包括：
针对所述表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据所述高精度层的量化精度敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将所述表现差的成员对应的量化精度配置中的所述指定低精度层修改为高精度层；
针对所述表现差的成员修改后的量化精度配置中的高精度层，基于所述高精度层的量化敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将所述表现差的成员修改后的量化精度配置中的所述指定高精度层修改为低精度层，以更新所述表现差的成员对应的量化精度配置。
结合第一方面，本公开在第一方面的第五种实现方式中，还包括：
基于所述多层神经网络中多个层的量化精度，对所述多层神经网络进行配置；
使用配置好的多层神经网络进行图像处理。
结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别。
第二方面，本公开实施例中提供了一种图像处理装置。
具体地，所述图像处理装置，包括：
量化精度敏感度获取模块，用于获取用于图像处理的多层神经网络中多个层的量化精度敏感度；
初始种群生成模块，用于基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；
种群更新模块，用于使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；
量化精度配置确定模块，用于根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。
结合第二方面，本公开在第二方面的第一种实现方式中，所述层的量化精度敏感度表示所述多层神经网络的性能对所述层的量化精度改变的敏感程度。
结合第二方面，本公开在第二方面的第二种实现方式中，所述基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，包括通过以下步骤确定所述初始种群中的成员对应的量化精度配置：
针对所述成员生成随机数集合，所述随机数集合中的每个随机数对应于所述多个层中的相应一层；
针对所述多个层中的每个层，基于所述层的量化精度敏感度和相应的随机数生成所述层的概率因子；
基于所述多个层中的每个层的概率因子确定所述成员对应的量化精度配置。
结合第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，包括，针对当前种群：
根据具有所述种群中成员对应的量化精度配置的所述多层神经网络在处理所述评测图像集合时表现出的性能，确定所述成员的表现；
使用表现好的成员对应的量化精度配置更新表现差的成员的量化精度配置，得到更新的种群。
结合第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述使用所述表现好的成员对应的量化精度配置更新所述表现差的成员的量化精度配置，包括：
针对所述表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据所述高精度层的量化精度敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将所述表现差的成员对应的量化精度配置中的所述指定低精度层修改为高精度层；
针对所述表现差的成员修改后的量化精度配置中的高精度层，基于所述高精度层的量化敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将所述表现差的成员修改后的量化精度配置中的所述指定高精度层修改为低精度层，以更新所述表现差的成员的量化精度配置。
结合第二方面，本公开在第二方面的第五种实现方式中，还包括：
多层神经网络配置模块，用于基于所述多层神经网络中多个层的量化精度，对所述多层神经网络进行配置；
图像处理模块，用于使用配置好的多层神经网络进行图像处理。
结合第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，所述图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面至第一方面的第六种实现方式任一项所述的方法。
第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面至第一方面的第六种实现方式所述的方法。
第五方面，本公开实施例中提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面至第一方面的第六种实现方式所述的方法步骤。
根据本公开实施例提供的技术方案，通过获取用于图像处理的多层神经网络中多个层的量化精度敏感度；基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，初始种群中的每个成员对应于多层神经网络相应的一种量化精度配置；使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至种群中出现表现满足预设条件的成员；根据表现满足预设条件的成员，确定多层神经网络中多个层的量化精度，从而以较快的速度得到多层神经网络中各层的量化方式，在可接受的精度损失的条件下提高多层神经网络的计算速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1a示出根据本公开实施例的多层神经网络的示例性示意图；
图1b示出根据本公开实施例的种群中不同表现的成员的示例性示意图；
图1c示出根据本公开实施例的修改表现差的成员的量化精度配置的示例性示意图；
图1d示出根据本公开实施例的对修改量化精度配置后的成员，再次修改量化精度配置的示例性示意图；
图2示出根据本公开实施例的图像处理方法的流程图；
图3示出根据本公开实施例的图像处理方法的流程图；
图4示出根据本公开实施例的图像处理方法的流程图；
图5示出根据本公开实施例的图像处理方法的流程图；
图6示出根据本公开实施例的图像处理方法的流程图；
图7示出根据本公开实施例的图像处理装置的结构框图；
图8示出根据本公开的实施例的电子设备的结构框图；
图9示出适于用来实现根据本公开实施例的方法的计算机***的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。
如上所述，在例如公有云的云计算环境中，在进行图像处理时，神经网络模型的推理需求比重越来越大，存在优化推理任务性能的需求。神经网络模型量化为16比特浮点(16bit Floating Point，FP16)模型时可以基本不损失运算精度。神经网络模型量化也可以量化为8比特整数(8bit Integer，INT8)类型的运算，INT8的标称算力是FP16的两倍，但是直接把模型全部量化为INT8存在不可接受的精度损失。因此，在使用FP16量化精度不满足速度要求的情况下，需要采用混合量化，在保证精度的前提下，进一步提升神经网络模型推理的性能，最大化地利用目标硬件的算力。在求解混合量化优化解时，遍历选择优化解需要的计算资源巨大，耗时长，效率低，难以满足实际需要，需要得到快速求解混合量化优化解的方法。
为了解决上述问题，本公开提出了一种图像处理方法、装置、电子设备、介质及程序产品。
根据本公开的实施方式，通过一种图像处理方法，包括：获取用于图像处理的多层神经网络中多个层的量化精度敏感度；基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度，从而以较快的速度得到多层神经网络中各层的量化方式，在可接受的精度损失的条件下提高多层神经网络的计算速度。
图1a示出根据本公开实施例的多层神经网络的示例性示意图。
本领域普通技术人员可以理解，图1a示例性示出了多层神经网络，而不构成对本公开的限制。
如图1a所示，多层神经网络100包括层101、层103……等共N层，层101中包括节点102，层103中包括节点104，层间的连接关系在图1a中未示出。
在本公开的实施例中，对于层101、103等N层，分别得到该层的量化精度敏感度S1、S2......、SN。层的量化精度敏感度表示多层神经网络的性能(例如，推理速度、精度损失等)对该层的量化精度改变的敏感程度。对于层101、103等N个层，分别通过随机数生成算法得到该层的随机数R11、R12......、R1N，并分别计算各层的概率因子
P1i＝Si*R1i，i＝1,2......N
在本公开的实施例中，可以基于各层的概率因子确定各层的量化精度配置。例如，当P1i大于等于例如0.5的第一特定阈值时，第i层用FP16量化，当P1i小于例如0.5的第一特定阈值时，第i层用INT8量化。或者，在N层中，选择P1i最大的M1个层进行FP16量化，其余层进行INT8量化。可以理解，虽然本公开使用FP16作为高量化精度的示例，使用INT8作为低量化精度的示例，但也可以根据实际需要采用其他的高量化精度和/或低量化精度。
本领域普通技术人员可以理解，第一特定阈值也可以是根据经验或实际需要确定的其他值，本公开对此不作限定。
在对层进行量化时，可以对层中节点的运算进行量化，例如对加法运算、乘法运算、Relu运算进行量化，也可以对节点的存储值进行量化。
在本公开的实施例中，上述N层神经网络的N个量化精度配置构成一个初始成员。使用K组不同的随机数R11、R12......、R1N，可以得到N层神经网络的不同的K个量化精度配置，即不同的初始成员，进而得到包括K个初始成员的初始种群。
图1b示出根据本公开实施例的种群中不同表现的成员的示例性示意图。
本领域普通技术人员可以理解，图1b示例性示出了种群中不同表现的成员，而不构成对本公开的限制。
如图1b所示，在初始种群110中，包括初始成员111～118。
本领域普通技术人员可以理解，图1b中示例性示出了初始种群110中包括8个初始成员111～118。初始成员的个数也可以是其它个数，本公开对此不作限定。
基于评测图像集合，使用根据成员111～118对应的量化精度配置的多层神经网络100进行例如物体检测、环境分割、人脸识别等图像处理，得到多层神经网络100的计算速度、精度损失等性能，从而对成员进行评测。在初始种群110中，选择T个成员，所述T个成员的性能好于其他成员，例如选择精度损失1％以下的成员中推理速度最快的3个成员，例如成员111、112、113，作为表现好的成员集合119。除成员111、112、113外的其它成员构成表现差的成员集合。
在表现好的成员集合中，任意选择一个表现好的成员，例如112；在表现差的成员集合中，任意选择一个表现差的成员，例如115，并由表现好的成员112修改表现差的成员115的量化精度配置。
图1c示出根据本公开实施例的修改表现差的成员的量化精度配置的示例性示意图。
图1c示出了分别根据表现好的成员112和表现差的成员115配置的神经网络的各层，其中，根据成员112配置的层121～127......在神经网络中的位置分别与根据成员115配置的层131～137......相对应。可以理解，实际使用的神经网络可以与图1c所示具有相同或不同的层数。如图1c所示，在根据成员112配置的层121、122、......、127、......中，用阴影表示的层121、122、123、124、125采用FP16量化，其他层采用INT8量化；在根据成员115配置的层131、132、......、137、......中，用阴影表示的层131、134、136采用FP16量化，其他层采用INT8量化。根据成员112配置的层122、123、125采用高精度FP16量化，而在相对应的位置，根据成员115配置的层132、133、135采用低精度INT8量化。
对层122、123、125，获取前述各层的量化精度敏感度S2、S3、S5，并使用随机数生成算法生成随机数R22、R23、R25，计算
P2i＝Si*R2i，i＝2,3,5
得到P22、P23、P25。在P22、P23、P25中，选择大于例如0.5的第二特定阈值或者最大的例如M1＝2个层，并将根据成员115配置的对应的2个层进行FP16量化。例如，基于根据成员112配置的层122、125，将所对应的根据成员115配置的层132、135，由INT8量化修改为FP16量化。
图1d示出根据本公开实施例的对修改量化精度配置后的成员，再次修改量化精度配置的示例性示意图。
如图1d所示，将图1c中INT8量化的层132、135修改为FP16量化的层141、142后，得到图1d中根据成员140配置的多层神经网络。
在根据成员140配置的多层神经网络中，采用FP16量化的层是131、141、134、142、136，其余层采用INT8量化。对层131、141、134、142、136，获取前述各层的量化精度敏感度S1、S2、S4、S5、S6，并通过随机数生成算法生成随机数R31、R32、R34、R35、R36，计算
P3i＝Si*R3i，i＝1,2,4,5,6
得到P31、P32、P34、P35、P36。在P31、P32、P34、P35、P36中，选择小于例如0.5的第三特定阈值或者最小的例如M2＝2个层，进行INT8量化。例如，将根据成员140配置的层131、142，由FP16量化修改为INT8量化，得到对应的根据成员150配置的多层神经网络。
在本公开的实施例中，经由上述过程，对图1b中的初始种群110，由成员115修改得到成员140后，再修改得到成员150。将初始种群110中的成员115更新为成员150后，得到新的种群。对新的种群，重复上述选取表现好的成员与表现差的成员、用表现好的成员对应的量化精度配置修改表现差的成员对应的量化精度配置、对修改量化精度配置后的成员再次修改量化精度配置的过程，进行种群迭代进化。最终得到满足预设条件(例如，满足预设的精度与速度需求的成员，结束种群迭代)。例如当得到精度损失小于1％，且推理速度提升15％的成员时，结束种群迭代，将该成员对应的量化精度配置作为优化的多层神经网络的多个层的量化精度配置。
在本公开的实施例中，可以基于上述优化的多层神经网络的多个层的量化精度，对多层神经网络进行配置，并使用配置好的多层神经网络进行图像处理，例如图像分类、目标检测、环境分割、人脸识别等图像处理。
本领域普通技术人员可以理解，多层神经网络的各层量化精度优化可以在云端完成。而使用多层神经网络进行图像分类、目标检测、环境分割、人脸识别等图像处理等应用，则可以在云端完成，也可以在终端侧完成。如在终端侧完成图像处理，可以在云端完成优化多层神经网络的量化精度配置，并将优化的量化精度配置传输至终端，在终端使用优化的量化精度配置对多层神经网络进行配置，使用多层神经网络进行图像分类、目标检测、环境分割、人脸识别等图像处理等应用，实现终端侧的节能。而终端只需将处理后的图像特征传输至云端，节约了传输带宽资源。
本领域普通技术人员可以理解，上述多层神经网络也可以用于其它图像处理应用。本公开实施例公开的多层神经网络量化精度配置方案也可用于优化其他应用场景的多层神经网络。例如，采用评测语音集合评测多层神经网络的性能，并使用上述种群迭代的方式优化多层神经网络的量化精度配置，也可以将优化量化精度配置的多层神经网络用于自然语言处理(NLP)，本公开对此不作限定。
图2示出根据本公开实施例的图像处理方法的流程图。
如图2所示，图像处理方法包括：步骤S201、S202、S203、S204。
在步骤S201中，获取用于图像处理的多层神经网络中多个层的量化精度敏感度。
在步骤S202中，基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，初始种群中的每个成员对应于多层神经网络相应的一种量化精度配置。
在步骤S203中，使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至种群中出现表现满足预设条件的成员。
在步骤S204中，根据表现满足预设条件的成员，确定多层神经网络中多个层的量化精度。
在本公开的实施例中，如上所述，获取用于图像处理的多层神经网络100的多个层的量化精度敏感度S1、S2......、SN。基于层的量化精度敏感度S1、S2......、SN和通过随机数生成算法生成的随机数R11、R12......、R1N，得到进化算法的初始种群110。初始种群110包括成员111、......、118，初始种群中的每个成员对应于多层神经网络的一种量化精度配置。基于评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果将表现差的成员115更新为成员140，从而更新所述种群，直至种群中出现表现满足预设条件，例如精度损失小于1％，且推理速度提升15％的成员。根据表现满足预设条件的成员，确定多层神经网络100的多个层的量化精度。
根据本公开的实施例，所述多层神经网络中的多个层可以是多层神经网络中的所有层，也可以是多层神经网络中的一部分层。
本领域普通技术人员可以理解，上述多层神经网络也可以用于其它图像处理应用。本公开实施例公开的多层神经网络量化精度配置方案也可用于优化其他应用场景的多层神经网络。例如，采用评测语音集合评测多层神经网络的性能，并使用上述种群迭代的方式优化多层神经网络的量化精度配置，也可以将优化量化精度配置的多层神经网络用于自然语言处理(NLP)，本公开对此不作限定。
根据本公开的实施方式，通过获取用于图像处理的多层神经网络中多个层的量化精度敏感度；基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，初始种群中的每个成员对应于多层神经网络相应的一种量化精度配置；使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至种群中出现表现满足预设条件的成员；根据表现满足预设条件的成员，确定多层神经网络中多个层的量化精度，从而以较快的速度优化多层神经网络的量化精度配置，在可接受的精度损失的条件下提高多层神经网络的推理速度。
在本公开的实施例中，多层神经网络的性能可以包括精度损失和运行速度。每层的量化精度敏感度表示多层神经网络的性能对该层的量化精度改变的敏感程度。
根据本公开的实施方式，通过层的量化精度敏感度表示多层神经网络的性能对层的量化精度改变的敏感程度，从而为选择各层的量化精度提供准确的依据。
图3示出根据本公开实施例的图像处理方法的流程图。
如图3所示，在本公开的实施例中，基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，包括通过以下步骤确定初始种群中的成员对应的量化精度配置。具体包括步骤S301、S302。
在步骤S301中，针对成员生成随机数集合，随机数集合中的每个随机数对应于多个层中的相应一层。
在步骤S302中，针对多个层中的每个层，基于层的量化精度敏感度和相应的随机数生成层的概率因子。
如前所述，在确定初始化种群110中的初始成员对应的量化精度配置时，针对成员生成随机数集合{R1i}，集合中的随机数R1i对应多层神经网络100的第i层。针对第i层，可以基于P1i＝Si*R1i生成该层的概率因子P1i。
在本公开的实施例中，可以基于各层的概率因子确定各层的量化精度配置。例如，当P1i大于等于例如0.5的第一特定阈值时，第i层用FP16量化，当P1i小于例如0.5的第一特定阈值时，第i层用INT8量化。或者，在N层中，选择P1i最大的M1个层进行FP16量化，其余层进行INT8量化。可以理解，虽然本公开使用FP16作为高量化精度的示例，使用INT8作为低量化精度的示例，但也可以根据实际需要采用其他的高量化精度和/或低量化精度。
根据本公开的实施方式，通过针对成员生成随机数集合，随机数集合中的每个随机数对应于多个层中的相应一层；针对多个层中的每个层，基于层的量化精度敏感度和相应的随机数生成层的概率因子，从而灵活生成每层的概率因子，进而生成合适的初始化成员，得到合适的初始化种群。
图4示出根据本公开实施例的图像处理方法的流程图。
如图4所示，使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，包括，针对当前种群，采用步骤S401、S402。
在步骤S401中，根据具有种群中成员对应的量化精度配置的多层神经网络在处理评测图像集合时表现出的性能，确定成员的表现。
在步骤S402中，使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群。
在本公开的实施例中，如前所述，基于评测图像集合进行性能评测，对根据种群110中的成员111～118对应的量化精度配置的多层神经网络，，可以获得多层神经网络的性能，例如多层神经网络运行的精度损失和推理速度。可以基于性能好于其他成员的3个成员，例如基于精度损失1％以下的成员中推理速度最快的3个成员111、112、113，任选出表现好的成员112。在除111、112、113之外的其它成员中，任选出表现差的成员115。使用表现好的成员112所对应的量化精度配置更新变现差的成员115所对应的量化精度配置，得到更新的种群。
根据本公开的实施方式，通过根据具有种群中成员对应的量化精度配置的多层神经网络在处理评测图像集合时表现出的性能，确定成员的表现；使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群，从而实现种群的进化，尽快得到优化的量化精度配置方式。
图5示出根据本公开实施例的图像处理方法的流程图。
如图5所示，使用表现好的成员对应的量化精度配置更新表现差的成员的量化精度配置包括步骤S501、S502。
在步骤S501中，针对表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据高精度层的量化精度敏感度和针对高精度层生成的随机数，确定表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将表现差的成员对应的量化精度配置中的指定低精度层修改为高精度层。
在步骤S502中，针对表现差的成员修改后的量化精度配置中的高精度层，基于高精度层的量化敏感度和针对高精度层生成的随机数，确定表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将表现差的成员修改后的量化精度配置中的指定高精度层修改为低精度层，以更新表现差的成员对应的量化精度配置。
在本公开的实施例中，如图1c所示，根据表现好的成员112配置的层122、123、125采用高精度FP16量化，而在相对应的位置，根据表现差的成员115配置的层132、133、135采用低精度INT8量化。对层122、123、125，采用前述的量化精度敏感度S2、S3、S5，并使用随机数生成算法生成随机数R22、R23、R25，计算
P2i＝Si*R2i，i＝2,3,5
得到P22、P23、P25。在P22、P23、P25中，选择大于例如0.5的第二特定阈值或者最大的例如M1＝2个层。与选出的2个层相对应的，对根据成员115配置的层进行FP16量化。例如，对应于根据成员112配置的层122、125，将根据成员115配置的层132、135由INT8量化修改为FP16量化。
如图1d所示，将图1c中INT8量化的层132、135修改为FP16量化的层141、142后，相应地由图1c中的成员115得到图1d中的成员140。
根据成员140配置的，采用FP16量化的层是131、141、134、142、136。对层131、141、134、142、136，采用前述的量化精度敏感度S1、S2、S4、S5、S6，并使用随机数生成算法生成随机数R31、R32、R34、R35、R36，计算
P3i＝Si*R3i，i＝1,2,4,5,6
得到P31、P32、P34、P35、P36。在P31、P32、P34、P35、P36中，选择小于例如0.5的第三特定阈值或者最小的例如M2＝2个层，进行INT8量化。例如，将根据成员140配置的层131、142，由FP16量化修改为INT8量化，从而相应地由成员140得到成员150。
根据本公开的实施方式，通过使用表现好的成员对应的量化精度配置更新表现差的成员的量化精度配置，包括：针对表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据高精度层的量化精度敏感度和针对高精度层生成的随机数，确定表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将表现差的成员对应的量化精度配置中的指定低精度层修改为高精度层；针对表现差的成员修改后的量化精度配置中的高精度层，基于高精度层的量化敏感度和针对高精度层生成的随机数，确定表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将表现差的成员修改后的量化精度配置中的指定高精度层修改为低精度层，以更新表现差的成员对应的量化精度配置，从而实现种群的进化，尽快得到优化的量化精度配置方式。
图6示出根据本公开实施例的图像处理方法的流程图。
如图6所示，图像处理方法除了包括和图2相同的S201、S202、S203、S204，还包括步骤S601、S602。
在步骤S601中，基于多层神经网络中多个层的量化精度，对多层神经网络进行配置。
在步骤S602中，使用配置好的多层神经网络进行图像处理。
根据本公开的实施方式，所述图像处理方法还包括：基于多层神经网络中多个层的量化精度，对多层神经网络进行配置；使用配置好的多层神经网络进行图像处理，从而在量化精度损失有限的条件下提高图像处理效率。
根据本公开的实施方式，通过图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别，从而提高上述优化量化精度配置的适应能力。
本领域普通技术人员可以理解，多层神经网络的各层量化精度优化可以在云端完成。而使用多层神经网络进行图像分类、目标检测、环境分割、人脸识别等图像处理等应用，则可以在云端完成，也可以在终端侧完成。如在终端侧完成图像处理，可以在云端完成优化多层神经网络的量化精度配置，并将优化的量化精度配置传输至终端，在终端使用多层神经网络进行图像分类、目标检测、环境分割、人脸识别等图像处理等应用，实现终端侧的节能。而终端只需将处理后的图像特征传输至云端，节约了传输带宽资源。
图7示出根据本公开实施例的图像处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图7所示，图像处理装置700包括：量化精度敏感度获取模块701、初始种群生成模块702、种群更新模块703、量化精度配置确定模块704。
量化精度敏感度获取模块701用于获取用于图像处理的多层神经网络中多个层的量化精度敏感度。
初始种群生成模块702用于基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，初始种群中的每个成员对应于多层神经网络相应的一种量化精度配置。
种群更新模块703用于使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至种群中出现表现满足预设条件的成员。
量化精度配置确定模块704用于根据表现满足预设条件的成员，确定多层神经网络中多个层的量化精度。
根据本公开的实施方式，通过量化精度敏感度获取模块，用于获取用于图像处理的多层神经网络中多个层的量化精度敏感度；初始种群生成模块，用于基于层的量化精度敏感度和针对层生成的随机数，生成进化算法的初始种群，初始种群中的每个成员对应于多层神经网络相应的一种量化精度配置；种群更新模块，用于使用评测图像集合，对初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至种群中出现表现满足预设条件的成员；量化精度配置确定模块，用于根据表现满足预设条件的成员，确定多层神经网络中多个层的量化精度，从而以较快的速度优化多层神经网络的量化精度配置，在可接受的精度损失的条件下提高多层神经网络的推理速度。
根据本公开的实施方式，通过层的量化精度敏感度表示多层神经网络的性能对层的量化精度改变的敏感程度，从而为选择各层的量化精度提供准确的依据。
根据本公开的实施方式，通过针对成员生成随机数集合，随机数集合中的每个随机数对应于多个层中的相应一层；针对多个层中的每个层，基于层的量化精度敏感度和相应的随机数生成层的概率因子，从而灵活生成每层的概率因子，进而生成合适的初始化成员，得到合适的初始化种群。
根据本公开的实施方式，通过根据具有种群中成员对应的量化精度配置的多层神经网络在处理评测图像集合时表现出的性能，确定成员的表现；使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群，从而实现种群的进化，尽快得到优化的量化精度配置方式。
根据本公开的实施方式，通过使用表现好的成员对应的量化精度配置更新表现差的成员的量化精度配置，包括：针对表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据高精度层的量化精度敏感度和针对高精度层生成的随机数，确定表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将表现差的成员对应的量化精度配置中的指定低精度层修改为高精度层；针对表现差的成员修改后的量化精度配置中的高精度层，基于高精度层的量化敏感度和针对高精度层生成的随机数，确定表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将表现差的成员修改后的量化精度配置中的指定高精度层修改为低精度层，以更新表现差的成员对应的量化精度配置，从而实现种群的进化，尽快得到优化的量化精度配置方式。
根据本公开的实施方式，通过还包括：多层神经网络配置模块，用于基于多层神经网络中多个层的量化精度，对多层神经网络进行配置；图像处理模块，用于使用配置好的多层神经网络进行图像处理，从而在量化精度损失有限的条件下提高图像处理效率。
根据本公开的实施方式，通过图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别，从而提高上述优化量化精度配置的适应能力。
本公开还公开了一种电子设备，图8示出根据本公开的实施例的电子设备的结构框图。
如图8所示，所述电子设备800包括存储器801和处理器802，其中，存储器801用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器802执行以实现以下步骤：
获取用于图像处理的多层神经网络中多个层的量化精度敏感度；
基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；
使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；
根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。
在本公开的实施例中，所述层的量化精度敏感度表示所述多层神经网络的性能对所述层的量化精度改变的敏感程度。
在本公开的实施例中，所述基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，包括通过以下步骤确定所述初始种群中的成员对应的量化精度配置：
针对所述成员生成随机数集合，所述随机数集合中的每个随机数对应于所述多个层中的相应一层；
针对所述多个层中的每个层，基于所述层的量化精度敏感度和相应的随机数生成所述层的概率因子；
基于所述多个层中的每个层的概率因子确定所述成员对应的量化精度配置。
在本公开的实施例中，所述使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，包括，针对当前种群：
根据具有所述种群中成员对应的量化精度配置的所述多层神经网络在处理所述评测图像集合时表现出的性能，确定所述成员的表现；
使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群。
在本公开的实施例中，所述使用所述表现好的成员对应的量化精度配置更新所述表现差的成员的量化精度配置，包括：
针对所述表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据所述高精度层的量化精度敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将所述表现差的成员对应的量化精度配置中的所述指定低精度层修改为高精度层；
针对所述表现差的成员修改后的量化精度配置中的高精度层，基于所述高精度层的量化敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将所述表现差的成员修改后的量化精度配置中的所述指定高精度层修改为低精度层，以更新所述表现差的成员对应的量化精度配置。
在本公开的实施例中，还包括：
基于所述多层神经网络中多个层的量化精度，对所述多层神经网络进行配置；
使用配置好的多层神经网络进行图像处理。
在本公开的实施例中，所述图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别。
图9示出适于用来实现根据本公开实施例的方法的计算机***的结构示意图。
如图9所示，计算机***900包括处理单元901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施例中的各种处理。在RAM 903中，还存储有***900操作所需的各种程序和数据。处理单元901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。其中，所述处理单元901可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现上文所述的方法步骤。在这样的实施例中，该计算机程序产品可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机***中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像处理方法，包括：
获取用于图像处理的多层神经网络中多个层的量化精度敏感度；
基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；
使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；
根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。
2.根据权利要求1所述的方法，其中，所述基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，包括通过以下步骤确定所述初始种群中的成员对应的量化精度配置：
针对所述成员生成随机数集合，所述随机数集合中的每个随机数对应于所述多个层中的相应一层；
针对所述多个层中的每个层，基于所述层的量化精度敏感度和相应的随机数生成所述层的概率因子；
基于所述多个层中的每个层的概率因子确定所述成员对应的量化精度配置。
3.根据权利要求2所述的方法，其中，所述使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，包括，针对当前种群：
根据具有所述种群中成员对应的量化精度配置的所述多层神经网络在处理所述评测图像集合时表现出的性能，确定所述成员的表现；
使用表现好的成员对应的量化精度配置更新表现差的成员对应的量化精度配置，得到更新的种群。
4.根据权利要求3所述的方法，其中，所述使用所述表现好的成员对应的量化精度配置更新所述表现差的成员的量化精度配置，包括：
针对所述表现好的成员对应的量化精度配置中包含但所述表现差的成员对应的量化精度配置中不包含的高精度层，根据所述高精度层的量化精度敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员对应的量化精度配置中要修改为高精度层的指定低精度层，将所述表现差的成员对应的量化精度配置中的所述指定低精度层修改为高精度层；
针对所述表现差的成员修改后的量化精度配置中的高精度层，基于所述高精度层的量化敏感度和针对所述高精度层生成的随机数，确定所述表现差的成员修改后的量化精度配置中要修改为低精度层的指定高精度层，将所述表现差的成员修改后的量化精度配置中的所述指定高精度层修改为低精度层，以更新所述表现差的成员对应的量化精度配置。
5.根据权利要求1所述的方法，其特征在于，还包括：
基于所述多层神经网络中多个层的量化精度，对所述多层神经网络进行配置；
使用配置好的多层神经网络进行图像处理。
6.根据权利要求5所述的方法，其中，所述图像处理包括以下任意一种或多种：图像分类、目标检测、环境分割、人脸识别。
7.一种图像处理装置，包括：
量化精度敏感度获取模块，用于获取用于图像处理的多层神经网络中多个层的量化精度敏感度；
初始种群生成模块，用于基于所述层的量化精度敏感度和针对所述层生成的随机数，生成进化算法的初始种群，所述初始种群中的每个成员对应于所述多层神经网络相应的一种量化精度配置；
种群更新模块，用于使用评测图像集合，对所述初始种群中的成员的表现进行评测，基于评测结果更新所述种群，直至所述种群中出现表现满足预设条件的成员；
量化精度配置确定模块，用于根据所述表现满足预设条件的成员，确定所述多层神经网络中多个层的量化精度。
8.一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-7任一项所述的方法步骤。
9.一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。
10.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。
CN202111205593.1A 2021-10-15 2021-10-15 图像处理方法、装置、电子设备、介质及程序产品 Pending CN114118358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205593.1A CN114118358A (zh) 2021-10-15 2021-10-15 图像处理方法、装置、电子设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205593.1A CN114118358A (zh) 2021-10-15 2021-10-15 图像处理方法、装置、电子设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN114118358A true CN114118358A (zh) 2022-03-01

Family

ID=80376327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205593.1A Pending CN114118358A (zh) 2021-10-15 2021-10-15 图像处理方法、装置、电子设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN114118358A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969446A (zh) * 2022-06-02 2022-08-30 中国人民解放军战略支援部队信息工程大学 一种基于敏感度模型的分组混合精度配置方案搜索方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969446A (zh) * 2022-06-02 2022-08-30 中国人民解放军战略支援部队信息工程大学 一种基于敏感度模型的分组混合精度配置方案搜索方法

Similar Documents

Publication Publication Date Title
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
CN110008952B (zh) 一种目标识别方法及设备
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
CN114341892A (zh) 具有用于高效参数更新的降低精度参数分量的机器学习硬件
US11651198B2 (en) Data processing method and apparatus for neural network
US11544521B2 (en) Neural network layer processing with scaled quantization
CN114118358A (zh) 图像处理方法、装置、电子设备、介质及程序产品
CN115170815A (zh) 视觉任务处理及模型训练的方法、装置、介质
JP2022512211A (ja) 画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステム
CN114020469A (zh) 基于边缘节点的多任务学习方法、装置、介质与设备
CN115759209B (zh) 神经网络模型的量化方法、装置、电子设备及介质
CN115660116A (zh) 基于稀疏适配器的联邦学习方法及***
CN112446487A (zh) 神经网络模型的训练和应用方法、装置、***及存储介质
CN115688917A (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN115906936A (zh) 一种神经网络训练及推理方法、装置、终端及存储介质
WO2020177863A1 (en) Training of algorithms
CN113159297B (zh) 一种神经网络压缩方法、装置、计算机设备及存储介质
CN114758130A (zh) 图像处理及模型训练方法、装置、设备和存储介质
CN114065913A (zh) 模型量化方法、装置及终端设备
CN113792804A (zh) 图像识别模型的训练方法、图像识别方法、装置及设备
CN112884144A (zh) 网络量化方法及装置、电子设备和存储介质
CN113361677A (zh) 神经网络模型的量化方法和装置
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN113836438B (zh) 用于帖子推荐的方法、电子设备和存储介质
CN118095447B (zh) 大语言模型分布式推理方法及装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination