CN110322414B - 一种基于ai处理器的图像数据在线量化矫正方法及*** - Google Patents
一种基于ai处理器的图像数据在线量化矫正方法及*** Download PDFInfo
- Publication number
- CN110322414B CN110322414B CN201910605865.3A CN201910605865A CN110322414B CN 110322414 B CN110322414 B CN 110322414B CN 201910605865 A CN201910605865 A CN 201910605865A CN 110322414 B CN110322414 B CN 110322414B
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- precision
- intermediate layer
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012937 correction Methods 0.000 title claims abstract description 35
- 238000013139 quantization Methods 0.000 claims abstract description 103
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000013500 data storage Methods 0.000 claims description 6
- 238000011002 quantification Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000015654 memory Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，尤其涉及一种基于AI处理器的图像数据在线量化矫正方法及***，其中，基于AI处理器的图像数据在线量化矫正方法包括：当检测到图像数据的量到阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据、根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案、根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据等步骤。本发明的基于AI处理器的图像数据在线量化矫正方法和***能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于AI处理器的图像数据在线量化矫正方法及***。
背景技术
目前，主流的无重训中间层量化采取的算法是使用测试集抽样的算法过程。即采取量化后或者量化前的权重和一些测试集抽样进行前向推理，统计中间层数据的分布特性从而充分使用低bit的位宽有损失地映射高范围、高精度的数据，从而将每一个中间层的低bit映射方法固定下来。进一步地，有了量化后的权重和中间层的低bit映射方法，权重和中间数据的数据量就大大降低了，把这些参数存放在端上推理AI处理器，在应用场合推理处理器就可以利用低bit数据进行计算。
然而，训练得到的未量化权重必须经过离线处理才能应用到AI处理器之上，在这个过程中，矫正集相比AI处理器应用场合的数据是否有足够的代表性也是量化成败的关键。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于AI处理器的图像数据在线量化矫正方法及***，该基于AI处理器的图像数据在线量化矫正方法和***能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
为了解决上述技术问题，本发明第一方面公开一种基于AI处理器的图像数据在线量化矫正方法，其中，该方法包括：
当检测到图像数据的量到阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与所述第一预设结果之间的推理误差；
基于所述第一推理结果与所述第一预设结果之间的推理误差，迭代上述步骤，当迭代次数达到预设第一迭代阈值时，生成中间层量化方案。
在本发明第一方面中，可选地，所述方法还包括：
当检测到所述图像数据的量到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
将所述第二推理结果与所述第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差；
基于所述第二推理结果与所述第二预期结果之间的误差，迭代上述步骤，直至迭代次数达到预设第二迭代阈值时，生成权重量化方案。
在本发明第一方面中，可选地，所述方法还包括：
采集目标应用场景对应的所述图像数据；
检测到所述图像数据的量是否到所述阈值时，当所述图像数据的量到达所述阈值时，触发使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据执行，和/或使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据。
在本发明第一方面中，可选地，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案的具体方式为：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
在本发明第一方面中，可选地，在生成中间层量化方案之后，所述方法还包括：
保存所述中间层量化方案；
以及，在生成权重量化方案之后，所述方法还包括：
保存所述权重量化方案。
在本发明第二方面中，一种基于AI处理器的图像数据在线量化矫正***，包括数据采集单元、双模式神经网络推理单元、量化计算单元，其中，
所述数据采集单元，用于检测到图像数据的量是否到所述阈值时；
所述双模式神经网络推理单元，用于当所述数据采集单元检测到所述图像数据的量达到所述阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
所述量化计算单元，用于当所述双模式神经网络推理单元使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据时，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
所述双模式神经网络推理单元，还用于当量化计算单元根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案之后，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
所述量化计算单元，还用于在双模式神经网络推理单元根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据之后，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
所述量化计算单元，还用于将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与第一预设结果之间的推理误差。
在本发明第二方面中，可选地，所述双模式神经网络推理单元，还用于当所述数据采集单元检测到所述图像数据的量达到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
双模式神经网络推理单元，还用于在使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据之后，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
所述量化计算单元，还用于在所述双模式神经网络推理单元逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据之后，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
所述量化计算单元，还用于在基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果之后，将所述第二推理结果与所述第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差。
在本发明第二方面中，可选地，所述数据采集单元，还用于采集目标应用场景对应的所述图像数据。
在本发明第二方面中，可选地，所述量化计算单元根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案，包括：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
在本发明第二方面中，可选地，所述***还包括中间层数据存储单元及非挥发存储单元，其中：
所述中间层数据存储单元，用于保存所述中间层量化方案；
所述非挥发存储单元，用于保存所述权重量化方案。
与现有技术相比，本发明具有如下技术效果：
本发明的基于AI处理器的图像数据在线量化矫正方法和***能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于AI处理器的图像数据在线量化矫正方法的流程示意图；
图2是本发明实施例的另一种基于AI处理器的图像数据在线量化矫正方法的流程示意图；
图3是本发明实施例的又一种基于AI处理器的图像数据在线量化矫正方法的流程示意图；
图4是本发明实施例的再一种基于AI处理器的图像数据在线量化矫正方法的流程示意图；
图5是本发明实施例的一种基于AI处理器的图像数据在线量化矫正***的结构示意图。
具体实施方式
为了更好地理解和实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例所示的基于AI处理器的图像数据在线量化矫正方法的流程示意图，如图1所示，该基于AI处理器的图像数据在线量化矫正方法可以包括：
步骤221，当检测到图像数据的量到阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
步骤222，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
步骤223，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
步骤224，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
步骤225，将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与所述第一预设结果之间的推理误差；
步骤226，基于所述第一推理结果与所述第一预设结果之间的推理误差，迭代步骤221-步骤225，当迭代次数达到预设第一迭代阈值时，生成中间层量化方案。
其中，神经网络能够进行高精度计算(例如Float32或者Float16，)或者支持低精度高速度的计算(例如Int8)。
作为一种可选的实施方式，如图2所示，所述方法还包括：
步骤211，当检测到所述图像数据的量到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
步骤212，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
步骤213，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
步骤214，将所述第二推理结果与所述第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差；
步骤215，基于所述第二推理结果与所述第二预期结果之间的误差，迭代步骤211-步骤214，直至迭代次数达到预设第二迭代阈值时，生成权重量化方案。
作为一种可选的实施方式，如图3，图4所示，所述方法还包括：
步骤100，采集目标应用场景对应的所述图像数据；
步骤101、检测到所述图像数据的量是否到所述阈值时，当所述图像数据的量到达所述阈值时，触发使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据执行，和/或使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据。
其中，所述图像数据的采集可以是连续的，也可以是间断的，本发明对此不作限定。
作为一种可选的实施方式，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案的具体方式为：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
作为一种可选的实施方式，在生成中间层量化方案之后，所述方法还包括：
步骤227，保存所述中间层量化方案；
以及，在生成权重量化方案之后，所述方法还包括：
步骤216，保存所述权重量化方案。
本发明的基于AI处理器的图像数据在线量化矫正方法能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
实施例二
请参阅图5，图5是本发明实施例所示的基于AI处理器的图像数据在线量化矫正***的结构示意图，如图5所示，该基于AI处理器的图像数据在线量化矫正***可以包括数据采集单元301、双模式神经网络推理单元303、量化计算单元305，其中，
所述数据采集单元301，用于检测到图像数据的量是否到所述阈值时；
所述双模式神经网络推理单元303，用于当所述数据采集单元301检测到所述图像数据的量达到所述阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
所述量化计算单元305，用于当所述双模式神经网络推理单元303使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据时，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
所述双模式神经网络推理单元303，还用于当量化计算单元305根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案之后，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
所述量化计算单元305，还用于在双模式神经网络推理单元303根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据之后，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
所述量化计算单元305，还用于将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与第一预设结果之间的推理误差。
其中，神经网络能够进行高精度计算(例如Float32或者Float16，)或者支持低精度高速度的计算(例如Int8)。
作为一种可选的实施方式，所述双模式神经网络推理单元303，还用于当所述数据采集单元301检测到所述图像数据的量达到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
双模式神经网络推理单元303，还用于在使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据之后，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
所述量化计算单元305，还用于在所述双模式神经网络推理单元303逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据之后，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
所述量化计算单元305，还用于在基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果之后，将所述第二推理结果与所述第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差。
作为一种可选的实施方式，所述数据采集单元301，还用于采集目标应用场景对应的所述图像数据。其中，所述图像数据的采集可以是连续的，也可以是间断的，本发明对此不作限定。
作为一种可选的实施方式，所述量化计算单元305根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案，包括：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
作为一种可选的实施方式，所述***还包括中间层数据存储单元302及非挥发存储单元304，其中：
所述中间层数据存储单元302，用于保存所述中间层量化方案；
所述非挥发存储单元304，用于保存所述权重量化方案。
本发明的基于AI处理器的图像数据在线量化矫正***能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
实施例三
本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的基于AI处理器的图像数据在线量化矫正方法中的步骤。
本发明的计算机可读存储介质通过执行基于AI处理器的图像数据在线量化矫正方法，能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。
实施例四
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的基于AI处理器的图像数据在线量化矫正方法中的步骤。
本发明的计算机程序产品通过执行基于AI处理器的图像数据在线量化矫正方法，能够根据训练得到的未量化数据，而量化过程将采用在线实际采集到的数据量化进行和矫正，具有一定的自适应性。以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于AI处理器的图像数据在线量化矫正方法及***所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。
Claims (10)
1.一种基于AI处理器的图像数据在线量化矫正方法，其特征在于，所述方法包括：
步骤(221)，当检测到图像数据的量到阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
步骤(222)，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
步骤(223)，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
步骤(224)，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
步骤(225)，将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与所述第一预设结果之间的推理误差；
步骤(226)，基于所述第一推理结果与所述第一预设结果之间的推理误差，迭代步骤(221)-步骤(225)，当迭代次数达到预设第一迭代阈值时，生成中间层量化方案。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
步骤(211)，当检测到所述图像数据的量到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
步骤(212)，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
步骤(213)，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
步骤(214)，将所述第二推理结果与第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差；
步骤(215)，基于所述第二推理结果与所述第二预期结果之间的误差，迭代所述步骤(211)-步骤(214)，直至迭代次数达到预设第二迭代阈值时，生成权重量化方案。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
步骤(100)，采集目标应用场景对应的所述图像数据；
步骤(101)，检测到所述图像数据的量是否到所述阈值时，当所述图像数据的量到达所述阈值时，触发步骤(221)，和/或步骤(211)执行。
4.如权利要求1所述的方法，其特征在于，步骤(222)包括：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
5.如权利要求2所述的方法，其特征在于，步骤(226)之后，所述方法还包括：
步骤(227)，保存所述中间层量化方案；
以及，在步骤(215)之后，所述方法还包括：
步骤(216)，保存所述权重量化方案。
6.一种基于AI处理器的图像数据在线量化矫正***，其特征在于，所述***包括数据采集单元(301)、双模式神经网络推理单元(303)、量化计算单元(305)，其中，
所述数据采集单元(301)，用于检测到图像数据的量是否到阈值时；
所述双模式神经网络推理单元(303)，用于当所述数据采集单元(301)检测到所述图像数据的量达到所述阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；
所述量化计算单元(305)，用于当所述双模式神经网络推理单元(303)使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据时，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；
所述双模式神经网络推理单元(303)，还用于当量化计算单元(305)根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案之后，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；
所述量化计算单元(305)，还用于在双模式神经网络推理单元(303)根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据之后，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；
所述量化计算单元(305)，还用于将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与第一预设结果之间的推理误差。
7.如权利要求6所述的基于AI处理器的图像数据在线量化矫正***，其特征在于，
所述双模式神经网络推理单元(303)，还用于当所述数据采集单元(301)检测到所述图像数据的量达到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；
双模式神经网络推理单元(303)，还用于在使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据之后，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；
所述量化计算单元(305)，还用于在所述双模式神经网络推理单元(303)逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据之后，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；
所述量化计算单元(305)，还用于在基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果之后，将所述第二推理结果与第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差。
8.如权利要求6所述的基于AI处理器的图像数据在线量化矫正***，其特征在于，
所述数据采集单元(301)，还用于采集目标应用场景对应的所述图像数据。
9.如权利要求6所述的基于AI处理器的图像数据在线量化矫正***，其特征在于，
所述量化计算单元(305)根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案，包括：
根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。
10.如权利要求7所述的基于AI处理器的图像数据在线量化矫正***，其特征在于，
所述***还包括中间层数据存储单元(302)及非挥发存储单元(304)，其中：
所述中间层数据存储单元(302)，用于保存中间层量化方案；
所述非挥发存储单元(304)，用于保存权重量化方案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910605865.3A CN110322414B (zh) | 2019-07-05 | 2019-07-05 | 一种基于ai处理器的图像数据在线量化矫正方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910605865.3A CN110322414B (zh) | 2019-07-05 | 2019-07-05 | 一种基于ai处理器的图像数据在线量化矫正方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322414A CN110322414A (zh) | 2019-10-11 |
| CN110322414B true CN110322414B (zh) | 2021-08-10 |
Family
ID=68122893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910605865.3A Active CN110322414B (zh) | 2019-07-05 | 2019-07-05 | 一种基于ai处理器的图像数据在线量化矫正方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322414B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733863B (zh) * | 2021-01-07 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 一种图像特征提取方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102397070A (zh) * | 2011-01-26 | 2012-04-04 | 无锡宙示医学软件开发有限公司 | 一种全自动分割量化心脏磁共振图像左心室的方法 |
| CN102523453A (zh) * | 2011-12-29 | 2012-06-27 | 西安空间无线电技术研究所 | 一种图像超大压缩传输方法及传输*** |
| CN107943938A (zh) * | 2017-11-23 | 2018-04-20 | 清华大学 | 一种基于深度乘积量化的大规模图像相似检索方法及*** |
| CN109102064A (zh) * | 2018-06-26 | 2018-12-28 | 杭州雄迈集成电路技术有限公司 | 一种高精度的神经网络量化压缩方法 |
| CN109902745A (zh) * | 2019-03-01 | 2019-06-18 | 成都康乔电子有限责任公司 | 一种基于cnn的低精度训练与8位整型量化推理方法 |
| CN109947963A (zh) * | 2019-03-27 | 2019-06-28 | 山东大学 | 一种基于深度学习的多尺度哈希检索方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8897586B2 (en) * | 2012-06-15 | 2014-11-25 | Comcast Cable Communications, Llc | Dynamic generation of a quantization matrix for compression of a digital object |
| CN109753996B (zh) * | 2018-12-17 | 2022-05-10 | 西北工业大学 | 基于三维轻量化深度网络的高光谱图像分类方法 |
-
2019
- 2019-07-05 CN CN201910605865.3A patent/CN110322414B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102397070A (zh) * | 2011-01-26 | 2012-04-04 | 无锡宙示医学软件开发有限公司 | 一种全自动分割量化心脏磁共振图像左心室的方法 |
| CN102523453A (zh) * | 2011-12-29 | 2012-06-27 | 西安空间无线电技术研究所 | 一种图像超大压缩传输方法及传输*** |
| CN107943938A (zh) * | 2017-11-23 | 2018-04-20 | 清华大学 | 一种基于深度乘积量化的大规模图像相似检索方法及*** |
| CN109102064A (zh) * | 2018-06-26 | 2018-12-28 | 杭州雄迈集成电路技术有限公司 | 一种高精度的神经网络量化压缩方法 |
| CN109902745A (zh) * | 2019-03-01 | 2019-06-18 | 成都康乔电子有限责任公司 | 一种基于cnn的低精度训练与8位整型量化推理方法 |
| CN109947963A (zh) * | 2019-03-27 | 2019-06-28 | 山东大学 | 一种基于深度学习的多尺度哈希检索方法 |
Non-Patent Citations (4)
| Title |
|---|
| Iterative Quantization:A Procrustean Approach to Learning Binary Codes for Large-Scale Image Retrieval;Yunchao Gong;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20131231;第35卷(第12期);第2916-2929页 * |
| 各向同性的迭代量化哈希算法;李来 等;《电子学报》;20170731;第45卷(第7期);第1707-1714页 * |
| 图像融合的量化评价方法及实验分析;康圣 等;《光电子技术与信息》;20060331;第19卷(第2期);第59-63页 * |
| 基于交叉熵的矢量量化分类算法;犹杰 等;《舰船电子工程》;20071231;第27卷(第4期);第129-132页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322414A (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9224089B2 (en) | Method and apparatus for adaptive bit-allocation in neural systems | |
| JP7044873B2 (ja) | ディープニューラルネットワークを作成するための方法、装置及びコンピュータプログラム | |
| CN111198799A (zh) | 一种基于lstm的机房功耗预警方法、***、终端及存储介质 | |
| CN111914253A (zh) | 一种入侵检测的方法、***、设备及可读存储介质 | |
| CN110322414B (zh) | 一种基于ai处理器的图像数据在线量化矫正方法及*** | |
| CN115512391B (zh) | 数据自适应重采样的目标检测模型训练方法、装置及设备 | |
| CN111881737A (zh) | 年龄预测模型的训练方法及装置、年龄预测方法及装置 | |
| CN115470936B (zh) | 一种基于nwdaf的机器学习模型更新方法及装置 | |
| KR20210032140A (ko) | 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치 | |
| CN113221645A (zh) | 目标模型训练方法、人脸图像生成方法以及相关装置 | |
| CN113965313B (zh) | 基于同态加密的模型训练方法、装置、设备以及存储介质 | |
| CN109783769B (zh) | 一种基于用户项目评分的矩阵分解方法和装置 | |
| CN115856694B (zh) | 电池寿命预测方法、装置、计算机设备和存储介质 | |
| CN115480126A (zh) | 基于Fréchet算法的检测装置设置方法、***、计算机设备及介质 | |
| CN111353526A (zh) | 一种图像匹配方法、装置以及相关设备 | |
| CN111008119A (zh) | 一种硬盘预测模型的更新方法、装置、设备及介质 | |
| CN108073072B (zh) | Siso紧格式无模型控制器基于偏导信息的参数自整定方法 | |
| CN112557793B (zh) | 电源插件健康状态检测方法、装置和存储介质 | |
| CN113239171B (zh) | 对话管理***更新方法、装置、计算机设备及存储介质 | |
| CN116975742A (zh) | 局部放电模式识别方法、装置、设备和存储介质 | |
| CN114781276A (zh) | 油纸老化模型的训练方法、油纸老化的识别方法及装置 | |
| CN111047074A (zh) | 一种电力负荷波动范围预测方法及装置 | |
| CN113010500B (zh) | 用于dpi数据的处理方法和处理*** | |
| US20230109617A1 (en) | Pruning hardware unit for training neural network | |
| CN111507188B (zh) | 人脸识别模型训练方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for online quantization correction of image data based on AI processors Granted publication date: 20210810 Pledgee: Jiang Wei Pledgor: BEIJING INTENGINE TECHNOLOGY Co.,Ltd. Registration number: Y2024980019734 |