CN110062233A - 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及*** - Google Patents

卷积神经网络全连接层稀疏的权值矩阵的压缩方法及*** Download PDF

Info

Publication number
CN110062233A
CN110062233A CN201910339608.XA CN201910339608A CN110062233A CN 110062233 A CN110062233 A CN 110062233A CN 201910339608 A CN201910339608 A CN 201910339608A CN 110062233 A CN110062233 A CN 110062233A
Authority
CN
China
Prior art keywords
matrix
compression
sparse
weight matrix
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910339608.XA
Other languages
English (en)
Other versions
CN110062233B (zh
Inventor
梅魁志
张良
王晓
张增
赵英海
常蕃
张向楠
鄢健宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910339608.XA priority Critical patent/CN110062233B/zh
Publication of CN110062233A publication Critical patent/CN110062233A/zh
Application granted granted Critical
Publication of CN110062233B publication Critical patent/CN110062233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***，包括以下步骤：步骤1，获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；步骤2，将步骤1获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。本发明可提高全连接层稀疏的权值矩阵的压缩率，节省更多的存储空间。

Description

卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***
技术领域
本发明属于计算机人工智能领域、深度神经网络优化技术领域以及图片识别技术领域，特别涉及一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***。
背景技术
在人工智能领域，深度神经网络作为基石之一，其复杂性以及可移植性直接影响人工智能在生活中的应用。对深度网络的加速与压缩优化的研究，可使得人工智能更加方便的实现、更方便的服务于生活。
目前，对卷积神经网络非结构化剪枝后全连接层得到稀疏的权值矩阵，经常使用的是一种稀疏矩阵压缩方法CSR(Compressed sparse row)或CSC(Compressed sparsecolumn)。这些方法对稀疏的权值矩阵的压缩率并不是非常理想。
因此，希望提出一种新型的卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***，以提高全连接层稀疏的权值矩阵的压缩率。
发明内容
本发明的目的在于提供一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***，以解决上述存在的技术问题。本发明可提高全连接层稀疏的权值矩阵的压缩率，节省更多的存储空间。
为达到上述目的，本发明采用以下技术方案：
一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，包括以下步骤：
步骤1，获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
步骤2，将步骤1获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。
本发明的进一步改进在于，步骤2具体包括以下步骤：
步骤2.1，将步骤1获得的位置矩阵B进行8-邻域或24-邻域的有损压缩，获得有损压缩后的位置矩阵；在有损压缩过程中，将满足预设阈值的剔除点补回；
步骤2.2，将步骤2.1获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。
本发明的进一步改进在于，步骤1具体包括：对待优化卷积神经网络的全连接层进行非结构化剪枝、再训练后获得稀疏的权值矩阵A。
本发明的进一步改进在于，预设图像压缩标准包括：JBIG标准或JPEG2000标准。
本发明的进一步改进在于，步骤2.1中，8-邻域或24-邻域孤立点剔除具体包括：
将步骤1获得的位置矩阵B中每一个数值为1的点当做目标点，做8-邻域或24-邻域剔除孤立点实验；8-邻域剔除孤立点包括：以目标点为中心的3*3矩阵中，其他8个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点；24-邻域剔除孤立点包括：以目标点为中心的5*5矩阵中，其他24个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点。
本发明的进一步改进在于，在剔除孤立点的过程中，孤立点的稀疏的权值矩阵A对应位置处的值的绝对值大于等于预设阈值时，将其保留。
本发明的进一步改进在于，阈值的确定过程具体包括：
将孤立点的稀疏的权值矩阵A对应位置处的值的绝对值进行排序，最小值为min，最大值为max，差值a＝max-min，则阈值S＝min+a(1-nΔt)；
其中，Δt为每次调整的变量，n为调整的次数。
一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
无损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。
其中，预设图像压缩标准包括：JBIG标准或JPEG2000标准。
一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
有损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B进行8-邻域或24-邻域并设置阈值的有损压缩，获得有损压缩后的位置矩阵
无损压缩模块，用于将有损压缩模块获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。
与现有技术相比，本发明具有以下有益效果：
本发明针对常用的稀疏的权值矩阵压缩方法的缺陷提出了一种新颖的压缩方法。本发明的方法主要包括对稀疏的权值矩阵分解的位置矩阵(二值矩阵)进行满足JBIG/JPEG2000图像压缩标准的无损压缩，相比于现有的CSR或CSC方法，可得到更大的压缩率，节省更多的存储空间。
进一步地，还包括对位置矩阵B进行8-邻域或24-邻域并设置合适阈值的有损压缩，能够进一步压缩模型。
本发明的***可用于卷积神经网络模型的压缩，具有相对较高的压缩率。
附图说明
图1为本发明实施例的一种针对全连接层稀疏的权值矩阵的压缩优化方法的流程示意框图；
图2为本发明实施例的压缩优化方法中8-邻域示意图；
图3为本发明实施例的压缩优化方法中24-邻域示意图；
图4为本发明实施例的压缩优化方法中阈值设置原理示意图；
图5为本发明实施例的压缩优化方法中图像编码压缩示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例的一种针对全连接层稀疏的权值矩阵的压缩优化方法，具体包括以下步骤：
(1)位置矩阵通过JBIG/JPEG2000标准的MQ编码器进行无损压缩，包括：
(1.1)对卷积神经网络全连接层进行非结构化剪枝之后得到稀疏的权值矩阵A，进行位置矩阵变化，即将稀疏的权值矩阵A，分解成位置矩阵B以及非零值数组C。
(1.2)位置矩阵B尺寸大小与稀疏的权值矩阵A一样。数值方面，矩阵B在矩阵A中有非零值的对应位置数值为1，其他位置数值为0。
(1.3)将矩阵B当做二值矩阵进行满足预设图像压缩标准的无损压缩；可以是JBIG标准或JPEG2000标准的无损压缩。
(2)位置矩阵8-邻域或24-邻域剔除孤立点并且设置阈值进行有损压缩，包括：
对步骤(1.2)中的位置矩阵B，进行8-邻域或24-邻域孤立点剔除操作以及设置阈值操作，最后得到的位置矩阵也做JBIG或JPEG2000标准的无损压缩。
其中，进行8-邻域或24-邻域孤立点剔除操作具体包括：
将步骤(1.2)中的位置矩阵B中每一个值为1的点当做目标点做8-邻域或24-邻域剔除孤立点实验；具体而言8-邻域剔除孤立点就是以目标点为中心的3*3矩阵其他8个点若全为0，则目标点为孤立点，需剔除掉，8个点不全为0值则保留目标点；24-邻域剔除孤立点就是以目标点为中心的5*5矩阵其他24个点若全为0，目标点为孤立点，需剔除掉，24个点不全为0值则保留目标点.
步骤(2)中，设置阈值操作具体包括：
8-邻域或24邻域剔除孤立点是一个有损压缩操作，往往会带来卷积神经网络模型的性能下降(准确率或mAP下降)的不好影响。这时候需要对步骤(2)中剔除掉的孤立点进行一定程度的免剔除操作。这时候需要设置合适的阈值，需要保留已经剔除的点对应步骤(1)中权值矩阵A对应位置值的绝对值大于阈值的点，减小模型性能损失的影响。
阈值的设置需要结合剔除点的对应步骤(1)中权值矩阵A对应位置的值的绝对值大小分布来确定。首先将这些值绝对值、排序、设置阈值。如果在对剔除点对应权值矩阵A的值进行绝对值化后进行升序排列，最小值为min最大值为max，差值a＝max-min，则阈值S＝min+a(1-nΔt)其中Δt每次调整的变量，n为调整的次数，若模型的性能没有改善则一直调整直至1≈nΔt，模型性能无较大下降为止(例如准确率，若准确率不下降或者减小1％以内可以认为模型的性能无较大变化)。对于大于等于阈值的点，将保留下来。
将经过8-邻域或24-邻域剔除孤立点以及设置阈值调整后得到的新的位置矩阵，再进行JBIG/JPEG2000标准的无损压缩。
实施例
请参阅图1，图1所示为整个全连接层稀疏的权值矩阵压缩优化原理示意图。本发明实施例的一种针对全连接层稀疏的权值矩阵的压缩优化方法，具体步骤包括：无损压缩和有损压缩两部分。
(1)无损压缩步骤如下：经过非结构化剪枝再训练后，全连接层的权值矩阵为大型稀疏化矩阵A。将大型稀疏化矩阵A分解为位置矩阵B和非零值数组C；其中位置矩阵B尺寸大小与稀疏的权值矩阵A一样；数值方面，在矩阵B在矩阵A中有非零值的对应位置数值为1，其他位置数值为0。
本实施例中，具体实验选取的卷积神经网络模型为CaffeNet，实验平台为Ubuntu(一种Linux***)下深度学习框架Caffe。预测物体为Bus(大巴车)、Dinosaur(恐龙)、Horse(马)、Flower(花)、Elephant(大象)五类。经过全连接层稀疏率为0.1的非结构化剪枝、再训练后得到三层全连接层的稀疏化权值矩阵A。如图5对稀疏化矩阵A分别分解得到位置矩阵B和非零值数组C。
对三层位置矩阵B通过JBIG的MQ编码器对位置矩阵从左上角开始，从左到右、从上到下进行扫描，无损压缩的结果如表1所示，并与使用CSC稀疏化存储无损压缩稀疏矩阵A后位置信息的存储量进行比较验证。
表1.位置矩阵无损压缩前后的大小变化
单位/字节 第六层 第七层 第八层 总计
位置矩阵 4,718,592 2,097,152 2,560 6,818,304
压缩 2,379,966 1,058,819 1,478 3,440,263
稀疏的权值矩阵A经过现有的CSC压缩之后得到存储非零值的数组val、位置信息存储是列索引row_ind和每列开始的val索引的列表col_ptr。这里将位置矩阵大小与row_ind和col_ptr大小进行比较。
col_ptr的参数量：
第六层个数：4096+1＝4097；最大值3774874，使用22bit表示；
第七层个数：4096+1＝4097；最大值1677722，使用21bit表示；
第八层个数：5+1＝6；最大值2048，使用12bit表示。
row_ind的参数量：
第六层个数：3774874；最大值9215，使用14bit表示；
第七层个数：1677722；最大值4095，使用12bit表示；
第八层个数：2048；最大值4095，使用12bit表示。
综上，使用CSC稀疏化存储，存储稀疏矩阵位置信息的存储量为：
4097*22bit+4097*21bit+6*12bit+3774874*14bit+1677722*12bit+2048*12bit＝9147714.875Byte≈8.72MB
可以得到现有的CSC方法存储位置信息需要9147714Byte，而经过对位置矩阵压缩后仅需要3440263Byte就能表示稀疏矩阵非零值的位置信息，并且都是无损压缩，故模型性能一样；本发明对位置矩阵进行JBIG标准无损压缩模型的存储空间更小。
(2)有损压缩步骤如下：步骤(1)中使用JBIG标准直接对位置矩阵进行压缩，并得到了很好的效果。这里介绍一种有损压缩方法，使得模型存储量更加减小。对(1)中的位置矩阵B，进行8-邻域或24-邻域剔除孤立点操作，如图2和图3所示，位置矩阵B由0和1组成，每一个1值为目标点，若它的8-邻域或24-邻域中没有1值，则称该目标点为孤立点，需要剔除掉，反之保留该目标点。
经过8-邻域或24-邻域剔除点操作后模型的性能可能下降很多，需要设置阈值保留部分对应(1)中稀疏矩阵A非零值绝对值较大的孤立点。
阈值的设置如图4所示，首先统计剔除位置矩阵孤立点对应矩阵A数值的数组D，然后对数组D的数值进行绝对值化、升序排列，得到最大值max，最小值min，计算差值a＝max-min，则阈值为S＝min+a(1-nΔt)，Δt为每次调整量，n为调整次数。
本实施例实验得到的阈值为0.02，选择24-邻域剔除孤立点操作，得到的新位置矩阵目标点数量变化如表2所示：
表1.位置矩阵目标点数量变化
目标点个数 初始 24-邻域 24-邻域+阈值
第六层 3774874 3472537 3472658
第七层 1677722 1543132 1543196
第八层 2048 1692 1941
在模型性能不变化的前提下，可以从表2中得到，经过24-邻域和阈值设置操作后，模型的存储量有所变小。
最后对经过24-邻域、阈值设置后得到新位置矩阵进行JBIG无损压缩，结果如表3所示：
表3.位置矩阵有损压缩结果
单位/字节 第六层 第七层 第八层 总计
位置矩阵 4,718,592 2,097,152 2,560 6,818,304
剔除+阈值+压缩 2,232,742 993,097 1,429 3,227,268
综上，步骤(2)较步骤(1)多进行了8-邻域或24-邻域孤立点剔除以及阈值设置操作，可进一步对位置矩阵进行压缩，节省了3440263Byte-3227268Byte＝212995Byte。本发明中的有损压缩能进一步压缩模型，但是操作更繁琐，模型性能会略微下降。具体使用哪种方法，需要根据实际情况确定。
本发明实施例的一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，用于实现上述方法，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
无损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。
其中，预设图像压缩标准包括：JBIG标准或JPEG2000标准。
本发明实施例的另一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
有损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B进行8-邻域或24-邻域并设置阈值的有损压缩，获得有损压缩后的位置矩阵
无损压缩模块，用于将有损压缩模块获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，包括以下步骤：
步骤1，获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；
其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
步骤2，将步骤1获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。
2.根据权利要求1所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，步骤2具体包括以下步骤：
步骤2.1，将步骤1获得的位置矩阵B进行8-邻域或24-邻域的有损压缩，获得有损压缩后的位置矩阵；在有损压缩过程中，将满足预设阈值的剔除点补回；
步骤2.2，将步骤2.1获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。
3.根据权利要求1或2所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，步骤1具体包括：对待优化卷积神经网络的全连接层进行非结构化剪枝、再训练后获得稀疏的权值矩阵A。
4.根据权利要求1或2所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，预设图像压缩标准包括：JBIG标准或JPEG2000标准。
5.根据权利要求2所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，步骤2.1中，8-邻域或24-邻域孤立点剔除具体包括：
将步骤1获得的位置矩阵B中每一个数值为1的点当做目标点，做8-邻域或24-邻域剔除孤立点实验；
8-邻域剔除孤立点包括：以目标点为中心的3*3矩阵中，其他8个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点；
24-邻域剔除孤立点包括：以目标点为中心的5*5矩阵中，其他24个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点。
6.根据权利要求5所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，在剔除孤立点的过程中，孤立点的稀疏的权值矩阵A对应位置处的值的绝对值大于等于预设阈值时，将其保留。
7.根据权利要求5所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，其特征在于，阈值的确定过程具体包括：
将孤立点的稀疏的权值矩阵A对应位置处的值的绝对值进行排序，最小值为min，最大值为max，差值a＝max-min，则阈值S＝min+a(1-nΔt)；
其中，Δt为每次调整的变量，n为调整的次数。
8.一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，其特征在于，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；位置矩阵B中，在稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
无损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。
9.根据权利要求8所述的一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，其特征在于，预设图像压缩标准包括：JBIG标准或JPEG2000标准。
10.一种卷积神经网络全连接层稀疏的权值矩阵的压缩***，其特征在于，包括：
位置矩阵获取模块，用于获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；位置矩阵B中，在稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；
有损压缩模块，用于将位置矩阵获取模块获得的位置矩阵B进行8-邻域或24-邻域并设置阈值的有损压缩，获得有损压缩后的位置矩阵
无损压缩模块，用于将有损压缩模块获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。
CN201910339608.XA 2019-04-25 2019-04-25 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及*** Active CN110062233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910339608.XA CN110062233B (zh) 2019-04-25 2019-04-25 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910339608.XA CN110062233B (zh) 2019-04-25 2019-04-25 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***

Publications (2)

Publication Number Publication Date
CN110062233A true CN110062233A (zh) 2019-07-26
CN110062233B CN110062233B (zh) 2020-04-28

Family

ID=67320819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910339608.XA Active CN110062233B (zh) 2019-04-25 2019-04-25 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***

Country Status (1)

Country Link
CN (1) CN110062233B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、***、介质及设备
CN111291860A (zh) * 2020-01-13 2020-06-16 哈尔滨工程大学 一种基于卷积神经网络特征压缩的异常检测方法
CN111415004A (zh) * 2020-03-17 2020-07-14 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN115173865A (zh) * 2022-03-04 2022-10-11 上海玫克生储能科技有限公司 用于储能电站的电池数据压缩处理方法及电子设备
JP7475581B2 (ja) 2022-02-10 2024-04-30 ノタ、インコーポレイテッド ニューラルネットワークモデルの圧縮方法及び同方法を実施する電子機器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141976A (zh) * 2011-01-10 2011-08-03 中国科学院软件研究所 稀疏矩阵的对角线数据存储方法及基于该方法的SpMV实现方法
CN102891999A (zh) * 2012-09-26 2013-01-23 南昌大学 一种基于压缩感知的联合图像压缩/加密方法
CN103336758A (zh) * 2013-06-29 2013-10-02 中国科学院软件研究所 一种稀疏矩阵的存储方法CSRL及基于该方法的SpMV实现方法
US20140108481A1 (en) * 2012-10-14 2014-04-17 Microsoft Corporation Universal fpga/asic matrix-vector multiplication architecture
CN107229967A (zh) * 2016-08-22 2017-10-03 北京深鉴智能科技有限公司 一种基于fpga实现稀疏化gru神经网络的硬件加速器及方法
US20180157969A1 (en) * 2016-12-05 2018-06-07 Beijing Deephi Technology Co., Ltd. Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141976A (zh) * 2011-01-10 2011-08-03 中国科学院软件研究所 稀疏矩阵的对角线数据存储方法及基于该方法的SpMV实现方法
CN102891999A (zh) * 2012-09-26 2013-01-23 南昌大学 一种基于压缩感知的联合图像压缩/加密方法
US20140108481A1 (en) * 2012-10-14 2014-04-17 Microsoft Corporation Universal fpga/asic matrix-vector multiplication architecture
CN103336758A (zh) * 2013-06-29 2013-10-02 中国科学院软件研究所 一种稀疏矩阵的存储方法CSRL及基于该方法的SpMV实现方法
CN107229967A (zh) * 2016-08-22 2017-10-03 北京深鉴智能科技有限公司 一种基于fpga实现稀疏化gru神经网络的硬件加速器及方法
US20180157969A1 (en) * 2016-12-05 2018-06-07 Beijing Deephi Technology Co., Ltd. Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONGDONG LI，ET AL.: "Compressive tracking with incremental multivariate Gaussian distribution", 《JOURNAL OF ELECTRONIC IMAGING》 *
LI GUO,ET AL.: "Sparseness Ratio Allocation and Neuron Re-pruning for Neural Networks Compression", 《2018 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 *
鲁云涛: "基于FPGA的稀疏神经网络加速器", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909801A (zh) * 2019-11-26 2020-03-24 山东师范大学 基于卷积神经网络的数据分类方法、***、介质及设备
CN110909801B (zh) * 2019-11-26 2020-10-09 山东师范大学 基于卷积神经网络的数据分类方法、***、介质及设备
CN111291860A (zh) * 2020-01-13 2020-06-16 哈尔滨工程大学 一种基于卷积神经网络特征压缩的异常检测方法
CN111415004A (zh) * 2020-03-17 2020-07-14 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111415004B (zh) * 2020-03-17 2023-11-03 阿波罗智联(北京)科技有限公司 用于输出信息的方法和装置
JP7475581B2 (ja) 2022-02-10 2024-04-30 ノタ、インコーポレイテッド ニューラルネットワークモデルの圧縮方法及び同方法を実施する電子機器
CN115173865A (zh) * 2022-03-04 2022-10-11 上海玫克生储能科技有限公司 用于储能电站的电池数据压缩处理方法及电子设备

Also Published As

Publication number Publication date
CN110062233B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110062233A (zh) 卷积神经网络全连接层稀疏的权值矩阵的压缩方法及***
EP0934662A1 (en) Vector quantisation codebook generation method
CN108304928A (zh) 基于改进聚类的深度神经网络的压缩方法
CN108648188A (zh) 一种基于生成对抗网络的无参考图像质量评价方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
KR20120095869A (ko) 메시 모델을 인코딩하는 방법 및 장치, 인코딩된 메시 모델, 그리고 메시 모델을 디코딩하는 방법 및 장치
CN110162290B (zh) 一种针对OLED屏DeMURA数据的压缩方法
CN108133266B (zh) 一种基于非均匀量化的神经网络权值压缩方法及使用方法
RU2020114319A (ru) Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
CN107240136A (zh) 一种基于深度学习模型的静态图像压缩方法
CN112465140A (zh) 一种基于分组通道融合的卷积神经网络模型压缩方法
CN116402117B (zh) 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法
CN111597932A (zh) 基于卷积神经网络的道路裂缝图像识别方法、装置及***
CN106228554A (zh) 基于多属性约简的模糊粗糙集煤粉尘图像分割方法
CN104616104A (zh) 船用柴油机零件快速编码管理***及管理方法
CN112488304A (zh) 一种卷积神经网络中的启发式滤波器剪枝方法和***
CN116050540A (zh) 一种基于联合双维度用户调度的自适应联邦边缘学习方法
CN117036291A (zh) 混凝土裂缝轻量化检测模型及检测方法
CN105389825A (zh) 图像处理方法及***
WO2020168526A1 (zh) 图像编码方法、设备及计算机可读存储介质
Minu et al. An efficient squirrel search algorithm based vector quantization for image compression in unmanned aerial vehicles
CN108693441A (zh) 一种输电线路绝缘子识别方法及***
CN115631192A (zh) 一种阀门试压机的控制方法、装置、设备及介质
CN113052189B (zh) 一种基于改进的MobileNetV3特征提取网络
CN105957132B (zh) 包含高度复杂绘制元素的三维场景高性能绘制优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant