CN107944556B - 基于块项张量分解的深度神经网络压缩方法 - Google Patents

基于块项张量分解的深度神经网络压缩方法 Download PDF

Info

Publication number
CN107944556B
CN107944556B CN201711319853.1A CN201711319853A CN107944556B CN 107944556 B CN107944556 B CN 107944556B CN 201711319853 A CN201711319853 A CN 201711319853A CN 107944556 B CN107944556 B CN 107944556B
Authority
CN
China
Prior art keywords
tensor
deep neural
neural network
block item
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711319853.1A
Other languages
English (en)
Other versions
CN107944556A (zh
Inventor
徐增林
李广西
叶锦棉
陈迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711319853.1A priority Critical patent/CN107944556B/zh
Publication of CN107944556A publication Critical patent/CN107944556A/zh
Application granted granted Critical
Publication of CN107944556B publication Critical patent/CN107944556B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架，将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X，对高阶张量W进行块项张量分解处理，将深度神经网络的全连接层替换为块项张量层，采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。

Description

基于块项张量分解的深度神经网络压缩方法
技术领域
本发明属于深度神经网络技术领域，尤其涉及一种基于块项张量分解的深度神经网络压缩方法。
背景技术
近年来，以深度神经网络为代表的深度学习在图像分类、语音识别、自然语言处理等人工智能领域取得了比传统方法显著提高的效果，进而吸引了学术界、工业界和政府的广泛关注。然而深度神经网络结构复杂、层数较多、参数量巨大，训练好的模型往往占用很大的存储空间，难以移植到小型终端上；并且时间复杂性也很高，即使在高性能图形处理器上训练也常常需要数天，这些都迫使我们需要压缩深度神经网络。
由于深度神经网络的权重实质上就是一些高维矩阵，因此很自然的一种压缩方法就是矩阵分解，但矩阵分解的压缩能力太低，最多只能压缩数十倍。所以最近兴起了利用张量分解压缩的办法，比如“张量火车”分解方法能够把VGG网络中单层全连接层压缩成千上万倍。然而由于张量火车分解方法本身具有“不对称”和“线性表达能力”的特性，导致了压缩后的深度神经网络难以获得更高分类精度。
发明内容
本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种基于块项张量分解的深度神经网络压缩方法，以期能够在保持精度的同时获得更高的参数量压缩比。
本发明的技术方案是：一种基于块项张量分解的深度神经网络压缩方法，包括以下步骤：
A、获取深度神经网络框架；
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X；
C、对步骤B中的高阶张量W进行块项张量分解处理；
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层；
E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。
进一步地，所述步骤B中将深度神经网络的全连接层中的权重矩阵W转化为高阶张量W具体为：将权重矩阵W的行维度和列维度进行均匀分割，表示为层次分块矩阵形式，再将分割后的权重矩阵W转化为高阶张量W。
进一步地，所述步骤B中将深度神经网络的全连接层中的输入向量x转化为高阶张量X具体为：将输入向量x的维度表示为张量形式，再转化为高阶张量X。
进一步地，所述步骤C对步骤B中的高阶张量W进行块项张量分解处理具体为：对高阶张量W的维度进行重新排列，使得行维度和列维度对应的输入和输出以成对形式耦合排列，再将高阶张量W分解为若干个塔克分解的和。
进一步地，所述高阶张量W进行块项张量分解后的维度与高阶张量X的维度相等。
进一步地，所述步骤D根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层具体为：将高阶张量X和块项张量分解后的高阶张量W相乘，替换深度神经网络的全连接层为块项张量层。
进一步地，所述块项张量层将节点作为权重，边作为数据及其维度大小。
本发明的有益效果是：本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度，训练好的用于图像分类的深度神经网络占用内存小，可移植于小型终端，且在高性能图形处理器上的训练时间相比现有技术大大减少。
附图说明
图1为本发明的基于块项张量分解的深度神经网络压缩方法的流程示意图。
图2为本发明实施例中权重矩阵转化示意图。
图3为本发明实施例中高阶张量进行块项张量分解处理示意图。
图4为本发明实施例中块项张量层示意图。
图5为本发明实施例中在Cifar10数据集上测试精度与块项张量分解的两个秩的关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的基于块项张量分解的深度神经网络压缩方法的流程示意图。一种基于块项张量分解的深度神经网络压缩方法，包括以下步骤：
A、获取深度神经网络框架；
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X；
C、对步骤B中的高阶张量W进行块项张量分解处理；
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层；
E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。
在步骤A中，本发明获取一个深度神经网络框架，这里的深度神经网络可以选取分别适用于mnist、Cifar10、ImageNet三个数据集的Le网络、Cifar网络，Alex网络。这些深度神经网络都具有类似的结构：前面是一些卷积层，中间跟着一些全连接层，最后是输出层。而参数一般都集中在全连接层，其数量占比为80％以上，所以本发明的重点就是压缩全连接层。
在步骤B中，本发明将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X。由于全连接层最主要的运算其实就是权重矩阵W和输入向量x的乘积运算，因此本发明首先将权重矩阵W的行维度和列维度进行尽量均匀的分割，将权重矩阵W的维度表示为层次分块矩阵形式，再将分割后的权重矩阵W转化为高阶张量W；再将输入向量x的维度直接重塑表示为张量形式，再转化为高阶张量X。
如图2所示，为本发明实施例中权重矩阵转化示意图。通过将原始的高维矩阵分割成“层次分块矩阵”的形式，再重塑成一个高阶张量，这里矩阵的行维度I＝I1I2I3，列维度J＝J1J2J3。对于Le网络：第一层全连接层的权重矩阵的维度为，输入向量维度为800。本发明把输入维度转化为5×5×8×4，输出维度转化为5×5×5×4，所以转化后的高阶张量维度为(5×5)×(5×5)×(8×5)×(4×4)，下面的操作类似，本发明只描述维度的数值变化来简述。对于Cifar网络：输入2304转化为6×6×8×8，输出384转化为6×4×4×4；对于Alex网络：输入6400转化为10×10×8×8，输出4096转化为8×8×8×8。
在步骤C中，本发明对步骤B中的高阶张量W进行块项张量分解处理，具体为：对高阶张量W的维度进行重新排列，使得行维度和列维度对应的输入和输出以成对形式耦合排列，再对高阶张量W进行块项张量分解，即将高阶张量W分解为若干个塔克分解的和。特别的，高阶张量W进行块项张量分解后的维度需要与高阶张量X的维度匹配，即高阶张量X的一系列维度In要和高阶张量W分解出来的一系列维度In相等，n＝1,2,3…N。
如图3所示，为本发明实施例中高阶张量进行块项张量分解处理示意图。通过高阶张量的维度进行重新排列，使得(I1,J1),(I2,J2)…(IN,JN)以成对形式耦合排列，再进行块项张量分解，即将一个4阶张量W(左边)分解为若干个塔克分解的和(右边)，每一个塔克分解类似于矩阵的奇异值分解，其中，A(N)表示因子矩阵，
Figure GDA0002541491930000031
表示核张量，RT表示塔克分解的秩，RC表示塔克分解的块的个数，
Figure GDA0002541491930000032
表示单位张量。这里主要涉及块项张量分解的两个秩的选取：对于Le网络：RC＝1，RT＝2,3；对于Cifar网络：RC＝1,2,4,6，RT＝2,3,4；对于Alex网络：RC＝1,4，RT＝2,3。
在步骤D中，本发明根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层，具体为：将高阶张量X和块项张量分解后的高阶张量W相乘，替换深度神经网络的全连接层为块项张量层。如图4所示，为本发明实施例中块项张量层示意图。
在步骤E中，本发明采用后向传播算法对步骤D中替换后的深度神经网络进行训练，特别地，本发明直接对分解后的一系列因子矩阵和核张量进行求导训练。
本发明较现有算法在分类精度和参数量压缩比方面有较大提升，具体表现如下：在mnist数据集上本发明(块项张量)和原始网络、张量火车方法的分类精度对比结果如表1所示，其中方法后面的括号表示该方法秩的取值。例如块项张量(1,3)表示RC＝1，RT＝3。由于张量火车方法只有一个秩，所以括号内只有一个数值。从结果可以看到本发明的方法比张量火车方法的参数量参数量压缩比有显著提升，并且本发明还能和它保持同样的分类精度，甚至精度还高于原始网络。
在Cifar10数据集和ImageNet数据集上，本发明得到的结果类似，具体见表2和3。
表1在mnist数据集上的分类精度的比较结果
网络框架 参数量 压缩比 分类精度(％)
原始网络 800×500 1 99.17
张量火车(2) 342 1169 99.14
块项张量(1,2) 228 1754 99.14
块项张量(1,3) 399 1002 99.18
表2在Cifar10数据集上的分类精度的比较结果
网络框架 参数量 压缩比 分类精度(％)
原始网络 2304×384 1 85.99
张量火车(2) 360 2457 84.90
张量火车(8) 4128 214 85.70
块项张量(1,2) 264 3351 84.95
块项张量(4,3) 1812 488 85.83
表3在ImageNet数据集上的分类精度的比较结果
网络框架 压缩比 前1分类精度(％) 前5分类精度(％)
原始网络 1 56.17 79.62
张量火车(2) 30340 52.14 76.40
张量火车(8) 2528 55.11 78.61
块项张量(1,2) 44281 53.20 77.38
块项张量(4,2) 11070 56.48 79.69
如图5所示，为本发明实施例中在Cifar10数据集上测试精度与块项张量分解的两个秩的关系示意图。对于秩的灵敏性分析，本发明在Cifar10数据集上采用网格形式把块项张量分解的两个秩进行了遍历取值，总体趋势为秩的取值越大，分类精度越好，但如果秩取值太大的话，会导致参数量也急剧增加，因此一般要综合两者，取个合适的值即可。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于块项张量分解的深度神经网络压缩方法，其特征在于，包括以下步骤：
A、获取用于图像分类的深度神经网络框架；
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X；
C、对步骤B中的高阶张量W进行块项张量分解处理；具体为：对高阶张量W的维度进行重新排列，使得行维度和列维度对应的输入和输出以成对形式耦合排列，再将高阶张量W分解为若干个塔克分解的和；
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层；具体为：将高阶张量X和块项张量分解后的高阶张量W相乘，替换深度神经网络的全连接层为块项张量层；
E、采用后向传播算法对小型终端中替换后的深度神经网络在数据集上进行训练。
2.如权利要求1所述的基于块项张量分解的深度神经网络压缩方法，其特征在于，所述步骤B中将深度神经网络的全连接层中的权重矩阵W转化为高阶张量W具体为：将权重矩阵W的行维度和列维度进行均匀分割，表示为层次分块矩阵形式，再将分割后的权重矩阵W转化为高阶张量W。
3.如权利要求1或2所述的基于块项张量分解的深度神经网络压缩方法，其特征在于，所述步骤B中将深度神经网络的全连接层中的输入向量x转化为高阶张量X具体为：将输入向量x的维度表示为张量形式，再转化为高阶张量X。
4.如权利要求3所述的基于块项张量分解的深度神经网络压缩方法，其特征在于，所述高阶张量W进行块项张量分解后的维度与高阶张量X的维度相等。
5.如权利要求4所述的基于块项张量分解的深度神经网络压缩方法，其特征在于，所述块项张量层将节点作为权重，边作为数据及其维度大小。
CN201711319853.1A 2017-12-12 2017-12-12 基于块项张量分解的深度神经网络压缩方法 Expired - Fee Related CN107944556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711319853.1A CN107944556B (zh) 2017-12-12 2017-12-12 基于块项张量分解的深度神经网络压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711319853.1A CN107944556B (zh) 2017-12-12 2017-12-12 基于块项张量分解的深度神经网络压缩方法

Publications (2)

Publication Number Publication Date
CN107944556A CN107944556A (zh) 2018-04-20
CN107944556B true CN107944556B (zh) 2020-09-08

Family

ID=61942863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711319853.1A Expired - Fee Related CN107944556B (zh) 2017-12-12 2017-12-12 基于块项张量分解的深度神经网络压缩方法

Country Status (1)

Country Link
CN (1) CN107944556B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647973A (zh) * 2018-06-27 2020-01-03 北京中科寒武纪科技有限公司 运算方法及相关方法和产品
CN109302614B (zh) * 2018-10-08 2022-01-18 南京信息工程大学 一种基于三阶张量自编码网络的视频压缩方法
US20200117981A1 (en) * 2018-10-11 2020-04-16 International Business Machines Corporation Data representation for dynamic precision in neural network cores
CN109857744B (zh) * 2019-02-13 2020-03-20 上海燧原智能科技有限公司 稀疏张量计算方法、装置、设备及存储介质
CN109978142B (zh) * 2019-03-29 2022-11-29 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN110033085B (zh) * 2019-04-15 2021-08-31 广州异构智能科技有限公司 张量处理器
CN110059805B (zh) * 2019-04-15 2021-08-31 广州异构智能科技有限公司 用于二值阵列张量处理器的方法
CN110046705B (zh) * 2019-04-15 2022-03-22 广州异构智能科技有限公司 用于卷积神经网络的装置
CN110070583A (zh) * 2019-04-17 2019-07-30 清华大学 基于张量分解和深度学习的信号压缩与恢复方法及***
CN110263913A (zh) * 2019-05-23 2019-09-20 深圳先进技术研究院 一种深度神经网络压缩方法及相关设备
US12008467B2 (en) 2019-07-01 2024-06-11 Baidu Usa Llc Asymmetric quantization for compression and for acceleration of inference for neural networks
CN113179660A (zh) * 2019-11-26 2021-07-27 百度时代网络技术（北京）有限公司 基于用于深度神经网络的增强学习的张量分解中的排序选择
CN111047453A (zh) * 2019-12-04 2020-04-21 兰州交通大学 基于高阶张量分解大规模社交网络社区的检测方法及装置
CN111276183B (zh) * 2020-02-25 2023-03-21 云南大学 一种基于参数估计的张量分解处理海量基因序列的方法
CN111767377B (zh) * 2020-06-22 2024-05-28 湖北马斯特谱科技有限公司 一种面向低资源环境的高效口语理解识别方法
CN112116062B (zh) * 2020-08-06 2024-04-05 西安交通大学 一种基于张量串分解的多层感知机非线性压缩方法
CN112541159A (zh) * 2020-09-30 2021-03-23 华为技术有限公司 一种模型训练方法及相关设备
CN112669861B (zh) * 2020-12-09 2023-04-07 北京百度网讯科技有限公司 音频数据处理方法、装置、设备和存储介质
CN112668717B (zh) * 2021-01-04 2023-06-02 哈尔滨工业大学 一种面向神经网络模型优化的数据处理方法和装置
CN116187401B (zh) * 2023-04-26 2023-07-14 首都师范大学 神经网络的压缩方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820419A (zh) * 2015-03-02 2015-08-05 北京交通大学 一种基于高阶奇异值分解的性能基准估计的方法和***
JP2015175859A (ja) * 2014-03-12 2015-10-05 学校法人早稲田大学 パターン認識装置、パターン認識方法及びパターン認識プログラム
CN105825529A (zh) * 2016-03-18 2016-08-03 武汉大学 一种基于非局部和低秩分解的高光谱图像压缩方法
JP2016173784A (ja) * 2015-03-18 2016-09-29 日本電信電話株式会社 テンソル因子分解処理装置、テンソル因子分解処理方法及びテンソル因子分解処理プログラム
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106778682A (zh) * 2017-01-11 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型的训练方法及其设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015175859A (ja) * 2014-03-12 2015-10-05 学校法人早稲田大学 パターン認識装置、パターン認識方法及びパターン認識プログラム
CN104820419A (zh) * 2015-03-02 2015-08-05 北京交通大学 一种基于高阶奇异值分解的性能基准估计的方法和***
JP2016173784A (ja) * 2015-03-18 2016-09-29 日本電信電話株式会社 テンソル因子分解処理装置、テンソル因子分解処理方法及びテンソル因子分解処理プログラム
CN105825529A (zh) * 2016-03-18 2016-08-03 武汉大学 一种基于非局部和低秩分解的高光谱图像压缩方法
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106778682A (zh) * 2017-01-11 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型的训练方法及其设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Decompositions of a higher-order tensor in block terms—Part II: Definitions and uniqueness;L. De Lathauwer etal.;《SIAM Journal on Matrix Analysis and Applications》;20081231;第30卷(第3期);第1033-1066页 *
线性混合盲信源分离的算法研究;张延良;《中国博士学位论文全文数据库 信息科技辑》;20111215;第11-36页 *

Also Published As

Publication number Publication date
CN107944556A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944556B (zh) 基于块项张量分解的深度神经网络压缩方法
Chen et al. Shallowing deep networks: Layer-wise pruning based on feature representations
CN111091045B (zh) 一种基于时空注意力机制的手语识别方法
He et al. Asymptotic soft filter pruning for deep convolutional neural networks
CN106547735B (zh) 基于深度学习的上下文感知的动态词或字向量的构建及使用方法
JP5235666B2 (ja) 選択されたセグメントのビット平面表現を用いた連想マトリックス法、システムおよびコンピュータプログラム製品
CN110597979B (zh) 一种基于自注意力的生成式文本摘要方法
CN110428045A (zh) 基于Tucker算法的深度卷积神经网络压缩方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及***
CN110909874A (zh) 一种神经网络模型的卷积运算优化方法和装置
CN112307714A (zh) 一种基于双阶段深度网络的文字风格迁移方法
CN111008517A (zh) 一种基于张量分解技术的神经语言模型的压缩方法
CN109344966A (zh) 一种高效张量化全连接神经网络的方法
Ding et al. Slimyolov4: lightweight object detector based on yolov4
Liu et al. EACP: An effective automatic channel pruning for neural networks
Qi et al. Learning low resource consumption cnn through pruning and quantization
CN117788629B (zh) 一种具有风格个性化的图像生成方法、装置及存储介质
CN115510739A (zh) 基于eemd-cnn-lstm的短期风电功率预测方法
Wang et al. RFPruning: A retraining-free pruning method for accelerating convolutional neural networks
Huai et al. Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization
Zhang et al. Deep compression of probabilistic graphical networks
Sun et al. A stable approach for model order selection in nonnegative matrix factorization
CN116992049A (zh) 一种基于双曲空间的加入实体描述的知识图谱嵌入方法
CN116860221A (zh) 一种低代码数据模型智能推荐方法及***
Chen et al. Compressing fully connected layers using Kronecker tensor decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908

Termination date: 20211212