CN117788843B - 一种基于神经网络算法的碳纳米管图像处理方法 - Google Patents

一种基于神经网络算法的碳纳米管图像处理方法 Download PDF

Info

Publication number
CN117788843B
CN117788843B CN202410212864.3A CN202410212864A CN117788843B CN 117788843 B CN117788843 B CN 117788843B CN 202410212864 A CN202410212864 A CN 202410212864A CN 117788843 B CN117788843 B CN 117788843B
Authority
CN
China
Prior art keywords
pixel
carbon nanotube
image
layer
nanotube image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410212864.3A
Other languages
English (en)
Other versions
CN117788843A (zh
Inventor
赵屹坤
邓炜
孙宝强
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chaorui Nano New Material Technology Co ltd
Original Assignee
Qingdao Chaorui Nano New Material Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Chaorui Nano New Material Technology Co ltd filed Critical Qingdao Chaorui Nano New Material Technology Co ltd
Priority to CN202410212864.3A priority Critical patent/CN117788843B/zh
Publication of CN117788843A publication Critical patent/CN117788843A/zh
Application granted granted Critical
Publication of CN117788843B publication Critical patent/CN117788843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Carbon And Carbon Compounds (AREA)

Abstract

本发明公开了一种基于神经网络算法的碳纳米管图像处理方法，属于图像处理技术领域，包括以下步骤：S1、采集碳纳米管图像，并为碳纳米管图像构建像素标准矩阵；S2、确定碳纳米管图像的像素标签值；S3、构建像素训练模型；S4、对像素训练模型进行优化，得到像素优化模型；S5、利用像素优化模型对碳纳米管图像进行处理。该基于神经网络算法的碳纳米管图像处理方法为碳纳米管图像中各个像素点确定中心性指标，生成像素标准矩阵，提高矩阵的丰富度；通过神经网络构建像素训练模型，对像素训练模型各个单元的输出进行限定，并利用碳纳米管图像的像素标签值对模型进行优化处理，使得生成的模型更好融合图像的像素特征，图像处理更准确。

Description

一种基于神经网络算法的碳纳米管图像处理方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于神经网络算法的碳纳米管图像处理方法。
背景技术
碳纳米管是一种具有特殊结构的一维量子材料，通常采用扫描电子显微镜采集，碳纳米管以纳米器件形式广泛应用于微电子、生物、制造业以及新能源等领域。而碳纳米管的分散状态会影响其与其余材料结合的性能，近年来，利用形貌法对碳纳米管的分散状态进行表征，然后将获取的碳纳米管图像进行数值化处理的表征手段越来越受到研究者重视。但对采集的碳纳米管图像如何进行预处理，改善图像情况成为技术难点。
发明内容
本发明为了解决以上问题，提出了一种基于神经网络算法的碳纳米管图像处理方法。
本发明的技术方案是：一种基于神经网络算法的碳纳米管图像处理方法包括以下步骤：
S1、采集碳纳米管图像，并为碳纳米管图像构建像素标准矩阵；
S2、根据碳纳米管图像的像素标准矩阵，确定碳纳米管图像的像素标签值；
S3、构建像素训练模型；
S4、利用碳纳米管图像的像素标签值对像素训练模型进行优化，得到像素优化模型；
S5、利用像素优化模型对碳纳米管图像进行处理。
进一步地，S1包括以下子步骤：
S11、根据碳纳米管图像中各个像素点的像素值，为各个像素点构建邻接矩阵；
S12、根据各个像素点的邻接矩阵，确定各个像素点的中心性指标；
S13、根据各个像素点的中心性指标，生成像素标准矩阵。
上述进一步方案的有益效果是：在本发明中，将碳纳米管图像中各个像素点与其周围像素点的像素值取均值，为各个像素点生成反映像素值分布情况的邻接矩阵，并根据邻接矩阵确定中心性指标，将各个像素点的中心性指标按照像素点的位置排列，得到像素标准矩阵。像素标准矩阵的行数与碳纳米管图像的像素点行数相同，像素标准矩阵的列数与碳纳米管图像的像素点列数相同。生成的像素标准矩阵可以体现不同像素点的像素值差距，由此确定的像素标签值更贴合碳纳米管图像的实际情况。
进一步地，S11中，碳纳米管图像中第i行第j列像素点的邻接矩阵Xij的表达式为：；式中，Si,j为第i行第j列像素点的像素值，Si-1,j-1为第i-1行第j-1列像素点的像素值，Si-1,j为第i-1行第j列像素点的像素值，Si-1,j+1为第i-1行第j+1列像素点的像素值，Si,j-1为第i行第j-1列像素点的像素值，Si,j+1为第i行第j+1列像素点的像素值，Si+1,j-1为第i+1行第j-1列像素点的像素值，Si+1,j为第i+1行第j列像素点的像素值，Si+1,j+1为第i+1行第j+1列像素点的像素值。
进一步地，S12中，碳纳米管图像中第i行第j列像素点的中心性指标zij的计算公式为：；式中，K为碳纳米管图像的像素点个数，ln(·)为对数函数，Xij为碳纳米管图像中第i行第j列像素点的邻接矩阵。
进一步地，S2中，碳纳米管图像的像素标签值B的计算公式为：；式中，Z为像素标准矩阵，I为单位矩阵，||·||F为F范数运算，λZ为像素标准矩阵的特征值，Tr(·)为矩阵的迹运算。
进一步地，S3中，像素训练模型包括依次连接的卷积层、池化层以及全连接层。
上述进一步方案的有益效果是：在本发明中，卷积层用来提取碳纳米管图像的特征，一个卷积核相当于一个特征提取器，将像素标准矩阵输入至像素训练模型中，像素训练模型的卷积层提取碳纳米管图像对应像素标准矩阵的特征映射，特征映射可以作为抽取的图像特征。池化层用于降低卷积层输出特征的复杂度，全连接层作为像素训练模型的最后一层，用于完成对碳纳米管图像的最终处理并输出。另外，在像素训练模型优化过程中，将重点放在对全连接层的优化，各张图像的像素标签值不同，利用各张碳纳米管图像的像素标签值对模型进行优化处理，使得模型更具针对性，提高模型处理精度。
进一步地，池化层的表达式为：；式中，P为池化层的输出，Pooling(·)为平均池化运算，γ(·)为归一化因子，Z为像素标准矩阵，λZ为像素标准矩阵的特征值，σ(·)为第一激活函数，w为卷积层的权重，b为卷积层的偏置。
进一步地，全连接层的表达式为：；式中，Q为全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd(·)为随机函数运算。
进一步地，像素优化模型中，优化后全连接层的表达式为：；式中，/>为优化后全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd (·)为随机函数运算，B表示碳纳米管图像的像素标签值。
本发明的有益效果是：该基于神经网络算法的碳纳米管图像处理方法为碳纳米管图像中各个像素点确定中心性指标，生成像素标准矩阵，来表征所有像素点的颜色情况，提高矩阵的丰富度；另外，通过神经网络构建像素训练模型，对像素训练模型各个单元的输出进行限定，并利用碳纳米管图像的像素标签值对模型进行优化处理，使得生成的模型更好融合图像的像素特征，图像处理更准确。
附图说明
图1为基于神经网络算法的碳纳米管图像处理方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于神经网络算法的碳纳米管图像处理方法，包括以下步骤：
S1、采集碳纳米管图像，并为碳纳米管图像构建像素标准矩阵；
S2、根据碳纳米管图像的像素标准矩阵，确定碳纳米管图像的像素标签值；
S3、构建像素训练模型；
S4、利用碳纳米管图像的像素标签值对像素训练模型进行优化，得到像素优化模型；
S5、利用像素优化模型对碳纳米管图像进行处理。
在本发明实施例中，S1包括以下子步骤：
S11、根据碳纳米管图像中各个像素点的像素值，为各个像素点构建邻接矩阵；
S12、根据各个像素点的邻接矩阵，确定各个像素点的中心性指标；
S13、根据各个像素点的中心性指标，生成像素标准矩阵。
在本发明中，将碳纳米管图像中各个像素点与其周围像素点的像素值取均值，为各个像素点生成反映像素值分布情况的邻接矩阵，并根据邻接矩阵确定中心性指标，将各个像素点的中心性指标按照像素点的位置排列，得到像素标准矩阵。像素标准矩阵的行数与碳纳米管图像的像素点行数相同，像素标准矩阵的列数与碳纳米管图像的像素点列数相同。生成的像素标准矩阵可以体现不同像素点的像素值差距，由此确定的像素标签值更贴合碳纳米管图像的实际情况。
在本发明实施例中，S11中，碳纳米管图像中第i行第j列像素点的邻接矩阵Xij的表达式为：；式中，Si,j为第i行第j列像素点的像素值，Si-1,j-1为第i-1行第j-1列像素点的像素值，Si-1,j为第i-1行第j列像素点的像素值，Si-1,j+1为第i-1行第j+1列像素点的像素值，Si,j-1为第i行第j-1列像素点的像素值，Si,j+1为第i行第j+1列像素点的像素值，Si+1,j-1为第i+1行第j-1列像素点的像素值，Si+1,j为第i+1行第j列像素点的像素值，Si+1,j+1为第i+1行第j+1列像素点的像素值。
在本发明实施例中，S12中，碳纳米管图像中第i行第j列像素点的中心性指标zij的计算公式为：；式中，K为碳纳米管图像的像素点个数，ln(·)为对数函数，Xij为碳纳米管图像中第i行第j列像素点的邻接矩阵。
在本发明实施例中，S2中，碳纳米管图像的像素标签值B的计算公式为：；式中，Z为像素标准矩阵，I为单位矩阵，||·||F为F范数运算，λZ为像素标准矩阵的特征值，Tr(·)为矩阵的迹运算。
在本发明实施例中，S3中，像素训练模型包括依次连接的卷积层、池化层以及全连接层。
在本发明中，卷积层用来提取碳纳米管图像的特征，一个卷积核相当于一个特征提取器，将像素标准矩阵输入至像素训练模型中，像素训练模型的卷积层提取碳纳米管图像对应像素标准矩阵的特征映射，特征映射可以作为抽取的图像特征。池化层用于降低卷积层输出特征的复杂度，全连接层作为像素训练模型的最后一层，用于完成对碳纳米管图像的最终处理并输出。另外，在像素训练模型优化过程中，将重点放在对全连接层的优化，各张图像的像素标签值不同，利用各张碳纳米管图像的像素标签值对模型进行优化处理，使得模型更具针对性，提高模型处理精度。
在本发明实施例中，池化层的表达式为：；式中，P为池化层的输出，Pooling(·)为平均池化运算，γ(·)为归一化因子，Z为像素标准矩阵，λZ为像素标准矩阵的特征值，σ(·)为第一激活函数，w为卷积层的权重，b为卷积层的偏置。
在本发明实施例中，全连接层的表达式为：；式中，Q为全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd(·)为随机函数运算。
在本发明实施例中，像素优化模型中，优化后全连接层的表达式为：；式中，/>为优化后全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd (·)为随机函数运算，B表示碳纳米管图像的像素标签值。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于神经网络算法的碳纳米管图像处理方法，其特征在于，包括以下步骤：
S1、采集碳纳米管图像，并为碳纳米管图像构建像素标准矩阵；
S2、根据碳纳米管图像的像素标准矩阵，确定碳纳米管图像的像素标签值；
S3、构建像素训练模型；
S4、利用碳纳米管图像的像素标签值对像素训练模型进行优化，得到像素优化模型；
S5、利用像素优化模型对碳纳米管图像进行处理；
所述S1包括以下子步骤：
S11、根据碳纳米管图像中各个像素点的像素值，为各个像素点构建邻接矩阵；
S12、根据各个像素点的邻接矩阵，确定各个像素点的中心性指标；
S13、根据各个像素点的中心性指标，生成像素标准矩阵；
所述S11中，碳纳米管图像中第i行第j列像素点的邻接矩阵Xij的表达式为：；式中，Si,j为第i行第j列像素点的像素值，Si-1,j-1为第i-1行第j-1列像素点的像素值，Si-1,j为第i-1行第j列像素点的像素值，Si-1,j+1为第i-1行第j+1列像素点的像素值，Si,j-1为第i行第j-1列像素点的像素值，Si,j+1为第i行第j+1列像素点的像素值，Si+1,j-1为第i+1行第j-1列像素点的像素值，Si+1,j为第i+1行第j列像素点的像素值，Si+1,j+1为第i+1行第j+1列像素点的像素值；
所述S12中，碳纳米管图像中第i行第j列像素点的中心性指标zij的计算公式为：；式中，K为碳纳米管图像的像素点个数，ln(·)为对数函数，Xij为碳纳米管图像中第i行第j列像素点的邻接矩阵。
2.根据权利要求1所述的基于神经网络算法的碳纳米管图像处理方法，其特征在于，所述S2中，碳纳米管图像的像素标签值B的计算公式为：；式中，Z为像素标准矩阵，I为单位矩阵，||·||F为F范数运算，λZ为像素标准矩阵的特征值，Tr(·)为矩阵的迹运算。
3.根据权利要求1所述的基于神经网络算法的碳纳米管图像处理方法，其特征在于，所述S3中，像素训练模型包括依次连接的卷积层、池化层以及全连接层。
4.根据权利要求3所述的基于神经网络算法的碳纳米管图像处理方法，其特征在于，所述池化层的表达式为：；式中，P为池化层的输出，Pooling(·)为平均池化运算，γ(·)为归一化因子，Z为像素标准矩阵，λZ为像素标准矩阵的特征值，σ(·)为第一激活函数，w为卷积层的权重，b为卷积层的偏置。
5.根据权利要求3所述的基于神经网络算法的碳纳米管图像处理方法，其特征在于，所述全连接层的表达式为：；式中，Q为全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd(·)为随机函数运算。
6.根据权利要求1所述的基于神经网络算法的碳纳米管图像处理方法，其特征在于，所述像素优化模型中，优化后全连接层的表达式为：；式中，/>为优化后全连接层的输出，P为池化层的输出，η为正则化系数，wn表示全连接层中第n个神经元的权重，bn表示全连接层中第n个神经元的偏置，N表示全连接层的神经元个数，Relu(·)为第二激活函数，rnd (·)为随机函数运算，B表示碳纳米管图像的像素标签值。
CN202410212864.3A 2024-02-27 2024-02-27 一种基于神经网络算法的碳纳米管图像处理方法 Active CN117788843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410212864.3A CN117788843B (zh) 2024-02-27 2024-02-27 一种基于神经网络算法的碳纳米管图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410212864.3A CN117788843B (zh) 2024-02-27 2024-02-27 一种基于神经网络算法的碳纳米管图像处理方法

Publications (2)

Publication Number Publication Date
CN117788843A CN117788843A (zh) 2024-03-29
CN117788843B true CN117788843B (zh) 2024-04-30

Family

ID=90391326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410212864.3A Active CN117788843B (zh) 2024-02-27 2024-02-27 一种基于神经网络算法的碳纳米管图像处理方法

Country Status (1)

Country Link
CN (1) CN117788843B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311180A (ja) * 1999-03-11 2000-11-07 Fuji Xerox Co Ltd 特徴セット選択方法、ビデオ画像クラス統計モデルの生成方法、ビデオフレームの分類及びセグメント化方法、ビデオフレームの類似性決定方法、およびコンピュータ可読媒体、並びにコンピュータシステム
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2014210368A1 (en) * 2013-06-28 2014-12-31 D-Wave Systems Inc. Systems and methods for quantum processing of data
CN108985252A (zh) * 2018-07-27 2018-12-11 陕西师范大学 改进的脉冲深度神经网络的图像分类方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
GB201913616D0 (en) * 2019-09-20 2019-11-06 Univ Oslo Hf Histological image analysis
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
WO2021062413A1 (en) * 2019-09-26 2021-04-01 The General Hospital Corporation System and method for deep learning for inverse problems without training data
CN113139513A (zh) * 2021-05-14 2021-07-20 辽宁工程技术大学 基于超像素轮廓和改进pso-elm的空谱主动学习高光谱分类方法
WO2022134971A1 (zh) * 2020-12-25 2022-06-30 华为技术有限公司 一种降噪模型的训练方法及相关装置
WO2022227024A1 (zh) * 2021-04-30 2022-11-03 华为技术有限公司 神经网络模型的运算方法、训练方法及装置
CN116310462A (zh) * 2023-05-19 2023-06-23 浙江财经大学 一种基于秩约束自表示的图像聚类方法及装置
WO2023201681A1 (zh) * 2022-04-22 2023-10-26 北京航空航天大学杭州创新研究院 面向粗标签的语义分割模型的训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147132B2 (en) * 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311180A (ja) * 1999-03-11 2000-11-07 Fuji Xerox Co Ltd 特徴セット選択方法、ビデオ画像クラス統計モデルの生成方法、ビデオフレームの分類及びセグメント化方法、ビデオフレームの類似性決定方法、およびコンピュータ可読媒体、並びにコンピュータシステム
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2014210368A1 (en) * 2013-06-28 2014-12-31 D-Wave Systems Inc. Systems and methods for quantum processing of data
CN108985252A (zh) * 2018-07-27 2018-12-11 陕西师范大学 改进的脉冲深度神经网络的图像分类方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
GB201913616D0 (en) * 2019-09-20 2019-11-06 Univ Oslo Hf Histological image analysis
WO2021062413A1 (en) * 2019-09-26 2021-04-01 The General Hospital Corporation System and method for deep learning for inverse problems without training data
CN112308152A (zh) * 2020-11-03 2021-02-02 西安电子科技大学 基于光谱分割与同质区域检测的高光谱图像地物分类方法
WO2022134971A1 (zh) * 2020-12-25 2022-06-30 华为技术有限公司 一种降噪模型的训练方法及相关装置
WO2022227024A1 (zh) * 2021-04-30 2022-11-03 华为技术有限公司 神经网络模型的运算方法、训练方法及装置
CN113139513A (zh) * 2021-05-14 2021-07-20 辽宁工程技术大学 基于超像素轮廓和改进pso-elm的空谱主动学习高光谱分类方法
WO2023201681A1 (zh) * 2022-04-22 2023-10-26 北京航空航天大学杭州创新研究院 面向粗标签的语义分割模型的训练方法和装置
CN116310462A (zh) * 2023-05-19 2023-06-23 浙江财经大学 一种基于秩约束自表示的图像聚类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
加权空-谱局部信息保持极限学习机的高光谱图像分类算法;邢钰佳;闫德勤;刘德山;王军浩;;软件;20200715(07);全文 *
基于多尺度卷积神经网络的高光谱图像分类算法;齐永锋;陈静;火元莲;李发勇;;红外技术;20200920(09);全文 *

Also Published As

Publication number Publication date
CN117788843A (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN112991354B (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN111739075A (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN107480777A (zh) 基于伪逆学习的稀疏自编码器快速训练方法
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN111709901B (zh) 基于FCM聚类匹配+Wallis滤波的无重多/高光谱遥感图像匀色方法
CN111832546A (zh) 一种轻量级自然场景文本识别方法
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN113392748B (zh) 一种基于卷积神经网络的遥感影像耕地信息提取方法
CN113221694B (zh) 一种动作识别方法
CN111222545A (zh) 基于线性规划增量学习的图像分类方法
CN111812647A (zh) 一种用于干涉合成孔径雷达相位解缠方法
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN112800927A (zh) 一种基于AM-Softmax损失的蝴蝶图像细粒度识别方法
CN117788843B (zh) 一种基于神经网络算法的碳纳米管图像处理方法
CN117708628A (zh) 基于图深度学习的空间转录组学中空间域识别方法
CN117333887A (zh) 一种基于深度学习的甲骨文字体分类方法
CN116563862A (zh) 一种基于卷积神经网络的数字识别方法
CN112232119A (zh) 一种遥感纹理图像分割方法及装置
CN116229061A (zh) 一种基于图像生成的语义分割方法和***
CN112801153A (zh) 一种嵌入lbp特征的图的半监督图像分类方法及***
CN116229063B (zh) 基于类别色彩化技术的语义分割网络模型及其训练方法
CN116698410B (zh) 一种基于卷积神经网络的滚动轴承多传感器数据监控方法
CN111882061B (zh) 一种基于分层随机梯度下降的卷积神经网络训练方法
CN117392440B (zh) 一种基于组织结构及颜色分类的纺织面料检索方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant