CN111738997A - 一种基于深度学习的计算新冠肺炎病变区域占比的方法 - Google Patents
一种基于深度学习的计算新冠肺炎病变区域占比的方法 Download PDFInfo
- Publication number
- CN111738997A CN111738997A CN202010531416.1A CN202010531416A CN111738997A CN 111738997 A CN111738997 A CN 111738997A CN 202010531416 A CN202010531416 A CN 202010531416A CN 111738997 A CN111738997 A CN 111738997A
- Authority
- CN
- China
- Prior art keywords
- mask
- lung
- calculating
- lesion
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 23
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 210000004072 lung Anatomy 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 210000004872 soft tissue Anatomy 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度学习的计算新冠肺炎病变区域占比的方法，属于肺测量技术领域，包括包括以下步骤：对原始CT图像集进行归一化处理，以适应深度学习模型的数据输入；将训练集中CT图像数据分别输入到2DUnet和2.5DUnet两种网络学习模型中，预测出肺部病变区域的二值掩模和肺部整个区域的二值掩模；计算训练集预测的二值掩模与真实标签掩模之间的相似性，选取最优网络学习模型；使用最优网络学习模型对训练集中的CT图像进行肺部病变区域掩模和肺部整个区域掩模的预测，并计算出病变区域掩模和整个区域掩模之间的占比。本发明利用深度学习技术，自动分割出肺部病变区域和整个肺的有效掩模，从而快速准确的计算出病变区域的体积占比。
Description
技术领域
本发明涉及肺测量技术领域，特别涉及一种基于深度学习的计算新冠肺 炎病变区域占比的方法。
背景技术
在对新冠肺炎进行治疗的过程中，CT影像在新冠肺炎的诊断中起着重要 的作用，患者定时拍摄CT影像，观察病情的发展变化，在对患者病变区域的 定量分析中目前并没有统一的衡量标准，并不能将患者的患病趋势进行定量 分析，而且采用人工观察病变区域的变化很容易出现误差，不仅浪费大量人 力，还降低了定量分析的效率。
发明内容
本发明的就在于为了解决上述肺炎病变区域定量分析缺少衡量标准且误 差大、效率低的问题而提供一种基于深度学习的计算新冠肺炎病变区域占比 的方法，具有通过深度学习技术，可快速准确的计算出肺炎与整个肺部区域 之间的体积占比，有利于定量分析病情变化的优点。
为实现上述目的，本发明采取的技术方案为：一种基于深度学习的计算 新冠肺炎病变区域占比的方法，包括以下步骤：
对原始CT图像集进行归一化处理，以适应深度学习模型的数据输入；
将训练集中CT图像数据分别输入到2DUnet和2.5DUnet两种网络学习模 型中，预测出肺部病变区域的二值掩模和肺部整个区域的二值掩模；
计算训练集预测的二值掩模与真实标签掩模之间的相似性，选取最优网 络学习模型；
使用最优网络学习模型对训练集中的CT图像进行肺部病变区域掩模和肺 部整个区域掩模的预测，并计算出病变区域掩模和整个区域掩模之间的占比。
优选的，所述原始CT图像处理方法包括：
a、将原始CT图像的Hu值转换到[-1200,600]的区间；
b、对于小于-1200和大于600的Hu值则分别设置为-1200和600；
c、将上述区间的Hu值矩阵归一化到[0,255]，以适应深度学习模型数 据的输入。
优选的，所述网络学习模型采用的真实标签掩模包括病变区域标签掩模 和全部区域标签掩模，其中:
使用-750和-200两个阈值进行肺部分割，将-200得到的掩模减去-750 得到的掩模，最终的掩模作为病变区域标签掩模；
人工对肺部整个区域进行标注，作为全部区域标签掩模。
优选的，所述网络学习模型预测的肺部病变区域二值掩模为滤除正常软 组织的二值掩模，滤除方法包括：
通过连通域将生成的二值掩模分为不同的区块，再利用基于resnet18的 二分类模型判断每个区块掩模包含的病变区域掩模和正常软组织掩模，最后 将正常软组织掩模滤除。
优选的，所述二值掩模与真实标签掩模之间的相似性采用Dice系数进行 计算，用来选取相似性最高的网络学习模型，Dice系数计算公式如下：
其中，A代表使用网络学习模型预测出来的二值掩模，B为真实标签掩模。
优选的，所述病变区域掩模和整个区域掩模之间的占比PoIR计算公式如 下：
其中volume of infected regions代表预测的肺部病变区域二值掩模，volumeof intact lung代表预测的整个肺部区域的二值掩模。
与现有技术相比，本发明具有如下有益效果：
选取最优网络学习模型，利用深度学习技术自动的分割出肺部病变区域 和整个肺的有效掩模，在生成病变区域的掩模时又设计了一个二分类的模型， 判断单个连通域是否为有效的病变区域的掩模，将正常软组织掩模滤除，大 大提高了病变区域分割掩模的效率和准确性。
附图说明
图1为本发明的肺炎病变区域体积占比方法流程图。
图2为本发明的滤除正常软组织掩模流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解， 下面结合具体实施方式，进一步阐述本发明。
如图1所示，一种基于深度学习的计算新冠肺炎病变区域占比的方法， 包括以下步骤：
对原始CT图像集进行归一化处理，以适应深度学习模型的数据输入。将 训练集中CT图像数据分别输入到2DUnet和2.5DUnet两种网络学习模型中， 预测出肺部病变区域的二值掩模和肺部整个区域的二值掩模，两种网络学习 模型的预测方法为：①2DUnet输入为单张的图像，输出为输入同样大小的二 值掩模；②为了缩小训练规模，同时利用CT图像的三维特征，特此利用了 2.5DUnet，2.5DUnet输入为连续的三张图像，输出同样为对应的三张二值图 像。对比预测的二值掩模与真实标签掩模之间的相似性，选取最优网络学习 模型。使用最优网络学习模型对训练集中的CT图像进行肺部病变区域掩模和 肺部整个区域掩模的预测，并计算出病变区域掩模和整个区域掩模之间的占 比。
通过上述方法可以快速准确的计算出病变区域的体积占比，这样在同一 病例不同时期的多次CT图像输入到该计算方法中后，可以生成每个时期的病 变区域占比，通过变化的数据生成比较曲线，进而衡量患者病情的发展趋势， 给临床诊断提供可靠的依据，同时可以结合临床的血氧指标等数据对病患轻 重和发展趋势进行定量化的精确分析。
所述原始CT图像处理方法包括：a、将原始CT图像的Hu值转换到[-1200, 600]的区间；b、对于小于-1200和大于600的Hu值则分别设置为-1200和 600；c、将上述区间的Hu值矩阵归一化到[0,255]，以适应深度学习模型数 据的输入。
所述网络学习模型采用的真实标签掩模包括病变区域标签掩模和全部区 域标签掩模，其中:使用-750和-200两个阈值进行肺部分割，将-200得到的 掩模减去-750得到的掩模，最终的掩模作为病变区域标签掩模；人工对肺部 整个区域进行标注，作为全部区域标签掩模。所述二值掩模与真实标签掩模 之间的相似性采用Dice系数进行计算，用来选取相似性最高的网络学习模型， Dice系数计算公式如下：
其中，A代表使用网络学***均绝对百分误差对预测掩模的肺炎 体积占比和真实掩模的肺炎体积占比的准确性进行评价，其中皮尔逊相关系 数公式为：
其中xi和yi分别代表选取的网络学习模型预测的掩模和真是的标签掩 模；
平均绝对百分误差公式为：
其中PoIRpredicted和PoIRground-truth分别表示使用本发明模型预测的掩膜占比 和真是标签的占比。
如图2所示，所述网络学习模型预测的肺部病变区域二值掩模为滤除正 常软组织的二值掩模，滤除方法包括：通过连通域将生成的二值掩模分为不 同的区块，再利用基于resnet18的二分类模型判断每个区块掩模包含的病变 区域掩模和正常软组织掩模，最后将正常软组织掩模滤除，连通域是指图像 中具有相同像素值并且位置相邻的像素组成的区域，连通域分析是指在图像 中寻找出彼此互相独立的连通域并将其标记出来，例如在肺部病变区域中标 记出正常软组织，提取图像中不同的连通域是图像处理中较为常用的方法， 根据基于resnet18的二分类模型可以将正常软组织掩模滤除，提高病变区域 掩模的准确性。
所述病变区域掩模和整个区域掩模之间的占比PoIR计算公式如下：
其中volume of infected regions代表预测的肺部病变区域二值掩模，volumeof intact lung代表预测的整个肺部区域的二值掩模。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实 现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。 不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实 施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也 可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种基于深度学习的计算新冠肺炎病变区域占比的方法，其特征在于，包括以下步骤：
对原始CT图像集进行归一化处理，以适应深度学习模型的数据输入；
将训练集中CT图像数据分别输入到2DUnet和2.5DUnet两种网络学习模型中，预测出肺部病变区域的二值掩模和肺部整个区域的二值掩模；
计算训练集预测的二值掩模与真实标签掩模之间的相似性，选取最优网络学习模型；
使用最优网络学习模型对训练集中的CT图像进行肺部病变区域掩模和肺部整个区域掩模的预测，并计算出病变区域掩模和整个区域掩模之间的占比。
2.根据权利要求1所述的基于深度学习计算新冠肺炎体积占比的方法，其特征在于，所述原始CT图像处理方法包括：
a、将原始CT图像的Hu值转换到[-1200,600]的区间；
b、对于小于-1200和大于600的Hu值则分别设置为-1200和600；
c、将上述区间的Hu值矩阵归一化到[0,255]，以适应深度学习模型数据的输入。
3.根据权利要求1所述的基于深度学习计算新冠肺炎体积占比的方法，其特征在于，所述网络学习模型采用的真实标签掩模包括病变区域标签掩模和全部区域标签掩模，其中:
使用-750和-200两个阈值进行肺部分割，将-200得到的掩模减去-750得到的掩模，最终的掩模作为病变区域标签掩模；
人工对肺部整个区域进行标注，作为全部区域标签掩模。
4.根据权利要求1所述的基于深度学习计算新冠肺炎体积占比的方法，其特征在于，所述网络学习模型预测的肺部病变区域二值掩模为滤除正常软组织的二值掩模，滤除方法包括：
通过连通域将生成的二值掩模分为不同的区块，再利用基于resnet18的二分类模型判断每个区块掩模包含的病变区域掩模和正常软组织掩模，最后将正常软组织掩模滤除。
5.根据权利要求1所述的基于深度学习计算新冠肺炎体积占比的方法，其特征在于，所述二值掩模与真实标签掩模之间的相似性采用Dice系数进行计算，用来选取相似性最高的网络学习模型，Dice系数计算公式如下：
其中，A代表使用网络学习模型预测出来的二值掩模，B为真实标签掩模。
6.根据权利要求1所述的基于深度学习计算新冠肺炎体积占比的方法，其特征在于，所述病变区域掩模和整个区域掩模之间的占比PoIR计算公式如下：
其中volume of infected regions代表预测的肺部病变区域二值掩模，volume ofintact lung代表预测的整个肺部区域的二值掩模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010531416.1A CN111738997A (zh) | 2020-06-11 | 2020-06-11 | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010531416.1A CN111738997A (zh) | 2020-06-11 | 2020-06-11 | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738997A true CN111738997A (zh) | 2020-10-02 |
Family
ID=72650138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010531416.1A Pending CN111738997A (zh) | 2020-06-11 | 2020-06-11 | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738997A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669925A (zh) * | 2020-12-16 | 2021-04-16 | 华中科技大学同济医学院附属协和医院 | 一种新冠肺炎ct复查的报告模板及形成方法 |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
| CN113344887A (zh) * | 2021-06-16 | 2021-09-03 | 南通大学 | 一种基于深度学习与模糊逻辑的间质性肺炎评估方法 |
| CN114820571A (zh) * | 2022-05-21 | 2022-07-29 | 东北林业大学 | 一种基于dlpe算法的肺炎纤维化量化分析方法 |
| CN115115620A (zh) * | 2022-08-23 | 2022-09-27 | 安徽中医药大学 | 一种基于深度学习的肺炎病变模拟方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110634132A (zh) * | 2019-08-30 | 2019-12-31 | 浙江大学 | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 |
| CN110782441A (zh) * | 2019-10-22 | 2020-02-11 | 浙江大学 | 一种基于深度学习的dr影像肺结核智能分割与检测方法 |
-
2020
- 2020-06-11 CN CN202010531416.1A patent/CN111738997A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110634132A (zh) * | 2019-08-30 | 2019-12-31 | 浙江大学 | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 |
| CN110782441A (zh) * | 2019-10-22 | 2020-02-11 | 浙江大学 | 一种基于深度学习的dr影像肺结核智能分割与检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI WU等: "Deep learning to estimate the physical proportion of infected region of lung for COVID-19 pneumonia with CT image set", 《HTTPS://ARXIV.ORG/ABS/2006.05018》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669925A (zh) * | 2020-12-16 | 2021-04-16 | 华中科技大学同济医学院附属协和医院 | 一种新冠肺炎ct复查的报告模板及形成方法 |
| CN112686898A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
| CN113344887A (zh) * | 2021-06-16 | 2021-09-03 | 南通大学 | 一种基于深度学习与模糊逻辑的间质性肺炎评估方法 |
| CN114820571A (zh) * | 2022-05-21 | 2022-07-29 | 东北林业大学 | 一种基于dlpe算法的肺炎纤维化量化分析方法 |
| CN115115620A (zh) * | 2022-08-23 | 2022-09-27 | 安徽中医药大学 | 一种基于深度学习的肺炎病变模拟方法及*** |
| CN115115620B (zh) * | 2022-08-23 | 2022-12-13 | 安徽中医药大学 | 一种基于深度学习的肺炎病变模拟方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738997A (zh) | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断*** | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| CN111931811B (zh) | 一种基于超像素图像相似度的计算方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN113420826B (zh) | 一种肝脏病灶图像处理***及图像处理方法 | |
| CN111340770B (zh) | 结合全局加权lbp和纹理分析的癌症预后模型构建方法 | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| CN112927187A (zh) | —种自动识别定位局灶性皮质发育不良癫痫病灶的方法 | |
| CN111724357B (zh) | 基于数字放射图像及支持向量回归的手臂骨密度测量方法 | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| CN113487568B (zh) | 一种基于差分曲率的肝脏表面平滑度的测量方法 | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN104835155A (zh) | 基于分形的早期乳腺癌钙化点计算机辅助检测方法 | |
| CN114549452A (zh) | 基于半监督深度学习的新冠肺炎ct图像分析方法 | |
| CN107909577A (zh) | 模糊c均值连续型最大流最小割脑肿瘤图像分割方法 | |
| CN116403211B (zh) | 一种基于单细胞病理图像细胞核的分割和聚类方法及*** | |
| CN116228759B (zh) | 肾细胞癌类型的计算机辅助诊断***及设备 | |
| CN112819765A (zh) | 一种肝脏图像处理方法 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的***和方法 | |
| CN112348826A (zh) | 一种基于测地线距离和V-net的交互式肝脏分割方法 | |
| Dandan et al. | A multi-model organ segmentation method based on abdominal ultrasound image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |